Ik laad de TransactionLinesIncremental in (dagelijkse refresh), maar wil niet elke dag alles ophalen. Ik wil alleen de laatste maand aan data ophalen.
Hoe kan ik een datum filter mee geven?
Ik gebruik Pyspark en laadt het als volgt in.
params = {
"Implementation": "2.0"
}
def load_data(entity_url):
entity_data = None
total_url = odata_url + '/' + entity_url
entity_response = requests.get(total_url, auth=(username, password), params=params)
if entity_response.status_code == 200:
entity_data = entity_response.json().get('value', [])
else:
print("Error fetching entity data:", entity_response.status_code)
return(entity_data)
# Filter data
entity_url = 'ExactOnlineREST.Incremental.TransactionLinesIncremental@eol'
lakehouse_table_name = 'exactonline_Incremental_TransactionLinesIncremental'
# Load data
entity_table_name = 'Raw.dbo.' + lakehouse_table_name
entity_data = load_data(entity_url)
Kan ik een extra variabele meegeven aan Params, en in welk formaat precies? Het is handig als jullie een voorbeeld kunnen geven.