Existen varias técnicas avanzadas disponibles con Invantive Data Replicator para acelerar la descarga de datos desde las fuentes. Una de estas técnicas es la “carga por goteo” (trickle loading).
¿Qué es la carga por goteo (Trickle Loading)?
La carga por goteo es una técnica de mejora del rendimiento. Comienza con una replicación inicial completa. El sistema de origen informa a la infraestructura de Invantive de cada uno de los cambios. Los cambios van llegando “goteando” de forma individual. Estos cambios en los datos pueden descargarse y se aplican al conjunto de datos completo. La carga por goteo está disponible para un número limitado de tablas, dependiendo de las capacidades de la plataforma a la que se conecta. Usando la carga por goteo, a menudo se puede reducir la duración de la replicación por un factor de 100 o más.
¿Qué es un webhook de Exact Online?
Un webhook de Exact Online es un registro a través de la API de Exact Online mediante el cual una aplicación puede suscribirse para recibir mensajes cuando se producen cambios en los datos. El registro se realiza utilizando las credenciales del usuario, y cada aplicación puede tener sus propias suscripciones de webhook. Una aplicación no puede ver ni acceder a las suscripciones de webhook de otras aplicaciones en Exact Online.
La implementación real de la carga por goteo varía según la plataforma. En Exact Online, se utilizan webhooks para implementar la carga por goteo en Invantive Data Replicator. En las plataformas populares de Exact Online, Invantive Data Replicator ofrece carga por goteo en aproximadamente 30 tablas. La mayoría de estas tablas de Exact Online son de naturaleza transaccional.
Los webhooks de Exact Online son conceptualmente diferentes de las API de sincronización de Exact Online.
Análisis de cambios aparentemente perdidos en la carga por goteo
Sin embargo, los cambios pueden perderse o parecer perdidos cuando no llegan a la tabla replicada. Los siguientes pasos le ayudarán a analizar y resolver este tipo de problemas.
Emergencias
En caso de emergencia, siempre puede optar por ejecutar una replicación completa manual utilizando la siguiente instrucción de Invantive SQL de la documentación de SQL:
alter persistent cache force refresh approach copy
o para una tabla en particular:
alter persistent cache table NAME force refresh table approach copy
Posiblemente combinada con el establecimiento de la partición deseada usando una instrucción como:
alter persistent cache table NAME force refresh partition NAME approach copy
Esto descargará una copia completa sin utilizar la carga por goteo. Puede tardar algo de tiempo en ejecutarse.
También puede seguir el flujo de datos cuando tenga motivos para dudar de la integridad del conjunto de datos replicado. El flujo de datos en Exact Online con la carga por goteo de Invantive Data Replicator es el siguiente (véase la imagen):
- El usuario realiza un cambio en una pantalla (agregar, eliminar, actualizar) (rojo 1).
- Exact Online reenvía el cambio al sistema de colas de Invantive mediante un webhook que contiene un ID único (rojo 2). Se utiliza un sistema de colas independiente dados los requisitos de disponibilidad y rendimiento. No se incluyen datos confidenciales de seguridad de Exact Online en el webhook.
- Un receptor de Invantive Cloud recibe el cambio (rojo 3).
- El cambio se enruta a través del Invantive Message Bus hacia la cola de salida, esperando su recogida (rojo 4).
- La recogida se ejecuta mediante la instrucción
alter persistent cache download feedy se almacena en la tabla del repositoriodc_incoming_messages(rojo 5). - Durante la replicación, Data Replicator toma la identificación única del cambio y busca los datos actuales correspondientes en Exact Online (rojo 6).
- Cuando hay cambios, se crea una nueva versión de partición de tabla en la base de datos de replicación (rojo 7).
Para analizar un problema, puede seguir el flujo de los datos como se muestra arriba y comprobar:
- si llega;
- si llega a tiempo.
Cambio en Exact Online
Realice los siguientes pasos para desencadenar un cambio que se replique en la base de datos replicada:
- Compruebe en la vista de la base de datos subyacente qué tablas y particiones (empresas de Exact Online) se replican mediante carga por goteo, utilizando una consulta como la siguiente (véase también la documentación del modelo de datos del repositorio):
select ptn_name
, tbe_full_qualified_name
from dc_table_partitions_r
where tpt_seeding_approach = 'T'
- Inicie sesión en Exact Online.
- Cambie a una empresa.
- Abra el formulario cuyo contenido se está replicando.
- Realice un cambio utilizando un texto único y fácil de consultar, como una cadena de texto aleatoria en la descripción o el código.
- Anote la hora en que realizó el cambio.
Reenvío de cambios desde Exact Online
En unos minutos, Exact Online recogerá el cambio, lo registrará internamente y lo reenviará al Receiver en Invantive Cloud. Para la mayoría de los sitios se utiliza un ID de cliente personalizado, por lo que puede analizar en su suscripción de Exact Online el estado del reenvío:
- Vaya al formulario de Exact Online “Log Webhook Messages“:
- Compruebe visualmente si puede encontrar un mensaje reciente que corresponda a su cambio.
- La columna (1) muestra la hora en UTC en que se realizó el último intento de entrega del webhook.
- La columna (2) muestra el ID único del objeto involucrado. Este ID único se transporta a lo largo de todo el flujo de datos.
- La columna (3) muestra el número de intentos de entrega realizados.
- La columna (4) muestra el último código de respuesta. La entrega solo fue exitosa cuando muestra ‘OK’.
Receptor de cambios
El Invantive Cloud Receiver ha recuperado el cambio con éxito cuando el código de respuesta es ‘OK’. Como usuario, puede consultar el resultado del Invantive Cloud Receiver en el Invantive Message Bus tal como se describe en Inzicht in Exact Online webhooks via de Invantive Message Bus-schermen van Invantive Cloud (solo en neerlandés).
Cola de cambios
El mensaje se almacena en la cola de salida del Invantive Message Bus.
Descarga del flujo de cambios
Una vez que se muestra el código de respuesta ‘OK’, debe esperar dos minutos adicionales para permitir que Invantive Cloud complete el procesamiento del mensaje, incluso si al mismo tiempo Exact Online desencadena una llamada “tormenta de webhooks”.
Luego descargue los mensajes en cola para su repositorio usando:
alter persistent cache download feed
Una vez completado, la tabla dc_incoming_messages contiene todos los cambios recibidos y no procesados. Puede analizar si el cambio se propagó correctamente usando la consulta:
select *
from dc_incoming_messages
Opcionalmente, para entornos grandes puede añadir una cláusula where en la que especifique el valor de la clave de recurso que debe coincidir con object_key en la tabla:
select *
from dc_incoming_messages
where object_key = 'RESOURCE KEY'
Recuerde que las filas se eliminan de dc_incoming_messages una vez que los cambios han sido procesados.
Fusión de los mensajes entrantes de carga por goteo
Los cambios almacenados en dc_incoming_messages se fusionan con la última réplica conocida en la siguiente actualización.
Una actualización solo se produce cuando los datos ya no se consideran “frescos”. La fecha de caducidad predeterminada de una partición de tabla puede consultarse mediante:
select tpn_date_becomes_obsolete
, tbe_full_qualified_name
, ptn_name
from dc_table_partition_versions_r
where tpn_active_flag = 'Y'
and tbe_full_qualified_name like '%TABLE NAME%'
and ptn_name = 'EXACT ONLINE DIVISION CODE'
Sin embargo, puede forzar la fusión ejecutando Invantive Query Tool, iniciando sesión en el entorno de Data Replicator e introduciendo:
use DIVISION
select /*+ ods(true, interval '1 seconds') */ count(*)
from TABLENAME
Esta instrucción actualizará el conjunto de datos, ya que la frescura es mayor a 1 segundo. Se introducirá una nueva versión de partición de tabla cuando haya algún cambio.
Puede comprobar el trabajo real realizado mediante una consulta a dc_event_log:
select top(100) *
from dc_event_log_r
where ptn_name = 'PARTITION NAME'
and tbe_full_qualified_name like '%TABLE NAME%'
order
by elg_id desc
Comprobación del contenido de la tabla de hechos
Una vez que todos los cambios se han fusionado en una nueva versión de partición de tabla (cuando se considera necesario), debería poder ver la nueva fila en la vista generada para usted.
El nombre real de la vista depende de su configuración, pero en general se asemeja al nombre de la tabla de origen:
select *
from eol_transactionlinesbulk_r
Compruebe si la vista contiene los datos modificados.

