Cómo analizar problemas de webhooks de Exact Online para la carga trickle

Existen varias técnicas avanzadas disponibles con Invantive Data Replicator para acelerar la descarga de datos desde las fuentes. Una de estas técnicas es la “carga por goteo” (trickle loading).

¿Qué es la carga por goteo (Trickle Loading)?

La carga por goteo es una técnica de mejora del rendimiento. Comienza con una replicación inicial completa. El sistema de origen informa a la infraestructura de Invantive de cada uno de los cambios. Los cambios van llegando “goteando” de forma individual. Estos cambios en los datos pueden descargarse y se aplican al conjunto de datos completo. La carga por goteo está disponible para un número limitado de tablas, dependiendo de las capacidades de la plataforma a la que se conecta. Usando la carga por goteo, a menudo se puede reducir la duración de la replicación por un factor de 100 o más.

¿Qué es un webhook de Exact Online?

Un webhook de Exact Online es un registro a través de la API de Exact Online mediante el cual una aplicación puede suscribirse para recibir mensajes cuando se producen cambios en los datos. El registro se realiza utilizando las credenciales del usuario, y cada aplicación puede tener sus propias suscripciones de webhook. Una aplicación no puede ver ni acceder a las suscripciones de webhook de otras aplicaciones en Exact Online.

La implementación real de la carga por goteo varía según la plataforma. En Exact Online, se utilizan webhooks para implementar la carga por goteo en Invantive Data Replicator. En las plataformas populares de Exact Online, Invantive Data Replicator ofrece carga por goteo en aproximadamente 30 tablas. La mayoría de estas tablas de Exact Online son de naturaleza transaccional.

Los webhooks de Exact Online son conceptualmente diferentes de las API de sincronización de Exact Online.

Análisis de cambios aparentemente perdidos en la carga por goteo

Sin embargo, los cambios pueden perderse o parecer perdidos cuando no llegan a la tabla replicada. Los siguientes pasos le ayudarán a analizar y resolver este tipo de problemas.

Emergencias

En caso de emergencia, siempre puede optar por ejecutar una replicación completa manual utilizando la siguiente instrucción de Invantive SQL de la documentación de SQL:

alter persistent cache force refresh approach copy

o para una tabla en particular:

alter persistent cache table NAME force refresh table approach copy

Posiblemente combinada con el establecimiento de la partición deseada usando una instrucción como:

alter persistent cache table NAME force refresh partition NAME approach copy

Esto descargará una copia completa sin utilizar la carga por goteo. Puede tardar algo de tiempo en ejecutarse.

También puede seguir el flujo de datos cuando tenga motivos para dudar de la integridad del conjunto de datos replicado. El flujo de datos en Exact Online con la carga por goteo de Invantive Data Replicator es el siguiente (véase la imagen):

  1. El usuario realiza un cambio en una pantalla (agregar, eliminar, actualizar) (rojo 1).
  2. Exact Online reenvía el cambio al sistema de colas de Invantive mediante un webhook que contiene un ID único (rojo 2). Se utiliza un sistema de colas independiente dados los requisitos de disponibilidad y rendimiento. No se incluyen datos confidenciales de seguridad de Exact Online en el webhook.
  3. Un receptor de Invantive Cloud recibe el cambio (rojo 3).
  4. El cambio se enruta a través del Invantive Message Bus hacia la cola de salida, esperando su recogida (rojo 4).
  5. La recogida se ejecuta mediante la instrucción alter persistent cache download feed y se almacena en la tabla del repositorio dc_incoming_messages (rojo 5).
  6. Durante la replicación, Data Replicator toma la identificación única del cambio y busca los datos actuales correspondientes en Exact Online (rojo 6).
  7. Cuando hay cambios, se crea una nueva versión de partición de tabla en la base de datos de replicación (rojo 7).

Para analizar un problema, puede seguir el flujo de los datos como se muestra arriba y comprobar:

  • si llega;
  • si llega a tiempo.

Cambio en Exact Online

Realice los siguientes pasos para desencadenar un cambio que se replique en la base de datos replicada:

  • Compruebe en la vista de la base de datos subyacente qué tablas y particiones (empresas de Exact Online) se replican mediante carga por goteo, utilizando una consulta como la siguiente (véase también la documentación del modelo de datos del repositorio):
select ptn_name
,      tbe_full_qualified_name 
from   dc_table_partitions_r 
where  tpt_seeding_approach = 'T'
  • Inicie sesión en Exact Online.
  • Cambie a una empresa.
  • Abra el formulario cuyo contenido se está replicando.
  • Realice un cambio utilizando un texto único y fácil de consultar, como una cadena de texto aleatoria en la descripción o el código.
  • Anote la hora en que realizó el cambio.

Reenvío de cambios desde Exact Online

En unos minutos, Exact Online recogerá el cambio, lo registrará internamente y lo reenviará al Receiver en Invantive Cloud. Para la mayoría de los sitios se utiliza un ID de cliente personalizado, por lo que puede analizar en su suscripción de Exact Online el estado del reenvío:

  • Compruebe visualmente si puede encontrar un mensaje reciente que corresponda a su cambio.
  • La columna (1) muestra la hora en UTC en que se realizó el último intento de entrega del webhook.
  • La columna (2) muestra el ID único del objeto involucrado. Este ID único se transporta a lo largo de todo el flujo de datos.
  • La columna (3) muestra el número de intentos de entrega realizados.
  • La columna (4) muestra el último código de respuesta. La entrega solo fue exitosa cuando muestra ‘OK’.

Receptor de cambios

El Invantive Cloud Receiver ha recuperado el cambio con éxito cuando el código de respuesta es ‘OK’. Como usuario, puede consultar el resultado del Invantive Cloud Receiver en el Invantive Message Bus tal como se describe en Inzicht in Exact Online webhooks via de Invantive Message Bus-schermen van Invantive Cloud (solo en neerlandés).

Cola de cambios

El mensaje se almacena en la cola de salida del Invantive Message Bus.

Descarga del flujo de cambios

Una vez que se muestra el código de respuesta ‘OK’, debe esperar dos minutos adicionales para permitir que Invantive Cloud complete el procesamiento del mensaje, incluso si al mismo tiempo Exact Online desencadena una llamada “tormenta de webhooks”.

Luego descargue los mensajes en cola para su repositorio usando:

alter persistent cache download feed

Una vez completado, la tabla dc_incoming_messages contiene todos los cambios recibidos y no procesados. Puede analizar si el cambio se propagó correctamente usando la consulta:

select *
from   dc_incoming_messages

Opcionalmente, para entornos grandes puede añadir una cláusula where en la que especifique el valor de la clave de recurso que debe coincidir con object_key en la tabla:

select *
from   dc_incoming_messages
where  object_key = 'RESOURCE KEY'

Recuerde que las filas se eliminan de dc_incoming_messages una vez que los cambios han sido procesados.

Fusión de los mensajes entrantes de carga por goteo

Los cambios almacenados en dc_incoming_messages se fusionan con la última réplica conocida en la siguiente actualización.

Una actualización solo se produce cuando los datos ya no se consideran “frescos”. La fecha de caducidad predeterminada de una partición de tabla puede consultarse mediante:

select tpn_date_becomes_obsolete
,      tbe_full_qualified_name
,      ptn_name
from   dc_table_partition_versions_r
where  tpn_active_flag = 'Y'
and    tbe_full_qualified_name like '%TABLE NAME%'
and    ptn_name = 'EXACT ONLINE DIVISION CODE'

Sin embargo, puede forzar la fusión ejecutando Invantive Query Tool, iniciando sesión en el entorno de Data Replicator e introduciendo:

use DIVISION

select /*+ ods(true, interval '1 seconds') */ count(*)
from   TABLENAME

Esta instrucción actualizará el conjunto de datos, ya que la frescura es mayor a 1 segundo. Se introducirá una nueva versión de partición de tabla cuando haya algún cambio.

Puede comprobar el trabajo real realizado mediante una consulta a dc_event_log:

select top(100) *
from   dc_event_log_r
where  ptn_name = 'PARTITION NAME'
and    tbe_full_qualified_name like '%TABLE NAME%'
order
by     elg_id desc

Comprobación del contenido de la tabla de hechos

Una vez que todos los cambios se han fusionado en una nueva versión de partición de tabla (cuando se considera necesario), debería poder ver la nueva fila en la vista generada para usted.

El nombre real de la vista depende de su configuración, pero en general se asemeja al nombre de la tabla de origen:

select *
from   eol_transactionlinesbulk_r

Compruebe si la vista contiene los datos modificados.