Resumen
La replicación de datos mediante carga incremental (trickle loading) en Invantive Data Replicator (ya sea OEM o estándar) puede reducir considerablemente la carga sobre el ecosistema de Exact Online y disminuir el tiempo de replicación de las tablas de Exact Online. Esta nota ofrece un enfoque y consultas prácticas para configurar y mantener fácilmente la replicación de datos para grandes cantidades de empresas y clientes. El enfoque escala más allá de 5.000 empresas, siempre que se disponga de recursos suficientes.
Rendimiento de la Replicación de Datos y OEM
Invantive Data Replicator se implementa cada vez más en entornos de gran tamaño, con volúmenes de datos que superan el terabyte. Normalmente se trata de miles de particiones de plataformas como empresas de Exact Online, empresas de nómina de Loket o empresas de Visma.net. La replicación de datos debería lograr uno o ambos de los siguientes objetivos:
- Aumentar el rendimiento de las consultas, reduciendo al mismo tiempo la carga sobre los ecosistemas de API.
- Permitir el uso de herramientas que no son compatibles con los controladores de Invantive SQL ni con
ADO.NET.
El propio proceso de replicación puede suponer un verdadero desgaste de recursos para sus socios en la nube, dada la cantidad de particiones (empresas) y datos. Por ello, Invantive ofrece varias estrategias de optimización para reducir el tiempo de replicación y, al mismo tiempo, disminuir la carga sobre el ecosistema de API de su proveedor.
La más popular es el uso de “carga incremental” (trickle loading). La carga incremental es una estrategia incremental: tras cargar inicialmente un conjunto de datos completo, solo se aplican los cambios, que consisten en eliminaciones, inserciones y actualizaciones.
El flujo de información desde las plataformas en la nube con carga incremental se muestra a continuación como el flujo diferenciado a través de “Receptores”:
Especialmente con grandes conjuntos de datos, solo un pequeño porcentaje está “activo” (hot), mientras que el resto de los datos permanece inactivo y almacenado para el futuro.
En las plataformas en la nube, estos cambios (deltas) generalmente se obtienen de eventos de webhook. En las plataformas de bases de datos, estos cambios generalmente se obtienen de disparadores de base de datos y/o registros de transacciones, como los redo logs de Oracle.
Específicamente para las implementaciones OEM, generalmente hay docenas de entornos que comparten un mismo código de contrato de licencia OEM. Además, a menudo se ofrece alojamiento a clientes que traen su propia licencia de Invantive (“BYOL” o “Bring Your Own License”). Configurar y mantener automáticamente los webhooks en tales entornos requiere cierto cuidado adicional para evitar repetir esfuerzos de trabajo cuando se añaden nuevas empresas.
El siguiente código le ayuda a optimizar la activación y el mantenimiento de la carga incremental para grandes volúmenes de distintos clientes atendidos mediante OEM. Hemos utilizado webhooks en Exact Online para ilustrar el código.
Uso Estándar de la Carga Incremental (Webhooks)
El uso estándar de la carga incremental se explica en otro tema, pero estos son los pasos generales:
Configuración
Para implementaciones habituales de uso interno con pocos cambios en las plataformas en la nube conectadas y 1 o 1.000 particiones, la activación de la carga incremental normalmente se realiza una sola vez utilizando la siguiente sentencia por tabla:
--
-- Seleccionar todas las empresas/particiones elegibles.
--
use all
--
-- Habilitar la carga incremental para una tabla específica.
--
alter persistent cache set table NAME approach trickle
seguido, una única vez, de la configuración del token de Invantive Data Replicator utilizado para la autenticación al descargar eventos mediante:
alter persistent cache set token = 'value'
Descarga del Feed de Eventos
Una vez realizados esos cambios, el script de replicación de Invantive SQL que se ejecuta periódicamente suele incluir, en algún punto cerca del inicio, una sentencia para descargar los nuevos eventos:
alter persistent cache download feed
Activación Automática de la Carga Incremental (Webhooks) para OEM
El siguiente bloque de Invantive PSQL habilita la carga incremental para todas las particiones seleccionadas (como las empresas de Exact Online), limitándose a las tablas replicadas que admiten webhooks.
Código de ejemplo en Invantive PSQL:
begin
for r_trickle in
( --
-- Activar la carga incremental para todas las tablas en las que
-- la carga incremental esté disponible pero aún no activada.
--
-- Selecciona todas las tablas replicadas que admiten webhooks (y
-- por lo tanto carga incremental). Se restringe
-- a aquellas tablas que tienen una o más particiones de tabla
-- (como empresas de Exact Online) para las cuales la carga incremental
-- aún no está activada.
--
-- Tiempo de ejecución esperado en la primera ejecución en segundos: 5 veces el número de particiones (empresas).
-- Tiempo de ejecución esperado tras las ejecuciones iniciales en segundos: 1.
--
select distinct
'alter persistent cache set table '
|| tbe.tbe_full_qualified_name
|| ' approach trickle'
stmt
from dc_tables@datacache tbe
join dc_table_partitions@DataCache tpn
on tpn.tbe_id = tbe.tbe_id
and tpn.tpt_seeding_approach_used_code = 'C' /* Completo. */
join SYSTEMTABLES@DataDictionary ste
on ste.full_qualified_name = tbe.tbe_full_qualified_name
and ste.webhook_topic is not null
--
-- Omitir todas las tablas XML, ya que ninguna de ellas
-- tiene webhooks de todos modos.
--
where tbe.tbe_full_qualified_name like '%REST%'
)
loop
execute immediate r_trickle.stmt;
end loop;
end;
Cuando los webhooks no están disponibles, puede considerar el uso del enfoque de muestreo inteligente (smart sampling). Alternativamente, cuando las tablas tienen más de 50.000 filas y se dispone de filtrado del lado del servidor, puede utilizar consultas del siguiente tipo para mejorar el rendimiento de la replicación:
create or replace table REPLICA@DATABASE
as
select ... from OLD
union
distinct on PK
select ... from NEW where MODIFIED > date
Otra alternativa es el uso de la sentencia synchronize, que alinea el contenido de las dos tablas. Consulte la gramática SQL para obtener más instrucciones.
Descarga de Mensajes para OEM
Los eventos de webhook provocan que Invantive Cloud registre mensajes en una cola. El contenido de esta cola puede ser descargado y procesado por Invantive Data Replicator.
En el caso de los OEM, para garantizar que se descarguen los mensajes correctos, se debe proporcionar el ID del contenedor de datos en la descarga. De lo contrario, el primer entorno descargará todos los mensajes. Estos mensajes no se procesarán, pero al descargarlos quedarán no disponibles para el resto de los entornos.
Código de ejemplo en Invantive PSQL:
declare
l_license_contract_code varchar2 := 'L9999999999';
l_secret_token varchar2 := 'secret';
begin
--
-- Tiempo de ejecución esperado: 1 segundo por cada 1.000 mensajes.
--
for r_dcr
in
( select 'alter persistent cache download feed LICENSE CONTRACT CODE '''
|| l_license_contract_code
|| ''''
|| ' token '''
|| l_secret_token
|| ''''
|| ' datacontainer '''
|| dcr.dcr_name
|| ''''
stmt
from ( select distinct
dcr.dcr_name
from dc_table_partitions@DataCache tpn
join dc_tables@DataCache tbe
on tbe.tbe_id = tpn.tbe_id
join dc_data_containers@DataCache dcr
on dcr.dcr_id = tbe.dcr_id
where tpn.tpt_seeding_approach_used_code = 'T'
) dcr
order
by dcr.dcr_name
)
loop
execute immediate r_dcr.stmt;
end loop;
end;
Tormentas de Webhooks
Exact Online presenta “tormentas de webhooks” (webhook storms). Eventos como la restauración de una copia de seguridad, actualizaciones o el cierre de periodos en empresas grandes pueden desencadenar millones de mensajes en una hora. No se aplica una limitación de tasa significativa, por lo que, si se diseña incorrectamente, su receptor de webhooks podría experimentar una especie de ataque de “Denegación de Servicio Distribuido”.
Invantive Cloud puede gestionar 10 millones de eventos por hora. Cuando se supera ese límite, los eventos se regulan y se gestionan a lo largo del tiempo. Por ejemplo, cuando se producen 100 millones de eventos en 20.000 empresas de Exact Online en un periodo de 60 minutos, Invantive tardará 10 horas en ponerse al día y poner los eventos a su disposición.
Sin embargo, el número promedio de eventos de webhook entregados es de 50.000 por hora, es decir, solo un 0,5 % en comparación con la capacidad máxima de gestión. Las tormentas de webhooks sí ocurren, pero rara vez retrasarán de forma significativa la recepción de sus eventos por parte de Data Replicator.
Eliminación de Duplicados de Múltiples Eventos
Se sabe que Exact Online desencadena múltiples eventos para un mismo cambio. Por ejemplo, se enviará un evento de webhook para el encabezado de una transacción por cada línea contenida en dicha transacción. Esto ha mejorado con el tiempo y actualmente observamos pocos o ningún duplicado. Cualquier duplicado adicional se elimina automáticamente mediante deduplicación en Invantive Cloud cuando se recibe dentro de un intervalo de tiempo configurable. El intervalo de tiempo está establecido por defecto en 15 minutos.
Seguridad del Token para OEM
El token para recuperar el feed de eventos normalmente se almacena de forma persistente en el repositorio de Data Replicator para permitir su recuperación desde trabajos por lotes, mediante:
alter persistent cache set token = 'value'
Sin embargo, algunos OEM permiten que sus usuarios finales accedan directamente a la base de datos del repositorio de Data Replicator. El acceso al token podría suponer un elemento adicional para un vector de ataque.
Por ello, en este ejemplo el token no se almacena de forma persistente en la base de datos. En su lugar, el token se almacena en el script. Puede añadir el cifrado estándar de clave de dispositivo sobre la cadena del token para mayor seguridad. En Exact Online, esto no es necesario en general, ya que los webhooks de Exact Online contienen poca o ninguna información comercial real.
Comprobar la Activación de la Carga Incremental
En Exact Online puede comprobar los webhooks actualmente activados utilizando WebhookSubscriptions:
select /*+ ods(false) http_disk_cache(false) http_memory_cache(false) */
*
from WebhookSubscriptions
Por ejemplo:
Comprobar el Enrutamiento de Eventos de Webhook
Tras la activación inicial de la carga incremental en Exact Online, pasará algún tiempo antes de que la replicación real se realice mediante carga incremental en lugar de una copia completa. Invantive Data Replicator requiere una señal de latido (heartbeat) de Exact Online para cerrar el ciclo. Mientras no se hayan recibido mensajes de eventos de webhook para una combinación de empresa (partición) de Exact Online y tabla replicada, la replicación seguirá utilizando una copia completa para evitar la pérdida de datos.
El siguiente código le ayuda a probar el ciclo de recepción de eventos cambiando un elemento en accounts de Exact Online y comprobando que llega el mensaje correspondiente:
--
-- Probar la recuperación de mensajes, por ejemplo usando accounts.
--
update exactonlinerest..accounts
set name = name || '!'
where name like 'Belastingdienst%'
--
-- Revertir el cambio.
--
update exactonlinerest..accounts
set name = replace(name, '!', '')
where name like 'Belastingdienst%!'
--
-- A continuación:
-- * Esperar 3 minutos.
-- * Ejecutar la descarga del feed indicada arriba.
-- * Comprobar el contenido de los mensajes entrantes.
--
select *
from dc_incoming_messages@DataCache
Por ejemplo:
En caso de que desee forzar manualmente el cierre del ciclo, póngase en contacto con un consultor.


