Introducción
Cuando las tablas de referencia cambian constantemente y los analistas dependen de datos por lotes, la latencia se convierte en un cuello de botella para las decisiones de negocio. Esta guía muestra cómo construir un pipeline de Change Data Capture (CDC) casi en tiempo real desde Amazon Aurora MySQL hacia tablas Apache Iceberg en Amazon S3, usando AWS DMS Serverless, Amazon Kinesis Data Streams, AWS Lambda y Amazon Data Firehose, con despliegue reproducible vía AWS CloudFormation y monitoreo con Amazon CloudWatch.
El enfoque es serverless: no administrás servidores de replicación ni aplicaciones de entrega. Firehose lee eventos de Kinesis, los convierte en archivos Parquet y aplica inserts, updates y deletes sobre la tabla Iceberg, cerrando cada escritura con un nuevo snapshot de tabla. Al final vas a poder consultar el resultado desde Athena, Glue o Redshift Serverless.
Qué es y para qué sirve
CDC es la captura de cambios a nivel de fila desde el motor transaccional hacia un almacenamiento analítico. En este patrón, AWS DMS emite cada cambio a Kinesis Data Streams como un registro que incluye la fila y metadatos: esquema, tabla y tipo de operación. Una función Lambda parsea ese formato y emite el destino (base, tabla y operación) que Firehose necesita para enrutar cada registro hacia la tabla Iceberg correspondiente.
Iceberg ofrece tablas abiertas con snapshots, lo que permite consultas con motores compatibles y reduce los límites de escalabilidad de las bases SQL legacy. En la experiencia de United Airlines, las consultas sobre más de 10 millones de filas dejaron de golpear los cuellos de botella del sistema anterior; el tiempo promedio de consulta mejoró 5 veces y el tiempo total de jobs Glue cayó 2 veces. Este patrón sirve para cualquier industria que necesite analítica casi en tiempo real sobre datos transaccionales: finanzas, inventario minorista o ingresos de viaje y hospitalidad.
Prerequisitos
- Cuenta AWS con permisos para crear: DMS, Kinesis, Lambda, Firehose, Glue, S3 y CloudWatch.
- AWS CLI v2 configurada y sesión con rol administrativo o política equivalente.
- Una instancia Amazon Aurora MySQL-Compatible Edition accesible desde la VPC donde correrá DMS Serverless.
- Bucket S3 en la misma región para staging y para el bucket de errores de Firehose.
- Base de datos Iceberg catalogada en AWS Glue Data Catalog; el template de CloudFormation crea el bucket y la base de datos.
- Versiones recomendadas: AWS CLI 2.x, AWS DMS Serverless habilitado en la región, Firehose con destino Apache Iceberg disponible en la región elegida.
- Acceso de red: security groups que permitan DMS hacia Aurora (puerto MySQL 3306 o el definido), y endpoints de Kinesis y Firehose accesibles desde la VPC o con Internet Gateway/NAT.
Guía paso a paso
- Desplegá la plantilla de CloudFormation. La plantilla crea Kinesis Data Streams en modo provisionado con cuatro shards y retención de 24 horas, el bucket S3, la base de datos Iceberg en Glue, la función Lambda de transformación y el stream de Firehose con buffer de 1 MB y 3 segundos.
aws cloudformation create-stack \
--stack-name cdc-iceberg-demo \
--template-body file://cdc-iceberg.yaml \
--capabilities CAPABILITY_NAMED_IAM \
--region us-east-1
Resultado esperado: Stack cdc-iceberg-demo en estado CREATE_COMPLETE. Verificá con aws cloudformation describe-stacks --stack-name cdc-iceberg-demo --query "Stacks[0].StackStatus".
- Configurá los endpoints de DMS. El template automatiza la infraestructura, pero los endpoints de origen y destino se configuran manualmente. Creá el endpoint de origen hacia Aurora MySQL con las credenciales y la opción de CDC habilitada.
aws dms create-endpoint \
--endpoint-identifier aurora-source \
--engine-name aurora-mysql \
--server-name aurora-demo.cluster-xyz.rds.amazonaws.com \
--port 3306 \
--username cdc_user \
--password '<<<REDACTED>>>' \
--type source \
--extra-connection-attributes "IncludeRecordType=Y;"
Resultado esperado: Endpoint aurora-source created. Luego creá el endpoint de destino hacia el bucket y la base Iceberg con --type target y --engine-name s3-iceberg.
- Definí la regla de selección CDC. El template replica una sola tabla de origen hacia una sola tabla Iceberg. Para agregar más tablas, extendé el template y la regla de selección.
{
"Rules": [
{
"RuleId": "reference-data",
"RuleName": "reference-data",
"RuleAction": "include",
"Table": "reference_data",
"Schema": "app"
}
]
}
Aplicá la regla al task de DMS Serverless con aws dms create-replication-task y el --task-settings correspondiente. Resultado esperado: task en estado Running y registros apareciendo en Kinesis Data Streams.
- Ajustá el transform Lambda al formato de tu motor CDC. El Lambda es la única pieza dependiente del motor: parsea el formato de registro de DMS y emite
database,tableyoperationpara que Firehose enrute cada registro a la tabla Iceberg correcta. Si cambiás de motor CDC, reescribí esta función.
def handler(event, context):
for record in event['Records']:
payload = json.loads(record['kinesis']['data'])
destination = {
'database': payload['schema'],
'table': payload['table'],
'operation': payload['op']
}
print(json.dumps(destination))
return {'records': [{'result': 'ok'} for _ in event['Records']]}
Resultado esperado: logs con el JSON de destino y registros entregados a Firehose.
- Validá con Athena. Consultá la tabla Iceberg creada por Firehose para confirmar que los cambios llegaron y que el snapshot se actualizó.
SELECT * FROM "reference_data" LIMIT 10;
Resultado esperado: filas con los datos de referencia actualizados. Si ves registros en el bucket de errores, revisá el formato de la Lambda y los tipos de columnas.
- Monitoreá con CloudWatch. Creá alarmas sobre
DeliveryStream.BytesPerSecondde Firehose y sobreIncomingRecordsde Kinesis para detectar caídas de flujo.
aws cloudwatch put-metric-alarm \
--alarm-name cdc-firehose-throughput \
--metric-name DeliveryStream.BytesPerSecond \
--namespace AmazonFirehose \
--statistic Average --period 300 --threshold 100000 \
--comparison-operator LessThanThreshold \
--evaluation-periods 2
Resultado esperado: alarma creada; ajustá el umbral según tu volumen real.
Consideraciones y buenas prácticas
- El template usa valores de demo, no de producción: DMS Serverless con logging debug, cuatro shards provisionados sin dimensionar throughput y buffer de Firehose de 1 MB/3 segundos. Para cargas variables, considerá el modo on-demand de Kinesis y revisá el buffer antes de producción.
- El intervalo del buffer de Firehose define el trade-off entre latencia y costo: un buffer corto genera snapshots y archivos de delete cada pocos segundos; uno largo baja el costo pero aumenta la latencia.
- El template es un punto de partida representativo, no la solución completa de United Airlines; no cubre toda la automatización, hardening ni requisitos operativos.
- La evolución de esquema no está cubierta en este walkthrough. Firehose maneja cambios de esquema con reglas específicas: si un registro tiene un campo nuevo que no está en la tabla pero el resto de nombres y tipos coincide, Firehose omite el campo nuevo; si nombres o tipos no coinciden, devuelve error y envía el registro al bucket de errores. En United Airlines la evolución se maneja fuera de este patrón.
- El template replica una sola tabla de origen; agregar tablas adicionales requiere extender la plantilla y la regla de selección.
- El Lambda es la única pieza específica del motor CDC: si cambiás de AWS DMS a otro motor, reescribí esa función.
- Aunque el walkthrough usa Athena para validación, la capa Iceberg es consultable desde AWS Glue, Amazon Redshift Serverless y cualquier motor compatible con Iceberg.
Conclusión
Con AWS DMS Serverless escribiendo a Kinesis Data Streams, una Lambda de transformación y Firehose materializando Parquet en Iceberg, podés reproducir un CDC casi en tiempo real sin administrar servidores de entrega. Desplegá el template, configurá endpoints y la regla de selección, validá con Athena y ajustá buffers y alarmas de CloudWatch antes de pasar a producción. El mismo pipeline es aplicable a datos de referencia de inventario, finanzas o reservas.
Fuentes
- https://aws.amazon.com/blogs/architecture/how-united-airlines-streams-database-changes-to-apache-iceberg-with-amazon-data-firehose/
- https://linkerd.io/blog/
- https://www.crowdstrike.com/blog/