Portfolio / Delta Strike International
Optimización de sistemas con información basada en datos
Colaboramos con un destacado cliente del sector del entretenimiento para desarrollar una solución robusta de data warehouse, diseñada para manejar grandes volúmenes de datos generados por sensores y máquinas provenientes de múltiples bases de datos y tablas MySQL, con el fin de entregar información accionable y mejorar la eficiencia operativa.
Nuestro enfoque consistió en implementar pipelines ETL con Apache Airflow para automatizar y orquestar el proceso, eliminando los pasos manuales. Esto permitió una migración, transformación y eliminación automatizada de datos desde MySQL hacia BigQuery de forma continua y fluida, y dio al cliente la posibilidad de añadir nuevas tablas o columnas sin fricciones a medida que crecían sus necesidades de datos.
La solución incluyó un modelo de carga incremental y tablas particionadas en BigQuery para optimizar la recuperación de datos, lo que mejoró de forma notable el rendimiento de las consultas y redujo los tiempos de procesamiento. El proyecto no solo ayudó al cliente a extraer y aprovechar información accionable en tiempo real, sino que también mejoró la eficiencia de sus sistemas de laser tag y, en última instancia, la experiencia de los visitantes.
Antes
- La gestión de grandes volúmenes de datos en múltiples bases de datos MySQL era muy laboriosa, con poco soporte para cambios de esquema.
- La migración de datos a BigQuery era lenta e inconsistente, lo que dificultaba el acceso a la información.
- El almacenamiento de MySQL se llenaba rápidamente, y las eliminaciones manuales sumaban ineficiencia y riesgo de acumulación de datos pendientes.
Mejoras clave
- Flujos ETL optimizados con Airflow, que permiten un movimiento de datos eficiente, respaldos y procesos de eliminación.
- Uso de tablas particionadas y cargas incrementales de datos, lo que mejora el rendimiento de las consultas.
- Implementación de una validación y un respaldo de datos robustos mediante Kafka y Delta Portal Backup Stream, garantizando la precisión en las eliminaciones.
Cómo lo hicimos
Desarrollo de pipelines
Se diseñaron e implementaron pipelines ETL con Apache Airflow, que orquestan la extracción de datos desde MySQL y los almacenan temporalmente en Google Cloud Storage para un procesamiento más fluido.
Migración de datos
Se cargaron los datos históricos con un pipeline de carga completa y luego se pasó a un pipeline incremental para lograr actualizaciones oportunas y eficientes, optimizando el almacenamiento y la recuperación.
Eliminación de datos
Se desarrolló un pipeline de eliminación que borra periódicamente datos seleccionados de MySQL tras validar que su ingesta en BigQuery fue exitosa, lo que reduce los costos de almacenamiento.
Respaldo y monitoreo
Se activó Google Data Stream para seguir en tiempo real todos los cambios en MySQL, lo que permite un respaldo y un monitoreo integrales para asegurar la integridad de los datos en los pipelines.
“Esta solución transformó la forma en que manejamos los datos. Con procesos ETL automatizados y un sistema altamente escalable, accedemos sin fricciones a información crítica y optimizamos nuestras operaciones. La eliminación y validación automatizadas de datos nos dan confianza en la integridad de nuestra información, y las ganancias de eficiencia son invaluables. No podríamos haber pedido un mejor socio para dar vida a este proyecto.”Doug Willems · CEO - Delta Strike International
Ivee Software · Tecnología veterinaria · Estados Unidos
Eden Juice Limited · Alimentación · Nueva Zelanda
Proves Limit · Tecnología · España