Estrategia ETL para soluciones de inteligencia de negocios y reportes en la nube
Con las soluciones modernas de inteligencia de negocios tan enfocadas en estar “en la nube”, un aspecto del enfoque tradicional de almacén de datos que a menudo se pasa por alto o queda eclipsado son los procesos ETL de su organización.
Los procesos de ETL (Extract, Transform, and Load / Extraer, transformar y cargar) suelen cumplir dos funciones principales: mover datos de un origen a un destino y transformar esos datos para que puedan ser utilizados de la mejor manera por las herramientas de reporteo. Muchas personas con las que hablo suelen pensar en ellos principalmente como medios para mover datos a un lugar que sus herramientas de reporteo puedan consumir de manera eficiente, aún más cuando se habla de soluciones en la nube. Cuando los equipos diseñan soluciones en la nube, a menudo se concentran en dónde se pueden almacenar los datos y seguir siendo accesibles para todos los procesos que interactúan dentro de una solución, pero en muchas organizaciones la parte de transformación es tan crítica, o incluso más, que simplemente mover los datos.
Es raro encontrar una solución de BI sólida y compleja que reporte los datos exactamente como existen en un sistema transaccional. Por lo general, los datos deben remodelarse para construir dimensiones conformadas, unir elementos de datos semirrelacionados o simplemente dar forma a los datos de una manera que responda preguntas analíticas específicas.
En la solución tradicional de BI, esto se manejaría con una herramienta como SSIS, Informatica, ODI o un producto similar que le permita construir procesos que mapeen datos desde un origen a un destino mientras realizan las transformaciones necesarias en el camino. Estas pueden ir desde copias muy básicas de los datos del sistema de origen a un data mart para fines de consulta, hasta procesos enormes y complejos que transforman fuertemente los datos para alimentar un sistema de procesos interrelacionados que atienda necesidades de reporteo y análisis.
En cuanto a las soluciones de BI en la nube, la buena noticia es que no tiene que cambiar mucho si aún no está listo para ello. En la mayoría de los casos, puede seguir utilizando soluciones ETL on-premise para cargar datos en soluciones de almacenamiento y bases de datos en la nube. La conectividad entre arquitecturas on-premise y en la nube puede volverse complicada debido a redes privadas, firewalls y otra infraestructura de seguridad. En la mayoría de las soluciones, es difícil conectarse desde un servidor en la nube hacia su red, pero conectarse desde dentro de su red hacia la nube suele ser sencillo. Esto significa que, si el servidor que inicia cualquier transacción está dentro de su red, no debería tener que preocuparse por abrir puntos de acceso.
Aquí hay una advertencia importante que parece surgir cada vez que hablo de herramientas en la nube: siempre involucre a sus equipos de red y seguridad cuando diseñe soluciones integradas con la nube. Esto garantiza que el diseño cumpla con las políticas corporativas y las mejores prácticas de la industria para mantener la integridad de sus datos, de modo que no queden expuestos a interferencias externas. Si no involucra a estas personas, eventualmente se enterarán de su sistema y solicitarán, a veces no de manera muy amable, una revisión de su sistema y de sus puntos de interfaz con internet abierta.
A menudo recomiendo pasos iterativos hacia la nube para la mayoría de mis clientes de BI a gran escala. Esto significa identificar un esquema estrella o un conjunto de reportes para migrar a la nube. Luego seguimos los procesos para construir solo los objetos que respaldan ese conjunto de requisitos relativamente acotado. Una vez que eso tiene éxito, puede ampliarlo con el tiempo, agregando más esquemas y requisitos de reporteo según su prioridad y la disponibilidad de recursos. Esto mantiene los proyectos avanzando con agilidad con un equipo pequeño y enfocado.
Un enfoque iterativo para las transiciones de ETL a veces puede significar simplemente apuntar los procesos existentes a un nuevo destino, suponiendo que la tecnología entre el destino actual y el nuevo no requiera una renovación o reescritura significativa de los procesos. Por ejemplo, si tiene un proceso ETL que carga tablas en una base de datos Oracle y se está moviendo a una base de datos Oracle Cloud, este cambio debería ser directo.
Sin embargo, si está buscando una herramienta ETL basada en la nube, todavía tiene muchas opciones. ODI de Oracle tiene una contraparte basada en la nube, al igual que Informatica, Microsoft y muchos otros. Cuál utilice dependerá de diversos factores, incluidos el costo, las obligaciones de licenciamiento existentes, la disponibilidad de recursos y otros, pero la conclusión importante es que ahora existe una variedad de opciones para satisfacer las necesidades de transformaciones de datos complejas para herramientas de reporteo en la nube, tanto on-premise como en la nube.
Hemos trabajado con clientes que en ocasiones han querido mantener un pie on-premise, por lo que los enfoques híbridos son ideales para ellos, donde la herramienta de reporteo está en la nube, pero los datos se conservan en sus bases de datos locales. También hemos trabajado con clientes más nuevos, por lo general empresas más jóvenes sin un largo historial de sistemas de TI que mantener integrados y funcionando, que no desean alojar un servidor en su red interna ni siquiera para herramientas de desarrollo. Quieren ser 100 % basados en la nube, y estas soluciones de ETL ciertamente también existen para ellos.