Ascend presenta herramienta: Optimice la gestión de pipelines de datos para insights más rápidos y fiables

Los Dataflows Consultables reducirán significativamente gran parte de la sobrecarga manual hoy asociada con la gestión de DataOps.

Una de las cosas que más conspira para hacer que TI sea mucho menos ágil de lo que cualquiera quiere o aprecia es todo el tiempo y esfuerzo que se invierte en construir manualmente pipelines de datos. No solo es un desafío construir esos pipelines en primer lugar, descifrar cómo funcionan y han sido implementados puede tomar días y semanas.

Para hacer más simple modificar pipelines de datos existentes, Ascend ahora está proporcionando una vista previa técnica de una herramienta que permite a los equipos de TI lanzar consultas directamente contra pipelines de datos construidos usando el recientemente lanzado Servicio Autónomo de Dataflow de la compañía, que hace más simple crear pipelines usando herramientas declarativas en instancias del framework de computación en memoria Apache Spark alojadas en nubes públicas proporcionadas por Amazon Web Services (AWS), Microsoft o Google.

Ver también: DataOps: El Antídoto para Pipelines de Datos Congestionados

Bautizados como Queryable Dataflows, esta nueva capacidad reducirá significativamente gran parte de la sobrecarga manual hoy asociada con la gestión de DataOps, dice el CEO de Ascend, Sean Knapp.

Queryable Dataflows hacen posible que los equipos de DataOps exploren y perfiles grandes datasets crudos incrementalmente mientras construyen. Esa capacidad no solo hace más simple construir nuevos pipelines más rápido, también puede emplearse para asegurar resultados precisos antes de exponer datos a aplicaciones downstream.

Los pipelines ahora pueden manejar staging y exploración de una manera que descarga esas actividades del data warehouse. Además, consultas interactivas pueden moverse inmediatamente a producción como etapas dentro del Servicio Autónomo de Dataflow para eliminar recodificación y reprocesamiento.

Queryable Dataflows también ayuda a optimizar analítica operacional y reportes. Analistas y científicos de datos también pueden conectarse directamente a etapas de pipeline sin tener que cargar primero datos en un warehouse, lo que significa que pueden emplear sus herramientas preferidas para acceder a datos.

Las generaciones previas de herramientas para gestionar herramientas de pipeline de datos son, por comparación, poco más que programadores de trabajos glorificados, dice Knapp.

DataOps como disciplina de TI está bajo presión creciente porque la tasa de cambio que ocurre dentro de entornos TI se ha acelerado. Gracias en parte al auge de procesos DevOps y microservicios, la tasa a la que los pipelines de datos necesitan ser optimizados o actualizados ha aumentado exponencialmente. Actualizaciones manuales a pipelines de datos crearán algunos puntos de fricción muy predecibles entre DataOps y DevOps, dice Knapp.

«DataOps y DevOps necesitan ser armonizados», dice Knapp.

De hecho, esa falta de armonía es lo que lleva a los desarrolladores a menudo a intentar eludir al equipo TI interno empleando una base de datos open source para construir una aplicación solo para descubrir con el tiempo que esa base de datos no escala para satisfacer las demandas de la aplicación. Luego terminan teniendo que reengancharse con equipos TI internos para mover esa aplicación a una plataforma como Apache Spark u otra base de datos.

No está claro en qué grado DataOps y DevOps podrían converger algún día. Por ahora, ambas áreas probablemente seguirán siendo dominios por sí mismos. Sin embargo, también es abundantemente claro que los procesos DataOps necesitan mejorar hasta el punto donde la construcción de pipelines de datos ya no sea un cuello de botella mayor que frene la modernización de TI.