Herramienta de vistas previas de Ascend para simplificar la gestión de canalización de datos

Los flujos de datos consultables reducirán significativamente gran parte de la sobrecarga manual actual asociada con la gestión de DataOps.

Una de las cosas que más conspira para hacer que TI sea mucho menos ágil de lo que nadie quiere o aprecia es todo el tiempo y el esfuerzo que se dedica a la construcción manual de canalizaciones de datos. No solo es un desafío construir esas canalizaciones en primer lugar, descifrar cómo funcionan y cómo se implementaron puede llevar días y semanas.

Para simplificar la modificación de las canalizaciones de datos existentes, Ascendis ahora proporciona una vista previa técnica de una herramienta que permite a los equipos de TI lanzar consultas directamente en las canalizaciones de datos construidas utilizando el Servicio de flujo de datos autónomo lanzado recientemente por la empresa, lo que simplifica la creación de canalizaciones utilizando herramientas declarativas en instancias de el marco informático en memoria Apache Spark alojado en nubes públicas proporcionado por Amazon Web Services (AWS), Microsoft o Google.

Véase también: DataOps:el antídoto para las canalizaciones de datos congestionadas

Con el nombre de Queryable Dataflows, esta nueva capacidad reducirá significativamente gran parte de los gastos generales asociados actualmente con la gestión de DataOps, afirma el director ejecutivo de Ascend, Sean Knapp.

Los flujos de datos consultables hacen posible que los equipos de DataOps exploren y generen perfiles de grandes conjuntos de datos sin procesar de forma incremental a medida que se construyen. Esa capacidad no solo simplifica la construcción de nuevas canalizaciones con mayor rapidez, sino que también se puede emplear para garantizar que los resultados sean precisos antes de exponer los datos a las aplicaciones posteriores.

Las canalizaciones ahora pueden manejar la puesta en escena y la exploración de una manera que descarga esas actividades del almacén de datos. Además, las consultas interactivas pueden pasar inmediatamente a producción como etapas dentro del Servicio de AutonomousDataflow para eliminar la recodificación y el reprocesamiento.

Queryable Dataflows también ayuda a optimizar los análisis operativos y los informes. Los analistas de datos y los científicos también pueden conectarse directamente a las etapas de canalización sin tener que cargar primero los datos en un almacén, lo que significa que pueden emplear sus herramientas preferidas para acceder a los datos.

En comparación, las generaciones anteriores de herramientas para administrar las herramientas de canalización de datos son poco más que programadores de trabajos glorificados, dice Knapp.

DataOps como disciplina de TI está bajo una mayor presión porque la tasa de cambio que ocurre dentro de los entornos de TI se ha acelerado. Gracias en parte al aumento de los procesos y microservicios de DevOps, la velocidad a la que las canalizaciones de datos deben optimizarse o actualizarse ha aumentado exponencialmente. Las actualizaciones manuales de las canalizaciones de datos crearán algunos puntos de fricción muy predecibles entre DataOps y DevOps, dice Knapp.

"DataOps y DevOps deben armonizarse", dice Knapp.

De hecho, esa falta de armonía es lo que lleva a los desarrolladores a intentar y dejar de ejecutar el equipo interno de TI mediante el empleo de una base de datos de código abierto para crear una aplicación solo para descubrir con el tiempo que la base de datos no se escala para satisfacer las demandas de la aplicación. Luego, terminan teniendo que volver a interactuar con los equipos de TI internos para mover esa aplicación a una plataforma como ApacheSpark o alguna otra base de datos.

No está claro hasta qué punto DataOps y DevOps podrían converger algún día. Por ahora, es probable que ambas áreas sigan siendo dominios independientes. Sin embargo, también está muy claro que los procesos de DataOps deben mejorar hasta el punto en que la construcción de canalizaciones de datos ya no sea un cuello de botella importante que frene la modernización de TI.