Cruzar flujos de datos: De los Cazafantasmas a analíticas avanzadas

Aprovechar flujos de datos —unir eventos tanto por lotes como en tiempo real— empodera a científicos de datos y analistas para abordar problemas sofisticados.

Los flujos individuales proporcionan datos relacionados con una dimensión particular —el precio de una acción, el pedido de un cliente, la métrica de un dispositivo. Las analíticas y aplicaciones pueden servirse de un solo flujo de datos, pero los usos son estrechos y locales.

Cruzar flujos revela posibilidades mayores, llenas de historia, contexto y señales relacionadas. Cuando nuestros héroes Cazafantasmas (Venkman y la pandilla) necesitaron enfrentar el reto (y derrotar al Sr. Stay Puft), unieron fuerzas —¡y flujos! El todo fue mayor que la suma de las partes.

En nuestra comunidad, científicos de datos, analistas y desarrolladores son llamados a la acción de forma similar. Aprovechar flujos de datos —unir eventos tanto por lotes como en tiempo real— te empodera para abordar problemas sofisticados. Y, como con Venkman, a veces necesitas que otros traigan su equipo y ayuden. Aquí hay cuatro componentes vitales para hacer exitoso el cruce de flujos:

1) Unir datos, casos de uso y personas.

Acelerar la innovación, maximizar la eficiencia y proporcionar flexibilidad son prioridades establecidas para sistemas de datos sofisticados. Una columna vertebral de software ágil y evolutiva realiza estos objetivos. Componentes centrales open-source proporcionan la agilidad e interoperabilidad a largo plazo primordiales para el éxito.

Las herramientas evolucionan, y a veces necesitas usar esa nueva trampa para fantasmas.

2) Preparar tu pila de datos para el futuro con formatos open-source.

La portabilidad de datos ha sido durante mucho tiempo un requisito sagrado para equipos de datos empresariales. Los jardines vallados crean deuda futura, y el vendor lock-in tiene un costo a largo plazo no dicho, a menudo pagado en arrastre del negocio. Almacena datos usando formatos abiertos.

CSV y JSON han sido grandes por años, con Avro, Protobufs, Parquet, ORC y otros ganando popularidad recientemente. Tienen sus respectivas razones para existir, pero cada uno se basa en el principio de entregar datos estructurados a una plétora de sistemas independientes, agnósticos y ajenos a la ciencia computacional aguas abajo.

A medida que la magnitud de los datos se ha escalado y el costo financiero y de latencia relacionado con mover datos se ha compuesto, el concepto de datos abiertos ahora incluye formatos en memoria, no solo los que persisten en disco. Ahora a menudo es inaceptable requerir que los datos se copien, muevan, serialicen o traduzcan de alguna manera. En particular, la significativa comunidad de Apache Arrow se beneficia de su capacidad para servir datos en memoria a una gama de bibliotecas de procesamiento de datos en muchos lenguajes con sobrecarga mínima, lecturas zero-copy y acceso rápido a escala.

Pero recordemos, en Cazafantasmas, los datos fueron solo el inicio de la aventura.

3) Hacer que unir datos en tiempo real y estáticos sea un requisito fundamental.

Un motor de datos moderno debe reunir datos de una variedad de fuentes. La jerga de data warehouse, data lake y el centauro lakehouse son ahora imágenes comunes. Sin embargo, la creciente popularidad de flujos de eventos es un canario no tan silencioso sugiriendo que los datos estáticos ya no son toda la historia.

Los datos cambian. Las cargas de trabajo modernas viven en un estado de flujo. Los datos en tiempo real importan.

Los motores de datos y bibliotecas de procesamiento deben estar arquitectados para abordar y moverse fluidamente entre cargas de trabajo de datos en tiempo real y estáticos. «Inteligencia continua» es una frase de moda para sistemas que combinan el contexto de la historia con las señales de eventos del momento. Los sistemas de datos modernos deben construirse para procesar datos en tiempo real, flujos de eventos y otras actualizaciones como competencia de primera clase. Estos deben ser fortalezas centrales, no complementos, no ocurrencias tardías.

Después de todo, como aprendimos en Cazafantasmas, los Guardianes de la Puerta y los Maestros de la Llave son mucho menos poderosos hasta que se unen.

4) Siempre poner al usuario primero.

Los usuarios de datos de hoy tienen una variedad de habilidades, herramientas, flujos de trabajo y prioridades. Unir un equipo alrededor de una plataforma compartida sirve al individuo mientras energiza al equipo. Sistemas de datos que maximizan la eficiencia individual y fomentan la colaboración impulsan valor de negocio.

El software de datos abiertos ilumina el camino. La intrigante mezcla de cooperación y competencia en proyectos abiertos rinde un ritmo inigualable de progreso e ingenio. Organizados para fomentar la interoperabilidad, el desarrollo comunitario promete mejoras, integraciones y actualizaciones de experiencia de usuario. Los caminos populares se convierten en carreteras pavimentadas. Tales sistemas hacen de los usuarios un ejército de uno mientras apoyan el producto de trabajo codependiente requerido para cualquier caso de uso incluso moderadamente complejo.

Después de todo, un paquete de protones es poderoso, pero cuatro trabajando juntos es invencible.

No tengo miedo a ningún fantasma.