Ya sea cazafantasmas o análisis de datos:cruce las corrientes

Aprovechar los flujos de datos, unir eventos por lotes y en tiempo real, permite a los científicos y analistas de datos abordar problemas sofisticados.

Los flujos individuales brindan datos relacionados con una dimensión particular:el precio de una acción, el pedido de un cliente, la métrica de un dispositivo. Los análisis y las aplicaciones pueden ser atendidos por un solo flujo de datos, pero los usos son limitados y locales.

Cruzar arroyos revela posibilidades más grandiosas, llenas de historia, contexto y señales relacionadas. Cuando nuestros héroes de los Cazafantasmas (Venkman y la pandilla) necesitaban estar a la altura del desafío (y derrotar al Sr. Stay Puft), unieron fuerzas, ¡y fluyen! El todo era mayor que la suma de las partes.

En nuestra comunidad, los científicos de datos, analistas y desarrolladores también están llamados a la acción. Aprovechar los flujos de datos, unir eventos por lotes y en tiempo real, le permite abordar problemas sofisticados. Y, como con Venkman, a veces necesitas que otros traigan su equipo y te ayuden. Aquí hay cuatro componentes vitales para que el cruce de arroyos sea exitoso:

1) Reúne datos, casos de uso y personas.

Acelerar la innovación, maximizar la eficiencia y brindar flexibilidad son prioridades establecidas para sistemas de datos sofisticados. Una columna vertebral de software ágil y en evolución logra estos objetivos. Los componentes principales de código abierto proporcionan la agilidad y la interoperabilidad a largo plazo que son fundamentales para el éxito.

Las herramientas evolucionan y, a veces, necesitas usar esa nueva trampa para fantasmas.

2) Prepare su pila de datos para el futuro con formatos de código abierto.

La portabilidad de datos ha sido durante mucho tiempo un requisito sagrado para los equipos de datos empresariales. Los jardines amurallados crean una deuda futura, y la dependencia de un proveedor tiene un costo tácito a largo plazo, que a menudo se paga con lastre comercial. Almacenar datos usando formatos abiertos.

CSV y JSON han sido grandes durante años, con Avro, Protobuffs, Parquet, Orc y otros ganando popularidad recientemente. Tienen razones respectivas para existir, pero cada uno se basa en la entrega de datos estructurados a una plétora de sistemas independientes, agnósticos y ajenos a la informática posterior.

A medida que la magnitud de los datos ha escalado y el costo financiero y de latencia relacionado con el movimiento de datos se ha agravado, el concepto de datos abiertos ahora incluye formatos en memoria, no solo el tipo que persiste en el disco. Ahora, a menudo, es inaceptable exigir que los datos se copien, muevan, serialicen o traduzcan de alguna manera. En particular, la importante comunidad de Apache Arrow se beneficia de su capacidad para servir datos en memoria a una variedad de bibliotecas de procesamiento de datos en muchos idiomas con una sobrecarga mínima, lecturas sin copia y acceso rápido a escala.

Pero recordemos, en Cazafantasmas, los datos fueron solo el comienzo de la aventura.

3) Hacer que unir datos estáticos y en tiempo real sea un requisito fundamental.

Un motor de datos moderno debe reunir datos de una variedad de fuentes. La jerga de almacén, lago y la casa del lago con forma de centauro ahora son imágenes comunes. Sin embargo, la creciente popularidad de los flujos de eventos es un canario no tan silencioso que sugiere que los datos estáticos ya no son la historia completa.

Cambios de datos. Las cargas de trabajo modernas viven en un estado de flujo. Los datos en tiempo real importan.

Los motores de datos y las bibliotecas de procesamiento deben diseñarse para abordar y moverse con fluidez entre las cargas de trabajo de datos estáticos y en tiempo real. “Inteligencia continua” es una frase de moda para los sistemas que combinan el contexto de la historia con las señales de eventos del momento. Los sistemas de datos modernos deben construirse para procesar datos en tiempo real, flujos de eventos y otras actualizaciones como una competencia de primera clase. Estas deben ser fortalezas centrales, no complementos, no ideas de último momento.

Después de todo, como aprendimos en Cazafantasmas, los guardianes y los maestros de llaves son mucho menos poderosos hasta que se unen.

4) Pon siempre al usuario primero.

Los usuarios de datos de hoy en día tienen una variedad de habilidades, herramientas, flujos de trabajo y prioridades. Unir un equipo en torno a una plataforma compartida sirve al individuo mientras energiza al equipo. Los sistemas de datos que maximizan la eficiencia de las personas y fomentan la colaboración impulsan el valor empresarial.

El software de datos abiertos ilumina el camino. La intrigante combinación de cooperación y competencia en proyectos abiertos produce un ritmo de progreso e ingenio sin igual. Organizado para fomentar la interoperabilidad, el desarrollo comunitario promete mejoras, integraciones y mejoras en la experiencia del usuario. Los caminos populares se convierten en caminos pavimentados. Dichos sistemas hacen que los usuarios sean un ejército de uno mientras respaldan el producto de trabajo codependiente requerido para cualquier caso de uso, incluso moderadamente complejo.

Después de todo, un paquete de protones es poderoso, pero cuatro trabajando juntos son invencibles.

No tengo miedo de ningún fantasma.