Optimizando datos de archivos para data lakes en la nube: Guía práctica

Una estrategia de data lake en la nube es una evolución natural para organizaciones TI empresariales con muchos datos moviéndose a la nube, ya que eleva la nube de un locker barato de almacenamiento a un lugar donde los datos pueden aprovecharse para nuevo valor y monetizarse.

Si 2020 y 2021 fueron los años de aceleración rápida a la nube, 2022 será el año cuando las empresas comiencen a tomarse en serio traer datos de archivos no estructurados a data lakes en la nube. Hay unas pocas razones detrás de esta tendencia. Primero, las organizaciones están sentadas sobre petabytes de datos no estructurados, que comprenden al menos 80% de los 64 zettabytes de datos (y creciendo) en almacenamiento mundial hoy. La mayoría de esto es datos de archivos—desde imágenes médicas a video streaming, datos de sensores de autos eléctricos y productos IoT y documentos que la gente usa en cada sector para colaborar y hacer negocio.

Segundo, los datos de archivos se están volviendo inmanejables, costosos de almacenar y los CIOs saben que están sentados sobre una potencial mina de oro de insights si solo pudieran determinar cómo meterlos en los lugares correctos para análisis. Finalmente, las mayores plataformas de nube están invirtiendo pesadamente en herramientas de analíticas/ML/IA y tiers de almacenamiento de objetos de menor costo para soportar proyectos de data lake.

Ver también: Data Lakes, Datos Time-Series y Analíticas Industriales

La maduración de data lakes hacia la nube

Habilitar data lakes es uno de los principales objetivos que gerentes de TI están priorizando, junto con seguridad, gestión de costos y visibilidad, según un estudio reciente que realizamos. La nube ha trastocado estrategias tradicionales de data lake, que comenzaron cuando empresas quisieron analizar datos semi-estructurados como CSV y archivos de log. En 2006, nació Hadoop, y ganó adopción generalizada justo cuando conversaciones sobre Big Data comenzaban a circular. Sin embargo, Hadoop eventualmente probó ser más lento y más caro de lo esperado, complicado de configurar, escalar y gestionar y principalmente diseñado para procesamiento por lotes. Para resolver estos problemas, Apache Spark entró en escena, corriendo hasta 100x más rápido para algunas cargas de trabajo y bien adaptado para análisis en tiempo real. Importantemente, el foco de empresas como Databricks fue correr Spark en la nube, mientras Hadoop se implementaba principalmente on-premises.

En los últimos años, plataformas de data lake basadas en nube han madurado y están ahora listas para prime time. El almacenamiento de objetos scale-out más barato de proveedores de nube entrega una plataforma para proyectos masivos a escala petabyte que simplemente no es viable on-premises. Data lakes de próxima generación se construyen sobre Apache Spark para soportar almacenamiento de datos S3 u objeto, haciendo posible ingerir y procesar datos semi-estructurados y no estructurados. El almacenamiento de archivos también está transicionando a la nube y necesita aprovecharse como parte de un data lake en la nube, así que no todos los datos pueden estar en almacenamiento de objetos.

Una estrategia de data lake en la nube es una evolución natural para organizaciones TI empresariales con muchos datos moviéndose a la nube, ya que eleva la nube de un locker barato de almacenamiento a un lugar donde los datos pueden aprovecharse para nuevo valor y monetizarse.

Cómo domar el data lake en la nube

Mientras estos son aún días tempranos para data lakes en la nube, incluir datos de archivos en tu data lake es imperativo, ya que modelos de machine learning requieren grandes cantidades de ellos para generar resultados significativos. Sin embargo, estos datos no estructurados no están estandarizados entre tipos de archivo: archivos de video, audio, datos de sensores, logs no comparten una estructura común. Y volcar todos estos datos de archivos a lo loco en la plataforma de data lake en la nube no es una estrategia sabia, sino un lío para limpiar después. A pesar de su promesa, hay muchos riesgos con data lakes, desde altos costos de gestión, brechas de habilidades, preocupaciones de seguridad y gobernanza, problemas de portabilidad al mover datos entre nubes y plataformas de almacenamiento y la preocupación de larga data del data lake convirtiéndose en pantano cuando los datos se vuelven demasiado grandes y enredados para buscar y analizar.

Aquí hay algunas consideraciones al embarcar en traer datos de archivos a un data lake en la nube para evitar o minimizar el conflicto.

1. Optimiza el data lake. Antes que cualquier dato pueda ser analizado debe ser limpiado, normalizado y clasificado, lo que puede ser un proceso altamente manual contribuyendo a sobrecostos y lento time-to-value. Esto siempre ha sido un reto para una iniciativa de data warehouse y lo mismo aplica a data lakes y data lakehouses. Los data lakes son atractivos porque pueden ingerir datos en su formato nativo; requerir optimización antes de poner datos en el lago destruye esta facilidad de uso. ¿Cómo puedes optimizar automáticamente datos de archivos sin requerir cambio en comportamiento de usuario? La clave para optimizar datos de archivos son los metadatos: la información en tipos de archivo, fechas de creación y último acceso, dueños, proyectos y ubicación. La capacidad de indexar y etiquetar archivos automáticamente en propiedades de metadatos evitará problemas de data swamp y hará más fácil buscar y segmentar después, en lugar de solo dejar data lakes sin gestionar.
2. Usa indexación de metadatos para encontrar conjuntos de datos precisos para necesidades específicas. Herramientas que pueden indexar archivos y buscar metadatos a través de almacenamiento (incluyendo on-premises, edge y ubicaciones en nube) pueden reducir miles de millones de archivos a unos pocos miles para que solo estés enviando los archivos precisos que quieres analizar a la nube.
3. Etiqueta datos según vas para mejor buscabilidad y usabilidad. Una vez que encuentras los archivos que necesitas, puedes entonces usar un sistema de machine learning para refinar aún más la búsqueda con más etiquetas. Este proceso debe ser continuo y automatizado, así con el tiempo se desarrolla estructura adicional y viene buscabilidad más fácil a tu data lake junto con calidad general más alta.
4. Acomoda el edge. A medida que edge computing crece debido a nuevos casos de uso de datos de sensores, hacer streaming de datos desde el edge se volverá insostenible. ¿Cómo puedes procesar más datos en el edge y tomar solo lo que necesitas en un data lake en la nube? El pre-procesamiento en el edge se volverá más crítico a medida que volúmenes de datos edge crezcan.
5. Crea taxonomías por industria. No hay nomenclatura de etiquetado estándar para cada industria. Tener algunas clasificaciones de etiquetado comunes por sector hará datos más fáciles de buscar y extraer, especialmente en entornos colaborativos como investigación y ciencias de la vida.
6. Aborda movilidad de datos. Para ser verdaderamente móvil, los datos deberían poder residir en diferentes sistemas a través de entornos híbridos en la nube mientras también acceden nativamente a servicios en esos entornos. Desbloquear datos de sistemas de almacenamiento propietarios devuelve control a TI y elimina fees y molestias de mover datos de una plataforma a la siguiente. La forma en que los datos se usan y acceden y su valor cambia con el tiempo. Al preparar tus datos para el futuro puedes adaptarte a cambio y nuevos requisitos. Soluciones independientes de movilidad y gestión de datos pueden ayudar aquí.
7. Construye la cultura correcta. Las principales organizaciones TI continúan identificando cultura —personas, proceso, organización, gestión del cambio— como el mayor impedimento para convertirse en organizaciones data-driven, según investigación 2021 de New Vantage Partners. Una cultura data-driven necesita abarcar no solo a analistas y líneas de negocio sino equipos de infraestructura TI. Los líderes de TI necesitarán jugar un papel en ayudar a profesionales de almacenamiento, servidores y redes a reorientar sus responsabilidades y tareas diarias hacia un marco de toma de decisiones centrado en datos. Herramientas y procesos deberían ser cross-funcionales, permitiendo una visión holística de los activos de datos de la organización y colaboración alrededor de estrategias para gestionar esos activos para ganancia organizacional.

Los data lakes en la nube han ganado popularidad porque los datos pueden ingerirse en su formato nativo sin el pre-procesamiento extensivo necesario para data warehouses. El lado opuesto es que los data lakes se han convertido en data swamps particularmente para datos de archivos no estructurados, ya que estos datos no tienen estructura común. Analizar datos de archivos se está volviendo más crítico con el auge en motores IA/ML que dependen de ellos. Los data lakes en la nube pueden optimizarse para datos no estructurados sin destruir su atractivo de ingerir datos en formato nativo automatizando la indexación, búsqueda, recopilación y optimización de datos de archivos.