Data Lakes vs. Data Warehouses: Construyendo un patrimonio de datos moderno

27 de julio de 2021

Fuente: MCA Connect | Manufacturing Tomorrow

Los datos llegan a nosotros rápido y en muchas formas. Estas diferentes formas pueden incluir datos estructurados, semi-estructurados, y no estructurados y muchas personas no se dan cuenta de que un data warehouse y un data lake manejan los datos de forma diferente.

Un patrimonio de datos moderno debería proporcionar múltiples métodos de ingestar y almacenar los diversos datos que las empresas generan. Los datos llegan a nosotros rápido y en muchas formas. Estas diferentes formas pueden incluir datos estructurados, semi-estructurados, y no estructurados y muchas personas no se dan cuenta de que un data warehouse y un data lake manejan los datos de forma diferente. Veamos más a fondo estos diferentes tipos de datos:

1. Estructurados – bases de datos tradicionales como la base de datos transaccional para tu sistema ERP o CRM con definiciones formales de columna y tabla
2. Semi-Estructurados – archivos como XML o JSON que son auto-descriptivos con etiquetas para elementos y jerarquías
3. No Estructurados – imágenes, video, audio, y otros datos binarios

Los diseños tradicionales de data warehouse han existido por muchas décadas mientras que el concepto, o al menos el término, data lake es una construcción algo más nueva. Cada uno de estos tiene un lugar en el patrimonio de datos de tu organización.

El Data Warehouse

Como podemos ver arriba, las fuentes de datos pueden ser muy diversas y tener diferentes representaciones de datos, lo que puede llevar a información divergente. Además, la gran variedad de esquemas y estructuras en fuentes de datos hace difícil obtener información consolidada cuando se requiere una instantánea completa de los datos de todos los sub-sistemas de negocio. En general, esta es la razón principal para la aparición de soluciones de Data Warehouse.

Un data warehouse es un diseño formal, frecuentemente basado en directrices de diseño que implementa un proceso ETL (Extraer-Transformar-Cargar) formal para consumir conjuntos de datos estructurados en bruto y cargarlos en un modelo diseñado para reportes. Los data warehouses se construyen sobre bases de datos relacionales como Azure Synapse, anteriormente Microsoft SQL Server. Azure Synapse está diseñado para almacenar datos estructurados en tablas con filas y columnas tradicionales pero tiene la capacidad de almacenar datos semi-estructurados como XML y JSON.

El Data Lake

Un data lake invierte el concepto de ETL y implementa un proceso ELT (Extraer-Cargar-Transformar). Ingerir datos en el data lake es esencialmente lanzar todo lo que crees que puede ser valioso en algún momento en un gran área de almacenamiento independientemente del tipo o estructura de datos. Los data lakes pueden almacenar datos estructurados, semi-estructurados, y no estructurados. Los data lakes entregados en Microsoft Azure se construyen sobre cuentas de almacenamiento con Data Lake Storage Gen2 habilitado al crear la cuenta de almacenamiento.

El pensamiento detrás de un data lake es que quieres consumir todos los datos y los ordenarás en un punto posterior mientras que el data warehouse requiere identificar el valor por adelantado con una inversión significativa desarrollando la ingestión. Debido a la pesada inversión inicial típicamente requerida para desarrollar un data warehouse, si más tarde se determina que necesitas datos que no se trajeron inicialmente, hay un riesgo de que los datos fuente ya no estén disponibles y potencialmente se pierdan para siempre.

Propósito: indeterminado vs en uso

El propósito de piezas individuales de datos en un data lake no es fijo. Datos en bruto fluyen a un data lake, a veces con un uso futuro específico en mente y a veces solo para tener a mano. Esto significa que los data lakes tienen menos organización y menos filtrado de datos que su contraparte.

Datos procesados son datos en bruto que se han puesto a un uso específico. Desde que los data warehouses solo albergan datos procesados, todos los datos en un data warehouse han sido usados para un propósito específico dentro de la organización. Esto significa que el espacio de almacenamiento no se desperdicia en datos que pueden nunca usarse.

Accesibilidad

Accesibilidad y facilidad de uso se refiere al uso del repositorio de datos como un todo, no a los datos dentro de ellos. La arquitectura de data lake no tiene estructura y es por tanto fácil de acceder y fácil de cambiar. Además, cualquier cambio que se haga a los datos puede hacerse rápido ya que los data lakes tienen muy pocas limitaciones.

Los data warehouses son, por diseño, más estructurados. Un beneficio mayor de la arquitectura de data warehouse es que el procesamiento y estructura de datos hace que los datos en sí sean más fáciles de descifrar, las limitaciones de estructura hacen que los data warehouses sean difíciles y costosos de manipular.

Los Beneficios de Ambos

Los data lakes son una forma rentable de almacenar grandes cantidades de datos de muchas fuentes. Permitir datos de cualquier estructura reduce coste porque los datos son más flexibles y escalables ya que no necesitan encajar en un patrón específico. Sin embargo, los datos estructurados son más fáciles de analizar porque son más limpios y tienen un esquema uniforme para consultar. Al restringir datos a un esquema, los data warehouses son muy eficientes para analizar datos históricos para decisiones de datos específicas. Tanto un data warehouse adecuado como un data lake son críticos para el éxito futuro de tu organización y pertenecen a tu patrimonio de datos moderno.

¿Qué es un Patrimonio de Datos?

Establecer un patrimonio de datos moderno es un paso fundamental hacia la transformación digital. Un patrimonio de datos moderno permite insights oportunos y toma de decisiones a través de todos tus datos y establece la base para IA. Un patrimonio de datos es todos los datos que una organización posee. Cuando migras estos datos a la nube o modernizas tu entorno on-premises puedes ganar insights importantes para impulsar innovación.

Data Warehouse Pre-construido Microsoft Dynamics 365, DataCONNECT

Construir un data warehouse puede ser muy caro y consumir mucho tiempo para revisar adecuadamente tus sistemas fuente, diseñar un modelo de datos, y crear el ETL necesario para procesarlo. MCA Connect desarrolló nuestra solución Data Warehouse DataCONNECT para Microsoft Dynamics AX, Dynamics 365 Finance, y Customer Engagement. Esta solución acelera enormemente la línea de tiempo para la entrega de una solución de data warehouse integral mientras reduce costes de implementación. También es una gran manera de empezar a construir tu patrimonio de datos integral.

DataCONNECT puede impulsar organizaciones con información rápida y precisa, dándoles la capacidad de predecir, adaptar y moldear operaciones con precisión. Podrás extraer rápidamente datos validados en modelos de pronóstico, para que puedas comenzar tus ciclos de planificación para áreas de tu negocio. Si te gustaría saber más sobre cómo el Data Warehouse DataCONNECT o un data lake pueden ayudar a tu empresa a almacenar big data, contáctanos. Uno de nuestros expertos estará encantado de guiarte en la dirección correcta.

El contenido y opiniones en este artículo son del autor y no necesariamente representan las vistas de Manufacturing Tomorrow.