The Modern Data Estate:Data Lake frente a Data Warehouse

  27 de julio de 2021

Fuente:MCA Connect | Fabricando mañana

Los datos nos llegan rápidamente y de muchas formas. Estos diferentes formularios pueden incluir datos estructurados, semiestructurados y no estructurados, y muchas personas no se dan cuenta de que un almacén de datos y un lago de datos manejan los datos de manera diferente.

Un estado de datos moderno debe proporcionar múltiples métodos para ingerir y almacenar los diversos datos que generan las empresas. Los datos nos llegan rápidamente y de muchas formas. Estos diferentes formularios pueden incluir datos estructurados, semiestructurados y no estructurados, y muchas personas no se dan cuenta de que un almacén de datos y un lago de datos manejan los datos de manera diferente. Veamos más a fondo estos diferentes tipos de datos:

Estructurado:bases de datos tradicionales como la base de datos transaccional para su sistema ERP o CRM con definiciones formales de columnas y tablas
Semi-estructurado:archivos como XML o JSON que se autodescriben con etiquetas para elementos y jerarquías
No estructurado:imágenes, video, audio y otros datos binarios

Los diseños tradicionales de almacenamiento de datos han existido durante muchas décadas, mientras que el concepto, o al menos el término, lago de datos es una construcción algo más nueva. Cada uno de estos tiene un lugar en el patrimonio de datos de su organización.

El almacén de datos

Como podemos ver arriba, las fuentes de datos pueden ser muy diversas y tener diferentes representaciones de datos, lo que puede dar lugar a información divergente. Además, la gran variedad de esquemas y estructuras en las fuentes de datos dificulta la obtención de información consolidada cuando se requiere una instantánea completa de los datos de todos los subsistemas comerciales. En general, esta es la razón principal de la aparición de soluciones de almacenamiento de datos.

Un almacén de datos es un diseño formal, frecuentemente basado en pautas de diseño que se implementa para que el proceso formal ETL (Extraer-Transformar-Cargar) consuma conjuntos de datos estructurados y sin procesar y los cargue en un modelo diseñado para generar informes. Los almacenes de datos se basan en bases de datos relacionales como Azure Synapse, anteriormente Microsoft SQL Server. Azure Synapse está diseñado para almacenar datos estructurados en tablas con filas y columnas tradicionales, pero tiene la capacidad de almacenar datos semiestructurados como XML y JSON.

El lago de datos

Un lago de datos da la vuelta al concepto de ETL e implementa un proceso ELT (Extracción-Carga-Transformación). La ingesta de datos en el lago de datos consiste esencialmente en arrojar todo lo que cree que puede ser valioso en algún momento en un área de almacenamiento grande, independientemente del tipo o estructura de datos. Los lagos de datos pueden almacenar datos estructurados, semiestructurados y no estructurados. Los lagos de datos entregados en Microsoft Azure se basan en cuentas de almacenamiento con Data Lake Storage Gen2 habilitado al crear la cuenta de almacenamiento.

La idea detrás de un lago de datos es que desea consumir todos los datos y los clasificará en un momento posterior, mientras que el almacén de datos requiere identificar el valor por adelantado con una inversión significativa en el desarrollo de la ingestión. Debido a la gran inversión inicial que normalmente se requiere para desarrollar un almacén de datos, si luego se determina que necesita datos que no se ingresaron inicialmente, existe el riesgo de que los datos de origen ya no estén disponibles y posiblemente desaparezcan para siempre.

Propósito:indeterminado frente a en uso

El propósito de las piezas de datos individuales en un lago de datos no es fijo. Los datos sin procesar fluyen hacia un lago de datos, a veces con un uso futuro específico en mente y, a veces, solo para tenerlos a mano. Esto significa que los lagos de datos tienen menos organización y menos filtración de datos que su contraparte.

Los datos procesados son datos sin procesar que se han utilizado para un uso específico. Dado que los almacenes de datos solo albergan datos procesados, todos los datos en un almacén de datos se han utilizado para un propósito específico dentro de la organización. Esto significa que el espacio de almacenamiento no se desperdicia en datos que tal vez nunca se utilicen.

Accesibilidad

La accesibilidad y la facilidad de uso se refieren al uso del repositorio de datos como un todo, no a los datos que contienen. La arquitectura del lago de datos no tiene estructura y, por lo tanto, es de fácil acceso y fácil de cambiar. Además, cualquier cambio que se realice en los datos se puede realizar rápidamente, ya que los lagos de datos tienen muy pocas limitaciones.

Los almacenes de datos están, por diseño, más estructurados. Un beneficio importante de la arquitectura del almacén de datos es que el procesamiento y la estructura de los datos hace que los datos en sí sean más fáciles de descifrar, las limitaciones de la estructura hacen que los almacenes de datos sean difíciles y costosos de manipular.

Los beneficios de ambos

Los lagos de datos son una forma rentable de almacenar grandes cantidades de datos de muchas fuentes. Permitir datos de cualquier estructura reduce el costo porque los datos son más flexibles y escalables, ya que los datos no necesitan ajustarse a un patrón específico. Sin embargo, los datos estructurados son más fáciles de analizar porque son más limpios y tienen un esquema uniforme para realizar consultas. Al restringir los datos a un esquema, los almacenes de datos son muy eficientes para analizar datos históricos para decisiones de datos específicas. Tanto un almacén de datos adecuado como un lago de datos son fundamentales para el éxito futuro de su organización y pertenecen a su estado de datos moderno.

¿Qué es un Data Estate?

Establecer un estado de datos moderno es un paso fundamental hacia la transformación digital. Un estado de datos moderno permite información y toma de decisiones oportunas en todos sus datos y sienta las bases para la inteligencia artificial. Un estado de datos son todos los datos que posee una organización. Cuando migra estos datos a la nube o moderniza su entorno local, puede obtener información importante para impulsar la innovación.

Almacén de datos prediseñado de Microsoft Dynamics 365, DataCONNECT

La construcción de un almacén de datos puede resultar muy costosa y llevar mucho tiempo para revisar adecuadamente sus sistemas de origen, diseñar un modelo de datos y crear el ETL necesario para procesarlo. MCA Connect desarrolló nuestra solución DataCONNECT Data Warehouse para Microsoft Dynamics AX, Dynamics 365 Finance y Customer Engagement. Esta solución acelera en gran medida el cronograma para la entrega de una solución integral de almacenamiento de datos al tiempo que reduce los costos de implementación. También es una excelente manera de comenzar a construir su patrimonio de datos integral.

DataCONNECT puede alimentar a las organizaciones con información rápida y precisa, dándoles la capacidad de predecir, adaptar y dar forma a las operaciones con precisión. Podrá extraer rápidamente datos validados en modelos de pronóstico, de modo que pueda comenzar sus ciclos de planificación para áreas de su negocio. Si desea obtener más información sobre cómo DataCONNECT Data Warehouse o un lago de datos pueden ayudar a su empresa a almacenar macrodatos, comuníquese con nosotros. Uno de nuestros expertos estará encantado de guiarle en la dirección correcta.

El contenido y las opiniones de este artículo pertenecen al autor y no representan necesariamente las opiniones de Manufacturing Tomorrow.

28 de abril de 2020

8 respuestas interesantes en menos
de 8 minutos

IoB 8 × 8 Series de Internet of Business está diseñado para revelar más sobre las personas que han ayudado a dar forma a los eventos en vivo y el contenido digital de IoB a lo largo de los años, eligiendo los cerebros clave de la industria que han dedicado
tiempo a educar a sus pares.

Jessica Tyler, presidenta de carga y vicepresidenta de operaciones, innovación y entrega de American Airlines, profundiza en lo que realmente significa la innovación para la aerolínea insignia, cómo gestionar el cambio dentro de una empresa de 95 años y qué reflexiones COVID ha traído. Nos sentimos honrados de que Jessica pueda aportar su experiencia en cadenas de suministro y logística a CONSTRUYENDO UNA RED DE SUMINISTRO DIGITALIZADA MEDIANTE TECNOLOGÍA, TRANSPARENCIA Y TALENTO panel de discusión en Supply Chain X.0 el 26 de mayo de 2021 !

“La tecnología suele estar en el centro de lo que hacemos, y si optimizamos sus capacidades y armamos a nuestros equipos con las herramientas adecuadas, las oportunidades son infinitas para el equipo para seguir haciendo lo que mejor saben hacer. Espero aprender y compartir. ¡Es a través de este tipo de evento que todos seguimos creciendo! "

IoB: ¿Puede describir su función actual en American Airlines en un par de frases?
JT: Mi nuevo cargo como presidente de carga y vicepresidente de innovación y entrega de operaciones es una oportunidad emocionante para liderar la división de carga, al mismo tiempo que brindamos apoyo a todos nuestros grupos de operaciones a medida que continuamos modernizando e innovando nuestros procesos y tecnología. Apoyo los aspectos comerciales y operativos de nuestra organización de carga y trabajo con nuestro equipo para fortalecer las soluciones estratégicas que ayudan a los clientes a hacer crecer sus negocios. La parte de innovación y entrega de operaciones de mi función incluye un equipo que analiza estratégicamente cómo estamos apoyando a nuestro equipo y brindando una experiencia de cliente excepcional. Este equipo evalúa cómo podemos operar una aerolínea más confiable y eficiente, trabajando en toda la operación para optimizar la tecnología utilizada por los miembros de nuestro equipo en la primera línea. Trabajo con algunos de los pensadores más talentosos e innovadores de nuestra industria. Juntos, estamos dedicados a brindarles a los miembros de nuestro equipo las herramientas que necesitan para continuar creando la mejor experiencia posible para el cliente.

IoB: ¿Cuál es el aspecto más gratificante de su trabajo?
JT: Cuando miro al equipo que me rodea, me inspira lo fuertes y colaborativos que son todos los días. Durante el año pasado, utilizaron cada desafío como una oportunidad de aprendizaje para adaptarse y avanzar. Esto los ha convertido en los profesionales más versátiles y ágiles del negocio, y ese es un rasgo importante que se les ha dado en un entorno impredecible.

Creamos un grupo apasionado por el papel que desempeñamos en la economía mundial y por ayudar a las personas y las empresas a prosperar. Se preocupan genuinamente el uno por el otro y atienden a nuestros clientes al forjar relaciones profundas. Es extremadamente gratificante ver el orgullo que sienten no solo por el trabajo que hacen, sino también por las relaciones que han establecido.

IoB: Y, ¿cuál es el más desafiante?
JT: El desafío para cualquier cadena de suministro es que está en deuda con prácticas de décadas en las que la información fluye de manera ineficiente. La industria de la carga es una que está especialmente preparada para la modernización y la disrupción. Cada miembro de la cadena de suministro intenta resolver el mismo desafío, desde el remitente hasta el transitario, los transportistas terrestres y aéreos, entre otros. Todos quieren una precisión, transparencia y seguimiento de datos más efectivos, pero todos tienen sus propios sistemas y utilidades.

En American, hemos logrado avances increíbles en la optimización de estos sistemas, incluida la implementación de nuestro sistema IBS iCargo, del que hablaré más adelante. Con la implementación completa, ahora estamos enfocados en aprovechar las capacidades de esta plataforma para evolucionar y ayudar a que los negocios de nuestros clientes tengan éxito.

"Todo el mundo quiere una precisión, transparencia y seguimiento de datos más eficaces, pero todos tienen sus propios sistemas y utilidades".

IoB: ¿Qué significa la innovación para usted y cómo cree que American Airlines es líder en ella?
JT: Para mí, la innovación significa cultivar un entorno en el que se alienta a los miembros del equipo a ser aprendices de por vida. Un miembro innovador del equipo es alguien que siempre muestra curiosidad, está ansioso por crecer y continuamente busca aprender. Al atraer a este tipo de miembros del equipo, American ha creado un entorno en el que se fomentan y desarrollan ideas nuevas y emocionantes. Si una organización puede crear este tipo de lugar de trabajo, los miembros talentosos del equipo se sienten valorados, conectados con la misión y contribuyen de manera extraordinaria.

La innovación también significa escuchar y prestar atención a la marea creciente que te rodea. Apegarse únicamente a un plan estratégico de cinco años es cosa del pasado. La nueva norma es alinear su propósito y los resultados que busca, y luego desatar el talento para adaptarse, crear y entregar. Mi carrera me ha permitido ser parte de una serie de esfuerzos de transformación y me siento agradecido de trabajar junto a miembros del equipo que son reflexivos y estratégicos sobre la parte humana de la transformación. El progreso es fundamentalmente un deseo humano. Es lo que da energía a nuestro equipo todos los días.

IoB: ¿Cómo ha cambiado la tecnología sus prácticas en los últimos años?
JT: La tecnología ha sido increíblemente crucial en la forma en que atendemos mejor las necesidades de nuestros clientes y nos aseguramos de que nuestro equipo tenga las herramientas que necesitan para tener éxito. En el otoño de 2019, pasamos de usar más de 90 sistemas, algunos de los cuales tenían 40 años, a alrededor de 10 sistemas. La implementación de estos nuevos sistemas y la eliminación de los redundantes fue la iniciativa más compleja que he liderado en mi carrera, pero ha sido fundamental para permitir una transformación real en la forma en que pensamos, dirigimos y administramos nuestro negocio.

Sin embargo, la tecnología es tan buena como el equipo que sabe cómo aprovecharla para nuestros clientes. Estamos enfocados en equipar a nuestro equipo y líderes para que piensen de manera diferente a través de la capacitación, el desarrollo profesional y el tiempo para aprender unos de otros. Si bien reconocemos que no se puede eliminar por completo la complejidad, un equipo bien preparado que sepa cómo aprovechar la tecnología puede impulsar la eficiencia y permitirnos brindar una experiencia de cliente fluida.

“La innovación también significa escuchar y prestar atención a la marea creciente que te rodea. Apegarse únicamente a un plan estratégico de cinco años es cosa del pasado. La nueva norma es alinear su propósito y los resultados que busca, y luego liberar el talento para adaptarse, crear y entregar ".

IoB: ¿Qué impacto ha tenido el cambio impulsado por la tecnología en la cultura y cómo aborda American Airlines la gestión del cambio?
JT: En American Airlines Cargo, reconocimos desde el principio que cambiar la forma en que enfocamos nuestro trabajo iba a ser más un cambio de mentalidad, que simplemente crear nuevos procesos y capacitación. La modernización nunca termina. Nuestro equipo continúa encontrando formas de mejorar las experiencias de los miembros de nuestro equipo y de nuestros clientes, desde mejorar la disponibilidad de datos precisos a lo largo del viaje hasta proporcionar herramientas para que nuestros clientes puedan autoservicio, lo que facilita hacer negocios con American. Encontrar y desarrollar talentos diversos y construir una cultura que se centre en optimizar el potencial de cada individuo, un equipo y, en última instancia, la organización es la base de un negocio bueno y próspero.

IoB: ¿Cómo afectó la pandemia su función y su negocio, y cómo ha abordado los desafíos que ha planteado?
JT: Honestamente, esta pandemia nos ha permitido poner nuestras mayores fortalezas a trabajar para ayudar al mundo a recuperarse. Además del propósito central de nuestro equipo - mover bienes críticos alrededor del mundo que contribuyen a la economía y la vida de las personas - nuestra fortaleza como equipo es que somos el sistema de apoyo de los demás. Esa fuerza cultural nos ha ayudado a todos en este momento difícil. Nos ha permitido seguir produciendo resultados financieros y operativos increíbles porque enfocamos esta fortaleza en asociarnos más estrechamente entre nosotros e incluso más profundamente con nuestros clientes.

Tenemos un historial comprobado de trabajar en estrecha colaboración con nuestros clientes todos los días, lo que nos permite comprender mejor sus necesidades actuales. La pandemia nos hace inclinarnos más hacia nuestros clientes, enfocándonos en oportunidades estratégicas que nos ayuden a crecer y evolucionar a medida que servimos al mundo.

“En American Airlines Cargo, reconocimos desde el principio que cambiar la forma en que enfocamos nuestro trabajo iba a consistir más en cambiar la mentalidad, que simplemente en crear nuevos procesos y capacitación. . ”

IoB: ¿Qué espera obtener al unirse a los eventos de Fabricación y cadena de suministro X.0?
JT: Espero reunirme con otros líderes de la industria y líderes de opinión y aprender unos de otros sobre innovación y mejora. Para mí específicamente, estoy emocionado por el panel en el que estoy participando:"Construyendo una red de suministro digitalizada a través de la tecnología, la transparencia y el talento". Siento una fuerte necesidad de crecer e invertir en talento, cultivar el crecimiento y liderar con transparencia. La tecnología suele estar en el centro de lo que hacemos, y si optimizamos sus capacidades y armamos a nuestros equipos con las herramientas adecuadas, las oportunidades son infinitas para que el equipo continúe haciendo lo que mejor saben hacer. Espero aprender y compartir. ¡Es a través de este tipo de evento que todos seguimos creciendo!

Jessica Tyler fue nombrada presidenta de Cargo en junio de 2020. Su función incluye liderar los equipos responsables de el éxito del negocio de carga de American, que va desde la generación de ingresos hasta la entrega de excelencia operativa y de servicio al cliente constante para los clientes de carga de American. En enero de 2021, su función se amplió para incluir Innovación y entrega de operaciones. Con esta responsabilidad adicional, trabaja con equipos de vuelo, aeropuertos, servicio de vuelo, operaciones técnicas y seguridad para continuar la modernización de las tecnologías críticas que los miembros del equipo utilizan para brindar una experiencia de cliente consistente y confiable. Jessica se desempeñó recientemente como vicepresidenta de excelencia aeroportuaria, un cargo combinado con el de presidenta de carga, donde dirigió los equipos en las organizaciones de carga y aeropuerto para respaldar la excelencia operativa y de servicio al cliente.