Datos no estructurados:el costo oculto para las industrias:cómo convertirlos en valor

En todas las industrias, los ingenieros y científicos de datos buscan aprovechar mejor los datos ocultos en archivos compartidos y bloqueados en diferentes sistemas. Necesitan estos datos para crear flujos de trabajo para IA y herramientas de análisis para poder aprender más sobre sus mercados, crear nuevos productos y servicios o mejorar las operaciones comerciales y las relaciones con los clientes.

El otro lado de esta ecuación es que los datos empresariales conllevan un gran riesgo que no es bien comprendido por la empresa, ni siquiera dentro de TI. Por ejemplo:

• El almacenamiento de datos y las copias de seguridad representan al menos el 30 % de la mayoría de los presupuestos de TI cuando es necesario gastar dinero en innovación, ciberseguridad y excelentes experiencias para los clientes;
• La mayoría de los datos no estructurados no se aprovechan para generar valor empresarial;
• Un gran porcentaje de datos no estructurados, hasta el 80 %, rara vez se utiliza y ocupa un costoso espacio de almacenamiento;
• Muchas organizaciones no tienen políticas claras de retención y eliminación, ni realizan ejercicios regulares de limpieza de sus datos por temor a que los departamentos respondan. Los datos duplicados por sí solos pueden constituir fácilmente entre el 30 y el 40 % de la huella de datos empresarial promedio;
• Los conjuntos de datos no estructurados desconocidos y no administrados en silos de TI híbridos crean riesgos adicionales de seguridad y cumplimiento.

A continuación presentamos un vistazo a varias industrias y sus requisitos y desafíos de administración de datos, según lo extraído de nuestros años de trabajo con clientes en estrategias de administración de datos no estructurados.

Atención sanitaria:reducir costes sin reducir el acceso a datos vitales  

La atención sanitaria es una bestia de datos. Según algunas estimaciones, las organizaciones sanitarias son los mayores productores de datos del mundo, impulsados ​​en gran medida por el volumen de una variedad de imágenes clínicas y datos de máquinas. La contención de costos es y siempre ha sido un mandato terrible en el ámbito de la atención sanitaria, y más ahora con los cambios en el reembolso de Medicare. Las organizaciones de atención médica también enfrentan estrictas regulaciones de retención de datos y dificultades para eliminar datos debido a requisitos legales y de investigación. 

Un sistema de salud líder, que administra más de 16 PB de almacenamiento NAS, recurrió a la administración de datos no estructurados para analizar y archivar datos fríos en Azure Blob, lo que redujo la presión sobre sus sistemas de almacenamiento primarios. Sin interrumpir a los usuarios, la organización de TI movió más de 2 PB de datos, lo que ayudó a retrasar costosas actualizaciones de hardware. 

Para las organizaciones con requisitos de cadena de custodia, comunes en industrias reguladas como la atención médica, la visibilidad de la ubicación de los archivos y los metadatos es fundamental. Finalmente, como el cumplimiento es una necesidad siempre presente dada la alta sensibilidad en torno a los datos de los pacientes, la visibilidad, la búsqueda y la auditoría completas de los datos no estructurados brindan a los directores de TI de salud un mayor control para reducir los riesgos.

Ciencias biológicas:convertir el caos de datos en aceleración de la investigación

Las organizaciones de ciencias biológicas también son uno de los mayores sectores productores de datos. A menudo se ocupan de millones de archivos pequeños pero de gran valor, ráfagas de datos impredecibles y la necesidad de retención a largo plazo sin políticas de eliminación claras. Estos factores complican la planificación de la infraestructura de TI.

En los laboratorios biofarmacéuticos y biotecnológicos, la explosión de archivos de imágenes TIF de instrumentos científicos crea desafíos adicionales. En un ejemplo, una empresa pasó de datos de investigación almacenados localmente a una matriz NAS centralizada. Para seguir el ritmo del rápido crecimiento, el equipo de TI implementó niveles de nube en Azure y utilizó análisis de datos para identificar y mover datos obsoletos. Esto evitó el aprovisionamiento excesivo y ayudó a TI a respaldar los procesos de investigación sin cuellos de botella. 

Los equipos de TI empresariales normalmente no pueden ver información sobre sus datos almacenados en un solo lugar, afirmó Anthony Fiore, experto en soluciones de almacenamiento de AWS. La visibilidad detallada, proporcionada por el software de gestión de datos, resulta interesante para el personal de TI de ciencias biológicas y otros sectores:"Tenemos clientes con recursos compartidos NAS que contienen muchos silos de datos en un solo recurso compartido, y es difícil saber cómo pueden dividirlos por línea de negocio o si siquiera les interesan estos datos. Pero una vez que ven todos los metadatos, comprenden mejor cómo funciona todo y luego pueden etiquetarlos y buscarlos más tarde".

Servicios financieros:elimine el riesgo y potencie la IA con datos limpios y gobernados

Las instituciones financieras operan bajo estrictas restricciones regulatorias (por ejemplo, SEC, FINRA, GDPR) y a menudo se ven agobiadas por décadas de crecimiento del porcentaje de archivos. La dispersión de datos, el control de TI descentralizado y el cumplimiento hacen que la gestión de datos basados ​​en archivos sea extremadamente compleja. Además, las instituciones financieras deben garantizar que los modelos de inteligencia artificial utilizados para el riesgo crediticio, la detección de fraude o el comercio se gobiernen de manera adecuada y estén libres de sesgos y datos obsoletos. Tener una forma sistemática de comprender, limpiar, clasificar datos y crear flujos de trabajo de datos de IA seguros y monitoreados es un requisito cada vez mayor. 

Para una empresa de seguros multinacional, el cambio a Azure no solo significó ahorro de costos, sino también modernización, análisis y preparación para la IA. Utilizaron la gestión de datos no estructurados para reducir las necesidades de capacidad en el costoso almacenamiento primario en el centro de datos, organizando más de 600 TB en almacenamiento en la nube de objetos de menor costo. También utilizan herramientas basadas en la nube para desarrollar productos de seguros mejorados con inteligencia artificial, y los datos no estructurados forman una parte fundamental de esos modelos predictivos. La capacidad de clasificar y segmentar datos no estructurados antes de la incorporación de IA es fundamental para gestionar los costos y ofrecer resultados precisos.

Ver también: Escapar de la trampa del almacenamiento de datos con inteligencia visual en tiempo real

Gobierno estatal y local:ampliar la vida útil de la infraestructura y fortalecer la supervisión de datos

Las organizaciones de TI del sector público tienden a tener una infraestructura obsoleta y un mayor porcentaje de aplicaciones heredadas que el sector privado. Quieren modernizarse, pero los presupuestos suelen ser ajustados y la adopción de la nube es mínima debido a las políticas de seguridad, junto con mandatos legales que exigen la retención de datos sin rutas claras de eliminación. Los líderes de TI deben equilibrar la prestación de servicios con estrictos requisitos de cumplimiento. 

Para las agencias estatales, archivar archivos en la nube ayuda a reducir la dependencia del hardware antiguo. La visibilidad de las fechas de última modificación/acceso permite que TI retire del almacenamiento de alto rendimiento los datos a los que se accede en raras ocasiones. Al mismo tiempo, integrar los sistemas de gestión de datos y almacenamiento con herramientas de seguridad y cumplimiento es fundamental para garantizar un acceso seguro y auditable. Aunque la adopción de niveles de datos sigue siendo cautelosa, muchas agencias están utilizando informes para justificar políticas de ciclo de vida de datos no estructurados, especialmente en torno a datos departamentales estancados.

Ingeniería y arquitectura:gane más proyectos desbloqueando el valor de los datos ocultos

Las empresas de ingeniería y diseño generan datos no estructurados a escala masiva, especialmente a partir de archivos CAD, GIS y modelado 3D. Estos archivos son grandes y difíciles de administrar, especialmente entre equipos distribuidos y sistemas heredados de la actividad de fusiones y adquisiciones. Estas empresas necesitan preservar los datos históricos del proyecto para referencia, responsabilidad y reutilización. Una empresa global, que gestiona más de 6 PB, utiliza la gestión de datos no estructurados para identificar y mover archivos de proyectos de más de tres años a un archivo de Cloudian, respaldado en Azure. Esto preserva el rendimiento en las matrices HPE activas y al mismo tiempo mantiene la accesibilidad. En un caso, las consultas en sus almacenes de datos de archivos les ayudaron a localizar rápidamente datos de pruebas de suelo para un proyecto en un área propensa a terremotos, ahorrando tiempo y respaldando un diseño de infraestructura crítica.

A medida que continúan integrando adquisiciones, la empresa utiliza análisis para evaluar los servidores de archivos recién heredados. Esta visibilidad les permite priorizar qué conservar, migrar o archivar. Su objetivo es eventualmente indexar todos los datos no estructurados, permitiendo el modelado basado en IA y reduciendo los silos de conocimiento entre las unidades de negocio.

Energía:mejorar la eficiencia del campo y el cumplimiento con datos centralizados

Estas empresas enfrentan limitaciones de sitios remotos, ancho de banda variable, cumplimiento de regulaciones operativas y de seguridad internacionales y una necesidad cada vez mayor de admitir diagnósticos remotos basados en datos y gemelos digitales.

En una empresa, la decisión de adoptar la gestión de datos no estructurados surgió de la necesidad de retirar el almacenamiento perimetral en cientos de ubicaciones remotas. Con la acumulación de registros de vídeo, dibujos y registros de mantenimiento en el extranjero, comenzaron a archivar datos fríos en Azure para centralizar y controlar sus datos no estructurados.

Con los modelos de contracargo implementados, el conocimiento de los datos de los archivos se volvió crucial para la responsabilidad departamental. El objetivo a largo plazo es respaldar los flujos de trabajo de datos de levantamientos e inspección, como imágenes submarinas de ROV, en entornos preparados para IA para el mantenimiento predictivo y el cumplimiento. 

Semiconductores/Fabricación:proteja la propiedad intelectual y reduzca la costosa huella de almacenamiento

Las empresas de semiconductores deben proteger la propiedad intelectual de alto valor, gestionar datos distribuidos globalmente y cumplir con estrictos controles de exportación y requisitos de seguridad, al tiempo que garantizan que los ingenieros tengan acceso de alto rendimiento a conjuntos de datos activos.

Un fabricante mundial de semiconductores utiliza equipos de escaneo altamente especializados que generan grandes cantidades de datos de imágenes patentados. Dado que el 97 % de los datos aún se almacenan en las instalaciones, necesitaban un método eficiente para archivar datos de escaneo más antiguos sin comprometer la protección IP o el rendimiento de recuperación. Al combinar la gestión de datos no estructurados con el almacenamiento Cloudian S3, implementaron políticas de datos fríos para mover cualquier archivo al que no se haya accedido en 12 meses fuera de los servidores primarios. Con la preservación de enlaces simbólicos y el seguimiento de metadatos, la empresa garantizó el cumplimiento de los protocolos internos de manejo de IP y redujo la dependencia del costoso NAS primario.

Conclusión:Transformar los datos no estructurados en un activo empresarial estratégico

En todos los sectores, la gestión de datos no estructurados ya no es sólo una táctica de ahorro de costes sino un facilitador estratégico. Ya sea apoyando los flujos de trabajo de IA en seguros, manteniendo el cumplimiento normativo en el sector sanitario o optimizando la infraestructura en la fabricación, las organizaciones están reconociendo la necesidad de combinar la gestión de datos con un acceso y movimiento flexibles de datos.