Datos No Estructurados: El Coste Oculto para las Industrias – Cómo Convertirlos en Valor

En cada industria, ingenieros de datos y científicos de datos buscan aprovechar mejor los datos ocultos en recursos compartidos de archivos y bloqueados en diferentes sistemas. Necesitan estos datos para crear flujos de trabajo para herramientas de IA y analítica para aprender más sobre sus mercados, crear nuevos productos y servicios, o mejorar operaciones empresariales y relaciones con clientes.

El otro lado de la ecuación es que los datos empresariales conllevan un riesgo amplio que no es bien comprendido por el negocio, ni siquiera dentro de TI. Por ejemplo:

• El almacenamiento de datos y backups constituyen al menos el 30% de la mayoría de presupuestos de TI cuando el dinero necesita gastarse en innovación, ciberseguridad y grandes experiencias de cliente;
• La mayoría de los datos no estructurados no se aprovechan para valor empresarial;
• Un gran porcentaje de datos no estructurados, hasta el 80%, rara vez se usa y ocupa espacio de almacenamiento costoso;
• Muchas organizaciones no tienen políticas claras de retención y eliminación, ni realizan ejercicios regulares de limpieza de sus datos por temor a que los departamentos reaccionen mal. Solo los datos duplicados pueden constituir fácilmente del 30 al 40% de la huella de datos promedio de una empresa;
• Estados de datos no estructurados no gestionados y desconocidos a través de silos de TI híbridos crean riesgos adicionales de seguridad y cumplimiento.

Aquí hay un vistazo a varias industrias y sus requisitos y desafíos de gestión de datos, extraídos de nuestros años trabajando con clientes en estrategias de gestión de datos no estructurados.

Sanidad: Reducir Costes Sin Recortar Acceso a Datos Vitales

La sanidad es una bestia de datos. Por algunas estimaciones, las organizaciones sanitarias son los mayores productores de datos del mundo, impulsados en gran medida por el volumen de una variedad de imágenes clínicas y datos de máquinas. La contención de costes es y siempre ha sido un mandato urgente en sanidad, y aún más ahora con cambios en el reembolso de Medicare. Las organizaciones sanitarias también enfrentan estrictas regulaciones de retención de datos y dificultades para eliminar datos debido a requisitos legales y de investigación.

Un sistema de salud líder, gestionando más de 16 PB de almacenamiento NAS, recurrió a la gestión de datos no estructurados para analizar y archivar datos fríos en Azure Blob, reduciendo la presión en sus sistemas de almacenamiento primario. Sin interrumpir a los usuarios, la organización de TI movió más de 2 PB de datos, ayudando a retrasar costosas actualizaciones de hardware.

Para organizaciones con requisitos de cadena de custodia, comunes en industrias reguladas como la sanidad, la visibilidad sobre ubicación de archivos y metadatos es crítica. Finalmente, como el cumplimiento es una necesidad siempre presente dada la alta sensibilidad alrededor de datos de pacientes, la visibilidad completa, búsqueda y auditoría de datos no estructurados dan a los directores de TI de salud mayor control para reducir riesgos.

Ciencias de la Vida: Convirtiendo el Caos de Datos en Aceleración de Investigación

Las organizaciones de Ciencias de la Vida también son uno de los sectores que más datos producen. A menudo lidian con millones de archivos pequeños pero de alto valor, ráfagas de datos impredecibles y la necesidad de retención a largo plazo sin políticas claras de eliminación. Estos factores complican la planificación de infraestructura TI.

En biofarmacéuticos y laboratorios biotecnológicos, la explosión de archivos de imagen TIF de instrumentos científicos crea desafíos adicionales. En un ejemplo, una empresa pasó de datos de investigación almacenados localmente a un array NAS centralizado. Para mantener el ritmo con el crecimiento rápido, el equipo de TI desplegó tiering a cloud en Azure y usó analítica de datos para identificar y mover datos obsoletos. Esto previno el sobreaprovisionamiento y ayudó a TI a soportar pipelines de investigación sin cuellos de botella.

Los equipos de TI empresariales típicamente no pueden ver información sobre sus datos almacenados en un solo lugar, dijo Anthony Fiore, experto en soluciones de almacenamiento en AWS. La visibilidad detallada, entregada por software de gestión de datos, entusiasma a la gente de TI en ciencias de la vida y otros sectores: "Tenemos clientes con recursos compartidos NAS que contienen muchos silos de datos en un solo recurso, y es difícil saber cómo pueden dividirlos por línea de negocio o si incluso les importan esos datos. Pero una vez que ven todos los metadatos, obtienen una mejor comprensión de cómo funciona todo, y luego pueden etiquetar y buscar para más tarde."

Servicios Financieros: Eliminar Riesgo e Impulsar IA con Datos Limpios y Gobernados

Las instituciones financieras operan bajo estrictas restricciones regulatorias (ej. SEC, FINRA, GDPR) y a menudo están cargadas con décadas de crecimiento de recursos compartidos de archivos. La dispersión de datos, el control TI descentralizado y el cumplimiento hacen que la gestión de datos basados en archivos sea extremadamente compleja. Además, las instituciones financieras deben asegurar que los modelos de IA usados para riesgo crediticio, detección de fraude o trading estén gobernados apropiadamente y libres de sesgos y datos obsoletos. Tener una forma sistemática de entender, limpiar, clasificar datos y crear flujos de trabajo de datos de IA seguros y monitorizados es un requisito creciente.

Para una firma multinacional de seguros, el movimiento a Azure no fue solo por ahorro de costes sino también modernización, analítica y preparación para IA. Usaron gestión de datos no estructurados para reducir necesidades de capacidad en almacenamiento primario costoso en el centro de datos, haciendo tiering de más de 600 TB a almacenamiento de objetos cloud de menor coste. También usan herramientas basadas en cloud para desarrollar productos de seguros mejorados con IA, con datos no estructurados formando una parte crítica de esos modelos predictivos. La capacidad de clasificar y segmentar datos no estructurados antes de la ingestión de IA es crítica para gestionar costes y entregar resultados precisos.

Ver también: Escapando de la Trampa de Almacenamiento de Datos en Inteligencia Visual en Tiempo Real

Gobiernos Estatales y Locales: Extender Vida de Infraestructura y Fortalecer Supervisión de Datos

Las organizaciones de TI del sector público tienden a tener infraestructura envejecida y un porcentaje mayor de aplicaciones legacy que el sector privado. Quieren modernizar, pero los presupuestos suelen ser ajustados, y hay adopción mínima de cloud debido a políticas de seguridad, junto con mandatos legales que requieren retención de datos sin rutas claras de eliminación. Los líderes de TI necesitan equilibrar la prestación de servicios con estrictos requisitos de cumplimiento.

Para agencias estatales, archivar archivos en la cloud ayuda a reducir la dependencia de hardware envejecido. La visibilidad sobre fechas de última modificación/acceso permite a TI mover solo datos accedidos raramente fuera de almacenamiento de alto rendimiento. Al mismo tiempo, integrar sistemas de almacenamiento y gestión de datos con herramientas de seguridad y cumplimiento es crítico para asegurar acceso seguro y auditable. Aunque la adopción de tiering de datos permanece cautelosa, muchas agencias usan reportes para construir el caso para políticas de ciclo de vida de datos no estructurados, especialmente alrededor de datos departamentales estancados.

Ingeniería y Arquitectura: Ganar Más Proyectos Desbloqueando Valor Oculto en Datos

Las firmas de ingeniería y diseño generan datos no estructurados a gran escala, especialmente desde archivos de CAD, GIS y modelado 3D. Estos archivos son grandes y difíciles de gestionar, especialmente entre equipos distribuidos y sistemas legacy heredados de actividad de M&A. Estas firmas necesitan preservar datos históricos de proyectos para referencia, responsabilidad y reutilización. Una firma global, gestionando más de 6 PB, usa gestión de datos no estructurados para identificar y mover archivos de proyectos mayores de tres años a un archivo Cloudian, respaldado en Azure. Esto preserva el rendimiento en arrays HPE activos mientras mantiene accesibilidad. En un caso, consultas a través de sus almacenes de datos de archivos les ayudaron a localizar rápidamente datos de pruebas de suelo para un proyecto en zona sísmica, ahorrando tiempo y apoyando un diseño de infraestructura crítico.

A medida que continúan integrando adquisiciones, la firma usa analítica para evaluar servidores de archivos recién heredados. Esta visibilidad les permite priorizar qué retener, migrar o archivar. Su objetivo es eventualmente indexar todos los datos no estructurados, permitiendo modelado basado en IA y reduciendo silos de conocimiento entre unidades de negocio.

Energía: Mejorar Eficiencia en Terreno y Cumplimiento con Datos Centralizados

Estas empresas enfrentan restricciones de sitios remotos, ancho de banda variable, cumplimiento con regulaciones internacionales de seguridad y operacionales, y una necesidad creciente de soportar diagnósticos remotos basados en datos y gemelos digitales.

En una empresa, la decisión de adoptar gestión de datos no estructurados vino de la necesidad de retirar almacenamiento edge en cientos de ubicaciones remotas. Con logs de video, dibujos y registros de mantenimiento offshore acumulándose, comenzaron a archivar datos fríos en Azure para centralizar y controlar sus datos no estructurados.

Con modelos de chargeback en lugar, los insights de datos de archivos se volvieron cruciales para la responsabilidad departamental. El objetivo a largo plazo es soportar flujos de trabajo de datos de inspección y sondeo, como imágenes ROV submarinas, en entornos listos para IA para mantenimiento predictivo y cumplimiento.

Semiconductores / Manufactura: Proteger IP Mientras Se Reduce Huella de Almacenamiento Costosa

Las firmas de semiconductores deben proteger IP de alto valor, gestionar datos distribuidos globalmente y adherirse a estrictos requisitos de control de exportación y seguridad mientras aseguran que los ingenieros tengan acceso de alto rendimiento a conjuntos de datos activos.

Un fabricante global de semiconductores usa equipos de escaneo altamente especializados que generan vastas cantidades de datos de imagen propietarios. Con el 97% de los datos aún almacenados on-premise, necesitaban un método eficiente para archivar datos de escaneo antiguos sin comprometer la protección de IP o el rendimiento de recuperación. Emparejando gestión de datos no estructurados con almacenamiento Cloudian S3, implementaron políticas de datos fríos para mover cualquier archivo no accedido en 12 meses fuera de servidores primarios. Con preservación de enlaces simbólicos y seguimiento de metadatos, la empresa aseguró cumplimiento con protocolos internos de manejo de IP y redujo la dependencia de NAS primario costoso.

Conclusión: Transformar Datos No Estructurados en un Activo Empresarial Estratégico

A través de industrias, la gestión de datos no estructurados ya no es solo una táctica de ahorro de costes sino un habilitador estratégico. Ya sea soportando flujos de trabajo de IA en seguros, manteniendo cumplimiento regulatorio en sanidad, o agilizando infraestructura en manufactura, las organizaciones están reconociendo la necesidad de combinar gobernanza de datos con acceso y movimiento flexible de datos.