Cómo evitar errores con los proyectos de análisis de datos

Un estudio reciente de Capgemini encontró que el 15% de las iniciativas de big data en Europa fracasan. Para garantizar que su proyecto pertenezca al 85% de los que tienen éxito, he resumido los cuatro principales obstáculos a los que debe estar atento. (Esta publicación de blog contiene las dos primeras trampas, las otras dos se publicarán en una publicación de blog diferente. )

Ser consciente de estos y tenerlos en cuenta aumentará significativamente las posibilidades de que su proyecto de análisis de datos sea un éxito. No se preocupe:no es de ninguna manera el único que enfrenta estos desafíos y trampas. En nuestro taller inicial de análisis de datos, vemos regularmente a los participantes que los encuentran, hasta el final del proyecto. Aquí me gustaría compartir con ustedes mis conocimientos de muchos talleres y proyectos exitosos, señalar los principales obstáculos e ilustrarlos con ejemplos de casos de uso.

1. El iniciador:TI frente a departamento

El análisis de datos y los macrodatos no son lo mismo, incluso si a menudo se usan indistintamente.

Los departamentos de TI a menudo ven los proyectos a través de “lentes de big data”. Proporcionan la infraestructura para recopilar grandes cantidades de datos; por ejemplo, en forma de grupos de bases de datos. Estas bases de datos almacenan grandes volúmenes de datos, lo que en sí mismo no genera valor agregado para la empresa. Es por eso que el proyecto de análisis de datos siempre debe tener un objetivo tecnológico y comercial claramente definido. La recopilación de datos por el simple hecho de obtenerlos no aporta ningún beneficio a la empresa.

El valor agregado solo surge cuando la empresa aprovecha los datos y los conocimientos resultantes. Aquí es donde entran en juego sus departamentos (no administrativos). Ellos definen qué objetivos quieren lograr con el análisis de datos, no con big data. Proporcionan la comprensión técnica que permite a los científicos de datos trabajar con los datos de manera específica. La estrecha cooperación entre el proveedor de ideas (departamento) y los científicos de datos es, por lo tanto, una necesidad absoluta para lograr el objetivo definido del proyecto.

En otras palabras:el éxito o el fracaso de un proyecto de análisis de datos depende de qué y cuánta comprensión del proceso técnico se transmita a los científicos de datos. Los ingenieros de análisis de datos también juegan un papel importante aquí. Apoyan la “traducción” y la transferencia de conocimientos entre las diferentes disciplinas. Los ingenieros de análisis de datos aprovechan su experiencia operativa en fabricación o logística y un conocimiento básico sólido de los enfoques de análisis de datos. Los expertos en datos no solo deben comprender el objetivo del proyecto, sino también y, en particular, las correlaciones en los datos. Más importante aún, deben ver su relación con el mundo real (máquinas, sensores, etc.) y los pasos del proceso relacionados.

Como muestra el estudio de Capgemini, los departamentos de TI suelen ser los iniciadores de proyectos de análisis de datos. Esto no es un problema en sí mismo, siempre que los otros departamentos estén estrechamente involucrados y definan los objetivos técnicos del proyecto.

2. No todos los datos son iguales

Proyecto iniciado, su objetivo definido - ¡adelante!

¡Alto!

Antes de que los científicos de datos puedan comenzar, debe verificar la calidad y cantidad de los datos.

a) Calidad de los datos

Aquí es importante considerar en qué formato están disponibles los datos, dónde buscar qué datos y si los datos son transparentes en diferentes fuentes.

Ejemplo:

Para integrar un conjunto de datos de varias fuentes, necesita un identificador único que permita que los datos se recopilen correctamente. Puede ser una marca de tiempo o un número de pieza, por ejemplo. El uso de una marca de tiempo hace que la integración sea más complicada si se utilizan diferentes formatos de fecha / hora en las fuentes de datos individuales (formato de fecha alemán frente a estadounidense, hora en UTS, etc.); sin embargo, todavía es posible. Por el contrario, es prácticamente imposible si se utilizan diferentes bases de tiempo. Este es el caso en el que no existe una sincronización de tiempo uniforme que genere las marcas de tiempo para todas las fuentes de datos.

b) Cantidad de datos

Cuanto más, mejor, dice el refrán. Pero con respecto al análisis de datos, esto es solo parcialmente cierto. En términos generales, por supuesto, cuantos más datos tenga, mejor. Sin embargo, aquí también hay una serie de aspectos clave a considerar.

Dependiendo de la definición de la meta técnica, puede ser importante, por ejemplo, que los datos subyacentes contengan no solo resultados positivos, sino también una cantidad suficiente de resultados negativos.

Ejemplo:predecir un resultado negativo

Si el objetivo del proyecto es desarrollar un modelo para predecir un resultado negativo, el conjunto de datos de entrenamiento utilizado para entrenar el modelo de predicción debe contener una cantidad suficiente de resultados negativos. De lo contrario, el modelo no podrá conocer estos resultados negativos y, por lo tanto, será incapaz de predecirlos; por lo tanto, ¡no podrá lograr el objetivo del proyecto con este conjunto de datos! Por esta razón, al compilar el conjunto de datos de entrenamiento, debe asegurarse de que contenga una cantidad suficiente del parámetro que se va a predecir (variable de destino); en el ejemplo anterior, resultados negativos. Una forma de lograrlo es ampliar el período de tiempo del que se recopilan los datos.

c) Los datos "correctos"

Por tanto, está claro que la cantidad de datos no es el único criterio. ¡Sobre todo, necesita los datos correctos!

¿Qué queremos decir con "datos correctos"?

Los datos deben contener la información relevante requerida para lograr el objetivo técnico del proyecto. Si, por ejemplo, desea desarrollar un modelo para predecir la calidad del producto según lo definido por una medición de rugosidad de la superficie, esta variable debe estar representada en el conjunto de datos. Si realiza la medición sin almacenar posteriormente el valor medido, no podrá desarrollar un modelo correspondiente. Esto tampoco es un problema irresoluble, pero puede retrasar el progreso porque primero se debe generar una base de datos adecuada (por ejemplo, con la ayuda de tecnología de sensores adicional, guardando los datos relevantes, etc.).

¿Quién se asegurará de que su proyecto de análisis de datos tenga éxito?

Fuente:Bosch.IO

Para ayudar a los expertos a lograr a), b) yc), hemos tomado la experiencia que hemos adquirido en muchos proyectos exitosos y la hemos agrupado en pautas de calidad de datos, que proporcionamos al inicio de un proyecto. También tratamos este tema en los talleres iniciales identificando aquellos casos de uso que generarán ganancias rápidas. De esta forma, sensibilizamos a los expertos en fabricación sobre estos temas, lo que siempre resulta ser una clara ventaja para los siguientes pasos del proceso.