Automatización de la ciencia de datos y el aprendizaje automático para obtener información empresarial

Los científicos de datos son cruciales para el éxito de los proyectos de ciencia de datos. Pero, no pueden hacerlo solos. Necesitan ayuda de otros conjuntos de habilidades, así como soluciones de automatización.

Datos, el petróleo  que engrasa los engranajes de la máquina moderna. Pero, hay un problema. Las organizaciones luchan por obtener información comercial de este nuevo poder.

Escasez

En el mercado, muchos clientes empresariales están tratando de crear equipos de ciencia de datos muy grandes. Algunos están tratando de contratar a cientos para hacer frente a la explosión de datos; con fuentes que van desde la entrada del cliente hasta dispositivos IoT, este se convertirá en el canal principal.

Pero no es muy fácil, hay una gran escasez de científicos de datos.

Hay, como acuñó Gartner, ciudadanos científicos de datos, una persona que crea o genera modelos que utilizan análisis de diagnóstico avanzados o capacidades predictivas y prescriptivas, pero cuya función principal de trabajo está fuera del campo de las estadísticas y el análisis, pero brindan un rol complementario a científicos de datos expertos. No reemplazan a los expertos, ya que no tienen la experiencia específica y avanzada en ciencia de datos para hacerlo.

Incluso con esto, muchas empresas están realmente luchando para establecer un equipo de ciencia de datos de ciudadanos, y mucho menos un equipo de científicos de datos.

Ciencia de datos

La ciencia de datos se describe como un campo multidisciplinario que utiliza métodos, procesos, algoritmos y sistemas científicos para extraer conocimientos y perspectivas de los datos en diversas formas, tanto estructuradas como no estructuradas, similar a la minería de datos.

Naturalmente, tiene muchos componentes diferentes. Uno de ellos es el aprendizaje automático, que es "la parte más divertida de la ciencia de datos", según Ryohei Fujimaki, director ejecutivo y fundador de dotData.

El verdadero dolor que enfrentan las empresas está en el lado de los datos:construir los conjuntos de datos para que estén listos para aplicar la ciencia de datos. Los datos son muy complejos y, cuando se recopilan en la empresa, no   almacenados para fines de aprendizaje automático y ciencia de datos. Se almacena con fines comerciales; en gráficos, por ejemplo.

Las empresas tienen que transformar estos datos comerciales al formato de aprendizaje automático, que se denomina "aprendizaje de características", dice Fujimaki. "Y, básicamente, tenemos que aplicar mucho conocimiento del dominio para ejecutar los datos".

Entonces, en este clima, donde el talento escasea, pero los datos siguen fluyendo, es necesario automatizar el proceso de ciencia de datos de extremo a extremo; incluyendo datos en la canalización de funciones.

Obtener información e impulsar acciones

El aprendizaje automático puede pronosticar, predecir e identificar nuevos clientes y, en los servicios financieros, por ejemplo, quién tiene el mayor riesgo. Esta predicción* impulsa la automatización de los procesos comerciales. El negocio central está integrado con el sistema comercial y desencadena alguna acción comercial automáticamente. De esta manera, hay muchas áreas para hacer que un negocio sea mucho más eficiente.

Otro resultado muy importante del proceso de aprendizaje automático y ciencia de datos es la información empresarial. Los datos son muy complejos, y los expertos de la industria tienen conocimiento e intuición del dominio, pero hay mucho conocimiento oculto detrás de la gran cantidad de datos que ingresan a la empresa. El aprendizaje automático o el proceso de ciencia de datos generalmente puede descubrir algo desconocido, invisible o inesperado, incluso para un experto.

Ejemplo de dotData

dotData trabajó con un cliente bancario que aplicó su plataforma para predecir quiénes son los nuevos clientes que estarían interesados ​​en un producto tipo préstamo hipotecario. Primero pensaron que este producto sería atractivo para las personas más jóvenes. Pero, lo que encontraron fue que un tipo de cliente muy diferente estaba interesado en él, personas que eran un poco más mayores en edad. Resultó que este grupo demográfico de clientes estaba comprando este producto más que el grupo demográfico más joven previsto.

Este tipo de nueva visión comercial significaba que el cliente podía crear y diseñar una nueva campaña promocional para este segmento de clientes; o pueden diseñar un nuevo producto basado en este tipo de información empresarial.

La automatización de la ciencia de datos y el proceso de aprendizaje automático produjo nuevos conocimientos empresariales a partir de los datos.

Los científicos de datos solos... no son lo suficientemente buenos

¿Qué tipo de conjuntos de habilidades necesitan las empresas para permitir que la ciencia de datos extraiga resultados comerciales significativos? Lo primero es el conocimiento matemático o estadístico, pero al mismo tiempo estas empresas tienen que descargar datos muy grandes, a gran escala y complejos; necesitan ingeniería de datos para esto.

“Además, el uso de los mismos datos para resolver diferentes problemas comerciales requiere una experiencia de dominio diferente”, dice Fujimaki.

Un buen científico de datos debe tener un sólido conjunto de habilidades matemáticas y estadísticas, pero a menudo no posee habilidades comerciales ni de ingeniería de datos.

La escasez de científicos de datos es un obstáculo para cualquier proyecto de ciencia de datos exitoso. Pero el problema es que los científicos de datos por sí solos no son lo suficientemente buenos para completar un gran proyecto complejo.

Los proyectos exitosos de ciencia de datos necesitarán expertos en el dominio, ingenieros de diseño y científicos de datos.

Una parte muy importante del proyecto de ciencia de datos es la predicción*:debe integrarse con el sistema comercial e impulsar automáticamente una gran cantidad de mantenimiento digital. Esto significa que las empresas necesitan un ingeniero que comprenda este proceso de ciencia de datos e integre adecuadamente este proceso de ciencia de datos en los sistemas comerciales. Fujimaki llama a este tipo de personas "talentos en ciencia de datos".

Un científico de datos es integral, pero se requieren muchos más roles para completar un proyecto de ciencia de datos.

Las soluciones, como dotData, ayudan a resolver este problema y comparten el esfuerzo y cierran las brechas mediante la automatización de la ciencia de datos y el aprendizaje automático.