DeepLabCut:una IA de código abierto para rastrear partes del cuerpo de especies en movimiento

• El nuevo algoritmo basado en aprendizaje profundo rastrea y etiqueta partes del cuerpo de especies en movimiento utilizando datos mínimos de entrenamiento.
• No requiere ningún modelo de cuerpo computacional, datos de tiempo ni figura de palo.

Para comprender el cerebro de cualquier especie, es necesario cuantificar con precisión su comportamiento. El seguimiento por video es una de las mejores opciones para observar y registrar el comportamiento de los animales en diferentes configuraciones. Simplifica enormemente el análisis y permite un seguimiento de alta precisión de las partes del cuerpo.

Sin embargo, extraer aspectos específicos de un comportamiento para una investigación detallada podría ser un proceso tedioso y lento. El seguimiento por computadora existente utiliza marcas reflectantes (las partes del cuerpo se resaltan con marcadores), donde la posición y el número de marcadores deben determinarse antes de grabar.

Ahora, investigadores de la Universidad de Harvard y la Universidad de Tübingen han desarrollado una herramienta de inteligencia artificial llamada DeepLabCut que rastrea y etiqueta automáticamente las partes del cuerpo de las especies en movimiento. Esta técnica de estimación de pose sin marcadores se basa en métodos de aprendizaje profundo que proporcionan resultados decentes con datos de entrenamiento mínimos.

¿Qué es exactamente lo que han hecho?

Los investigadores examinaron la arquitectura del detector de características de un modelo de estimación de pose de varias personas desarrollado recientemente, DeeperCut. Demostraron que una pequeña cantidad de fotos de entrenamiento (unas 200) es suficiente para entrenar esta red neuronal para lograr una precisión similar a la humana.

Ha sido posible gracias al aprendizaje por transferencia, un método de aprendizaje automático en el que un modelo entrenado en una tarea se aplica a otra tarea relacionada. En esta investigación, los detectores de características basados ​​en redes neuronales intensamente profundas se entrenaron previamente en un conjunto de datos gigante (ImageNet) para reconocer objetos.

Por lo tanto, se pueden entrenar estos detectores de características robustas etiquetando menos tramas (unos pocos cientos). Una vez entrenado, puede localizar una amplia gama de partes del cuerpo experimentalmente relevantes.

Los investigadores demostraron la capacidad de DeepLabCut al rastrear las orejas, el hocico y la base de la cola durante una tarea de navegación guiada por olores. También rastrearon varias partes de una mosca de la fruta en una cámara 3D.

Las redes neuronales se entrenan en las GPU NVIDIA Titan Xp y GeForce GTX 1080 Ti con TensorFlow acelerado por el marco de aprendizaje profundo CUDA. Con un hardware tan poderoso, se pueden procesar cuadros de tamaño 682 * 540 a 30 fps.

La herramienta es capaz de proporcionar retroalimentación en tiempo real basada en estimaciones de postura extraídas de videografía. Además, se pueden recortar los fotogramas de entrada de forma adaptativa alrededor de la especie para aumentar aún más la velocidad de procesamiento, o adaptar la arquitectura de la red para aumentar los tiempos de procesamiento.

Referencia:arXiv:1804.03142 | GitHub

En general, DeepLabCut funciona en cuatro etapas:

1. Extraiga varios fotogramas del video para etiquetarlos.
2. Usar etiquetas para generar datos de entrenamiento
3. Entrene redes neuronales según los conjuntos de funciones requeridos
4. Extraiga las posiciones de estas funciones a partir de datos sin etiquetar.

Cortesía de investigadores

¿De qué sirve esto?

El método descrito anteriormente no necesita ningún modelo de cuerpo computacional, datos de tiempo, figura de palo o algoritmo de inferencia complicado. Se puede implementar rápidamente en múltiples comportamientos que plantean desafíos cualitativamente diferentes para la visión por computadora.

Aunque los investigadores demostraron DeepLabCut en Drosophila, ratones y caballos, ciertamente no hay limitaciones en el método y también se puede aplicar a otras especies.

Leer:La IA que filtra el spam aprende el comportamiento de un animal28

El seguimiento de los animales a través de la videografía puede revelar nuevos conocimientos sobre su biomecánica y ayudarnos a comprender cómo funciona su cerebro. En los seres humanos, puede mejorar las técnicas utilizadas en fisioterapia y ayudar a los atletas a alcanzar hitos que no eran posibles en el pasado.