DeepLabCut: IA open-source para seguimiento preciso de partes corporales en animales en movimiento

Nuevo algoritmo basado en deep learning rastrea y etiqueta partes corporales de especies en movimiento usando datos de entrenamiento mínimos.

No requiere modelo corporal computacional, datos temporales ni figura palo.

Qué hicieron exactamente

Investigadores examinaron arquitectura de detector de características de modelo de estimación de pose multi-persona recientemente desarrollado, DeeperCut. Mostraron que pequeña cantidad de fotos de entrenamiento (~200) basta para entrenar esta red neuronal a lograr precisión humana.

Posible por transfer learning: método ML donde modelo entrenado en una tarea se aplica a otra relacionada. Aquí, detectores de características basados en redes neuronales profundas intensivas se pre-entrenaron en dataset gigante (ImageNet) para reconocer objetos.

Por tanto, se pueden entrenar estos detectores robustos etiquetando pocos frames (unos cientos). Una vez entrenado, puede localizar amplia gama de partes corporales experimentalmente relevantes.

Investigadores demostraron DeepLabCut rastreando orejas, hocico y base de cola durante tarea de navegación guiada por olores. También trazaron varias partes de mosca de fruta en cámara 3D.

Redes neuronales entrenadas en GPUs NVIDIA Titan Xp y GeForce GTX 1080 Ti con TensorFlow acelerado por CUDA. Con tal hardware, procesan frames 682x540 a 30 fps.

La herramienta proporciona retroalimentación en tiempo real basada en estimaciones de postura extraídas de videografía. Además, se pueden recortar frames de entrada adaptativamente alrededor de la especie para aumentar velocidad, o adaptar arquitectura de red para mejorar tiempos.

Referencia: arXiv:1804.03142 | GitHub

En general, DeepLabCut funciona en cuatro etapas:

1. Extraer múltiples frames de video para etiquetar
2. Usar etiquetas para generar datos de entrenamiento
3. Entrenar redes neuronales según conjuntos de características requeridos
4. Extraer posiciones de estas características de datos no etiquetados.

Cortesía de los investigadores

¿Cómo es útil esto?

El método no necesita modelo corporal computacional, datos temporales, figura palo ni algoritmo de inferencia complicado. Puede desplegarse rápidamente en múltiples comportamientos con desafíos cualitativamente diferentes para visión por computadora.

Aunque demostraron DeepLabCut en Drosophila, ratones y caballo, no hay limitaciones en el método, y puede aplicarse a otras especies.

Leer: IA anti-spam aprende comportamiento de un animal

Rastrear animales mediante videografía puede descubrir nuevos insights sobre su biomecánica y ayudarnos a entender cómo funciona su cerebro. En humanos, puede mejorar técnicas de fisioterapia y ayudar a atletas a alcanzar hitos imposibles antes.