El auricular rastrea las expresiones faciales, incluso con una mascarilla

Los investigadores han inventado un auricular que puede rastrear continuamente las expresiones faciales completas al observar el contorno de las mejillas, y luego puede traducir las expresiones en emojis o comandos de voz silenciosos. Con el dispositivo montado en la oreja (llamado C-Face), los usuarios pueden expresar emociones a los colaboradores en línea sin sostener las cámaras frente a sus rostros, una herramienta de comunicación especialmente útil ya que gran parte del mundo participa en el trabajo o el aprendizaje remoto.

El dispositivo es más simple, menos molesto y más capaz que las tecnologías portátiles existentes montadas en el oído para rastrear las expresiones faciales. En la tecnología portátil anterior que tenía como objetivo reconocer las expresiones faciales, la mayoría de las soluciones necesitaban colocar sensores en la cara; incluso con tanta instrumentación, solo podían reconocer un conjunto limitado de expresiones faciales discretas.

Con C-Face, los avatares en entornos de realidad virtual podrían expresar cómo se sienten realmente sus usuarios y los instructores podrían obtener información valiosa sobre la participación de los estudiantes durante las lecciones en línea. También podría usarse para dirigir un sistema informático, como un reproductor de música, usando solo señales faciales. Debido a que funciona al detectar el movimiento muscular, C-Face puede capturar expresiones faciales incluso cuando los usuarios usan máscaras.

El dispositivo consta de dos cámaras RGB en miniatura, cámaras digitales que capturan bandas de luz roja, verde y azul, colocadas debajo de cada oreja con auriculares o audífonos. Las cámaras registran cambios en los contornos faciales provocados por el movimiento de los músculos faciales. Al realizar una expresión facial, los músculos faciales se estiran y contraen, empujando y tirando de la piel y afectando la tensión de los músculos faciales cercanos. Este efecto hace que el contorno de las mejillas (contornos) se altere desde el punto de vista de la oreja.

Una vez capturadas las imágenes, se reconstruyen utilizando visión artificial y un modelo de aprendizaje profundo. Dado que los datos sin procesar están en 2D, una red neuronal convolucional, una especie de modelo de inteligencia artificial que es bueno para clasificar, detectar y recuperar imágenes, ayuda a reconstruir los contornos en expresiones. El modelo traduce las imágenes de las mejillas a 42 puntos de rasgos faciales, o puntos de referencia, que representan las formas y posiciones de la boca, los ojos y las cejas, ya que esos rasgos son los más afectados por los cambios de expresión.

Debido a las restricciones causadas por la pandemia de COVID-19, los investigadores pudieron probar el dispositivo en solo nueve participantes. Compararon su desempeño con una biblioteca de visión por computadora de última generación, que extrae puntos de referencia faciales de la imagen de una cara completa capturada por cámaras frontales. El error medio de los puntos de referencia reconstruidos fue inferior a 0,8 mm.

Estas expresiones faciales reconstruidas representadas por 42 puntos característicos también se pueden traducir a ocho emojis que incluyen "natural" y "enojado", así como ocho comandos de voz silenciosos diseñados para controlar un dispositivo de música como "reproducir", "próxima canción" y " sube el volumen.”

La capacidad de dirigir dispositivos usando expresiones faciales podría ser útil para trabajar en espacios de trabajo compartidos, por ejemplo, donde las personas no quieran molestar a los demás hablando en voz alta. Traducir expresiones a emojis podría ayudar a aquellos en colaboraciones de realidad virtual a comunicarse de manera más fluida.

Una limitación de C-Face es la capacidad limitada de la batería de los auriculares. Como próximo paso, el equipo planea trabajar en una tecnología de detección que use menos energía.