Auricular que detecta expresiones faciales incluso con mascarilla

Investigadores han inventado un auricular que rastrea continuamente expresiones faciales completas observando el contorno de las mejillas —y luego traduce expresiones a emojis o comandos de voz silenciosos. Con el dispositivo montado en la oreja (llamado C-Face), usuarios podrían expresar emociones a colaboradores online sin sostener cámaras frente a sus caras —herramienta de comunicación especialmente útil mientras gran parte del mundo trabaja o aprende remotamente.

El dispositivo es más simple, menos intrusivo y más capaz que tecnologías vestibles montadas en oreja existentes para rastrear expresiones faciales. En tecnología vestible previa para reconocer expresiones, la mayoría de soluciones necesitaban sensores en la cara; incluso con tanta instrumentación, solo reconocían conjunto limitado de expresiones faciales discretas.

Con C-Face, avatares en entornos de realidad virtual podrían expresar cómo se sienten realmente sus usuarios e instructores obtener información valiosa sobre participación de estudiantes en lecciones online. También podría usarse para dirigir sistema informático, como reproductor de música, usando solo señales faciales. Como funciona detectando movimiento muscular, C-Face captura expresiones faciales incluso cuando usuarios llevan mascarilla.

El dispositivo consiste en dos minicámaras RGB —cámaras digitales que capturan bandas de luz roja, verde y azul— posicionadas bajo cada oreja con auriculares. Las cámaras registran cambios en contornos faciales causados cuando músculos faciales se mueven. Al realizar expresión facial, músculos faciales se estiran y contraen, empujando y tirando de la piel y afectando tensión de músculos faciales cercanos. Este efecto causa que el contorno de las mejillas altere desde el punto de vista de la oreja.

Una vez capturadas las imágenes, se reconstruyen usando visión por computadora y modelo de aprendizaje profundo. Como datos crudos son 2D, una red neuronal convolucional —tipo de modelo IA bueno para clasificar, detectar y recuperar imágenes— ayuda a reconstruir contornos en expresiones. El modelo traduce imágenes de mejillas a 42 puntos de rasgos faciales, o hitos, representando formas y posiciones de boca, ojos y cejas, ya que esos rasgos son los más afectados por cambios de expresión.

Debido a restricciones por pandemia COVID-19, investigadores solo probaron dispositivo en nueve participantes. Compararon su rendimiento con biblioteca de visión por computadora de vanguardia, que extrae hitos faciales de imagen de cara completa capturada por cámaras frontales. El error promedio de hitos reconstruidos fue <0,8 mm.

Estas expresiones faciales reconstruidas representadas por 42 puntos también pueden traducirse a ocho emojis incluyendo “natural” y “enojado” y ocho comandos de voz silenciosos para controlar dispositivo de música como “reproducir”, “siguiente canción”, “subir volumen”.

La capacidad de dirigir dispositivos usando expresiones faciales podría ser útil en espacios de trabajo compartidos, donde gente no quiere molestar hablando en voz alta. Traducir expresiones a emojis podría ayudar a colaboradores en realidad virtual comunicarse más fluidamente.

Una limitación de C-Face es la capacidad limitada de batería de los auriculares. Como próximo paso, el equipo planea trabajar en tecnología de sensado que use menos energía.