De básicos a inteligentes: HeadFi convierte auriculares comunes en monitores de salud multifuncionales

La diferencia entre auriculares inteligentes y convencionales radica en que los primeros van más allá de reproducir música: pueden funcionar como monitores fisiológicos y pantallas táctiles virtuales. Xiaoran Fan, mientras era doctorando en la Universidad de Rutgers, lideró un equipo de investigadores que desarrolló un método llamado HeadFi que utiliza auriculares ordinarios como sensores.

Origen del proyecto

Tech Briefs: ¿Cómo surgió este proyecto?

Xiaoran Fan: Soy audiófilo, así que siempre me han interesado los auriculares. Aunque los auriculares simples se usan para aplicaciones como mesas de mezcla de estudio y audio doméstico, últimamente vemos auriculares inteligentes de Apple, Samsung y Microsoft.

Siempre supimos que los transductores de los auriculares funcionan, en principio, de manera similar a los micrófonos, por lo que son recíprocos. Dado que los micrófonos pueden detectar señales, los auriculares también pueden hacerlo por defecto. Así que, aunque los auriculares tenían el potencial de ser inteligentes, nadie había aprovechado esa capacidad. Ese fue el incentivo inicial. Además, mi asesor, Rich Howard, ha dedicado su vida a mediciones de señales pequeñas, y cuando le comenté la idea, me señaló algunos métodos para probar. Me sumergí en la investigación y, tras mucha exploración y experimentación, logramos publicar un artículo sobre nuestro trabajo.

¿Cómo se usan los auriculares como micrófonos?

Fan: El transductor en sí es complejo: tiene resistencia, capacitancia e inductancia; es un sistema de impedancia compleja. La tecnología exacta depende del tipo de auricular, pero básicamente todos son transductores que convierten señales eléctricas en mecánicas. En principio, estos transductores pueden operar en sentido inverso: señales mecánicas vibran el diafragma, moviendo la bobina de voz para generar señales eléctricas; por tanto, son recíprocos.

El problema es que los auriculares están optimizados para reproducir música, y la señal musical es dominante. Aunque se puede grabar una señal de excitación externa al mismo tiempo, esta podría ser 1000 veces más pequeña que la señal musical. El reto era realizar una tarea de detección mientras el auricular sigue reproduciendo música. Si el usuario tiene que detener la música para usar la función de detección, no es útil.

Hicimos algo muy interesante. Los auriculares vienen en pares, con un transductor izquierdo y uno derecho. Aprovechamos que se fabrican para que ambos coincidan, es decir, las señales de sonido en los dos están balanceadas. Podemos usar la señal de entrada del transductor izquierdo para cancelar la del derecho, ya que conocemos la señal musical exacta que se reproduce en ambos canales. Si hay una diferencia entre las salidas de ambos, restándolas obtenemos una señal diferencial.

Imagina que hablo: ambos auriculares captan mi voz, pero la voz que viaja de mi boca al transductor izquierdo y al derecho se propaga por canales físicos distintos, porque mis huesos y tejidos están estructurados de forma diferente a izquierda y derecha. Al restar, se cancela la señal musical pero se captura la señal diferencial de detección. Podemos usar esa pequeña información para hacer algo útil.

Aplicaciones: identificación de usuario, monitorización de frecuencia cardíaca y reconocimiento de gestos

Tech Briefs: ¿Podría explicar cómo se usan los auriculares para medir cosas como identificar al usuario, monitorizar la frecuencia cardíaca y reconocer gestos?

Fan: Presentamos cuatro aplicaciones en nuestro artículo: reconocimiento de gestos, monitorización de frecuencia cardíaca, identificación de usuario y, la más simple, comunicación por voz.

Tomemos la monitorización de frecuencia cardíaca como ejemplo. Cuando corres, tu corazón bombea y produce una vibración mecánica en todo el cuerpo, que los auriculares pueden captar. Al igual que con la voz, los canales desde el corazón al auricular izquierdo y al derecho son distintos. Al procesar la señal diferencial con nuestro algoritmo, podemos encontrar el período de tu frecuencia cardíaca.

En cuanto al reconocimiento de gestos, supongamos que tocas o golpeas la carcasa del auricular derecho. El transductor derecho recibirá la señal de toque, pero el izquierdo recibirá una señal mucho más débil. Tras la resta, sabrás la fase: si el flanco ascendente está en una dirección, es el auricular derecho; si está en la otra, es el izquierdo.

Hay formas más avanzadas de definir un gesto. Por ejemplo, la señal producida por un rasguño será más compleja. En ese caso, se pueden aplicar métodos de aprendizaje profundo para aprender el patrón de señal e identificar el gesto.

Pero creo que la aplicación más interesante es la identificación de usuario. Funciona así: el auricular genera una señal de barrido —barrido ascendente por una banda de frecuencia— y la envía al oído. La señal se propaga por el canal auditivo, se refleja y es capturada por el mismo transductor que la generó. Ambos transductores capturan la señal y realizan la resta. Lo interesante es que cada canal auditivo tiene una estructura distinta —es como una huella dactilar—, por lo que el eco recibido será diferente para cada persona. Además, los canales auditivos izquierdo y derecho de una misma persona son diferentes, así que la señal diferencial también es única, incluso entre gemelos idénticos. Hicimos experimentos con gemelos idénticos y obtuvimos una tasa de éxito superior al 95 %. Creo que esa es una parte genial de la aplicación.

¿Por qué usar una señal de alta frecuencia?

Tech Briefs: ¿Por qué usan una señal de alta frecuencia?

Fan: Generamos alta frecuencia porque es como una tomografía computarizada —una tomografía ultrasónica—. Barrido un rango de frecuencias porque el canal auditivo tiene diferentes estructuras que las frecuencias más altas pueden explorar con mejor resolución, para identificar la forma distintiva de un canal auditivo particular. Barrimos las frecuencias para encontrar la que nos dé los mejores resultados para ese oído.

Generación de la señal de barrido y detección de uso

Tech Briefs: ¿Cómo generan la señal de barrido?

Fan: Un generador de chirp está incluido en nuestro software. Tenemos un proceso totalmente automatizado en dos pasos: primero detectamos si los auriculares están en la cabeza, luego ejecutamos la aplicación.

Usamos un truco interesante para verificar si los auriculares están puestos: el efecto caracol. Cuando caminas por la orilla y te pones un caracol cerca del oído, oyes un ruido como del mar. Eso ocurre porque el caracol y tu canal auditivo forman un recinto semisellado que resuena y amplifica cierta frecuencia. Lo mismo pasa con los auriculares: cuando están en la oreja, alguna frecuencia se amplifica y podemos detectar si están puestos simplemente observando la intensidad de la señal en varias frecuencias. Si lo están, empezamos a enviar el chirp.

No nos limitamos a estas cuatro aplicaciones; también podríamos medir conteo de pasos y monitorización de respiración.

Diferenciación de señales y aplicaciones futuras

Tech Briefs: ¿Cómo saber si una entrada proviene de pasos o de respiración?

Fan: Las señales serían diferentes, así que se podría usar un modelo de aprendizaje profundo para distinguirlas. Esto también podría usarse en cuidado de ancianos: reconocer si una persona se cayó para llamar al 911. Estamos planeando trabajar en eso.

La contribución intelectual central de nuestro proyecto es presentar una plataforma que convierte auriculares convencionales en inteligentes, permitiendo una variedad de aplicaciones posibles. A alto nivel, esta tecnología puede permitir una interfaz ubicua humano/auricular/red, porque hay muchos auriculares "tontos" que podrían beneficiarse de HeadFi.

Plataforma de software y hardware

Tech Briefs: Cuando dice plataforma, ¿se refiere a software?

Fan: Es una solución de software y hardware. El hardware es un puente de Wheatstone para hacer la cancelación entre los transductores izquierdo y derecho. Después, necesitamos procesamiento de señal para tareas como clasificación, incluyendo soporte para máquinas de vectores de soporte o marcos de aprendizaje profundo. Aunque es una solución combinada, el hardware puede ser extremadamente simple —tan simple como solo dos resistencias.

Tech Briefs: ¿Tienen un adaptador que se enchufa?

Fan: Sí, ese es nuestro prototipo actual de hardware.

Tech Briefs: ¿Y tendrían que diseñar una app para descargar en el smartphone?

Fan: Sí, el adaptador actual tiene conexión USB tipo C, bastante común en auriculares y móviles ahora.

Tech Briefs: ¿Tienen idea de cuándo podría comercializarse?

Fan: Estamos usando el centro de comercialización de Rutgers para buscar un socio y explorando socios potenciales como Apple, Samsung o Microsoft. También estamos desarrollando hardware mejorado, ya que nuestro adaptador actual es solo una placa de circuito impreso abierta. Hemos logrado reducir el tamaño a 3 cm x 2 cm. Apuntamos a que sea plug-and-play y estamos escribiendo software Android para facilitar la demostración.

Una versión editada de esta entrevista apareció en la edición de mayo de 2021 de Tech Briefs.