Preguntas y respuestas:la plataforma convierte los auriculares de tontos a inteligentes

La diferencia entre los auriculares inteligentes y los tontos es que los inteligentes van más allá de reproducir música:pueden ser monitores fisiológicos y pantallas táctiles virtuales. Xiaoran Fan, mientras era candidato a doctorado en la Universidad de Rutgers, lideró un equipo de investigadores que desarrolló un método llamado HeadFi que utiliza auriculares comunes como sensores.

Resúmenes técnicos: ¿Cómo empezó este proyecto?

Fanático de Xiaoran: Soy un audiófilo, así que me han interesado los auriculares. Aunque los auriculares simples y sencillos se utilizan para aplicaciones como mezcladores de estudio y audio doméstico, recientemente hemos estado viendo auriculares inteligentes de Apple, Samsung y Microsoft.

Siempre hemos sabido que los controladores de los auriculares, en principio, funcionan de manera similar a los micrófonos, por lo que en cierto sentido son recíprocos. Dado que los micrófonos pueden detectar señales, eso significa que los auriculares también pueden hacerlo de forma predeterminada. Entonces, aunque los auriculares tenían el potencial de ser inteligentes, nadie había usado aún ese coeficiente intelectual. Ese fue el incentivo inicial que me inició en esta dirección. Además, mi asesor, Rich Howard, se ha pasado la vida haciendo mediciones de señales pequeñas, así que cuando hablé con él sobre esta idea, señaló algunos métodos que podría probar. Luego me sumergí y, después de mucha exploración y experimentación, pudimos publicar un artículo sobre nuestro trabajo.

Resúmenes técnicos: ¿Cómo se usan los auriculares como micrófonos?

Fanático: El controlador en sí es complicado:tiene resistencia, capacitancia e inductancia, es un sistema de impedancia complejo. La tecnología exacta depende del tipo de auricular que tenga, pero básicamente, todos ellos son solo transductores que convierten señales eléctricas en señales mecánicas. Estos transductores pueden, en principio, hacerse funcionar a la inversa. Las señales mecánicas podrían hacer vibrar el diafragma, lo que movería la bobina de voz hacia adelante y hacia atrás para generar señales eléctricas; entonces, en principio son recíprocos.

Pero el problema es que los auriculares están optimizados para reproducir música:la señal de música es dominante. Aunque puede grabar una señal de excitación desde el exterior al mismo tiempo, podría ser 1000 veces más pequeña que la señal musical. Entonces, el desafío era cómo realizar una tarea de detección mientras los auriculares aún reproducen música. Si no podemos hacer eso y el usuario tiene que detener la música para usar la función de detección, entonces esto no es útil.

Así que hicimos algo muy interesante. Los auriculares vienen en pares, con un controlador izquierdo y un controlador derecho. Aprovechamos el hecho de que los auriculares están fabricados para que los controladores izquierdo y derecho coincidan entre sí. Eso significa que las señales de sonido en los dos están balanceadas. Por lo tanto, podemos usar la señal de entrada del controlador izquierdo para cancelar la señal de entrada del controlador derecho utilizando el hecho de que conocemos la señal de música exacta que estamos reproduciendo para ambos canales. Si, por lo tanto, hay una diferencia entre las salidas de los controladores izquierdo y derecho, restar las salidas producirá una señal de diferencia.

Digamos que hablo:los dos auriculares captarán mi voz, pero la voz de mi boca hacia el controlador izquierdo y la voz de mi boca hacia el controlador derecho se propagan a través de diferentes canales. El canal físico entre mi voz y mi oído izquierdo y el que hay entre mi voz y el oído derecho no son los mismos. Esto se debe a que mis huesos y tejidos están estructurados de manera diferente de izquierda a derecha.

Entonces, si hace una resta, habrá una diferencia entre los controladores izquierdo y derecho, que se puede capturar. Esta resta cancela las señales musicales pero nos permite capturar el diferencial de la señal de detección. Podemos usar esa pequeña información para hacer algo.

Resúmenes técnicos :¿Podría explicarme cómo podría usar los auriculares para medir cosas como identificar al usuario; monitorear la frecuencia cardíaca; y reconocimiento de gestos.

Aficionado :De hecho, presentamos cuatro aplicaciones en nuestro documento:reconocimiento de gestos, monitoreo de frecuencia cardíaca, identificación de usuarios y también, la más simple, comunicación de voz.

Tomemos como ejemplo el control de la frecuencia cardíaca. Cuando estás apurado, tu corazón está bombeando y produce una vibración mecánica en todo tu cuerpo, que los auriculares pueden capturar.

Pero al igual que con la voz, los canales de su corazón al auricular izquierdo y al auricular derecho son diferentes. Al ejecutar la señal de diferencia a través de nuestro algoritmo, podemos encontrar el período de su frecuencia cardíaca.

En cuanto al reconocimiento de gestos, supongamos que toca o toca la carcasa derecha de los auriculares. El controlador derecho recibirá la señal táctil, pero el izquierdo recibirá una señal táctil mucho más débil. Después de hacer la resta, sabrás la fase. Si el borde ascendente está en una dirección, eso significa que es el teléfono derecho. Si el borde ascendente está en la otra dirección, es un toque a la izquierda.

Pero existen otras formas más avanzadas de definir un gesto. Por ejemplo, la señal que produce un scratch será más complicada. En ese caso, puede aplicar algunos métodos de aprendizaje profundo para aprender el patrón de señal para identificar el gesto.

Pero creo que la aplicación más interesante es la identificación de usuarios. La forma en que funciona es que los auriculares generan una señal de deslizamiento:deslizan hacia arriba una banda de frecuencia y envían la señal a su oído. La señal se propaga a través de su canal auditivo, se refleja y es capturada por el mismo controlador de auriculares que la generó. Los controladores izquierdo y derecho capturan la señal y hacen la resta. La parte interesante es que el canal auditivo de todos tiene una estructura diferente, es como una huella dactilar, lo que significa que el eco recibido por los auriculares será diferente para todos. Lo que lo hace aún más interesante es que, para todos, los canales auditivos izquierdo y derecho son diferentes, por lo que si haces la resta, hay una señal de diferencia. Y esa diferencia también es diferente de persona a persona, incluso entre gemelos idénticos. Hicimos experimentos con gemelos idénticos y tuvimos una tasa de éxito superior al 95 %. Creo que es una parte genial de la aplicación.

Resúmenes técnicos :¿Por qué utiliza una señal de alta frecuencia?

Aficionado :La razón por la que generamos una alta frecuencia es porque es como una tomografía computarizada, una tomografía computarizada ultrasónica. Deslizamos un rango de frecuencias porque nuestro canal auditivo tiene diferentes estructuras que las frecuencias más altas pueden explorar con mejor resolución, para identificar la forma distintiva de un canal auditivo en particular. Hacemos un barrido de frecuencias para encontrar la que nos da mejores resultados para ese oído.

Resúmenes técnicos :¿Cómo se genera la señal de barrido?

Aficionado :Nuestro software incluye un generador de chirridos.

Contamos con un proceso totalmente automatizado. Hay dos pasos. El primer paso es detectar si tus auriculares están en tu cabeza, luego ejecutas la aplicación.

Usamos un truco interesante para comprobar si los auriculares están en tu cabeza. Se basa en el efecto de concha marina. Cuando estás caminando por la orilla, si tomas una concha marina y la sujetas cerca de tu oído, escuchas algo así como un ruido de mar. Eso se debe a que la concha marina y el canal auditivo forman un espacio semicerrado que resuena y amplifica cierta frecuencia.

Es lo mismo con los auriculares. Cuando tiene los auriculares en la oreja, se ha amplificado cierta frecuencia y podemos detectar si los auriculares están o no en la oreja simplemente observando la intensidad de la señal en varias frecuencias. Si los auriculares están en su cabeza, comenzamos a enviar un chirrido.

Pero no estamos limitados a estas cuatro aplicaciones. También podríamos hacer mediciones como el conteo de pasos y el monitoreo de la respiración.

Resúmenes técnicos :¿Cómo sabrías si una entrada es de pasos o de respiración?

Aficionado :Las señales serían diferentes entre sí, por lo que podría usar un modelo de aprendizaje profundo para distinguirlas.

Esto también podría usarse para el cuidado de ancianos. Podría reconocer si una persona se cae, por lo que deberíamos llamar al 911. También estamos planeando trabajar en eso.

La principal contribución intelectual de nuestro proyecto es que presentamos una plataforma que puede hacer que los auriculares estándar se vuelvan inteligentes, lo que permite una variedad de posibles aplicaciones. A un alto nivel, esta tecnología puede habilitar una interfaz omnipresente de humano/auricular/red porque muchos auriculares "tontos" existentes podrían beneficiarse de HeadFi.

Resúmenes técnicos :Cuando dices plataforma, ¿te refieres a software?

Aficionado :Es una solución de software/hardware. El hardware es un puente de Wheatstone para realizar la cancelación entre los controladores izquierdo y derecho. Después de eso, necesitamos hacer el procesamiento de señales para tareas como la clasificación, incluido el soporte para máquinas vectoriales o marcos de trabajo de aprendizaje profundo. Entonces, aunque es una solución combinada de software/hardware, el hardware puede ser extremadamente simple, tan simple como dos resistencias.

Resúmenes técnicos :¿Tienes un adaptador que enchufas?

Aficionado :Sí, ese es nuestro prototipo actual del hardware.

Resúmenes técnicos :¿Y luego tendrías que diseñar una aplicación para descargar la carga en el smartphone?

Aficionado :Sí, el adaptador que estamos utilizando actualmente tiene una conexión USB tipo C, que es bastante común con los auriculares y los teléfonos móviles en este momento.

Resúmenes técnicos :¿Tiene una idea aproximada de cuándo podría comercializarse esto?

Aficionado :Estamos utilizando el sitio web del centro de comercialización de Rutgers para buscar un socio en este momento y estamos explorando socios potenciales como Apple, Samsung o Microsoft. También estamos desarrollando hardware actualizado, ya que nuestro adaptador actual es solo una placa de circuito impreso abierta. Hasta ahora, hemos podido reducir el tamaño del tablero en este momento a 3 cm x 2 cm. Nuestro objetivo es que sea plug and play y también estamos escribiendo software de Android para que sea fácil de demostrar.

Una versión editada de esta entrevista apareció en la edición de mayo de 2021 de Tech Briefs.