Dando a los AV un mejor sentido del oído

Si los conductores pueden escuchar una sirena, ¿por qué no pueden hacerlo los vehículos autónomos? ¿lo mismo?

En situaciones de emergencia, como accidentes de tráfico graves, cada segundo cuenta, y un carril de rescate suficientemente ancho puede marcar la diferencia entre la vida y la muerte. Si los conductores pueden escuchar una sirena, ¿por qué los vehículos autónomos no pueden hacer lo mismo? Avelabs, con sede en El Cairo, Egipto, ha desarrollado una solución de sensor que brinda a los vehículos el sentido del oído para complementar la visión y mejorar los sistemas de conducción autónoma.

"La visión es nuestro sentido más importante a la hora de evaluar el medio ambiente", dijo Amr Abdelsabour, director de gestión de productos de Avelabs, en una sesión de panel en el AutoSens de Bruselas de este año. “Sin embargo, como conductores humanos, no solo dependemos de la visión. Cuando conducimos, también dependemos de nuestra audición. Hay mucha información que podemos escuchar pero no ver como una sirena que viene de atrás. O, si estamos conduciendo hacia una intersección ciega y se acerca un automóvil, realmente no podemos verlo, pero podemos escucharlo ".

En AutoSens, Avelabs presentó AutoHears, un sistema de detección acústica que detecta, clasifica y localiza sonidos para ayudar a comprender el complejo entorno del vehículo. AutoHears, que incluye el hardware, la carcasa mecánica y el software que ejecuta las funciones de detección, tiene como objetivo ejecutar la detección de vehículos de emergencia, campos ocultos, desastres naturales (por ejemplo, deslizamientos de rocas) y eventos de seguridad (por ejemplo, colisiones cercanas, disparos, explosiones). como autodiagnóstico y reconocimiento de voz del vehículo.

En una discusión de seguimiento con EE Times Europe , Abdelsabour explicó qué se necesita para dar a los vehículos el sentido del oído, cómo el software y el hardware dependen el uno del otro, dónde y cómo se realiza el proceso de fusión de datos, y cuándo podemos esperar que AutoHears salga a la carretera.

EE Times Europe:¿Podría describir los tipos de sonidos que AutoHears puede y no puede detectar?

Amr Abdelsabour: Comenzamos con sonidos de vehículos en funcionamiento (por ejemplo, neumáticos, motor, frenos y sonidos aerodinámicos), así como bocinas y sirenas de diferentes estándares en todo el mundo. Estas clases son las que se han probado y demostrado hasta ahora. Actualmente estamos trabajando para agregar nuevas clases, como desastres naturales y detección de colisiones, pero aún se encuentran en la fase de desarrollo de funciones. Se está construyendo una hoja de ruta para el desarrollo de características.

EE Times Europe:AutoHears detecta sonidos desde todos los ángulos. ¿Existe alguna limitación física?

Abdelsabour: AutoHears puede detectar sonidos desde todos los ángulos, y no solo eso, sino también los sonidos que provienen de detrás de las paredes y otras obstrucciones. Por supuesto, existen limitaciones físicas. La medición del sonido es un proceso de detección relativo, en el que el sonido se detecta en relación con su entorno. Esto significa que si el ambiente fuera silencioso, AutoHears podría detectar sonidos débiles y débiles como bicicletas e incluso pasos. Sin embargo, si el entorno fuera ruidoso, AutoHears solo podría detectar los sonidos más significativos. Entonces, por ejemplo, si una sirena fuerte estuviera activa cerca, no podríamos detectar los sonidos del motor de otros vehículos, ya que el sonido fuerte cubriría el sonido silencioso. No obstante, estamos trabajando para descubrir nuestra limitación física exacta en números objetivos para poder ofrecer limitaciones fiables a nuestros clientes.

EE Times Europe:¿Qué pasa con la clasificación de sonidos?

Abdelsabour: La clasificación de sonidos es un proceso complejo, especialmente cuando se trata de sonidos no estandarizados. Si hablamos de sonidos estandarizados como las sirenas, el proceso de clasificación se vuelve fácil y bastante sencillo y se puede realizar utilizando algoritmos basados ​​en modelos. Sin embargo, la detección del vehículo en marcha es un proceso más complejo, porque es una combinación no estándar de sonidos compuestos por diferentes componentes físicos que crean los sonidos finales que escuchan nuestros oídos o sensores. Aquí es donde entran en juego diversos métodos de inteligencia artificial, para poder clasificar los sonidos en base al aprendizaje automático a través de los datos que fueron recolectados y para detectar y clasificar los sonidos según lo aprendido. Estamos orgullosos de decir que, en AutoHears, hemos implementado una combinación de algoritmos basados ​​en modelos y aprendizaje automático para clasificar los sonidos, según los sonidos de destino que se van a detectar.

EE Times Europe:¿Cómo se fusionan los datos de audio con los datos de imagen de las cámaras u otros sensores integrados en el automóvil?

Abdelsabour: Como ocurre con los conductores humanos, el sonido complementa la visión. Así es como vemos AutoHears y lo hemos desarrollado en consecuencia. Debido a que nos preocupa principalmente la parte de detección acústica, estamos entregando la información de detección acústica sin procesar que se puede fusionar con otros sensores como cámaras y radares para clasificar y localizar objetos a fin de utilizar las fortalezas de cada sensor por separado y superar sus debilidades. . Entonces, por ejemplo, combinar un radar, una cámara y AutoHears puede conducir a la siguiente detección de un vehículo en nuestro punto ciego:El radar puede detectar el obstáculo y estimar con precisión su distancia (ya que los radares son altamente confiables desde ese aspecto), el La cámara clasificaría ese objeto (si hay una cámara mirando en la dirección donde reside el vehículo objetivo), AutoHears confirmaría la detección con su propia clasificación y localización de este vehículo y agregaría la información si ese vehículo está emitiendo algún sonido como como tocar la bocina o emitir una sirena. La combinación de todos los sensores juntos hace que la fusión del sensor sea una reconstrucción muy concluyente del entorno circundante de la mejor manera posible.

EE Times Europe:¿Por qué decidió construir un sistema completo? ¿Por qué era esencial abordar todos los aspectos de software y hardware?

Abdelsabour: AutoHears como sistema de detección es uno de los primeros sistemas de detección de este tipo, es decir, un sistema de detección acústica. Dado que Avelabs es una empresa de software, inicialmente queríamos que nuestro enfoque principal fuera solo detectar características desde una perspectiva de software y no centrarnos en las partes de hardware. Sin embargo, sin hardware de detección, no puede haber funciones de detección. El hardware de detección es el habilitador principal de las funciones de detección, ya que el sensor no es tan simple como colocar un micrófono en el vehículo para permitir la detección, sino que el hardware debe diseñarse cuidadosamente para permitir una localización precisa del entorno. Para localizar un objeto, los algoritmos de localización se basan en factores físicos como la diferencia de tiempo de llegada del sonido, que solo se puede detectar cuando el hardware está diseñado de manera que permita detectarlo. Hay varios factores de hardware involucrados, como la cantidad de micrófonos, la distancia entre ellos y su ubicación en el vehículo. Todos estos requisitos de hardware nos obligaron a diseñar y construir el hardware nosotros mismos para habilitar las funciones de detección acústica que ofrecemos. Simplemente hablando, no existe ninguna empresa que ofrezca hardware de detección acústica externa para vehículos, por eso tuvimos que desarrollarlo nosotros mismos.

EE Times Europe:¿Puede darme algunos detalles sobre el sensor acústico en sí? ¿Y en la CPU donde se ejecuta el algoritmo?

Abdelsabour: Hemos optado por una arquitectura centralizada en lo que respecta al sistema de sensor y procesador. Esta decisión es seguir la tendencia que están tomando actualmente todas las empresas de automoción, que es confiar en sensores que detectan los datos en bruto (cámaras, radares,…). Luego, los datos sin procesar se envían a un controlador de dominio centralizado donde tiene lugar la fusión del sensor. Es por eso que construimos el sensor acústico para que sea un sensor de datos sin procesar, que detecta toda la información acústica y la envía al controlador de dominio centralizado donde se ejecutan los algoritmos de detección. Como saben, diseñamos el sensor acústico nosotros mismos, pero utilizamos controladores de dominio automotrices estándar como Xilinx FPGA y TI ADAS TDA SoC como la CPU que ejecuta nuestros algoritmos. Sin embargo, debido a que cada cliente usa su propio controlador de dominio, usamos estos procesadores solo como hardware de referencia. Ya que simplemente podemos implementarlo en cualquier tipo de controlador de dominio con las personalizaciones necesarias.

EE Times Europe:¿Por qué dice que AutoHears es "dependiente del hardware"?

Abdelsabour: AutoHears como sensor y como algoritmos de detección tiene componentes genéricos y componentes específicos de hardware, según las características deseadas por el cliente y el controlador de procesamiento que utiliza el cliente. Entonces, por ejemplo, si el cliente solo quiere la dirección del evento sonoro (sin la distancia al objeto que emite el sonido), solo es necesario usar un sensor. Pero si el cliente también desea detectar la distancia del objeto, es necesario utilizar varios sensores para triangular la distancia del objeto. Ésta es una función que depende del hardware, por ejemplo.

El otro lado con respecto a la dependencia del hardware es el controlador de dominio que se utiliza para procesar las funciones de detección. El rendimiento de nuestras funciones depende de los procesadores que las ejecutan y de sus capacidades. Existe una compensación entre el rendimiento y los requisitos de procesamiento del hardware. Entonces, por ejemplo, si queremos que AutoHears detecte con una resolución de un grado, esto requerirá más recursos de procesamiento. Si disminuimos nuestro rendimiento deseado, también lo harán los requisitos de procesamiento. Además, cada nuevo hardware vendrá con algunas personalizaciones específicas de hardware para la capa de abstracción del microcontrolador, como los controladores del sensor AutoHears, que se implementarían en el entorno de software básico del cliente.

EE Times Europe:¿Dónde se encuentra en términos de desarrollo? ¿Cuándo planeas probar AutoHears en vías públicas? ¿Cuándo espera que AutoHears esté en producción?

Abdelsabour: AutoHears se puede considerar en la fase de desarrollo del producto. Ya probamos el concepto desde una perspectiva técnica y financiera, realizamos demostraciones y pruebas para probar la viabilidad y actualmente estamos trabajando en la “producción” del desarrollo. Esto incluye la validación de carreteras públicas y la adquisición de certificaciones automotrices. Estos son los dos pasos necesarios para pasar del desarrollo del producto a la comercialización. Estos son pasos necesarios que se deben tomar antes de estar listo para la producción.

EE Times Europe:¿tiene clientes antiguos que prueban la solución?

Abdelsabour: Aunque comenzamos a anunciar el producto en AutoSens en septiembre, ya estamos discutiendo con los clientes sobre la prueba de la solución. Mientras intentamos lanzar un nuevo producto al mercado automotriz, esperamos confiar en nuestros clientes y socios para aprender más sobre las expectativas y requisitos del mercado, así como para integrar nuestros sensores en flotas de vehículos de recolección de datos para recopilar más datos para capacitación. y fines de validación.

Contenidos relacionados:

• El procesamiento acústico en tiempo real exitoso requiere una planificación cuidadosa
• Combinando hardware y software para un mejor audio
• Los dispositivos de baja potencia pueden escuchar con una cóclea de silicio
• Las soluciones Adaptive ANC brindan capacidades de audio mejoradas

Para obtener más información sobre Embedded, suscríbase al boletín informativo semanal por correo electrónico de Embedded.