NVIDIA usa IA para ayudar a las cámaras a ver claramente

• Los investigadores desarrollan una red neuronal profunda que evalúa la capacidad de una cámara para ver con claridad.
• Los vehículos autónomos pueden utilizar esta red para tomar mejores decisiones.

Decenas de empresas están trabajando en tecnología de vehículos autónomos y todas abordan los desafíos de ingeniería de diferentes maneras. Para imitar la capacidad de ver del ser humano, la tecnología se basa principalmente en tres elementos básicos:radar, cámaras y lidar.

Sin embargo, varios factores como la lluvia, la nieve y otros tipos de obstrucciones pueden degradar la visión de la cámara. Esto dificulta la capacidad del sistema de percepción robusto para dar sentido a su entorno y validar los datos provenientes de los sensores.

Para detectar eficazmente la invalidez de los datos del sensor lo más rápido posible en la línea de procesamiento antes de que lleguen a los módulos posteriores, los investigadores de NVIDIA han desarrollado un modelo de inteligencia artificial que evalúa la capacidad de una cámara para ver con claridad.

Este modelo utiliza una red neuronal profunda, denominada ClearSightNet, para descubrir las causas fundamentales de los bloqueos, oclusiones y reducciones de visibilidad. Tiene el potencial de

1. Motive una amplia gama de posibles causas de reducción de la visibilidad de la cámara.
2. Proporcione datos procesables.
3. Ejecución de varias cámaras con baja sobrecarga computacional

¿Cómo funciona?

La red divide las imágenes de la cámara en dos partes diferentes; uno de ellos está asociado a la oclusión mientras que el otro corresponde a la reducción de la visibilidad.

Fuente:NVIDIA | YouTube

La oclusión representa la parte específica del campo de visión de la cámara que está bloqueada por objetos opacos (como nieve, barro o polvo) o no contiene datos (por ejemplo, píxeles saturados debido a la luz solar). En estas porciones, la percepción se ve completamente afectada.

La visibilidad reducida representa las partes que están parcialmente bloqueadas debido a la niebla, el resplandor o la lluvia intensa. En tales casos, la decisión tomada por los algoritmos debe marcarse con "menor confianza".

El lado izquierdo muestra la imagen de entrada mientras que el lado derecho es la imagen superpuesta con la máscara de salida de la red neuronal. Casi el 84 por ciento de los píxeles de la imagen se ven afectados por una oclusión parcial y completa.

Para mostrar estas porciones, ClearSightNet pone una máscara en un video / imagen de entrada en tiempo real. Las regiones de visibilidad reducida están marcadas con color verde y las regiones completamente ocluidas están marcadas con rojo. La red también muestra cuánta área del video de entrada se ve afectada por una visibilidad reducida u oclusión.

Estos datos se pueden utilizar de varias formas. Los automóviles autónomos, por ejemplo, pueden optar por no aplicar ninguna función automática cuando la visibilidad es baja y alertar a los conductores para que limpien el parabrisas o la lente de la cámara. Los vehículos pueden utilizar esta red para conocer la percepción de la cámara.

El equipo planea mejorar aún más ClearSightNet para proporcionar cálculos de extremo a extremo e información más detallada sobre la visibilidad de la cámara, lo que permite un mayor control sobre el proceso de implementación de los vehículos autónomos.

Leer:Nvidia AI puede convertir videos de 30 fps a 240 fps

En lo que respecta al rendimiento [de ClearSightNet actual], la red funciona en aproximadamente 1,3 milisegundos (GPU integrada) y 0,7 milisegundos (GPU discreta) por cuadro en Xavier. Ya está disponible en NVIDIA DRIVE 9.0.