NVIDIA despliega IA para mejorar claridad de cámara en vehículos autónomos

Investigadores desarrollan red neuronal profunda que evalúa capacidad de cámara para ver claramente.

Vehículos autónomos pueden usar esta red para tomar mejores decisiones.

Cómo funciona

Decenas de empresas trabajan en tecnología de vehículos autónomos y abordan retos de ingeniería de formas distintas. Para imitar capacidad humana de ver, la tecnología se basa principalmente en tres elementos: radar, cámaras y lidar.

Sin embargo, factores como lluvia, nieve y otros bloqueos degradan visión de cámara. Esto dificulta la capacidad del sistema de percepción robusta para entender su entorno y validar datos de sensores.

Para detectar efectivamente invalidez de datos de sensores lo antes posible en pipeline de procesamiento antes de llegar a módulos downstream, investigadores de NVIDIA desarrollaron modelo IA que evalúa capacidad de cámara para ver claramente.

Este modelo usa red neuronal profunda —llamada ClearSightNet— para descubrir causas raíz de bloqueos, oclusiones y reducciones en visibilidad. Tiene potencial para:

1. Razonar sobre amplia gama de causas posibles de reducción en visibilidad de cámara.
2. Proporcionar datos accionables.
3. Ejecutar en varias cámaras con baja sobrecarga computacional.

Cómo funciona

La red divide imágenes de cámara en dos partes; una asociada a oclusión, otra a reducción de visibilidad.

Fuente: NVIDIA | YouTube

Oclusión representa porción específica del campo de visión de cámara bloqueada por objetos opacos (nieve, barro, polvo) o sin datos (píxeles saturados por luz solar). En estas porciones, percepción está totalmente deteriorada.

Visibilidad reducida representa porciones parcialmente bloqueadas por niebla, deslumbramiento o lluvia intensa. En tales casos, decisiones de algoritmos deberían marcarse con "menor confianza".

Lado izquierdo muestra imagen entrada mientras derecho es imagen superpuesta con máscara de salida de red neuronal. Casi 84% de píxeles afectados por oclusión parcial y completa.

Para mostrar estas porciones, ClearSightNet pone máscara en video/imagen entrada en tiempo real. Regiones de visibilidad reducida marcadas en verde, regiones completamente ocluidas en rojo. La red también muestra cuánto área del video entrada afecta visibilidad reducida u oclusión.

Estos datos podrían usarse de varias formas. Coches autónomos, por ejemplo, pueden no aplicar función auto cuando visibilidad es baja, y alertar conductor para limpiar parabrisas o lente de cámara. Vehículos pueden usar esta red para conocer percepción de cámara.

El equipo planea mejorar ClearSightNet para proporcionar cálculos end-to-end e información más detallada sobre visibilidad de cámara, permitiendo mayor control sobre implementación de vehículos autónomos.

Leer: Nvidia IA convierte videos 30fps a 240fps

En cuanto a rendimiento [ClearSightNet actual], la red corre ~1,3 ms (GPU integrada) y 0,7 ms (GPU discreta) por frame en Xavier. Ya disponible en NVIDIA DRIVE 9.0.