Cómo un enjambre de robots mapea entornos: entrevista con el Dr. David Lary

El Dr. David Lary de la Universidad de Texas en Dallas lidera un grupo de investigación que ha desarrollado un equipo de dispositivos robóticos autónomos que pueden usarse en sitios peligrosos o de difícil acceso para realizar estudios y recopilar datos, proporcionando más y mejores insights que los seres humanos pueden ofrecer.

Tech Briefs: ¿Qué le inspiró a usar múltiples dispositivos autónomos para recopilar conjuntos holísticos de datos ambientales?

Dr. David Lary: Bueno, hay dos partes en ese viaje. La primera es la pasión que me impulsa. Deseo profundamente tener una detección holística integral para mantener a las personas fuera de peligro de modo que pueda haber insights accionables apropiados para tomar decisiones oportunas. Esa es mi motivación, pero el viaje real para mí hasta este punto comenzó hace unos años —bueno, casi 30 años atrás.

Cuando hice mi doctorado en Cambridge, la persona que estaba realmente cerca, que descubrió el agujero de ozono, era un tipo llamado Joe Farman. Así que para mi doctorado desarrollé el primer modelo global 3-dimensional para el agotamiento del ozono. Fue un módulo químico que era un plug-in para el modelo global que usaba el Centro Europeo para Pronósticos Meteorológicos de Mediano Alcance. Con mi plug-in podía hacer simulaciones globales para química relacionada con ozono. Y así, la pregunta obvia que quería hacer era: ¿qué tan bueno es este modelo? Para verificarlo tuve que reunir tantas fuentes de datos como pudiera: satélites, aviones, sensores terrestres y globos. Una de las cosas perniciosas que enfrenté fue el sesgo inter-instrumental. Así que buscaba una forma de ayudar a lidiar con estos sesgos. Aunque esto fue hace 30 años, por casualidad me topé con el aprendizaje automático. Esto fue antes de que llegara a la gran adopción que tiene hoy, y descubrí que hacía un trabajo realmente bueno. Eso me empezó a interesar en qué más podíamos hacer con ello. En el camino, fuimos las primeras personas en desarrollar asimilación de datos químicos, que ahora es usada por agencias alrededor del mundo como parte de sus sistemas de pronóstico de calidad del aire.

Una de las cosas que hacemos en asimilación de datos es prestar mucha atención a las incertidumbres. Parte de mi trabajo en la NASA fue crear productos de datos de teledetección globales. La forma en que funciona es que usas la información de teledetección para crear un producto de datos, digamos sobre la composición de la atmósfera o la superficie terrestre o composición submarina, digamos para océanos globales. Obtienes los datos de teledetección del satélite y los comparas con la verdad de terreno in-situ. Típicamente, recopilar los datos de entrenamiento para hacer eso podría tomar hasta una década o más. Es una tarea bastante grande porque quieres poder muestrear tantas condiciones y contextos diferentes como es probable que encuentres globalmente.

Nuestro equipo robótico autónomo, en unos 15 minutos, recopiló el mismo volumen de datos que se usa típicamente para crear esos productos de datos de teledetección basados en satélites, aunque para una ubicación. Así que podría entrar en un nuevo ambiente, uno que no ha visto antes y hacer observaciones precisamente coordinadas rápidamente. En este caso, el equipo era un barco y un vehículo aéreo. Elegimos el barco porque es un poco más desafiante que una medición terrestre debido a los problemas de acceso.

Este tipo de paradigma es útil no solo para ayudar a crear rápidamente nuevos productos, sino también para la calibración y validación de observaciones de satélites, también es útil para ayudar a mantener a las personas fuera de peligro. Si tienes un ambiente muy contaminado, o un ambiente en el que hay amenazas para los humanos que entran en él, el equipo de robots puede ir allí y de manera coordinada recopilar los datos apropiados.

El estudio en nuestro artículo usó un vehículo aéreo con un imagenador hiperspectral que recopila un enorme volumen de datos muy rápidamente. Así que, incluso nuestras tuberías de datos más rápidas ahora, tal vez comunicación celular 5G, no son lo suficientemente rápidas para lidiar con el ancho de banda requerido para transmitir imágenes hiperspectrales. Abordamos ese problema con procesamiento a bordo que nos permite crear estos productos de datos sobre la marcha, usando aprendizaje automático a bordo, y luego transmitirlos. Los productos de datos finales, digamos la abundancia de un contaminante, es una cantidad mucho menor de datos que podemos transmitir fácilmente en tiempo real.

Así que realmente es la capacidad de recopilar rápidamente datos exhaustivos que podrían usarse para mantener a las personas fuera de peligro, caracterizar ecosistemas, ser parte de una actividad de respuesta de emergencia, digamos después de un huracán que ha causado inundación de un vecindario cerca de una planta química, o cualquier número de tales aplicaciones: floraciones algales nocivas, derrames de petróleo, o varias aplicaciones agrícolas.

Está diseñado para ser un conjunto flexible de componentes. Al igual que ahora estamos acostumbrados a tener una tienda de aplicaciones en nuestro teléfono, o los coches Tesla teniendo actualizaciones over-the-air — estos son sensores definidos por software con su propia tienda de aplicaciones que pueden actualizarse para mejorar sus capacidades con el tiempo.

Tech Briefs: Tienes sensores voladores y sensores terrestres y envías la información de vuelta a dónde? ¿Cómo se procesa todo eso? ¿Dónde se procesa?

Dr. Lary: Piensa en esto como un conjunto de sensores inteligentes. Hay un conjunto de cosas: primero hay un sensor definido por software. El sensor definido por software sería un paquete de detección inteligente, que combina el sistema de detección físico, digamos una cámara, una cámara hiperspectral, cámara térmica, o un espectrómetro de masas. Podría ser cualquier dispositivo de detección con algún software/aprendizaje automático envuelto alrededor, que luego proporciona la facilidad para proporcionar algunos productos de datos calibrados y/o derivados. La mayoría de los sensores necesitarán calibración de algún tipo.

Al acoplar el sensor con un envoltorio de software/aprendizaje automático podemos hacer una calibración complicada que nos permite tener un sistema mucho más flexible. Así que ese sensor definido por software también puede tener su propia tienda de aplicaciones. Uno o más de estos sensores definidos por software pueden estar en una plataforma que proporciona al sensor energía y sellos de tiempo y ubicación para todos los datos que produce, y también conectividad de comunicación, y tal vez donde sea relevante, movilidad.

Tech Briefs: Entonces, ¿esto es una plataforma física?

Dr. Lary: Sí — en este ejemplo teníamos dos plataformas. Teníamos el vehículo aéreo robótico con la cámara hiperspectral y la cámara térmica y algunos otros sensores a bordo. Y luego la segunda plataforma era el barco robótico, que tenía toda una suite de sensores en el agua debajo de él, incluyendo sonar y varios sensores de composición y en la parte superior, una estación meteorológica ultrasónica.

El sensor definido por software más la plataforma forma un centinela. Este centinela es algo que típicamente puede moverse, hacer mediciones, procesar datos y/o transmitirlos.

Múltiples centinelas trabajando juntos pueden formar un equipo de robots que pueden cooperar entre sí para proporcionar más capacidades de las que cualquiera de ellos puede hacer por sí solo. En este caso, el robot aéreo con sus sensores está cooperando con el robot de agua — el barco robótico y sus sensores. Como están en la misma red, los robots aéreos, por diseño, se deslizan sobre la misma ruta que el barco. El barco mide lo que hay en el agua, mientras que el robot aéreo mira hacia abajo al agua desde arriba con su cámara hiperspectral remota y, usando aprendizaje automático, aprende el mapeo de lo que nuestra cámara hiperspectral ve a la composición del agua. Una vez que ha aprendido ese mapeo, ahora puede volar rápidamente sobre un área mucho más amplia y proporcionarnos, digamos, un mapa de composición de área amplia de la concentración de petróleo, la abundancia de clorofila, carbono orgánico disuelto, o cualquier componente del agua en el que estemos interesados.

Podemos hacer eso, sin haber visto nunca ese ambiente antes — el equipo de robots coopera para recopilar estos datos de entrenamiento. Los datos de entrenamiento son usados por el aprendizaje automático para crear nuevos productos de datos como el mapa de composición de área amplia. Una vez que ese modelo ha sido entrenado, la detección hiperspectral puede hacerse solo desde las mediciones aéreas, puede procesarse a bordo del vehículo aéreo y luego los resultados transmitidos en tiempo real. Normalmente, eso es un volumen de datos tan enorme que puede tomar un tiempo sustancial hacer el procesamiento numérico. Como no puedes transmitirlo en tiempo real porque es tan grande, poder procesarlo en el borde a bordo y luego transmitirlo, no solo te da una nueva capacidad, sino que también reduce la latencia, el retraso en poder incluso hacer tal tarea.

Tech Briefs: Es como lo que hablan con sensores para procesamiento en el borde para reducir la cantidad de datos que tienes que enviar.

Dr. Lary: Exactamente.

Tech Briefs: ¿Consideraría el trabajo que acaba de hacer como prototipado?

Dr. Lary: Sí, tenemos que empezar en algún lugar, así que este es nuestro primer paso.

Tech Briefs: ¿Cómo prevé que se use prácticamente — digamos que hay un desastre y las autoridades quieren usar su sistema, qué harían?

Dr. Lary: Este prototipo es solo una instancia de una visión mucho más completa, es la implementación mínima de lo que podría ser un equipo multi-robot. Aquí solo teníamos dos robots, el aéreo y el barco robótico. Elegimos esos dos porque poder detectar agua tiene desafíos de acceso. Pero este equipo podría tener fácilmente muchos más miembros, digamos un robot caminante terrestre, o un vehículo anfibio que pudiera llevar todo el equipo de robots a un ambiente potencialmente peligroso para ser desplegado remotamente.

Podría responder a un derrame de petróleo como Deepwater Horizon, donde vimos las imágenes de impactos en vida silvestre, pesquerías afectadas, y así sucesivamente — y los derrames de petróleo ocurren todo el tiempo. O podría haber derrames químicos. Por ejemplo, cuando el huracán Harvey golpeó Houston, con su gran número de plantas de procesamiento, hubo una fuerte inundación de esas instalaciones y algunos vecindarios cercanos fueron rodeados en tres lados por agua contaminada. Compuestos orgánicos volátiles en el agua terminaron desgasificando, lo que causó problemas respiratorios severos — la gente no sabía qué estaban respirando, pero sabían que les afectaba. Los trabajadores que entraban a limpiar también estaban siendo afectados por el agua contaminada.

Con nuestro sistema de detección, sabrías exactamente con qué estás lidiando para que puedas adaptar tu respuesta apropiadamente. Pero podría aplicarse igual de bien a otros casos como floraciones algales nocivas. O incluso si no hay desastre, este tipo de capacidad puede usarse para caracterizar ecosistemas y hacer estudios de infraestructura. Digamos, carreteras, ferrocarriles y puentes, donde los robots autónomos con su detección pueden tomar mediciones detalladas rápidamente.

Ahora imagina un escenario diferente. Digamos que tienes los robots aéreos muy parecidos a los que teníamos en este ejemplo. Con el hiperspectral, térmico, y digamos radar de apertura sintética, mirando la textura de una superficie, podría acoplarse con un robot terrestre que tiene un radar de penetración terrestre buscando vacíos u otras fallas. Ya sea un túnel o una carretera, se forman cavidades con el uso y la intemperie. También hay muchos escenarios diferentes que podrías usar para agricultura. Está diseñado para ser detección integral, que como bloques de Lego puedes usar juntos, como plug-and-play. Podrías usarlos rápidamente para una gran variedad de casos de uso reales, donde decisiones basadas en datos en tiempo real conducen a más transparencia, manteniendo a las personas fuera de peligro.

Tech Briefs: Si alguien quiere usar este sistema, ¿necesitarían robots y drones construidos a medida, o tendrían un paquete que podrían montar en un dispositivo existente? ¿Cómo imagina esto volviéndose práctico?

Dr. Lary: He tenido que luchar durante muchos años para hacer que las cosas funcionen juntas. Es una cosa comprar el equipo, es otra cosa que los componentes funcionen juntos. Todo lo que compramos fue de estantería, porque nuestro esfuerzo fue en la, por falta de una palabra mejor, la inteligencia, como la integración de software.

Dicho esto, un paso clave para estos sensores diseñados por software para los que usamos el aprendizaje automático, es calibrar contra una referencia o aprender sobre la marcha. Estamos usando el mismo tipo de idea para calidad del aire y distribuyendo sensores de bajo costo en ciudades que han sido calibrados contra sensores de referencia realmente caros. Podemos desplegar sensores a escala de vecindario, lo que anteriormente habría sido prohibitivo en costo.

Al poder calibrar los sensores de bajo costo contra una referencia de manera muy similar a como en este equipo de robots, calibramos las mediciones hiperspectrales hechas por la capacidad de teledetección contra la composición in-situ, en este caso del agua, y puedes lograr cosas que de otro modo serían muy, muy desafiantes.

Realmente es la red de sensores, la red de centinelas autónomos trabajando juntos cooperativamente usando aprendizaje automático, lo que te permite hacer mucho más de lo que cualquiera de esos componentes podría hacer por sí solo.

Tech Briefs: ¿Prevé esto siendo comercializado, construido por empresas privadas o ve al gobierno involucrándose con ello? ¿Qué ve hacia adelante?

Dr. Lary: Mi sueño hacia adelante es tener una tienda donde individuos, municipios o empresas, puedan tener acceso listo a este tipo de capacidades, y no solo obtener los sensores sino también los servicios de backend. Así que cuando enchufas y juegas con esto, simplemente funciona, y no tienes que pasar por un largo desarrollo. La National Science Foundation categoriza esto como un sistema ciber-físico. Los sistemas ciber-físicos son básicamente sistemas de detección acoplados con algoritmos para ayudarte a tomar mejores decisiones oportunas.

Así que mi sueño para todo esto, y en lo que varios de nosotros estamos trabajando — y damos la bienvenida a socios de todo tipo — es tener un observatorio ciber-físico-social. Tendría que ser una instalación nacional al igual que un observatorio astronómico con un telescopio gigante, porque nadie más puede permitirse hacer algo a esa escala.

Imagina ahora que tienes un conjunto de capacidades de detección con múltiples componentes, que en nuestro proyecto son robots aéreos y un barco robótico. Pero nuestro sistema en realidad tiene nueve tipos de centinelas para varios tipos de situaciones. Podemos usar teledetección desde satélites y radares meteorológicos. Además de vehículos aéreos, tenemos sensores a nivel de calle, transmitiendo 24/7 calidad del aire, intensidad de luz, radiación ionizante, etc. Tenemos robots caminantes, tenemos vehículos terrestres eléctricos y barcos robóticos, pero también tenemos sensores wearables.

También queremos poder tener detección multiescala desde la imagen global grande, desde un satélite. Así que digamos que ahora volvemos al ejemplo del huracán Harvey. Mucho antes de que el huracán Harvey tocara tierra, podríamos verlo con los satélites y luego, a medida que se acercaba a la costa, con radar meteorológico. Pero en el minuto en que toca tierra, los detalles del micro-ambiente se vuelven críticos. La altura exacta de corrientes particulares podría hacer una diferencia realmente grande para el ambiente local. Así que queremos tener información tanto a escala global grande como hiper-local porque tú y yo vivimos a esa escala muy localizada. Para poder detectar simultáneamente tanto a gran escala como a escala local, realmente necesitamos múltiples centinelas.

Pero la detección wearable también es realmente importante. Por ejemplo, en parte del trabajo paralelo que estamos haciendo, ves titulares de noticias que dicen que la mala calidad del aire te hace "tonto". Pero ¿qué tan tonto es tonto? ¿Qué contaminantes pueden hacernos más tontos que el resto? Así que en uno de nuestros estudios, estamos usando detección biométrica integral y midiendo más de 16.000 parámetros por segundo, junto con detección ambiental integral de unos 2.000 parámetros ambientales para ver cómo el estado ambiental afecta nuestra respuesta autonómica.

Todo esto está diseñado para ser tanto la detección holística para mantener a las personas fuera de peligro, sino también para encontrar ese elefante invisible en la habitación que puede estar afectando nuestra salud. Una vez que nos damos cuenta de qué es eso y podemos cuantificarlo, normalmente hay un camino obvio de decisiones basadas en datos para mejorar las cosas y luego tomar los próximos pasos apropiados para monitorear nuestro progreso.

Ese es realmente mi sueño — ser un catalizador para esta detección holística para mantener a las personas fuera de peligro: detección al servicio de la sociedad. Tenemos muchos prototipos que estamos intentando llevar al punto que puedan ser utilizables. Así que siempre damos la bienvenida a asociaciones para ayudar a acelerar eso — desde gobiernos, desde individuos, municipios locales, grupos comunitarios, empresas. Estamos trabajando con todos esos tipos de entidades.

Tech Briefs: Suena como si estuvieras inventando un tipo completamente nuevo de infraestructura.

Dr. Lary: Lo intentamos— está básicamente impulsado por necesidades. La información holística puede hacer una gran diferencia dándonos información para tomar decisiones apropiadas. Sería no trivial hacer eso sin la infraestructura apropiada.

Tech Briefs: Suena maravilloso, solo espero que se pueda implementar algún día.

Dr. Lary: Yo también, yo también. Hemos recorrido un largo camino. Creo que estamos dando el primer paso.

El otro aspecto está fuera de lo físico, que no llegué a mencionar, es que puedes tener cosas como absentismo escolar, que luego conduce a malos resultados de aprendizaje. Pero a menudo resulta que el absentismo puede deberse a cosas como asma. El asma se debe a alto polen o contaminación del aire, y en realidad es una cascada de efectos — lo social está interactuando con lo ambiental. No queremos que esto sea solo una cosa de una vía. Queremos que los disparadores para las observaciones sean tanto lo que vemos de la detección directamente, sino también de problemas sociales como grupos de resultados de salud o floraciones algales, que pueden acabar con pesquerías, o un derrame de petróleo — es una interacción de dos vías.

Tener una plataforma de datos que pueda reunir todas estas capas de parámetros ambientales con las capas sociales como tendencias de mortalidad, absentismo, incidencia de cáncer, etc. puede ayudar a hacer el proceso de toma de decisiones para ayudar a las personas, mucho más transparente y efectivo.

Tech Briefs: ¿En qué está trabajando ahora? ¿Cuál es su próximo paso?

Dr. Lary: El próximo paso para este equipo de robots particular con los barcos más el vehículo aéreo sería mejorar varios aspectos de ese equipo autónomo. Y luego queremos extenderlo para tener más miembros del equipo. Por ejemplo, tener un vehículo terrestre anfibio que tal vez pueda llevar tanto el barco como el vehículo aéreo a un ambiente contaminado, y luego desplegarlos, mientras también hace mediciones por su cuenta. También, hacer que los robots sean parte de la remediación.

Son los diferentes componentes trabajando juntos. El mismo tipo de equipo también puede usarse para mirar el mantenimiento de infraestructura, ya sean carreteras, ferrocarriles o puentes, y también para otros aspectos de la calidad ambiental — calidad del aire, calidad del agua. Así que realmente, esta prueba de concepto fue solo un prototipo para mostrar: "Oye, realmente esto se puede hacer y ahora nos gustaría escalarlo en tantas aplicaciones diferentes."

También, estos pueden ser prototipos para misiones de satélites. Puedes imaginar un pipeline donde tienes una prueba de concepto en un vehículo aéreo. Luego podría transicionar a otras plataformas como un CubeSat, por ejemplo. Esto también puede ser parte del proceso de validación, recopilando datos para misiones de satélites, así como recopilando datos para cualquiera de los diferentes propósitos que he mencionado.

Una versión editada de esta entrevista apareció en la edición de junio de 2021 de Tech Briefs.