Preguntas y respuestas:Team of Robots Maps Composición de un entorno

El Dr. David Lary, de la Universidad de Texas en Dallas, dirige un grupo de investigación que ha desarrollado un equipo de dispositivos robóticos autónomos que se pueden usar en sitios peligrosos o de difícil acceso para realizar encuestas y recopilar datos, lo que brinda más y más información. de lo que los seres humanos son capaces de ofrecer.

Resúmenes técnicos: ¿Qué lo inspiró a usar varios dispositivos autónomos para recopilar conjuntos holísticos de datos ambientales?

Dra. David Lary: Bueno, hay dos partes en ese viaje. La primera es la pasión que me mueve. Deseo profundamente tener una detección holística integral para mantener a las personas fuera de peligro para que pueda haber los conocimientos procesables apropiados para tomar decisiones oportunas. Esa es mi motivación, pero el viaje real para mí hasta este punto comenzó hace unos años, bueno, hace casi 30 años.

Cuando hice mi doctorado en Cambridge, la persona que estaba muy cerca y que descubrió el agujero de ozono era un tipo llamado Joe Farman. Entonces, para mi doctorado, desarrollé el primer modelo global tridimensional para el agotamiento del ozono. Era un módulo químico que era un complemento del modelo global que utilizaba el Centro Europeo para la previsión meteorológica a medio plazo. Con mi complemento pude hacer simulaciones globales para la química relacionada con el ozono. Entonces, la pregunta obvia que quería hacer era:¿qué tan bueno es este modelo? Para verificarlo, tuve que reunir tantas fuentes de datos como pude:satélites, aeronaves, sensores terrestres y globos. Uno de los

cosas perniciosas que enfrenté fue el sesgo entre instrumentos. Entonces, estaba buscando una manera de ayudar a lidiar con estos sesgos. Aunque esto fue hace 30 años, por casualidad me encontré con el aprendizaje automático. Esto fue antes de que llegara a la gran adopción que tiene hoy, y descubrí que hizo un muy buen trabajo. Eso me hizo pensar en qué más podíamos hacer con él. En el camino, fuimos los primeros en desarrollar la asimilación de datos químicos, que ahora utilizan agencias de todo el mundo como parte de sus sistemas de pronóstico de la calidad del aire.

Una de las cosas que hacemos en la asimilación de datos es prestar mucha atención a las incertidumbres. Parte de mi trabajo en la NASA fue crear productos de datos de teledetección globales. La forma en que funciona es que utiliza la información de detección remota para crear un producto de datos, por ejemplo, sobre la composición de la atmósfera o la superficie terrestre o la composición submarina, por ejemplo, para los océanos globales. Obtiene los datos de detección remota del satélite y los compara con la realidad del terreno in situ. Por lo general, recopilar los datos de capacitación para hacerlo podría llevar hasta una década más o menos. Es toda una tarea porque desea poder probar tantas condiciones y contextos diferentes como sea probable que encuentre en todo el mundo.

Nuestro equipo robótico autónomo, en aproximadamente 15 minutos, recolectó el mismo volumen de datos que se usa normalmente para crear esos productos de datos de detección remota basados ​​en satélites, aunque para una ubicación. Por lo tanto, podría entrar en un nuevo entorno, uno que no se haya visto antes y realizar rápidamente observaciones coordinadas con precisión. En este caso, el equipo era una embarcación y un vehículo aéreo. Elegimos el barco porque es un poco más desafiante que una medición en tierra debido a los problemas de acceso.

Este tipo de paradigma es útil no solo para ayudar a crear rápidamente nuevos productos, sino también para la calibración y validación de observaciones satelitales, también es útil para ayudar a mantener a las personas fuera de peligro. Si tiene un entorno muy contaminado, o un entorno en el que existen amenazas para los humanos que ingresan, el equipo de robots puede ir allí y recopilar de manera coordinada los datos apropiados.

El estudio de nuestro artículo utilizó un vehículo aéreo con un generador de imágenes hiperespectrales que recopila un gran volumen de datos muy rápidamente. Por lo tanto, incluso nuestras tuberías de datos más rápidas en este momento, tal vez la comunicación celular 5G, no son lo suficientemente rápidas para manejar el ancho de banda requerido para transmitir imágenes hiperespectrales. Abordamos ese problema con el procesamiento a bordo que nos permite crear estos productos de datos sobre la marcha, utilizando el aprendizaje automático a bordo y luego transmitirlos. Los productos de datos finales, por ejemplo, la abundancia de un contaminante, es una cantidad mucho menor de datos que podemos transmitir fácilmente en tiempo real.

Por lo tanto, es realmente la capacidad de recopilar rápidamente datos completos que podrían usarse para mantener a las personas fuera de peligro, para caracterizar los ecosistemas, ser parte de una actividad de respuesta de emergencia, por ejemplo, después de un huracán que inundó un vecindario cerca de una planta química. , o cualquier número de tales aplicaciones:floraciones de algas nocivas, derrames de petróleo o diversas aplicaciones agrícolas.

Está diseñado para ser un conjunto flexible de componentes. Al igual que ahora estamos acostumbrados a tener una tienda de aplicaciones en nuestro teléfono, o a que los autos Tesla tengan actualizaciones inalámbricas:estos son sensores definidos por software con su propia tienda de aplicaciones que se pueden actualizar para mejorar sus capacidades con el tiempo.

Resúmenes técnicos: ¿Tienes sensores voladores y sensores terrestres y envías la información a dónde? ¿Cómo se procesa todo eso? ¿Dónde se procesa?

Dra. Lary: Piense en esto como un conjunto de sensores inteligentes. Hay un conjunto de cosas:primero hay un sensor definido por software. El sensor definido por software sería un paquete de detección inteligente, que combina el sistema de detección física, por ejemplo, una cámara, una cámara hiperespectral, una cámara térmica o un espectrómetro de masas. Podría ser cualquier dispositivo de detección con algún software/aprendizaje automático envuelto, que luego brinda la posibilidad de proporcionar algunos productos de datos calibrados y/o derivados. La mayoría de los sensores necesitarán algún tipo de calibración.

Al acoplar el sensor con un envoltorio de software/aprendizaje automático, podemos hacer una calibración complicada que nos permite tener un sistema mucho más flexible. Entonces, ese sensor definido por software también puede tener una tienda de aplicaciones propia. Uno o más de estos sensores definidos por software pueden estar en una plataforma que proporciona al sensor energía y marcas de tiempo y ubicación para todos los datos que produce, y también conectividad de comunicación y, tal vez, donde sea relevante, movilidad.

Resúmenes técnicos: Entonces, ¿esta es una plataforma física?

Dra. Lary: Sí, en este ejemplo teníamos dos plataformas. Teníamos el vehículo aéreo robótico con la cámara hiperespectral y la cámara térmica y algunos otros sensores a bordo. Y luego, la segunda plataforma era el barco robótico, que tenía un conjunto completo de sensores en el agua debajo, incluido un sonar y varios sensores de composición, y en la parte superior, una estación meteorológica ultrasónica.

El sensor definido por software más la plataforma forman un centinela. Este centinela es algo que normalmente puede moverse, realizar mediciones, procesar datos y/o transmitirlos.

Múltiples centinelas que trabajan juntos pueden formar un equipo de robots que pueden cooperar entre sí para proporcionar más capacidades de las que cualquiera de ellos puede hacer por sí solo. En este caso, el robot aéreo con sus sensores coopera con el robot acuático:el barco robótico y sus sensores. Como están en la misma red, los robots aéreos, por diseño, se deslizan sobre el mismo camino que el barco. El barco mide lo que hay en el agua, mientras que el robot aéreo mira el agua desde arriba con su cámara hiperespectral remota y, mediante el aprendizaje automático, aprende el mapeo de lo que ve nuestra cámara hiperespectral a la composición del agua. Una vez que ha aprendido ese mapeo, ahora puede volar rápidamente sobre un área mucho más amplia y proporcionarnos, digamos, un mapa de composición de área amplia de la concentración de petróleo, la abundancia de clorofila, el carbono orgánico disuelto o cualquier componente del agua. me interesa.

Podemos hacer eso, sin haber visto nunca antes ese entorno:el equipo de robots coopera para recopilar estos datos de entrenamiento. El aprendizaje automático utiliza los datos de entrenamiento para crear nuevos productos de datos como el mapa de composición de área amplia. Una vez que se ha entrenado ese modelo, la detección hiperespectral se puede realizar solo a partir de las mediciones aéreas, se puede procesar a bordo del vehículo aéreo y luego los resultados se transmiten en tiempo real. Normalmente, ese es un volumen de datos tan grande que puede tomar un tiempo considerable hacer el cálculo numérico. Dado que no puede transmitirlo en tiempo real porque es muy grande, poder procesarlo a bordo y luego transmitirlo no solo le brinda una nueva capacidad, sino que también reduce la latencia, la demora en poder incluso hacer tal tarea.

Resúmenes técnicos: Es como de lo que hablan con los sensores para el procesamiento perimetral para reducir la cantidad de datos que tiene que enviar.

Dra. Lary: Exacto.

Resúmenes técnicos: ¿Considerarías que el trabajo que acabas de hacer es un prototipo?

Dra. Lary: Sí, tenemos que empezar por alguna parte, así que este es nuestro primer paso.

Resúmenes técnicos: ¿Cómo prevé que se use en la práctica? Digamos que hay un desastre y las autoridades quieren usar su sistema, ¿qué harían?

Dra. Lary: Este prototipo es solo una instancia de una visión mucho más completa, es la implementación mínima de lo que podría ser un equipo multi-robot. Aquí solo teníamos dos robots, el aéreo y el barco robótico. Elegimos esos dos porque, ser capaz de sentir el agua tiene desafíos de acceso. Pero este equipo fácilmente podría tener muchos más miembros, digamos un robot que camina por el suelo o un vehículo anfibio que podría llevar a todo el equipo de robots a un entorno potencialmente peligroso para desplegarlo de forma remota.

Podría responder a un derrame de petróleo como Deepwater Horizon, donde vimos las imágenes de los impactos en la vida silvestre, las pesquerías afectadas, etc., y los derrames de petróleo ocurren todo el tiempo. O podría haber derrames químicos. Por ejemplo, cuando el huracán Harvey azotó a Houston, con su gran cantidad de plantas de procesamiento, hubo una fuerte inundación de esas instalaciones y algunos vecindarios cercanos quedaron rodeados por tres lados por agua contaminada. Los compuestos orgánicos volátiles en el agua terminaron desgasificándose, lo que causó graves problemas respiratorios:las personas no sabían lo que estaban respirando, pero sabían que les estaba afectando. Los trabajadores que iban a limpiar también estaban siendo afectados por el agua contaminada.

Con nuestro sistema de detección, sabrá exactamente a qué se enfrenta para poder adaptar su respuesta de forma adecuada. Pero también podría aplicarse a otros casos como la proliferación de algas nocivas. O incluso si no hay un desastre, este tipo de capacidad se puede usar para caracterizar ecosistemas y realizar estudios de infraestructura. Por ejemplo, carreteras, vías férreas y puentes, donde los robots autónomos con sus sensores pueden tomar rápidamente medidas detalladas.

Ahora imagina un escenario diferente. Digamos que tiene los robots aéreos como los que teníamos en este ejemplo. Con el radar hiperespectral, térmico y de apertura sintética, que observa la textura de una superficie, podría combinarse con un robot terrestre que tenga un radar de penetración en el suelo en busca de vacíos u otras fallas. Ya sea un túnel o una carretera, las cavidades se forman con el uso y la intemperie. También hay muchos escenarios diferentes que podrías usar para la agricultura. Está diseñado para ser una detección integral, que al igual que los bloques de Lego se pueden usar juntos, como plug and play. Podría usarlos rápidamente para una gran variedad de casos de uso de la vida real, donde las decisiones basadas en datos en tiempo real conducen a una mayor transparencia, manteniendo a las personas fuera de peligro.

Resúmenes técnicos: Si alguien quiere usar este sistema, ¿debería tener robots y drones personalizados, o tendría un paquete que podría montar en un dispositivo existente? ¿Cómo imaginas que esto se vuelva práctico?

Dra. Lary: He tenido que luchar durante muchos años para que las cosas funcionen juntas. Una cosa es comprar el equipo y otra cosa es que los componentes funcionen juntos. Todo lo que compramos estaba listo para usar, porque nuestro esfuerzo se centró en, a falta de una palabra mejor, la inteligencia, como la integración de software.

Habiendo dicho eso, un paso clave para estos sensores diseñados por software para los que estamos usando el aprendizaje automático es calibrar contra una referencia o aprender sobre la marcha. Estamos usando el mismo tipo de idea para la calidad del aire y distribuyendo sensores de bajo costo en ciudades que han sido calibrados contra sensores de referencia realmente costosos. Podemos implementar sensores a escala de vecindario, lo que anteriormente hubiera tenido un costo prohibitivo.

Al poder calibrar los sensores de bajo costo contra una referencia de la misma manera que en este equipo de robots, calibramos las mediciones hiperespectrales realizadas por la capacidad de detección remota contra la composición in situ, en este caso del agua, y puedes lograr cosas que de otro modo serían muy, muy desafiantes.

Es realmente la red de sensores, la red de centinelas autónomos que trabajan juntos de forma cooperativa mediante el aprendizaje automático, lo que le permite hacer mucho más de lo que cualquiera de esos componentes podría hacer por sí solo.

Resúmenes técnicos: ¿Prevé que esto sea comercializado, construido por empresas privadas o ve que el gobierno se involucre en esto? ¿Qué ves en el futuro?

Dra. Lary: Mi sueño en el futuro es tener una tienda donde las personas, los municipios o las empresas puedan tener acceso inmediato a este tipo de capacidades, y no solo obtener los sensores sino también los servicios de back-end. De modo que cuando conectas y reproduces estas cosas juntas, simplemente funciona y no tienes que pasar por un largo desarrollo. La Fundación Nacional de Ciencias clasifica esto como un sistema ciberfísico. Los sistemas ciberfísicos son básicamente sistemas de detección combinados con algoritmos para ayudarlo a tomar decisiones mejores y oportunas.

Entonces, mi sueño para todo esto, y por lo que varios de nosotros estamos trabajando, y damos la bienvenida a socios de todo tipo, es tener un observatorio social ciberfísico. Tendría que ser una instalación nacional como un observatorio astronómico con un telescopio gigante, porque nadie más puede permitirse hacer algo a esa escala.

Imagine ahora que tiene un conjunto de capacidades de detección con múltiples componentes, que en nuestro proyecto son robots aéreos y un barco robótico. Pero nuestro sistema en realidad tiene nueve tipos de centinelas para varios tipos de situaciones. Podemos utilizar la teledetección de satélites y radares meteorológicos. Además de los vehículos aéreos, contamos con sensores a nivel de la calle, que transmiten la calidad del aire las 24 horas del día, los 7 días de la semana, la intensidad de la luz, la radiación ionizante, etc. Tenemos robots que caminan, tenemos vehículos terrestres eléctricos y botes robóticos, pero también tenemos sensores portátiles.

También queremos poder tener detección multiescala del panorama global, desde un satélite. Entonces, digamos que ahora volvamos al ejemplo del huracán Harvey. Mucho antes de que el huracán Harvey tocara tierra, pudimos verlo con los satélites y luego, a medida que se acercaba a tocar tierra, con el radar meteorológico. Pero luego, en el momento en que toca tierra, los detalles del microambiente se vuelven críticos. La altura exacta de arroyos particulares podría marcar una gran diferencia en el entorno local. Entonces, queremos tener información tanto a gran escala global como a escala hiperlocal porque tú y yo vivimos en esa escala muy localizada. Para poder detectar simultáneamente tanto a gran escala como a escala local, realmente necesitamos varios centinelas.

Pero la detección portátil también es muy importante. Por ejemplo, en algunos de los trabajos paralelos que estamos haciendo, ves titulares de noticias que dicen que la mala calidad del aire te vuelve "tonto". ¿Pero qué tan tonto es tonto? ¿Qué contaminantes pueden hacernos más tontos que el resto? Entonces, en uno de nuestros estudios, usamos detección biométrica integral y medimos más de 16 000 parámetros por segundo, junto con detección ambiental integral de aproximadamente 2000 parámetros ambientales para ver cómo el estado ambiental afecta nuestra respuesta autónoma.

Todo esto está diseñado tanto para ser la detección holística para mantener a las personas fuera de peligro, como para encontrar ese elefante invisible en la habitación que puede estar afectando nuestra salud. Una vez que nos damos cuenta de qué es eso y podemos cuantificarlo, normalmente hay un camino obvio de decisiones basadas en datos para mejorar las cosas y luego tomar los siguientes pasos apropiados para monitorear nuestro progreso.

Ese es realmente mi sueño:ser un catalizador para esta detección holística para mantener a las personas fuera de peligro:la detección al servicio de la sociedad. Tenemos muchos prototipos que estamos tratando de llevar al punto en que puedan ser utilizables. Por lo tanto, siempre damos la bienvenida a las asociaciones para ayudar a acelerar eso, de gobiernos, individuos, municipios locales, grupos comunitarios, empresas. Estamos trabajando con todos esos tipos de entidades.

Resúmenes técnicos: Parece que estás inventando un tipo de infraestructura completamente nuevo.

Dra. Lary: Lo estamos intentando, básicamente es impulsado por las necesidades. La información holística puede marcar una gran diferencia al brindarnos información para tomar decisiones adecuadas. No sería trivial hacerlo sin la infraestructura adecuada.

Resúmenes técnicos: Suena maravilloso, solo espero que pueda implementarse algún día.

Dra. Lary: Yo también, yo también. Hemos recorrido un largo camino. Creo que estamos dando el primer paso.

La otra parte está fuera de lo físico, a lo que no llegué, es que puedes tener cosas como el ausentismo escolar, que luego conduce a malos resultados de aprendizaje. Pero a menudo resulta que el ausentismo puede deberse a cosas como el asma. El asma se debe al alto nivel de polen oa la contaminación del aire, y en realidad es una cascada de efectos:lo social interactúa con lo ambiental. No queremos que esto sea solo una cosa de una sola vía. Queremos que los desencadenantes de las observaciones sean tanto lo que vemos directamente de la detección, como también los problemas sociales, como grupos de resultados de salud o floraciones de algas, que pueden acabar con la pesca o un derrame de petróleo:es una interacción bidireccional.

Tener una plataforma de datos que pueda reunir todas estas capas de parámetros ambientales con las capas sociales, como tendencias de mortalidad, ausentismo, incidencia de cáncer, etc., puede ayudar a que el proceso de toma de decisiones para ayudar a las personas sea mucho más transparente y efectivo.

Resúmenes técnicos: ¿En qué trabaja ahora? ¿Cuál es tu siguiente paso?

Dra. Lary: El próximo paso para este equipo de robots en particular con los botes más el vehículo aéreo sería mejorar varios aspectos de ese equipo autónomo. Y luego queremos extenderlo para tener más miembros del equipo. Por ejemplo, tener un vehículo terrestre anfibio que tal vez pueda transportar tanto el barco como el vehículo aéreo a un entorno contaminado y luego desplegarlos, mientras también realiza mediciones por sí mismo. Además, para que los robots sean parte de la remediación.

Son los diferentes componentes trabajando juntos. El mismo tipo de equipo también se puede utilizar para observar el mantenimiento de la infraestructura, ya sean carreteras, vías férreas o puentes, y también para otros aspectos de la calidad ambiental:calidad del aire, calidad del agua. Entonces, en realidad, esta prueba de concepto era solo un prototipo para mostrar:"Oye, esto se puede hacer y ahora nos gustaría escalarlo en tantas aplicaciones diferentes".

Además, estos pueden ser prototipos para misiones satelitales. Puede imaginar una tubería donde tiene una prueba de concepto en un vehículo aéreo. Luego podría pasar a otras plataformas como CubeSat, por ejemplo. Esto también puede ser parte del proceso de validación, recopilando datos para misiones satelitales, así como recopilando datos para cualquiera de los diferentes propósitos que he mencionado.

Una versión editada de esta entrevista apareció en la edición de junio de 2021 de Tech Briefs.