Entendiendo sensores Time-of-Flight: Cómo las cámaras 3D ToF miden distancia

¿Cómo determinan la distancia los sensores time-of-flight? Aprenda más sobre cámaras ToF usando un ejemplo de cámara 3D.

¿Cómo determinan la distancia los sensores time-of-flight? Aprenda más sobre cámaras ToF usando un ejemplo de cámara 3D.

Hay tres tecnologías líderes de imagen 3D compitiendo por espacio en su móvil y automóvil. Esas tecnologías son imagen estereoscópica, proyección de luz estructurada y cámaras time-of-flight (o ToF). Los datos que generan estos dispositivos pueden proporcionar detección de peatones, autenticar usuarios por rasgos faciales, detectar movimiento de mano y alimentar algoritmos SLAM (localización y mapeo simultáneos).

Dos de los mayores jugadores en este espacio son ams e Infineon. Al momento de escribir, ams lleva uno de cada tipo de sensor e Infineon se enfoca solo en sensores time-of-flight.

Este artículo describe la tecnología detrás de sensores time-of-flight enfocándose en un kit de desarrollo de cámara 3D "pico flexx" de pmdtechnologies. (Antes de preguntar, tanto "pico flexx" como "pmdtechnologies" se presentan en minúsculas en su web).

El pico flexx está construido alrededor del sensor de imagen 3D REAL3 desarrollado conjuntamente por Infineon y pmd.

Imagen 3D en falsos colores de una mano tomada de pmdtec.com el 29 abril 2019. Colores mapeados a píxeles individuales basados en distancia del sensor a la mano (rojo es cerca, azul es lejos)

Tenga en cuenta que pmd proporcionó un dispositivo para este artículo.

¿Qué es un sensor Time of Flight?

Los sensores time-of-flight miden el tiempo que tarda algo en recorrer una distancia a través de un medio. Típicamente, es la medición del tiempo transcurrido entre la emisión de un pulso de onda, su reflexión en un objeto y su retorno al sensor ToF. Una cámara time-of-flight es un dispositivo que utiliza medición ToF para determinar distancias entre la cámara y objetos o entornos, creando imágenes generadas por puntos medidos individualmente.

Aplicaciones de cámaras ToF incluyen sistemas de imagen LiDAR sin escáner basados en láser, detección y seguimiento de movimiento, detección de objetos para visión artificial y conducción autónoma, mapeo topográfico y más.

Pero ¿cómo se logran estas mediciones?

A continuación, he representado tres formas de usar tiempo de viaje para determinar distancia.

Métodos de uso de tiempo de viaje para determinar distancias

En la parte superior de la imagen, ve el primer método: enviar pulsos y medir el intervalo de tiempo hasta que retornan tras reflexión.

El medio de la imagen muestra el segundo método, donde puede modular la amplitud de una fuente de luz y registrar el desplazamiento de fase de la onda reflejada.

El fondo de la imagen representa el tercer método: transmitir una onda cuadrada de ciclo de trabajo 50 % y registrar la cantidad de luz retornada que llega en un intervalo específico.

Cámaras ToF con precisión a nivel milimétrico

La luz y ondas de radio viajan a casi 300.000.000.000 mm/s, lo que se traduce a ~3,3 ps para que una onda recorra 1 mm (y otros 3,3 ps para retornar). Eso significa, si quiere un dispositivo que pueda imaginar todos los objetos en la habitación donde está y quiere ~1 mm de resolución, su electrónica de temporización necesitaría resolución de picosegundos. Eso se traduce a una velocidad de reloj de cientos de GHz.

No es ni fácil ni económico diseñar circuitos electrónicos que operen a esas frecuencias, así que los diseñadores tuvieron que idear una forma de trabajar a frecuencias más bajas si esperaban llevar los dispositivos asequibles al espacio de consumo.

Dos métodos comunes existen para lograr precisión a nivel milimétrico trabajando con frecuencias razonables, sub-GHz:

• Relacionar el desplazamiento de fase de una onda modulada sinusoidalmente con la distancia
• Usar el desplazamiento de fase de una onda cuadrada de ciclo de trabajo 50 % y un voltaje diferencial para determinar distancia

En las secciones siguientes, veremos estos dos métodos en mayor detalle.

Determinando distancia por desplazamiento de fase de una onda modulada en amplitud

Digamos que busca mapear una oficina pequeña o sala grande con una dimensión máxima de 15 m. Para determinar una frecuencia de operación apropiada para esa longitud, use c = λ · f donde c es la velocidad de la luz (c=3×10⁸ m/s), λ es una longitud de onda (λ=15 m), y f es la frecuencia. En este ejemplo, f=20 MHz, una frecuencia relativamente fácil de trabajar.

Todo comienza cuando una luz brillante tiene su salida modulada con una señal sinusoidal de 20 MHz. La onda de luz eventualmente alcanzará un objeto o la pared y reflejará invirtiendo dirección. Una versión más tenue de la luz modulada original retornará al receptor. A menos que el objeto esté exactamente a un múltiplo entero de 15 metros, la fase se desplazará en alguna cantidad.

El desplazamiento de fase puede usarse para calcular la distancia que viajó la onda.

Si puede medir el ángulo de fase con precisión, puede determinar con precisión la distancia a la que está el objeto reflector del sensor/receptor.

Cómo medir el ángulo de fase de un sinusoide

Entonces, ¿cómo medir rápidamente el ángulo de fase de un sinusoide? Eso implica medir la amplitud de la señal recibida en cuatro puntos igualmente espaciados (es decir, separación de 90° o ¼ λ).

φ = ArcTan((A₁ - A₃) / (A₂ - A₄))

He intentado ilustrar la relación entre las mediciones y el ángulo de fase abajo. La razón de la diferencia entre A₁ y A₃ y la diferencia entre A₂ y A₄ es igual a la tangente del ángulo de fase. ArcTan es en realidad la función arco-tangente de dos argumentos que mapea cuadrantes apropiados y define cuando A₂=A₄ y A₁>A₃ o A₃>A₁ como 0° o 180°, respectivamente.

Haga clic en el diagrama para ver una imagen más compleja que ilustra cómo las diferencias de las variables A₁, A₂, A₃ y A₄ encajan en el círculo unitario.

En la ilustración arriba, el extremo izquierdo del gráfico tiene dos líneas numéricas verticales que muestran el resultado de restar A₁ y A₃ (representado en amarillo oscuro) y A₂ y A₄ (representado en azul). Los valores medidos se muestran como líneas verticales en los gráficos sinusoidales del medio.

Note que este gráfico no tiene en cuenta la reflexión (que efectivamente desplazaría todo 180°).

Determinando frecuencia de operación para una distancia dada

Volviendo a nuestro ejemplo, la distancia al objetivo se determina con la ecuación:

d = (c · φ) / (4π · f)

Donde c es la velocidad de la luz, phi (φ) es el ángulo de fase (en radianes), y f es la frecuencia de modulación.

Medir el time-of-flight real de un fotón requiere electrónica de 333 GHz. Este método requiere un máximo de 4x la frecuencia de modulación, que en este caso es 4×20 MHz = 80 MHz. Esta es una reducción fenomenal de recursos. Pero se alegrará saber que algunos ingenieros ingeniosos encontraron forma de reducir la frecuencia máxima aún más.

Determinando desplazamiento de fase mediante medición de voltaje diferencial de capacitores cargados

La siguiente situación de medición involucra una fuente de luz estroboscópica y un sensor de imagen CMOS con dos capacitores por píxel.

Una fuente de reloj genera una onda cuadrada de ciclo de trabajo 50 % y esa onda cuadrada controla una fuente de luz estroboscópica brillante, así como la conexión a los capacitores de almacenamiento de carga dentro de cada píxel.

Un ejemplo de tal sistema se representa en la imagen abajo:

Imagen de "A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS". Esto muestra un píxel CMOS con dos capacitores de almacenamiento de carga que se conectan alternadamente para grabar luz entrante.

La luz sale de la fuente, refleja en un objeto y golpea el píxel donde se grabará como carga en capacitor C_A o C_B mostrado arriba. Los capacitores se conectan alternadamente al píxel a la misma frecuencia que la fuente de iluminación, usando la misma fuente de reloj.

Este ingenioso arreglo significa que la carga diferencial en los capacitores se relaciona directamente con el desplazamiento de fase. Y la fase está determinada por la longitud de onda y la distancia al objetivo y vuelta.

Imagen de "A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS"

El sujeto puede iluminarse por tantos ciclos como necesarios para llenar los capacitores. Mientras la distancia sea constante, las proporciones de carga se mantendrán iguales.

Sensores Time of Flight en acción

¿Qué tan bien funciona este método? Mejor de lo que podría esperar.

El sensor proporcionado a AAC, combinado con el software acompañante, tiene la capacidad de grabar hasta 45 fps. A tasas de refresco más bajas el sistema puede imaginar fácilmente arrugas en una camisa.

La imagen arriba grafica la ubicación de vértice (x,y,z) de cada píxel capturado de la cámara pico flexx de pmd.

Los datos solo de profundidad son difíciles de visualizar por sí mismos. Así que la imagen de profundidad a menudo se combina con una fotografía, o se muestra usando coloreado falso para permitir visualización más fácil de la escena.

Una superposición de profundidad en falso color de una imagen de baja resolución facilita interpretar la escena. Imagen del autor capturada con software Royal Viewer de pmd y kit de desarrollo CamBoard pico flexx 3D.

---

Los sensores time-of-flight pueden utilizarse en una gama de aplicaciones, incluyendo crear un mapa 3D del entorno al combinar física ingeniosa con ingeniería.

¿Ha usado alguna vez cámaras 3D en su trabajo? ¿Qué puede contarnos sobre las restricciones de diseño al usar sensores time-of-flight? Comparta sus experiencias en los comentarios.