Por Dentro del Laboratorio IIoT de RTI: Desde Hardware hasta Sistemas Avanzados de Build y Test

"Asegúrese de contarles sobre los sistemas de software que operan el laboratorio", me recordó mi equipo mientras me preparaba para guiar un tour del Laboratorio Industrial IoT (IIoT) de RTI durante la edición de Silicon Valley de la Conferencia Connext. Aunque las paredes del laboratorio están llenas de servidores, Raspberry Pis y otro hardware, es el software subyacente lo que transforma el espacio en un entorno de prueba totalmente funcional. Nuestras herramientas de orquestación internas se integran estrechamente con los pipelines internos de build, test y soporte de RTI.

Antes de sumergirnos en detalles, considere la amplitud del desarrollo de software que el laboratorio soporta. El software RTI Connext corre en más de 100 combinaciones de procesador/SO/toolchain —desde Linux mainstream en Intel x86 hasta sistemas operativos de tiempo real de nicho en plataformas embebidas personalizadas. Soporta múltiples transportes de red e interfaces con varias bases de datos. Nuestra suite de librerías cubre C, C++, Java, C#, Ada, Lua, Python, JavaScript y Go, y nuestra cartera de productos abarca más de 20 ofertas individuales. Para mantener contentos a clientes legacy, enviamos parches a versiones de software de hace una década.

En RTI, operamos nuestra propia infraestructura de build y test. Aunque algunas cargas de trabajo podrían migrar a proveedores cloud como AWS, Azure o Atlassian Cloud, la mayor parte de las capacidades de nuestro laboratorio permanecen on-premises. Aquí una instantánea de lo que ejecutamos.

El laboratorio IIoT de RTI consta de tres grandes grupos de sistemas:

1. El clúster de build y test – ejecutando varias máquinas virtuales x86/x64
2. Los targets de prueba enterprise y embebidos – una combinación de hardware especial, sistemas operativos de tiempo real y sistemas menos comúnmente usados
3. Las máquinas de escalabilidad y rendimiento – un conjunto de poderosas máquinas de prueba y un gran banco de placas Raspberry Pi

El Clúster de Build y Test

Cada día, desarrolladores y nuestro sistema de Integración Continua (CI) disparan docenas de builds y corridas de prueba en nuestro clúster. Construido sobre OpenStack y Ceph, el clúster virtualiza recursos de cómputo y almacenamiento. Actualmente usamos Atlassian Bamboo para CI, pero estamos migrando a Jenkins para aprovechar tooling moderno de CI/CD.

Semanalmente, lanzamos un ciclo completo de build y prueba de regresión que abarca todas las arquitecturas soportadas, incluyendo máquinas virtuales y targets enterprise y embebidos reales.

Empleamos scripts personalizados para automatizar el build semanal. Estos scripts inician compilación nativa y cruzada, reinician placas embebidas, ejecutan pruebas en targets enterprise y embebidos, agregan resultados y los muestran en un dashboard amigable para desarrolladores. Lograr resultados consistentes en plataformas heterogéneas demanda profunda experiencia en porting de software, entendimiento de matices de SO y dominio de automatización embebida.

Targets de Prueba Enterprise y Embebidos

Ciertos targets de prueba no pueden virtualizarse —nuestro laboratorio alberga AIX en IBM Power, Solaris en SPARC, e incluso openVMS en sistemas DEC Alpha. En un caso único, reutilizamos una consola PlayStation 3 para correr Linux, ofreciendo una alternativa rentable a rigs personalizados de procesador Cell. También corremos múltiples versiones de macOS y despliegues endurecidos de Redhawk Linux de Concurrent.

La mayoría de nuestros targets son embebidos, muchos como SoCs. Soportamos x86, PowerPC, MIPS, ARM (incluyendo Zynq y NVIDIA Tegra X2) y una amplia gama de sistemas operativos de tiempo real —VxWorks, VxWorks 653, Integrity, LynxOS, QNX, Nucleus, FreeRTOS, Linux real-time, DEOS e Intime. Cuando clientes proveen hardware propietario, SO y BSPs, nuestro equipo de plataforma integra la pila, a menudo siendo los primeros en validar nuevo hardware o BSPs.

Máquinas de Escalabilidad y Rendimiento

El tercer grupo incluye máquinas x64 de alto rendimiento aisladas para medición de latencia y throughput, así como un clúster de Raspberry Pi para pruebas de topología de red. Usando nuestro marco personalizado "Polygraph", verificamos protocolos de descubrimiento a escala, midiendo CPU, memoria, ancho de banda y latencia de descubrimiento. Nuestro equipo de investigación construyó un sistema ligero para desplegar aplicaciones de prueba y recolectar resultados en grandes clústeres.

Redes

Validamos middleware contra diversas tecnologías de red —10/100 Mbps, Gigabit, 10 GbE, Wi-Fi, InfiniBand e incluso enlaces satelitales— mientras simulamos pérdida y corrupción de paquetes. Nuestra robusta gestión de cables y testbed inalámbrico nos permiten hacer stress-test a características de Movilidad de Transporte. El acceso remoto se facilita mediante switches de red de energía y servidores seriales, permitiendo a ingenieros worldwide controlar cada sistema desde cualquier lugar.

El Sistema de Build de Próxima Generación

Aunque nuestra infraestructura actual nos ha servido bien, estamos desarrollando un sistema de build de próxima generación para impulsar productividad: builds más rápidos, toolchains modernos como CMake, Conan.io, JFrog Artifactory, Docker y Jenkins; ejecución de trabajos paralelizada; y reserva de máquinas simplificada. Este nuevo sistema empoderará aún más a nuestros equipos de ingeniería y release.

El Laboratorio IIoT de RTI opera 24/7, 365 días al año, asegurando que los sistemas distribuidos de misión crítica de nuestros clientes permanezcan fiables y performantes. Manténganse atentos para más actualizaciones sobre el próximo sistema de build.