Lanzamiento de 16.384 apps Windows en supercomputadora Linux en solo 5 minutos

• Investigadores de MIT desarrollan modelo que ejecuta simultáneamente 16.384 aplicaciones Windows en supercomputadoras Linux en 5 minutos.
• Para ello, usaron tecnología Lincoln Lab LLMapReduce junto con capa de compatibilidad Wine Windows.

Dado que el ritmo de la Ley de Moore se reduce, se ha vuelto necesario usar procesamiento paralelo para aumentar el rendimiento de aplicaciones. Redes neuronales, simulación física y aplicaciones de análisis de datos evolucionan a ritmo significativo, y utilizan el poder del procesamiento paralelo para alcanzar sus metas de rendimiento.

Para ejecutar tales aplicaciones intensivas en datos, requieres varios software basados en ciertos sistemas operativos, como Microsoft Windows, que tiene larga experiencia implementando computación paralela.

Sin embargo, las top 500 supercomputadoras del mundo corren en Linux, y son capaces de ejecutar aplicaciones interactivas en miles de núcleos en segundos. Usualmente, máquinas virtuales (VMs) se usan para correr programas Windows en computadoras Linux, lo que impone mucha sobrecarga en las aplicaciones.

Ejecutar múltiples VMs en supercomputadora podría tomar varios segundos (a veces minutos) por máquina virtual. Escalarlas a miles de núcleos en supercomputadoras existentes ciertamente plantea problemas de eficiencia y rendimiento, dificultando ejecutar toneladas de aplicaciones Windows en una supercomputadora simultáneamente.

Ahora, un equipo de investigadores de MIT ha ideado una nueva técnica que lanza y ejecuta rápidamente aplicaciones Windows en miles de procesadores en una supercomputadora moderna. En particular, han demostrado el lanzamiento de 16.000 aplicaciones Windows en 5 minutos (cada aplicación manejada por un núcleo).

¿Cómo funciona?

Para lanzar rápidamente aplicaciones Windows en supercomputadora Linux, investigadores usaron tecnología Lincoln Lab LLMapReduce (multi-level map-reduce) junto con capa de compatibilidad Wine Windows. Para computación de alto rendimiento, el scheduling multinivel cambia ligeramente el código de análisis para procesar numerosos datasets con un solo lanzamiento de job.

La pila de software MIT SuperCloud viene con una interfaz fácil de usar que da acceso a LLMapReduce para ejecutar eficientemente miles de tareas en un clúster, disminuyendo scheduling paralelo complejo, resolución de dependencias y trabajos de envío de tareas a una línea de código, mientras aumenta concurrentemente el rendimiento de tareas minimizando la latencia de cada tarea.

Dado que LLMapReduce no se basa en ningún lenguaje específico, funciona con cualquier ejecutable, lo que lo hace ideal para lanzar numerosas instancias Wine simultáneamente.

Componentes del scheduler SLURM | Cortesía de los investigadores

Usaron un job scheduler open source llamado Slurm Workload Manager para identificar rápidamente recursos, asignarlos a tareas, programar ejecución de tareas en sus recursos asignados, lanzarlas, monitorizar tareas mientras corren y realizar limpieza de epílogo cuando la tarea termina.

Referencia: arXiv:1808.04345

Resultados

Tiempos y tasas de lanzamiento de instancias Windows

Investigadores implementaron su sistema en una supercomputadora conteniendo 648 nodos de cómputo (cada nodo tiene no menos de 64 núcleos de procesamiento Xeon Phi) con un total de 41.472 núcleos. Ejecutaron una sola instancia de Windows en 1,2,4,8…256 nodos, seguida por 2,4,8…64 instancias en cada uno de los 256 nodos, dándoles un total de 16.384 instancias concurrentes.

Leer: Unidades de procesamiento de memoria implementan eficientemente algoritmos IA

Todas estas instancias tomaron casi 5 minutos en ejecutarse, permitiendo una amplia gama de aplicaciones Windows ejecutables en supercomputadoras. El equipo planea extender esta capacidad a mayor número de procesadores ejecutando programas más diversos.