Inicie 16.384 aplicaciones de Windows en una supercomputadora Linux en solo 5 minutos

• Los investigadores del MIT desarrollan un modelo que ejecuta simultáneamente 16.384 aplicaciones de Windows en supercomputadoras Linux en 5 minutos. 
• Para hacer esto, utilizaron la tecnología Lincoln Lab LLMapReduce junto con la capa de compatibilidad Wine Windows.

Dado que el ritmo de la Ley de Moore se está reduciendo, se ha hecho necesario utilizar procesamiento paralelo para aumentar el rendimiento de la aplicación. Las redes neuronales, la simulación física y las aplicaciones de análisis de datos están evolucionando a un ritmo significativo y utilizan el poder del procesamiento paralelo para alcanzar su objetivo de rendimiento.

Para ejecutar este tipo de aplicaciones con uso intensivo de datos, se necesitan varios programas basados en determinados sistemas operativos, como Microsoft Windows, que tiene una larga experiencia en la implementación de computación paralela.

Sin embargo, las 500 supercomputadoras más importantes del mundo funcionan con Linux y son capaces de ejecutar aplicaciones interactivas en miles de núcleos en segundos. Por lo general, las máquinas virtuales (VM) se utilizan para ejecutar programas de Windows en computadoras Linus, lo que impone una gran sobrecarga a las aplicaciones.

La ejecución de varias máquinas virtuales en una supercomputadora podría tardar varios segundos (a veces minutos) por máquina virtual. Escalarlos a miles de núcleos en una supercomputadora existente ciertamente genera problemas de eficiencia y rendimiento, lo que dificulta la ejecución simultánea de toneladas de aplicaciones de Windows en una supercomputadora.

Ahora, un equipo de investigadores del MIT ha ideado una nueva técnica que lanza y ejecuta rápidamente aplicaciones de Windows en miles de procesadores en una supercomputadora moderna. En particular, han demostrado el lanzamiento de 16.000 aplicaciones de Windows en 5 minutos (cada aplicación es manejada por un núcleo).

¿Cómo funciona?

Para iniciar rápidamente aplicaciones de Windows en una supercomputadora Linux, los investigadores utilizaron la tecnología Lincoln Lab LLMapReduce (reducción de mapas multinivel) junto con la capa de compatibilidad Wine de Windows. Para la informática de alto rendimiento, la programación multinivel cambia ligeramente el código de análisis para procesar numerosos conjuntos de datos con un solo lanzamiento de trabajo.

La pila de software MIT SuperCloud viene con una interfaz fácil de usar que brinda acceso a LLMapReduce para ejecutar de manera eficiente miles de tareas en un clúster, reduciendo la programación paralela compleja, la resolución de dependencias y los trabajos de envío de tareas a una línea de código, al mismo tiempo que aumenta el rendimiento de las tareas al minimizar la latencia de cada tarea.

Dado que LLMapReduce no se basa en ningún lenguaje específico, funciona con cualquier ejecutable, lo que lo hace ideal para lanzar numerosas instancias de Wine simultáneamente.

Componentes del planificador SLURM | Cortesía de los investigadores

Utilizaron un programador de trabajos de código abierto llamado Slurm Workload Manager para identificar rápidamente recursos, asignarlos a tareas, programar la ejecución de tareas en los recursos asignados, iniciarlas, monitorear la tarea mientras se ejecuta y realizar una limpieza del epílogo cuando finaliza la tarea.

Referencia:arXiv:1808.04345

Resultados

Tiempos de lanzamiento y tasas de lanzamiento de instancias de Windows

Los investigadores implementaron su sistema en una supercomputadora que contiene 648 nodos de cómputo (cada nodo tiene no menos de 64 núcleos de procesamiento Xeon Phi) con un total de 41,472 núcleos. Ejecutaron una única instancia de Windows en 1,2,4,8…256 nodos, seguida de 2,4,8…64 instancias en cada uno de los 256 nodos, lo que les dio un total de 16,384 instancias simultáneas.

Leer:Las unidades de procesamiento de memoria pueden implementar eficientemente algoritmos de IA

Todas estas instancias tardaron casi cinco minutos en ejecutarse, lo que permitió una amplia gama de aplicaciones ejecutables de Windows en supercomputadoras. El equipo planea ampliar esta capacidad a una mayor cantidad de procesadores que ejecuten programas más diversos.