MLCommons Presenta MLPerf Inference Benchmark 2024: Resultados Edge, Centro de Datos, Móvil y Notebook

MLCommons, la organización independiente que cura la suite de benchmarks MLPerf, ha anunciado la última ronda de puntuaciones MLPerf Inference. Los nuevos resultados se dividen limpiamente en cuatro clases de dispositivo —centro de datos, edge, móvil y notebook— facilitando a compradores, vendedores e investigadores comparar rendimiento a través de cargas de trabajo reales.

Segmentación por Clase de Dispositivo

Separar las puntuaciones por clase de dispositivo refleja los factores de forma y perfiles de rendimiento distintos que caracterizan cada mercado. Como David Kanter, director ejecutivo de MLCommons dijo a EE Times, "Si hablas de un notebook, probablemente corre Windows; si hablas de un smartphone, probablemente corres iOS o Android". Al aislar resultados móviles y de notebook, el benchmark proporciona insights más claros sobre las capacidades de los aceleradores más relevantes para cada caso de uso.

Modelos State-of-the-Art

A diferencia de la ronda anterior, que se centraba principalmente en tareas de visión, el benchmark actual incorpora cinco modelos modernos de grado de producción:

• DLRM – un motor de recomendación a gran escala
• 3D‑UNet – un modelo de imagen médica para detección de tumores en escaneos MRI
• RNN‑T – un motor de voz a texto
• BERT – un transformer de procesamiento de lenguaje natural
• MobileNetEdge, SSD‑MobileNetv2, Deeplabv3, y Mobile BERT – variantes optimizadas para móvil de los anteriores

Estas elecciones fueron impulsadas por un consejo asesor que incluye expertos de la industria de recomendación, imagen médica y dominios de voz, asegurando que los benchmarks reflejen las cargas de trabajo más demandantes en producción hoy.

Rendimiento en Centro de Datos

Como se anticipaba, las GPUs de Nvidia dominan la clase de centro de datos. De hecho, el 85 % del total de envíos fueron impulsados por hardware de Nvidia, y la empresa barrió cada categoría en la que entró. El benchmark muestra una brecha de rendimiento que se ensancha: en un modelo básico de visión por computadora, la Nvidia A100 entrega aproximadamente 30× el throughput de un CPU Intel Cooper Lake, y 237× más rápido que un CPU comparable en cargas de trabajo de sistemas de recomendación. Paresh Kharya, director senior de gestión de producto de Nvidia, destaca que un solo DGX‑A100 puede igualar el rendimiento de un clúster de 1.000 nodos CPU para tareas de recomendación, ofreciendo un valor tremendo para escalar.

El único participante no-CPU, no-GPU en esta clase fue el acelerador Zebra de Mipsology, corriendo en un FPGA Xilinx Alveo U250. Zebra logró 4.096 consultas ResNet por segundo en modo servidor versus 5.563 para una Nvidia T4, y 5.011 muestras por segundo offline comparado a 6.112 para la T4.

En la categoría de investigación-desarrollo, la empresa taiwanesa Neuchips' RecAccel —un acelerador basado en FPGA para DLRM— rindió a la par o por debajo de los CPUs Cooper Lake de Intel y quedó corto de los resultados de Nvidia. Estos prototipos en etapa temprana demuestran la amplitud de hardware IA emergente, incluso si aún no están disponibles comercialmente.

Resultados en Tier Edge

Los sistemas edge fueron impulsados en gran medida por las A100, T4, AGX Xavier y Xavier NX de Nvidia. El diseño de referencia de Centaur Technology, con su procesador x86 propietario y un coprocesador IA separado, superó a la Tesla T4 de Nvidia en latencia ResNet single-stream pero quedó rezagado en throughput. La consultora británica dividiti presentó una amplia gama de puntuaciones —desde Raspberry Pi hasta Nvidia AGX Xavier— destacando cómo las elecciones de sistema operativo y el uso de aceleradores on-chip pueden influir en los resultados.

Nuevos participantes del pool de investigación-desarrollo incluyeron a la empresa rusa IVA Technologies y la startup coreana Mobilint. Aunque ninguno logró rendimiento revolucionario, su inclusión muestra que los aceleradores prototipo están alcanzando un nivel de madurez de software que justifica benchmarking contra soluciones comerciales.

Benchmarks Móvil y Notebook

La clase móvil vio tres envíos comparables: MediaTek Dimensity 820 (en Xiaomi Redmi 10X 5G), Qualcomm Snapdragon 865+ (probado en Asus ROG Phone 3), y Samsung Exynos 990 (usado en Galaxy Note 20 Ultra). Samsung lideró en clasificación de imagen y NLP, MediaTek destacó en detección de objetos, y Samsung volvió a superar en segmentación de imagen. Los resultados ilustran que ningún SoC único domina en todas las tareas, subrayando la importancia de optimización específica por carga de trabajo.

La categoría notebook contenía un solo diseño de referencia de Intel con la próxima GPU Xe‑LP. Aunque el conjunto de datos limitado dificulta comparación detallada, el Xe‑LP logró 2,5× mayor throughput que el mejor SoC móvil en segmentación de imagen (DeeplabV3) y 1,15× mejor en detección de objetos (SSD‑MobileNetv2).

Mirando al Futuro

Kanri enfatiza el compromiso de MLCommons con la diversidad en el ecosistema de benchmark. La organización fomenta la participación de no-Nvidia, no-Intel y pequeñas empresas, con una división abierta que permite probar cualquier red o modelo. "También estamos trabajando en añadir una dimensión de medición de potencia para la próxima ronda", dice Kanter, invitando a la comunidad a ayudar a desarrollar las herramientas necesarias.

Para una lista completa y detallada de resultados MLPerf Inference, haga clic aquí.

Fuente: EE Times

Resultados edge dominados por GPUs Nvidia, incluyendo Jetson Xavier NX