Chip TSP AI de Groq ahora impulsa cargas cloud vía Nimbix

El tensor streaming processor (TSP) de Groq se ha añadido a la nube, permitiendo a clientes acelerar cargas IA bajo demanda. Nimbix ahora ofrece aceleración machine‑learning basada en TSP exclusivamente a clientes seleccionados.

En la arena competitiva de silicio IA para data‑center, Groq se sitúa junto a Graphcore como únicas startups con aceleradores comercialmente disponibles integrados en servicios cloud. Los chips de Graphcore ya se ofrecen a través de Microsoft Azure.

"La arquitectura de procesamiento simplificada de Groq es única, proporcionando rendimiento determinista sin precedentes para cargas intensivas en cómputo, y es una adición emocionante a nuestra plataforma cloud de IA y Deep Learning", dijo Steve Hebert, CEO de Nimbix.

Groq es solo el segundo startup acelerador IA en hacer su hardware disponible en la nube (Imagen: Groq)

Lanzado el pasado otoño, el chip TSP de Groq entrega un asombroso 1.000 TOPS (1 peta operaciones por segundo). En benchmarks recientes, el chip logró 21.700 inferencias ResNet‑50 v2 por segundo —más del doble de velocidad que sistemas GPU‑basados contemporáneos— subrayando su estatus como uno de los procesadores neural‑network comerciales más rápidos.

"Estos resultados ResNet‑50 validan que la arquitectura única de Groq y su enfoque de aceleración machine learning entregan rendimiento de inferencia sustancialmente más rápido que competidores", dijo Jonathan Ross, co‑fundador y CEO de Groq. "Estos proof points reales, basados en benchmarks estándar de la industria y no simulaciones o emulación hardware, confirman ganancias medibles de rendimiento para aplicaciones machine learning e inteligencia artificial posibles gracias a tecnologías de Groq."

El diseño de Groq logra el paralelismo masivo necesario para aceleración deep‑learning sin el overhead de sincronización típico de CPUs y GPUs. Al descargar lógica de control al compilador —sello de la estrategia software‑driven de Groq— la compañía entrega rendimiento totalmente determinista y predecible que puede cuantificarse en compile‑time.

Una ventaja destacada es que las ganancias de rendimiento de Groq no dependen de batching, táctica común en data‑center que procesa múltiples muestras simultáneamente para boost throughput. El chip TSP alcanza pico de rendimiento incluso en batch = 1, ideal para streams inferencia real‑time. Mientras el chip ofrece ventaja moderada 2,5× latencia sobre GPUs en batch sizes grandes, la ventaja sube a 17× en batch = 1.