Explicación de Neoclouds:por qué la IA necesita computación en la nube centrada en GPU

Las cargas de trabajo de IA se están generalizando en prácticamente todas las industrias. Pero a medida que crece la demanda de IA, también crece la presión sobre la infraestructura. Desafortunadamente, las opciones tradicionales para acceder a la computación de alto rendimiento se están quedando cortas, lo que lleva a las empresas a buscar alternativas. Algunos están recurriendo a las neonubes, un nuevo tipo de proveedor de servicios informáticos centrado en ofertas centradas en GPU.

Estos nuevos proveedores están ganando interés debido a un cambio en la informática; uno caracterizado por una creciente dependencia de las GPU para la IA. Si bien las GPU son adecuadas para manejar las necesidades de procesamiento paralelo del entrenamiento y la inferencia de IA, son notoriamente caras y escasas. Una GPU de alta gama puede costar decenas de miles de dólares, y eso sólo si una empresa puede encontrar una. Los ciclos de adquisición son largos, los plazos de entrega son impredecibles y los equipos de TI empresariales con frecuencia luchan por adquirir suficiente capacidad para satisfacer la demanda.

Los proveedores de nube a hiperescala, como AWS, Google Cloud y Azure, han tratado de llenar el vacío ofreciendo instancias de GPU y GPU como servicio. Para muchas organizaciones, este modelo funciona, pero sólo hasta cierto punto.

Las instancias de GPU basadas en la nube ofrecen flexibilidad, escalabilidad y una implementación rápida. Pero a medida que crece el uso, también aumenta la factura. El modelo de pago por uso rápidamente se vuelve prohibitivo en términos de costos a escala, particularmente para cargas de trabajo sostenidas como capacitación en modelos de lenguaje grande (LLM), ajustes o inferencia en tiempo real en aplicaciones empresariales.

Como resultado, muchas organizaciones se encuentran atrapadas entre la espada y la pared (una infraestructura local escasa y costosa) y un lugar difícil (altos costos de GPU en la nube pública).

Entran las neonubes

En este entorno, está surgiendo una nueva categoría de proveedor de computación:el proveedor de neonube. Los proveedores de infraestructura de Neocloud ofrecen computación de alto rendimiento, muy centrada en GPU, a precios más asequibles (al menos según ellos). Lo logran aprovechando orígenes no convencionales, nuevos modelos económicos y diferentes estrategias de infraestructura.

Por ejemplo, algunas neonubes tienen sus raíces en la minería de criptomonedas. Durante el auge de las criptomonedas de la última década, miles de mineros en todo el mundo construyeron centros de datos equipados con servidores GPU optimizados para operaciones mineras. A medida que el mercado de las criptomonedas se enfrió y la minería se volvió menos rentable, estos operadores se encontraron con grandes cantidades de capacidad de GPU inactiva. En lugar de dejar que este hardware se deprecie en un almacén, algunos reutilizaron sus equipos para cargas de trabajo de IA y así nació la neonube.

Otras en el espacio son nuevas empresas creadas expresamente que vieron la oportunidad de ofrecer una alternativa más rentable a los hiperescaladores optimizando la relación precio-rendimiento y evitando los gastos generales de las operaciones de nube heredadas. Algunos se basan en pilas de software de código abierto y se ubican en centros de datos de bajo costo; otros agregan el exceso de capacidad de GPU en redes descentralizadas, formando una especie de “mercado al contado de GPU” que las empresas pueden aprovechar a costos más bajos.

Beneficios del modelo Neoclouds

Para las empresas que buscan potencia informática de IA sin costos exorbitantes, los proveedores de neocloud afirman que pueden ofrecer varios beneficios, que incluyen:

Menor coste por hora de GPU :Las neonubes a menudo cobran una fracción de lo que cobran los hiperescaladores por instancias de GPU comparables. Afirman que sus modelos operativos eficientes y sus estrategias de reutilización de hardware se traducen en ahorros reales.

Acceso dedicado :En muchos casos, los proveedores de neocloud ofrecen acceso dedicado a las GPU, lo que reduce la contención y garantiza un rendimiento predecible.

Disponibilidad rápida :Con procesos flexibles de adquisición y aprovisionamiento, los proveedores de neocloud afirman que a menudo pueden ofrecer capacidad mucho más rápido que los proveedores tradicionales, lo que ayuda a los equipos a iterar e implementar modelos de IA sin demora.

Descentralización y resiliencia :Algunas neonubes operan en modelos distribuidos, obteniendo computación de centros de datos geográficamente diversos o redes de operadores independientes.

Sostenibilidad :La reutilización del hardware existente, particularmente de la industria de las criptomonedas, reduce los desechos electrónicos y promueve prácticas de TI más sostenibles. Algunas neonubes también se ubican en instalaciones alimentadas por energía renovable, lo que reduce aún más la huella de carbono.

Ver también: Cambio en el mercado de GPU:aprovechando la caída de la criptominería

GPU como servicio, reinventadas

En esencia, las neonubes representan una nueva versión del modelo GPU como servicio. Las empresas consideradas proveedores de neocloud incluyen CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai y otras.

Están menos centrados en combinar GPU con servicios propietarios y más interesados en ofrecer computación sin procesar y de alto rendimiento a un precio que haga que la IA a gran escala sea viable para más empresas.

Al democratizar el acceso a GPU asequibles, los proveedores de neocloud creen que pueden reducir la barrera de entrada para las empresas que buscan crear o escalar aplicaciones de IA. Las pequeñas empresas emergentes pueden entrenar modelos personalizados sin gastar su financiación inicial. Las empresas pueden ajustar los LLM en sus datos patentados sin ceder el control ni gastar demasiado. Y las instituciones de investigación pueden realizar simulaciones y experimentos sin verse limitadas por restricciones presupuestarias.

A pesar de estas ventajas, es probable que los proveedores de neocloud compitan en el futuro cercano con los hiperescaladores en el mercado de GPU como servicio. Ese mercado estaba valorado en 3,23 mil millones de dólares en 2023 y se proyecta que crecerá a 49,84 mil millones de dólares para 2032, lo que representa una tasa de crecimiento del 36%, según Fortune Business Insights. (Esa estimación incluye tanto hiperescaladores como neonubes).

Pensamientos finales

Los requisitos informáticos para la IA siguen creciendo. Los proveedores de Neocloud son una nueva generación de proveedores de infraestructura en la nube centrados en la IA que tienen como objetivo satisfacer estas necesidades. Se diferencian de los hiperescaladores tradicionales (como AWS, Azure y GCP) al centrarse en la disponibilidad optimizada de GPU, precios flexibles y rendimiento especializado para cargas de trabajo de IA/ML, entre otras características clave.