Neoclouds Explicados: Por Qué la IA Necesita Computación Cloud Enfocada en GPU

Las cargas de trabajo de IA se están volviendo mainstream en prácticamente todas las industrias. Pero a medida que crece la demanda de IA, también lo hace la tensión en la infraestructura. Desafortunadamente, las opciones tradicionales para acceder a computación de alto rendimiento se están quedando cortas, llevando a las empresas a buscar alternativas. Algunas están recurriendo a neoclouds, un nuevo tipo de proveedor de servicios de computación centrado en ofertas GPU-céntricas.

Estos nuevos proveedores están ganando interés debido a un cambio en la computación; uno caracterizado por una creciente dependencia en GPUs para IA. Mientras las GPUs están bien adaptadas para manejar las necesidades de procesamiento paralelo del entrenamiento e inferencia de IA, son notoriamente caras y escasas. Una GPU de alta gama puede costar decenas de miles de dólares, y eso solo si una empresa puede encontrar una. Los ciclos de adquisición son largos, los plazos de entrega impredecibles y los equipos de TI empresariales frecuentemente luchan por adquirir capacidad suficiente para satisfacer la demanda.

Los proveedores de nube hyperscale, como AWS, Google Cloud y Azure, han buscado llenar el vacío ofreciendo instancias GPU y GPUs como servicio. Para muchas organizaciones, este modelo funciona, pero solo hasta cierto punto.

Las instancias GPU basadas en cloud ofrecen flexibilidad, escalabilidad y despliegue rápido. Pero a medida que crece el uso, también lo hace la factura. El modelo pay-as-you-go se vuelve rápidamente prohibitivo en coste a escala, particularmente para cargas de trabajo sostenidas como entrenamiento de modelos de lenguaje grandes (LLM), fine-tuning o inferencia en tiempo real a través de aplicaciones empresariales.

Como resultado, muchas organizaciones se encuentran atrapadas entre una roca (infraestructura on-premise escasa y cara) y un lugar duro (altos costes de GPU en nube pública).

Entran los Neoclouds

En este entorno, una nueva categoría de proveedor de computación está emergiendo: el proveedor neocloud. Los proveedores de infraestructura neocloud ofrecen computación de alto rendimiento, fuertemente centrada en GPUs, a tasas más asequibles (al menos según ellos). Lo logran aprovechando orígenes no convencionales, nuevos modelos económicos y diferentes estrategias de infraestructura.

Por ejemplo, algunos neoclouds trazan sus raíces de vuelta a la minería de criptomonedas. Durante el auge de criptomonedas de la última década, miles de mineros en todo el mundo construyeron centros de datos equipados con servidores GPU optimizados para operaciones de minería. A medida que el mercado de criptomonedas se enfrió y la minería se volvió menos rentable, estos operadores se encontraron con grandes cantidades de capacidad GPU inactiva. En lugar de dejar que este hardware se deprecie en un almacén, algunos repurposaron su equipo para cargas de trabajo de IA, y así nació el neocloud.

Otros en el espacio son startups construidas a propósito que vieron una oportunidad para ofrecer una alternativa más rentable a los hyperscalers optimizando para precio-rendimiento y evitando la sobrecarga de operaciones cloud legacy. Algunos construyen sobre stacks de software open-source y colocan en centros de datos de bajo coste; otros agregan capacidad GPU excedente a través de redes descentralizadas, formando una especie de "mercado spot de GPU" al que las empresas pueden acceder a costes menores.

Beneficios del Modelo Neoclouds

Para empresas que buscan potencia de computación IA sin costes exorbitantes, los proveedores neocloud afirman que pueden entregar varios beneficios, incluyendo:

Menor Coste por Hora de GPU: Los neoclouds a menudo cobran una fracción de lo que los hyperscalers cobran por instancias GPU comparables. Afirman que sus modelos operativos lean y estrategias de reutilización de hardware se traducen en ahorros reales.

Acceso Dedicado: En muchos casos, los proveedores neocloud ofrecen acceso dedicado bare metal a GPUs, reduciendo contención y asegurando rendimiento predecible.

Disponibilidad Rápida: Con procesos de adquisición y aprovisionamiento flexibles, los proveedores neocloud afirman que a menudo pueden entregar capacidad mucho más rápido que vendedores tradicionales, ayudando a equipos a iterar y desplegar modelos de IA sin demora.

Descentralización y Resiliencia: Algunos neoclouds operan en modelos distribuidos, obteniendo computación de centros de datos geográficamente diversos o redes de operadores independientes.

Sostenibilidad: Repurposar hardware existente, particularmente de la industria de criptomonedas, reduce e-waste y promueve prácticas de TI más sostenibles. Algunos neoclouds también colocan en instalaciones alimentadas por energía renovable, reduciendo aún más la huella de carbono.

Ver también: Cambio en el Mercado GPU: Aprovechando la Caída de la Minería Cripto

GPUs-como-Servicio, Reimaginado

En su núcleo, los neoclouds representan una nueva visión del modelo GPU-as-a-Service. Empresas consideradas proveedores neocloud incluyen CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai y otras.

Están menos enfocados en empaquetar GPUs con servicios propietarios y más interesados en entregar computación de alto rendimiento cruda a un punto de precio que haga IA a gran escala viable para más empresas.

Al democratizar el acceso a GPUs asequibles, los proveedores neocloud creen que pueden bajar la barrera de entrada para empresas que buscan construir o escalar aplicaciones de IA. Pequeñas startups pueden entrenar modelos personalizados sin quemar su funding semilla. Empresas pueden hacer fine-tuning de LLMs en sus datos propietarios sin ceder control ni gastar de más. E instituciones de investigación pueden ejecutar simulaciones y experimentos sin estar limitadas por restricciones presupuestarias.

A pesar de estas ventajas, es probable que los proveedores neocloud compitan en el futuro próximo con hyperscalers en el mercado GPU-as-a-Service. Ese mercado se valoró en $3.23 mil millones en 2023 y se proyecta crecer a $49.84 mil millones para 2032, representando una tasa de crecimiento del 36%, según Fortune Business Insights. (Esa estimación incluye tanto hyperscalers como neoclouds.)

Reflexiones Finales

Los requisitos de computación para IA continúan creciendo. Los proveedores neocloud son una nueva generación de proveedores de infraestructura cloud enfocados en IA que buscan satisfacer estas necesidades. Se diferencian de hyperscalers tradicionales (como AWS, Azure y GCP) enfocándose en disponibilidad optimizada de GPU, precios flexibles y rendimiento especializado para cargas de trabajo IA/ML, entre otras características clave.