La compañía Cerebras acaba de anunciar que está dispuesta a lanzar un chip de 900.000 núcleos que va a servir para potenciar la IA más potente del mundo.
Una noticia de alcance que, seguramente, sirve de "contraataque" contra su más directa competencia, dado que recientemente también se hizo público que Nvidia iba a poner en liza por unos 47.500 euros el superordenador GH200 pensado para la IA.
Pero, para que lo pongamos en perspectiva, el nuevo chip de Cerebras que será capaz de alcanzar una velocidad de procesado de unos 125 PetaFLOPS será, en teoría, equivalente a unas 62 GPU Nvidia H100. Una auténtica barbaridad que muchos expertos están deseando ver en acción.
Este potentísimo chip incorpora 4 billones de transistores integrados mediante el proceso de fabricación de 5 nm de TSMS, 900.000 núcleos de IA, 44 GB de SRAM en chip y alcanza un rendimiento máximo de 125 PetaFLOPS en FP16.
Un auténtico monstruo llamado WSE-3 (Wafer Scale Engine 3) diseñado por Ceberas que será empleado para entrenar algunos de los modelos de IA más grandes de la industria.
El WSE-3 da vida al superordenador CS-3 de Cerebras, que ha sido diseñada para entrenar modelos de IA con hasta 24 billones de parámetros, marcando un avance significativo respecto a las supercomputadoras anteriores basadas en el WSE-2 y otros procesadores de IA similares.
Esta supercomputadora puede soportar 1,5 TB, 12 TB o incluso 1,2 PB de memoria externa, lo que permite almacenar modelos masivos en un único espacio lógico sin necesidad de reestructurarlo ni partirlo, agilizando así el proceso de entrenamiento y mejorando la eficiencia de los desarrolladores.
Además, el CS-3 puede configurarse en grupos de hasta 2.048 sistemas. Esta capacidad de escalabilidad le permite ajustar hasta 70 mil millones de modelos de parámetros en tan solo un día con una configuración de cuatro sistemas, y entrenar un modelo Llama 70B desde cero en el mismo período de tiempo a escala completa.
También, la versión más reciente del Cerebras Software Framework brinda soporte nativo para PyTorch 2.0 y es capaz de acelerar hasta ocho veces más rápido el entrenamiento en comparación con los métodos convencionales.
Cerebras ha destacado la eficiencia energética y la accesibilidad del CS-3. A pesar de duplicar su rendimiento, el CS-3 mantiene un consumo de energía idéntico al de su predecesor. Además, simplifica mucho el proceso de entrenamiento de LLM, reduciendo hasta un 97 % la cantidad de código necesario en comparación con las GPU.
Nuevos objetivos basados en la alianza con G42
Y, para terminar, la alianza estratégica entre Cerebras y G42 se ampliará con la construcción del Condor Galaxy 3, un superordenador de IA que va a constar de 64 sistemas CS-3, sumando un total de 57.600.000 núcleos.
Ambas empresas ya han colaborado en la creación de dos de las supercomputadoras de IA más grandes del mundo: la Condor Galaxy 1 (CG-1) y la Condor Galaxy 2 (CG-2), con un rendimiento combinado de 8 ExaFLOP. Esta asociación tiene como objetivo proporcionar decenas de ExaFLOP de potencia de cálculo a escala global.
Para Cerebras, el objetivo de Condor Galaxy 3 es llevar la producción total de computación de IA del sistema hasta los 16 exaFLOP.
Pero, mientras llega este potente Condor Galaxy 3, Cerebras y su chip de 900.000 núcleos puede potenciar la IA más potente que se haya visto jamás. Ya veremos cuánto tardan en responder sus más directos competidores.
Bard se convierte en Gemini: así es el futuro de Google para la inteligencia artificial
- Ver Comentarios