Cerebras Systems vient de dévoiler la troisième génération de son processeur massif, le WSE-3, spécialement conçu pour l’entraînement de l’intelligence artificielle. Avec plus de 4 milliards de transistors, il peut atteindre une puissance de calcul de 125 pétaflops dans les tâches liées à l’IA.
Alors que la plupart des intelligences artificielles actuelles, telles que ChatGPT ou Stable Diffusion, peuvent fonctionner sur un ordinateur haut de gamme équipé d’une bonne carte graphique, leur entraînement préalable nécessite une puissance de calcul considérable pour traiter une quantité massive de données.
La nouvelle puce pour l’IA de Cerebras Systems
Cerebras Systems a récemment annoncé une nouvelle puce pour l’IA, la plus rapide au monde, composée de 4 000 milliards de transistors gravés avec un processus en 5 nanomètres.
La WSE-3 occupe un wafer complet, la plaque de silicium que l’on divise habituellement pour faire des processeurs individuels. Elle est intégrée dans le supercalculateur Cerebras CS-3, qui affiche un total de 900 000 cœurs optimisés pour l’IA, avec 44 gigaoctets de mémoire SDRAM et 1,2 pétaoctets de stockage.
Une puissance de calcul impressionnante
Selon le constructeur, le CS-3 peut atteindre jusqu’à 125 pétaflops, soit la même puissance que le dixième supercalculateur le plus rapide au monde. Cette machine peut entraîner les modèles d’IA comptant jusqu’à 24 000 milliards de paramètres, soit plus de dix fois la taille de GPT-4 et Google Gemini.
Des possibilités d’entraînement accélérées
Cerebras Systems annonce qu’il est théoriquement possible d’associer jusqu’à 2048 de ces puces pour atteindre une puissance de 256 exaflops. De quoi entraîner le modèle Llama 70B à partir de zéro en une seule journée.