Préparez-vous à être impressionné par la dernière création de Meta : Llama 3, une nouvelle génération de modèles de langage open source (ou presque) qui surpasse largement ses concurrents en termes de connaissances générales, de compréhension, de mathématiques, de raisonnement et de génération de code.
Avec des versions allant de 8 à 400 milliards de paramètres, ces lamas musclés ont été entraînés avec 15 000 milliards de tokens, soit sept fois plus que son petit frère Llama 2. Ils sont également capables d’apprendre à une vitesse fulgurante grâce à des techniques de parallélisation pendant la phase de pré-entraînement.
Des modèles ultra-fiables et multilingues
Grâce à un entraînement intensif et à une éducation poussée, les Llama 3 sont devenus des modèles ultra-fiables, capables de suivre des instructions complexes sans sourciller. Ils sont également préparés à une IA multilingue, avec une grande quantité de code et de données non-anglaises dans leur base d’entraînement.
Une licence maison avec certaines restrictions
Bien que les Llama 3 soient open source, ils sont soumis à une licence maison qui impose quelques restrictions, notamment pour les entreprises de plus de 700 millions d’utilisateurs mensuels. Cependant, les particuliers peuvent tout de même s’amuser avec ces modèles de qualité.
Meta AI, le chatbot maison de Meta
Meta a également développé un chatbot maison, Meta AI, qui utilise du pur Llama 3 et sera bientôt disponible en France. Ce chatbot sera capable de discuter, de faire des recherches web via Bing et Google, et de créer des images en un clin d’œil.