Apple se prépare activement à la sortie prochaine d’iOS 18 et envisage une collaboration avec Google en intégrant Gemini dans ses iPhone. Parallèlement, la marque développe ses propres modèles d’intelligence artificielle, dont la série MM1, dont les résultats de recherche ont récemment été publiés.
Selon Brandon McKinzie, spécialiste des LLM chez Apple, la série de modèles MM1 est aussi performante que la première version de Gemini, quel que soit le nombre de paramètres. Les chercheurs d’Apple ont mené des expériences à petite échelle pour étudier l’impact de certains facteurs sur les performances, comme la résolution de l’image et la capacité de l’encodeur visuel.
Des potentialités multiples pour MM1
MM1 présente des avantages tels que l’amélioration de l’apprentissage en contexte et le raisonnement multi-images, ce qui permet de lancer des chaînes de pensée en quelques clics. Il peut rédiger des descriptions d’images très précises et répondre aux questions posées à leur sujet, y compris les émotions.
Ce modèle pourrait être utilisé pour la génération de balises alternatives d’images sur les iPhone, facilitant la compréhension des images pour les personnes malvoyantes. Il pourrait également permettre la transcription en temps réel de ce que l’iPhone voit ou entend.