Apple est en pourparlers avec PrismML, une startup soutenue par Khosla Ventures, pour évaluer une technologie de compression de modèles d’IA qui pourrait permettre à de puissants modèles d’IA de fonctionner directement sur les iPhone, a déclaré au CNBC le PDG de PrismML, Babak Hassibi. Mardi, PrismML a rendu publiques des versions compressées du modèle Qwen d’Alibaba, en réduisant la taille du modèle d’environ 54 Go à moins de 4 Go tout en conservant l’ensemble des 27 milliards de paramètres pour les appareils iPhone 15 ou ultérieurs. Les discussions visent à répondre aux contraintes de la stratégie d’IA d’Apple, alors que la société ouvrait la bêta publique d’iOS 27 un jour plus tôt, donnant aux propriétaires d’iPhone accès à Siri remanié tout en conservant davantage de calculs sur l’appareil. Hassibi a qualifié ces échanges de « très précoces », mais a indiqué que « les choses avancent bien », Apple et d’autres entreprises évaluant la vitesse, l’efficacité énergétique et les performances de la technologie. Celle-ci pourrait réduire les coûts de calcul dans le cloud et renforcer la position d’Apple en matière de confidentialité en permettant aux fonctionnalités d’IA de fonctionner sans connexion à Internet.
PrismML publie un modèle Qwen compressé, avec une réduction de 54 Go à 4 Go
PrismML, une spinout du California Institute of Technology, a réduit mardi le modèle Qwen open-source d’Alibaba, d’environ 54 Go à moins de 4 Go. La compression permet à l’ensemble des 27 milliards de paramètres de fonctionner sur un iPhone 15 ou un appareil plus récent. La startup réduit la taille des modèles d’IA en simplifiant la manière dont l’information interne est stockée, en réduisant chaque valeur de 16 bits à une seule valeur ou à seulement trois valeurs possibles. Hassibi a comparé l’approche à l’évolution de l’industrie des puces, passant du calcul sur 8 bits à celui sur 4 bits.
Selon PrismML, les modèles compressés utilisent entre 10 et 15 fois moins de mémoire, génèrent des réponses 6 à 8 fois plus rapidement et consomment 3 à 6 fois moins d’énergie que les versions conventionnelles exécutées sur le matériel existant. Hassibi a reconnu que les modèles perdent généralement quelques points de pourcentage de performances globales, avec un affaiblissement du rappel factuel avant des compétences comme le raisonnement, les mathématiques et le codage. PrismML publie gratuitement deux versions compressées du modèle, conçues pour fonctionner sur des iPhone, des MacBook et des PC alimentés par Nvidia.
Apple évalue un traitement d’IA sur l’appareil pour réduire la dépendance au cloud
« Ils évaluent vraiment notre technologie en ce moment », a déclaré Hassibi au sujet d’Apple. Les discussions restent floues quant à leur aboutissement, mais Hassibi a dit que les choses progressent. Apple peut envoyer des requêtes complexes à des modèles hébergés dans le cloud, mais faire fonctionner davantage d’IA directement sur l’iPhone réduirait le délai lié à l’envoi de données à un serveur distant, diminuerait les coûts de calcul dans le cloud et soutiendrait l’argumentaire d’Apple en matière de confidentialité. L’approche permettrait aussi à certaines fonctionnalités de fonctionner sans connexion Internet.
Carolina Milanesi, présidente et analyste principale chez Creative Strategies, a déclaré que des modèles plus petits pourraient permettre à Apple de déplacer davantage de fonctionnalités exigeantes sur l’iPhone, notamment la photographie computationnelle, la génération vidéo et des outils de santé ou de fitness qui s’appuient sur des données personnelles sensibles. « Plus vous pouvez faire sur l’appareil, mieux c’est », a-t-elle déclaré, en pointant des données de santé et de médicaments que les utilisateurs voudraient conserver privées. Apple exécute déjà localement des parties de son système d’IA, dont la traduction, une partie de la synthèse et des fonctionnalités étroitement liées à l’information personnelle.
PrismML a levé 16,25 millions de dollars en tour de seed en mars
La technologie est issue du groupe de recherche de Hassibi au Caltech. L’université détient les brevets sous-jacents et les concède en licence de manière exclusive à PrismML. En mars, la société a levé un tour de seed de 16,25 millions de dollars, soutenu par Khosla Ventures et d’autres investisseurs. Hassibi a indiqué que le modèle Gemma open-source de Google est la prochaine étape du pipeline, suivi de modèles beaucoup plus importants, y compris ceux de laboratoires en première ligne qui, aujourd’hui, nécessitent généralement du matériel de centre de données.
À terme, la technologie pourrait s’étendre bien au-delà des téléphones et des ordinateurs portables, jusqu’à la robotique, les systèmes autonomes et d’autres produits qui doivent prendre des décisions rapidement sans dépendre d’une connexion cloud, selon PrismML. « Il est très important que l’intelligence soit locale et qu’elle puisse fonctionner rapidement », a déclaré Hassibi. Horace Dediu, fondateur d’Asymco, a déclaré qu’Apple cherche probablement à conserver la grande majorité des interactions Siri courantes sur l’appareil, tout en réservant les tâches les plus exigeantes au cloud.
Des analystes s’interrogent sur l’impact sur la batterie et les performances dans la vie réelle
Tarun Pathak, directeur de la recherche chez Counterpoint Research, a déclaré que les performances du modèle sur des requêtes longues, la consommation de batterie pendant le multitâche et la fiabilité sur des millions de requêtes seront essentielles. « Le test ultime sera celui de millions de requêtes, de milliers de combinaisons d’appareils et de tests robustes à grande échelle », a déclaré Pathak. Phil Solis, qui dirige la recherche d’IDC sur les processeurs clients, a indiqué que la consommation électrique pourrait être la plus grande question ouverte. Un modèle suffisamment performant pour être utilisé fréquemment ou en continu en arrière-plan pour des tâches de type agent pourrait vider la batterie d’un téléphone même s’il nécessite moins de mémoire.
Gil Luria, analyste chez D.A. Davidson, a déclaré que réduire la taille des modèles n’éliminerait pas le besoin de processeurs ou de mémoire. Cela pourrait simplement transférer davantage de ces puces des centres de données vers les téléphones et d’autres appareils. « Ce n’est pas que vous n’allez pas avoir besoin de la puce », a déclaré Luria. « Vous aurez encore besoin du GPU, et vous aurez encore besoin de la mémoire. » Il a ajouté que faire tourner l’IA sur des appareils individuels peut en réalité être moins efficace que d’utiliser une infrastructure partagée de centre de données, car les puces dans les téléphones peuvent rester inactives une grande partie du temps.
Morgan Stanley estime que le coût moyen de la mémoire vive dynamique à accès aléatoire (DRAM) d’Apple par bit pourrait augmenter d’environ 190 % d’une année sur l’autre en 2027, avec des coûts NAND en hausse d’environ 180 %. La banque prévoit qu’Apple augmentera le prix de départ des modèles d’iPhone 18 comparables d’environ 200 dollars pour protéger ses marges. Les actions de Micron ont chuté en mars après que Google a publié son rapport TurboQuant sur la réduction de l’utilisation de mémoire sans dégrader les performances du modèle, même si le titre a ensuite rebondi. Pathak a déclaré que la combinaison de l’IA dans le cloud et sur l’appareil peut offrir une expérience d’IA plus complète, plus efficace et plus axée sur la confidentialité, avec des tâches complexes déléguées au cloud et des tâches sensibles et critiques en termes de latence exécutées sur l’appareil.
FAQ
Que a publié PrismML mardi ?
PrismML a publié mardi en public des versions compressées du modèle Qwen open-source d’Alibaba. La société a réduit le modèle d’environ 54 Go à moins de 4 Go, permettant à l’ensemble des 27 milliards de paramètres de fonctionner sur un iPhone 15 ou un appareil plus récent.
Comment fonctionne la technologie de compression de PrismML ?
PrismML réduit la taille des modèles d’IA en simplifiant drastiquement la façon dont l’information interne est stockée, en réduisant chaque valeur de 16 bits à une seule valeur ou à seulement trois valeurs possibles. Les modèles compressés utilisent entre 10 et 15 fois moins de mémoire, génèrent des réponses 6 à 8 fois plus rapidement et consomment 3 à 6 fois moins d’énergie que les versions conventionnelles, selon l’entreprise.
Pourquoi Apple évalue-t-elle le traitement d’IA sur l’appareil ?
Faire fonctionner davantage d’IA directement sur l’iPhone réduirait le délai associé à l’envoi de données à un serveur distant, diminuerait les coûts de calcul dans le cloud et soutiendrait la position d’Apple en matière de confidentialité. L’approche permettrait aussi à certaines fonctionnalités de fonctionner sans connexion Internet.
