C’est officiellement au tour du Meta de Mark Zuckerberg de prendre part à la guerre de l’IA en lançant un modèle de langage appelé LLaMA. L’annonce, datée du 24 février 2023, en a surpris plus d’un car Meta n’avait jamais communiqué sur le développement de ce dernier. Mais en quoi cet outil consiste-t-il exactement ?
LLaMA, acronyme de Large Language Model Metal Al, est un modèle de langage d’intelligence artificielle, c’est-à-dire un modèle statistique permettant de prédire le mot qui suivra à partir des termes précédemment employés.
Les modèles de langage sont le socle à partir duquel sont conçus les agents conversationnels appelés chatbots.
LlaMA est un outil comparable aux modèles de langage développés par les concurrents de Meta – à savoir les modèles GPT-3 conçu par OpenAl pour ChatGPT, et LaMDA créé par Google pour Bard.
Contrairement aux modèles de langage précédemment cités, LLaMA est un petit modèle, qui nécessite des ressources moins importantes pour fonctionner.
Cela est un atout dans la mesure où des chercheurs qui n’ont pas accès à des infrastructures importantes dotées de serveurs puissants peuvent ainsi l’utiliser et le perfectionner.
Il n’en est pas moins prometteur car on peut y avoir recours pour traiter de nombreuses tâches. Il s’agit d’un outil polyvalent et non d’un modèle entraîné pour répondre à une tâche unique.
Pour le développer, Meta s’est appuyé sur des morceaux de mots (appelés « tokens » dans le jargon) et non sur des mots complets.
En outre, il comprend 4 versions, qui incluent un nombre variable de paramètres (7 milliards, 13 milliards, 33 milliards et 65 milliards).
Les modèles comprenant énormément de paramètres ont été entraînés avec un nombre plus important de tokens que les modèles de plus petite taille.
L’objectif de Meta est en effet de favoriser la recherche sur l’IA afin de la rendre plus efficace et de corriger les défauts mis en lumière dans les précédents modèles lancés.
En démocratisant l’accès à la recherche dans le domaine de l’IA, Meta se distingue de ses concurrents, qui gardent plus jalousement les secrets de la conception et du fonctionnement de leurs modèles.
LLaMA est un outil perfectionné qui est d’ores et déjà capable d’accomplir un certain nombre de tâches semblables à celles réalisées par ChatGPT.
Il peut en effet créer des textes en suivant des consignes strictes, converser avec un interlocuteur, résumer des documents, répondre avec précision à des questions techniques,proposer des traductions…
Il propose de plus – et il s’agit là d’une fonctionnalité mise en avant par Zuckerberg lui-même – de construire des raisonnements mathématiques et de prédire des structures protéiques.
Meta a d’ailleurs publié une étude scientifique détaillée donnant un aperçu des capacités de LlaMA.
L’outil a été entraîné dans les 20 langues les plus parlées, même si l’entreprise précise qu’il est plus performant en anglais.
Voici les avantages que présentent Llama en tant qu’IA :
D’abord, comme nous l’avons précédemment expliqué, LLaMA demande des ressources bien moins importantes pour fonctionner que beaucoup de modèles concurrents, pour une efficacité souvent égale, voire supérieure.
À titre d’exemple, on peut citer la version LlaMA-13B, qui surpasse GPT-3 et la version LlaMA-65B, qui obtient de meilleurs résultats que Chinchilla70B et PaLM-540B, alors que ce sont pourtant d’excellents modèles.
Ceci s’explique par le fait que LlaMA AI comprend bien moins de paramètres – qui correspondent au nombre de variables et au volume de données analysées par le modèle de langage- que ses modèles concurrents.
Sa vitesse de calcul s’en trouve donc augmentée.
Des études, citées par Meta dans son document de recherche détaillé, montrent que pour perfectionner l’IA, il est plus efficace d’avoir recours à des petits modèles entraînés sur de nombreuses données précises que d’utiliser de grands modèles aux multiples paramètres qui n’ont pas été suffisamment entraînés.
Cela permet en effet de gagner en rigueur en réduisant le nombre d’erreurs et d’approximations.
LLaMA se distingue en cela des autres modèles, qui, s’ils sont utilisés massivement depuis leur sortie, ont aussi fait parler d’eux pour de mauvaises raisons à cause des multiples fausses informations qu’ils reprennent parfois .
Si les jeux de données utilisés par LLaMA sont moins fournis que ceux de ses concurrents, c’est parce que Meta a fait le choix de n’utiliser que des données publiques.
Elles ont cependant l’avantage de pouvoir être republiées.
Elles sont extraites à plus des deux tiers de dumps de Common Crawl, de corpus de livres (projet Gutenberg et un sous-ensemble de The Pile), de données scientifiques (ArXiv), de base de questions-réponses (StackExchange) et du jeu de données GitHub public disponible sur BigQuery.
L’entreprise a fait savoir sa volonté de créer un modèle open-source afin qu’un maximum de chercheurs puissent travailler sur ce modèle et l’enrichir.
En adoptant cette stratégie, l’entreprise de Zuckerberg espère obtenir rapidement des résultats qui feront grandement avancer la recherche sur l’IA, et se targuer, si son pari s’avère judicieux, d’en être à l’origine.
Le but de Meta n’est pas – pour le moment du moins – de commercialiser LLAMAl pour des plateformes tierces ou de le rendre accessible au grand public.
L’entreprise a clairement affiché sa volonté de faciliter la recherche scientifique. Seuls les chercheurs et chercheuses , issus du public ou de la société civile, sélectionnés sur le volet par l’entreprise, auront ainsi le privilège d’utiliser cet outil.
Cela sert un but scientifique et permet aussi d’éviter un écueil rencontré par les entreprises concurrentes : en choisissant avec soin les personnes qui ont accès à LLaMA, Meta s’assure que ce modèle d’IA ne sera pas détourné de sa fin première.
Rappelons que ChatGBT et Bard ont été utilisés à mauvais escient à par des internautes malveillants pour créer du contenu toxique ou des logiciels malveillants.
Évidemment, comme tous les langages développés avec l’intelligence artificielle, Llama présente un certain nombre de limites. Qu’elles soient volontairement implémentées ou qu’elles soient des limites technologiques.
Voici quelques-unes des limites de Llama :
L’intelligence artificielle de Meta n’échappe pas au biais identifiés dans les autres modèles d’IA : les réponses fournies par LLAMA laissent transparaître les stéréotypes présents dans la société actuelle.
Aussi l’entreprise y a-t-elle repéré la reprise de nombreux préjugés sur le genre, la religion, la couleur de peau, l’orientation sexuelle, l’âge, la nationalité, les handicaps, l’apparence physique et le statut socio-économique.
Comme le reconnaît l’entreprise, il arrive même à Llama de proférer des insultes, des discours haineux, voire des menaces, ce qui a de quoi faire fuir les utilisateurs de l’outil.
L’entreprise avait déjà rencontré ce problème avec le lancement du chatbot BLENDERBOT, en août 2022, puis de l’IA GALACTICA spécialisée dans la rédaction d’articles scientifiques, en novembre 2022.
Tout comme les modèles d’IA développées par les autres sociétés, Llama produit aussi des hallucinations, c’est-à-dire des erreurs factuelles.
Même si l’entreprise insiste sur le fait que LLaMA obtient de meilleurs résultats que nombre de ses concurrents sur ce point précis, elle indique que le taux de réponses correctes obtenu demeure trop faible pour constituer une réelle source de satisfaction.
Pour finir, le développement de LLAMA n’a pas été sans conséquence pour la planète : il a requis des ressources énergétiques élevées.
Meta précise qu’elle a mis environ cinq mois pour aboutir à une version satisfaisante de son modèle d’IA, au cours desquels elle a consommé 2 638 MWh et émis 1015 tonnes de CO2.
L’entreprise espère néanmoins que la sortie de son outil permettra de réduire les émissions de gaz carbonique à l’avenir. C’est surtout la phase de training qui était énergivore, et elle est désormais terminée.
De plus, certaines versions de LLaMA étant petites, elles peuvent fonctionner en utilisant un ordinateur équipé d’une unique unité de traitement graphique (ou GPU), ce qui réduit d’autant la consommation d’énergie et les émissions de CO2.
En annonçant soudainement le lancement de Llama, Meta a fait plus qu’un coup de communication.
Même si cette nouvelle offre de la visibilité à l’entreprise de Zuckerberg, qui annonce ainsi publiquement qu’elle compte bien défendre sa place dans la course à l’IA, elle se différencie de ses adversaires en poursuivant en premier lieu un but strictement scientifique.
Elle ne s’adresse ainsi qu’à des chercheurs. Meta fait ici le pari de la science avant celui du buzz médiatique, et n’essaie pas, comme ChatGPT, de faire parler de lui en offrant une version gratuite qu’un tout un chacun peut utiliser.
Il est toutefois compliqué de se prononcer pour le moment sur la qualité de cet outil étant donné qu’il n’est pas encore accessible au public. Il est probable qu’il le devienne, à terme.
Il faudra attendre que les chercheurs perfectionnent LLAMA avant d’être en mesure de se faire un avis personnel sur cette IA.
Passionné de SEO, Chrisley propose ses services en tant que Rédacteur Web et Consultant depuis plus de deux ans. Touche-à-tout, ses domaines de prédilection vont du secteur informatique (intelligence artificielle, SaaS, Cloud…) au domaine culturel, en passant par l’intelligence économique et - bien sûr ! - les cryptomonnaies.
⚠ Cet article est publié à titre indicatif et ne doit pas être considéré comme un conseil en investissement. Le trading de crypto-monnaies comporte des risques et il est important de ne pas investir plus que ce que vous ne pouvez vous permettre de perdre.
InvestX n’est pas responsable de la qualité des produits ou services présentés sur cette page et ne pourrait être tenu responsable, directement ou indirectement, par tout dommage ou perte causé suite à l’utilisation d’un bien ou service mis en avant dans cet article. Les investissements liés aux crypto-actifs sont risqués par nature, les lecteurs doivent faire leurs propres recherches avant d’entreprendre toute action et n’investir que dans les limites de leurs capacités financières. Cet article ne constitue pas un conseil en investissement.
Certains des partenaires présentés sur ce site peuvent ne pas être régulés dans votre pays. Il est de votre responsabilité de vérifier la conformité de ces services avec les régulations locales avant de les utiliser.
Attention aux risques : Négocier des instruments financiers et/ou des crypto-monnaies implique des risques élevés, notamment le risque de perdre tout ou partie de votre investissement, et cela pourrait ne pas convenir à tous les investisseurs. Les prix des crypto-monnaies sont extrêmement volatils et peuvent être affectés par des facteurs externes tels que des événements financiers, réglementaires ou politiques. La négociation sur marge augmente les risques financiers.
Les CFD sont des instruments complexes et présentent un risque élevé de perte rapide des fonds en raison de l’effet de levier. 74 à 89 % des comptes d’investisseurs particuliers perdent de l’argent lorsqu’ils tradent des CFD. Vous devez déterminer si vous comprenez le fonctionnement des CFD et si vous pouvez vous permettre de prendre le risque élevé de perdre vos fonds.
Avant de décider de négocier des instruments financiers ou des crypto-monnaies, vous devez être pleinement informé des risques et des frais associés aux transactions sur les marchés financiers, examiner attentivement vos objectifs de placement, votre niveau d’expérience et votre tolérance pour le risque et faire appel à des professionnels si nécessaire. InvestX.fr et l’application InvestX peut être amené à produire des commentaires d’ordre général qui ne constituent pas des conseils en investissement et ne doivent pas être interprétés comme tels. Veuillez consulter un conseiller financier indépendant pour toute question. InvestX.fr décline toute responsabilité pour les erreurs, investissements inopportuns, inexactitudes ou omissions et ne garantit pas l’exactitude ou la complétude des informations, textes, graphiques, liens ou autres éléments contenus dans ce document.
Certains des partenaires présentés sur ce site peuvent ne pas être régulés dans votre pays. Il est de votre responsabilité de vérifier la conformité de ces services avec les régulations locales avant de les utiliser.
