L’IA Frugale bouleverse les codes technologiques : décryptage des solutions techniques innovantes depuis la Silicon Valley

Au cœur de l'effervescence actuelle des chercheurs, qui s'efforcent de développer des modèles d'intelligence artificielle (IA) toujours plus grands et performants, mais également de résoudre des questions scientifiques jusqu’alors inexplorées (-rables), se dessine la conscience croissante de l’impact énergétique de la technologie. L’étude co-publiée le 28 novembre 2023 par les équipes de Hugging Face et du Allen Institute for AI [1] met en lumière le fait que la création d'une image avec l'IA générative consomme autant d'énergie que la recharge d'un téléphone mobile. Il s'agit de la première évaluation des émissions de carbone liées à l'utilisation d'un modèle d'IA, un an après la mise à disposition de l'IA générative au grand public. Aujourd'hui, l'essor de l'IA frugale - c’est à dire sobre énergétiquement et/ou sur le plan des données - se profile comme une avancée majeure et nécessaire pour répondre à des impératifs environnementaux, mais aussi sociétaux et économiques. Pour ce dernier article sur cette thématique émergente, l'équipe du service scientifique basée à San Francisco s'est immergée dans l'examen approfondi des stratégies techniques visant à atténuer l'empreinte énergétique de l'IA. À travers des entretiens avec des acteurs clés de la Silicon Valley, nous dévoilons les solutions concrètes annonciatrices d’une transition vers une approche plus respectueuse de l'environnement, et économiquement viable. Tout en mettant en avant ces progrès, nous soulignons également les défis persistants à relever pour concrétiser pleinement cette évolution vers la frugalité énergétique dans le domaine de l'IA.

Dès lors que l’on cherche à résoudre la difficile équation entre la quête incessante de performance des modèles d’intelligence artificielle (IA) et l’impératif de maîtrise de leur impact environnemental, on voit émerger un tableau complexe où les choix technologiques ont des répercussions considérables. Ce dilemme illustre bien la notion de « right tech« , telle que définie par le philosophe Vincent Bontems du CEA : “ “la Right Tech c’est la bonne technologie, au bon rythme et au bon endroit” [2].

Cette quête de juste mesure s’étend au-delà du développement des modèles eux-mêmes, s’immisçant dans des secteurs cruciaux, à l’image des centres de données. Ces installations, responsables de 2 à 3 % des émissions mondiales de gaz à effet de serre (GES), permettent le stockage et la gestion des données mondiales, dont le volume double tous les deux ans. Les serveurs des centres de données nécessitent d’énormes quantités d’énergie et d’eau, contribuant ainsi à une empreinte environnementale substantielle, représentant environ 7 % de la consommation d’électricité au Danemark et 2,8 % aux États-Unis.

Le paysage de l’IA générative, par exemple, est largement dominé par des fournisseurs de cloud géants, dits « hyperscale », tels qu’Amazon AWS, Google Cloud et Microsoft Azure. Ceux-ci exploitent des milliers de serveurs, dont l’empreinte carbone est massive. En particulier, ces modèles fonctionnent maintenant majoritairement sur des puces de traitement graphique (GPU), qui nécessitent 10 à 15 fois plus d’énergie qu’avec un CPU traditionnel, accentuant encore davantage leur impact environnemental [3].

Ainsi, la course à la performance technologique s’entremêle avec l’impératif de responsabilité environnementale. Sans présager du niveau auquel cette responsabilité s’applique, les chercheurs en IA peuvent dès à présent prendre des décisions importantes, et disposent de solutions techniques concrètes [4], pour modeler un futur où la technologie prospèrerait sans compromettre notre planète.

Au coeur des enjeux de frugalité, la disponibilité des données 

 Intéressons-nous d’abord à la raison première qui pousse les développeurs vers les modèles frugaux, à savoir le manque de données exploitables et disponibles. Il s’agit d’un défi majeur et persistant pour les développeurs d’IA et d’algorithmes d’apprentissage (machine learning) et d’un bon moteur dans la recherche de modèles plus compacts et plus efficaces.

 

1.Utiliser les ressources publiques et open source

 Les échos des ingénieurs de la sphère technologique résonnent ici avec insistance : « Le vivier de talents dans le domaine est vaste, mais la clé de l’excellence réside dans le partage des données pour la recherche ! »

 

Il existe de nombreuses sources de données publiques, en témoigne par exemple le portail de données de San Francisco, Open Data SF, qui vous permet de faire des recherches dans un certain nombre d’ensembles de données provenant de divers services municipaux. En avril dernier, une petite équipe d’ingénieurs a lancé San Francisco GPT, permettant aux habitants de faire des requêtes simples à partir de cette base de données publique. 


Travailler avec des bases de données accessibles au grand public présente l’avantage de contourner le besoin de stocker directement des données de manière confidentielle. Cette approche ingénieuse évite non seulement une prolifération du stockage redondant de données similaires, mais elle contribue également à atténuer l’empreinte énergétique souvent associée aux applications d’IA.

 

Par ailleurs, l’open source permet l’utilisation de données existantes, évitant ainsi une étape énergivore de collecte de nouvelles données. Il préserve également de la duplication des efforts entre organisations pour collecter des données de même nature. Enfin, privilégier des ensembles de données open source de qualité, mais plus petits, plutôt que des ensembles de données propriétaires volumineux (dont une partie plus ou moins importante ne sera pas exploitée), peut contribuer à réduire l’empreinte environnementale tout en obtenant des résultats comparables. 

 

2. Augmenter son jeu de données grâce aux données synthétiques

 Une autre manière de résoudre la contrainte d’un faible nombre de données exploitables est de produire des données synthétiques, qui sont des données générées par des algorithmes en s’inspirant de données pré-existantes et de données contextuelles, afin de combler les lacunes des données réelles accessibles [3]. A noter qu’une augmentation excessive du jeu de données par des données synthétiques peut avoir deux revers importants, qui nécessitent de trouver une juste mesure : 

Un risque de redondance lorsque le jeu synthétique devient important, s’accompagnant d’un manque de diversité. Dans ce cas extrême, ces données ne remplissent plus leur rôle et peuvent introduire des biais de sur-représentation dans les modèles.

Un impact environnemental égal, voire plus important qu’avec des jeux de données “non nettoyés” (empreinte associée à la génération des données, qui s’ajoute à l’empreinte d’un apprentissage sur un très grand jeu de données).

 

Néanmoins, les experts nous apprennent que les avantages des données synthétiques sont multiples, en particulier la facilité de génération et d’accessibilité des données synthétiques, le plus faible temps nécessaire à leur annotation, et les économies financières réalisées. Du point de vue éthique, si elles sont bien utilisées, les données synthétiques réduisent la présence de doublons, corrigent les biais – puisque les données synthétiques peuvent favoriser artificiellement la représentation d’événements rares – le tout en préservant la confidentialité et la protection des informations personnelles [3]. De plus, les données synthétiques ouvrent la voie à un accès simplifié aux données, offrant aux jeunes startups davantage de chances de concurrencer les géants de l’industrie [6]. Selon Thomas Strohmer, directeur du CeDAR (Center for Data Science and Artificial Intelligence Research), cette démocratisation des données est fondamentale, car elle contribue à rééquilibrer le secteur de la donnée actuellement dominé par quelques grandes entreprises [7]. 

 

De plus, l’utilisation de la donnée synthétique pourrait contenir un volet frugal en ce qu’elle se substitue à la collecte énergivore de données réelles, et réduit le besoin de stockage puisqu’elle évite l’accumulation de données réelles inutilisables en ne créant que les données strictement nécessaires. Elle contribue également au caractère éthique de l’annotation de données, en automatisant ce processus sans devoir faire appel à de la main d’œuvre souvent délocalisée et non encadrée face aux dérives et à l’impact psychologique de l’annotation. 

 

Le domaine de la donnée synthétique suscite un intérêt croissant, se traduisant par d’importants investissements. Par exemple, l’année dernière, Illumina, leader mondial dans le séquençage génétique, a annoncé un partenariat avec la startup Gretel.ai, implanté dans la Baie de San Francisco, pour créer des ensembles de données génomiques synthétiques. De plus, Strohmer a obtenu une subvention de 1,2 million de dollars sur quatre ans de la part des National Institutes of Health (NIH) américains pour développer des données synthétiques de haute qualité afin d’aider les médecins à prédire, diagnostiquer et traiter les maladies [7]. Ces quelques chiffres démontrent un intérêt majeur pour la donnée synthétique, ainsi que leur potentiel considérable pour révolutionner notre façon d’aborder la collecte et l’utilisation des données.

 

 

Comment améliorer l’efficacité énergétique des grands modèles d’IA sans réduire leur complexité ou leur performance ? 

 Avant de vouloir engager tous les utilisateurs et créateurs de modèles d’IA dans une démarche de frugalité, il est essentiel de souligner que chaque type de modèle, y compris les grands modèles d’IA, dispose de divers leviers d’action. Plus de frugalité peut dès lors s’envisager sans perturber significativement le modèle économique sous-jacent, ni altérer profondément l’infrastructure des modèles en place et, plus important encore, sans sacrifier les performances. Il peut arriver par exemple qu’on privilégie un modèle d’envergure modulable et adaptable à diverses circonstances, à un éventail de petits modèles très frugaux mais très spécialisés.

 

1. Transfer learning : recyclage des modèles et knowledge distillation

 La méthode de transfer learning repose sur la réutilisation d’un modèle préalablement entraîné, souvent disponible en open source. Pour adapter ce modèle, préalablement entraîné, à de nouvelles tâches, il suffit de retirer certaines couches du réseau de neurones et de les remplacer par des couches spécifiques au nouveau modèle, créant ainsi une solution à la fois efficace et économe [8]. Cette approche permet aux acteurs de l’IA de ne pas partir de zéro, améliorant ainsi la qualité et la portée de leurs solutions. 

 

Le succès de l’open source est incarné par la plateforme Hugging Face, une licorne franco-américaine dont la valorisation a plus que doublé pour atteindre 4,5 milliard d’euros en août 2023, soutenue par les investissements de géants tels qu’Amazon, Google et Nvidia [9]. La clé de son succès réside dans son engagement en faveur de l’open source, mettant à la disposition de tous non seulement ses codes sources, ses librairies de données et mais également ses modèles déjà entraînés. La réutilisation de ces données, codes et modèles permet d’économiser de nombreuses étapes consommant des ressources précieuses tant en termes de temps et d’expertise que de consommation énergétique. C’est d’ailleurs sur les serveurs de Hugging Face qu’est hébergé Llama 2, le dernier grand modèle de langage de Meta. La communauté semble prêter à ce modèle, devenu rapidement aussi populaire que son homologue ChatGPT, de meilleures performances que ce dernier sur de nombreux aspects [10].

 

Une autre manière de réaliser le transfer learning est d’adopter la pratique de knowledge distillation. Cette approche consiste à transférer les connaissances d’un modèle d’IA “professeur” déjà formé vers un modèle “élève” plus petit, le tout sans perte de performance . Comme les modèles plus petits sont moins coûteux en ressources, ils peuvent être déployés sur du matériel moins puissant.

 

2. Optimiser le ré-entraînement des modèles 

Le ré-entraînement des modèles d’IA est parfois nécessaire pour mettre à jour leur base de données d’entraînement ou pour améliorer leur performance. Bien entendu, cela peut avoir un impact énergétique conséquent. Dès lors se pose la question de ré-entraîner le modèle en entier ou en partie seulement. 

 

Ce dernier cas de figure est bien sûr préférable en termes de frugalité. Sur ce point, et bien que cela semble contre-intuitif, la structure de GPT-4  lui donne par exemple la possibilité d’être plus agile et moins énergivore sur le plan de l’apprentissage que son petit frère GPT-3 (ChatGPT), malgré un accroissement du nombre de paramètres d’un facteur 10 ou plus entre les 2 modèles. En effet GPT-4 a été conçu comme un assemblage de modèles plus petits capables d’apprendre indépendamment les uns des autres lors de l’intégration de nouvelles données.

 

Bien exploitée, cette architecture peut permettre de limiter l’étape extrêmement coûteuse en énergie de l’apprentissage du modèle à chaque extension de la base sur laquelle il apprend. C’est d’ailleurs ce qui permet à GPT4 d’apprendre sur une base dynamique (e.g. internet) tandis que GPT3 avait une base d’apprentissage fixe limitée à l’année 2021. 

 

3. L’art de trouver les meilleurs hyperparamètres

Enfin, pour rentrer dans des considérations encore plus pointues sur le plan technique, les hyperparamètres sont les paramètres utilisés pour configurer un modèle de machine learning, et jouent un rôle essentiel dans la performance du modèle d’IA. Ceux-ci doivent donc être réglés avec soin et leur ajustement est capital. Les méthodes dites de recherche aléatoire et d’optimisation bayésienne (probabiliste) sont des alternatives plus frugales que la méthode courante, appelée recherche en grille, consistant à tester l’ensemble des combinaisons possibles d’un ensemble d’hyperparamètres, ce qui est extrêmement exigeant en termes de puissance de calcul. L’optimisation bayésienne permet non seulement de réduire la charge de calcul, mais améliore également de manière significative la performance du modèle [11].

 

 

L’émergence des modèles compacts, alliés de la frugalité

Les développeurs d’IA cherchent également à créer des modèles plus compacts, toujours dans un objectif de réduction des coûts et/ou de l’impact écologique. Cette démarche vise à agir en faveur de l’utilisation de modèles d’IA de plus petite taille, lorsque le gain en performance vis-à-vis de la taille du modèle devient limité. En effet la course aux “giga-modèles” n’est pas toujours gage de qualité et d’efficacité. 

 

A titre d’exemple, prenons une étude mesurant le temps de traitement et l’empreinte carbone d’une simulation de physique des particules sur une unité centrale dotée d’un nombre variable de cœurs [12]. Il a été observé que le doublement du nombre de cœurs de CPU dans cette simulation, de 30 à 60, entraîne une légère diminution du temps d’exécution mais provoque une augmentation importante de l’empreinte carbone d’environ 300 grammes de CO₂ à plus de 450 gCO₂.

 

Les modèles d’IA de petite taille peuvent être obtenus par le biais de diverses techniques, dont certaines sont décrites ci-dessous. 

 

1. Compression des réseaux de neurones

 La compression des réseaux de neurones est une stratégie efficace pour économiser de l’énergie, du temps de calcul, et de l’espace de stockage. Elle peut être conduite par le biais de différentes techniques.  

 

Le pruning est une première méthode de compression qui consiste à supprimer les connexions ayant le moins de poids dans un réseau, ou encore les éléments et liens redondants, afin de limiter le nombre d’opérations. Il arrive que jusqu’à 90% des paramètres d’un réseau puissent être retirés sans détériorer de manière significative le système [13]. Après l’étape de pruning, le modèle requiert donc moins de puissance de calcul et moins de stockage pour fonctionner. Le pruning contribue à améliorer le caractère parcimonieux du réseau. Un réseau de neurones parcimonieux présente la particularité que seules certaines connexions neuronales sont activées tandis que les autres sont désactivées. Cette spécificité permet de réduire la complexité du modèle et les besoins en ressources de calcul.

 

La quantification est une technique qui consiste à réduire la précision des données, ce qui implique de réduire le nombre de bits utiles à la réalisation des opérations ou au décryptage des données (jusqu’au cas extrême des données binaires). Les traitements nécessitent alors moins de puissance de calcul, permettant d’accélérer les opérations, de réduire la consommation d’énergie ou d’utiliser l’IA dans un contexte de ressources limitées. Le tout étant d’équilibrer la dégradation de la précision en regard de la performance attendue.

 

2. Un apprentissage avec peu de données : les approches few-shot, one-shot et zero-shot learning

La stratégie la plus économe en énergie en matière d’IA demeure toujours celle qui nécessite le moins de données, puisque cela minimise l’impact énergétique de la collecte de données, du stockage et du déplacement des données. 

 

En ce sens, les architectures few-shot, one-shot et zero-shot learning sont particulièrement frugales, étant donné que ces types d’architectures de réseaux de neurones utilisent très peu de données. Cette famille de techniques consiste à entraîner un modèle à reconnaître un type de donnée qu’il n’a rencontré que quelques fois (few), une seule fois (one) ou bien qu’il n’a jamais rencontrée (zero). Le zero-shot learning constitue l’option la plus frugale. Il est utilisé lorsqu’aucune donnée étiquetée n’est disponible pour établir une classification. Dans ce cas, l’algorithme fait des prédictions sur ces nouvelles classes en utilisant les connaissances préalables sur les relations entre les classes qu’il connaît déjà [14]. 

 

Selon Gregory Renard, expert de l’IA dans la baie de San Francisco utilisant cette technique, elle peut s’appliquer dans environ 80 à 90% des cas, englobant des domaines tels que le traitement du langage naturel, la classification d’image, la segmentation sémantique, la génération d’image, la détection d’image et la biologie computationnelle. Cependant, pour d’autres cas d’utilisation, un réglage fin avec des données annotées reste nécessaire.

 

Il est essentiel de garder à l’esprit que pour cette technique, la phase d’entraînement du modèle source peut être très énergivore. Toutefois, cette dépense initiale trouve une compensation significative dans la réutilisation à long terme du modèle, l’investissement énergétique devenant de plus en plus rentable au fil du temps. C’est aussi l’un des futurs défis scientifiques qui restent à résoudre pour les équipes travaillant sur ces modèles. 

 

L’IA pour les systèmes embarqués : une IA frugale par nature 

 Pour conclure cette veille autour de la frugalité, inspirons nous du cas d’application concret de l’intelligence embarquée dans les systèmes électroniques, afin de mettre en lumière que les solutions à la frugalité ne sont pas uniquement logicielles, mais peuvent également s’inscrire dans une démarche proactive au niveau des choix matériels (hardware).

 

Au démarrage des travaux sur la frugalité du numérique, il y a déjà plusieurs années, certaines applications, tel que le traitement de données sur système embarqué, ont nécessité de développer des solutions économes en énergie. En effet, sur des appareils alimentés par batterie ou bien récupérant l’énergie ambiante, l’énergie disponible est limitée et doit par conséquent être utilisée de manière très contrôlée. Le traitement local et embarqué de l’information, un domaine communément appelé edge AI [15] ou intelligence artificielle en périphérie, est rapidement devenu un outil incontournable (mais pas systématique), du fait de l’économie en énergie réalisée en s’affranchissant de l’envoi continu de données vers le cloud.

 

1. Comprendre le concept de l’edge AI et ses différentes composantes 

 De manière générale, le coût énergétique d’un système est souvent lié au déplacement des données. L’edge AI part de ce postulat pour proposer un traitement des données à la périphérie du système, à proximité de l’endroit où sont collectées les données, plutôt que de manière décentralisée dans le cloud. Cette approche comporte des avantages significatifs en termes d’efficacité énergétique et de gain de temps.

En pratique, aujourd’hui, de nombreux systèmes périphériques sont encore contraints de transférer leurs données vers le cloud pour qu’elles y soient traitées, et ceci principalement en raison du manque d’énergie et de puissance de calcul disponible localement. Ce type de manœuvre pose problème également en termes de confidentialité et de sécurité [16]. Voici ci-dessous quelques-unes des technologies offrant des solutions afin de progresser vers de plus en plus d’intelligence embarquée et locale.

Les réseaux de neurones à impulsion (ou SNN, Spike Neural Networks) utilisent une approche basée sur la détection d’événements. La frugalité dans ce cas tient essentiellement à la simplification du traitement embarqué des signaux.  En effet, le principe de cette approche consiste non pas à collecter la totalité de l’information, mais se concentre au contraire uniquement sur l’information changeante dans un flux d’information. Ainsi, l’analyse se concentre sur la partie d’intérêt du signal, et exclut des calculs redondants sur la partie du signal qui reste inchangée, libérant ainsi de l’espace de calcul et de stockage de l’information. Ce type de fonctionnement se rapproche davantage du fonctionnement des neurones humains car ils ne s’activent que lorsqu’il y a une information à transmettre.

 

La réalisation des calculs dans la mémoire, un domaine appelé in-memory computing, permet également de favoriser le traitement local de l’information. Cette pratique a un très fort impact sur la consommation énergétique de l’IA puisqu’elle entraîne une réduction significative des mouvements de données (y compris vers la périphérie du système), qui représentent jusqu’à 90% de la consommation d’énergie d’un système d’IA [15]. En parallèle, le calcul en mémoire permet d’accélérer significativement l’accès aux données et donc un traitement plus rapide et une hausse des performances.

 

Le TinyML [17] est une sous-catégorie de l’edge AI  qui se concentre sur le déploiement de modèles d’apprentissage automatique extrêmement compacts et économes en ressources sur des appareils embarqués, tels que des microcontrôleurs, des capteurs connectés et d’autres dispositifs aux ressources limitées. Cette technique permet d’aller encore plus loin dans l’edge AI, en fournissant une précision accrue dans des environnements aux ressources limitées, sur des appareils de petite taille, équipés de moins de processeurs et de mémoire, et fonctionnant à une puissance extrêmement faible, de l’ordre du milliwatt. Le TinyML ouvre la voie à de nouveaux types de services et d’applications en périphérie, qui ne dépendent pas du traitement dans le cloud, mais qui tirent parti de l’inférence distribuée en périphérie et de la capacité de raisonnement autonome [18]. Le TinyML se veut frugal de par ses modèles spécialement conçus pour être de petite taille, qui nécessitent donc moins de mémoire pour être stockés. Leur compacité permet de réduire également la consommation d’énergie liée à la circulation des données.

 

2. Les nouvelles technologies hardware frugales compatibles avec l’edge AI

 La puce neuromorphique. Le calcul près de la mémoire est notamment utilisé par les puces neuromorphiques. Cette alternative aux processeurs graphiques traditionnels (GPU) cherche à imiter le fonctionnement des synapses humains. Cette nouvelle génération de composants informatiques promet, en minimisant les transferts de données, des économies d’énergie exceptionnelles, allant jusqu’à mille fois moins de consommation que les processeurs classiques de même envergure [13]. 

Cette approche repose sur la fusion des opérations de calcul et le stockage des données au sein d’une seule et même puce, et sur une architecture basée sur des événements (caractérisée, comme expliqué ci-dessus, par des pics d’activité périodiques qui surviennent de manière hétérogène lorsqu’il y en a besoin, mimant ainsi le fonctionnement du cerveau humain) [19].

Le processeur analogique. Les solutions basées sur l’analogique se distinguent par leur très grande efficacité énergétique par rapport à leurs homologues numériques. C’est notamment le cas lorsqu’elles opèrent directement sur des signaux de nature analogique, puisque la conversion de données analogiques en données numériques et inversement, engendre une consommation énergétique supplémentaire. Par conséquent, le maintien dans le domaine analogique, lorsque cela est possible, est un levier d’importance sur le plan de la frugalité. 

Il existe déjà sur le marché des processeurs, dits analogiques, réalisant des calculs dans la mémoire flash (in memory-computing). Ces processeurs sont conçus pour présenter des performances et une puissance élevées, tout en maintenant une précision comparable à celle des processeurs numériques. En exploitant cette technique, les processeurs analogiques pourraient offrir des ressources de calcul similaires à celles d’un GPU pour un dixième de sa consommation [20].

Les machines bayésiennes. Enfin, les grands modèles de langages tels que ChatGPT ont de nouveaux concurrents potentiels: les machines bayésiennes, qui reposent sur un principe de raisonnement probabiliste. Pour que le raisonnement bayésien soit économe en ressource, il doit être implémenté sur des machines dédiées qui à ce jour étaient peu ou pas disponibles en pratique. Récemment, des chercheurs français du CNRS, du CEA et de la startup française HawAI.tech ont mis au point une machine bayésienne à base de memristors (des résistances dont la valeur varie au passage d’un courant électrique), ouvrant de nouvelles perspectives dans ce domaine. Le résultat est très encourageant : le même raisonnement bayésien appliqué sur un microcontrolleur classique, couramment utilisé pour les applications d’edge AI, consomme 5000 fois plus d’énergie que sur la machine bayésienne construite à base de memristors [16]. Selon Philippe Baumard [21], chercheur au CNAM et CEO d’Akheros, les machines bayésiennes constituent une technologie très intéressante en raison de leur capacité à réaliser des opérations de manière explicable, sécurisée et à fonctionner localement avec peu d’énergie et de données. Cela les rend particulièrement adaptées aux applications médicales, de défense, ainsi qu’aux systèmes reposant sur une alimentation électrique peu fiable et fonctionnant dans des environnements extrêmes. Un domaine dans lequel la France est donc à l’avant-garde de la recherche technologique!

 

 



En conclusion, face à la croissance exponentielle des modèles d’IA et à leur demande croissante en données, en énergie ou encore en ressources en eau [22] il est essentiel de se questionner sur les meilleures stratégies de développement et de déploiement de cette technologie. Adopter un nouveau paradigme sous l’angle de l’IA frugale permet de tendre vers un idéal où la performance des modèles ne serait pas l’objectif unique. La frugalité en IA, c’est-à-dire la recherche de la performance optimale avec un minimum de ressources, peut se présenter comme une des clés garantissant la durabilité et l’efficacité de cette technologie. Et cette frugalité peut s’aborder de multiples manières, que cela soit au niveau de la préparation des données, des algorithmes et des modèles, ou encore des composants réalisant les opérations nécessaires à l’apprentissage. S’il est évident qu’une approche holistique demeure nécessaire pour prétendre atteindre un jour l’IA frugale, il est fondamental que chaque métier de l’IA se sente investi d’une responsabilité en la matière afin de faire progresser la technologie de manière impactante, et plus acceptable du point de vue du grand public. Il est donc essentiel d’apprendre à créer, implémenter et utiliser l’IA de manière raisonnée, en évaluant attentivement les compromis entre la performance, la complexité et la consommation de ressources naturelles précieuses, afin d’exploiter au mieux cet outil en constante évolution. Sans compter que l’existence de ces solutions sera un appui de poids dans la mise en place des régulations et réglementations à venir concernant le déploiement de l’IA à l’échelle mondiale.

 

Références : 

 

[1] Power Hungry Processing: ⚡ Watts ⚡ Driving the Cost of AI Deployment? (arxiv.org)

[2] Vincent Bontems (Philosophe) : “la Right Tech c’est la bonne technologie, au bon rythme et au bon endroit.” – Umanz

[3] Les données synthétiques et leur rôle dans le monde de l’IA – Avantages, cas d’utilisation, types et défis | Shaip

[4] 11 Ways To Reduce AI Energy Consumption (semiengineering.com)

[5] San Francisco GPT wants to make public data more accessible – Axios San Francisco

[6] Synthetic Data Is About To Transform Artificial Intelligence (forbes.com)

[7] Synthetic data could be better than real data (nature.com)

[8] Small Data & Deep Learning (AI) — A Data Reduction Framework | by Harsha Angeri | DataDrivenInvestor

[9] Intelligence artificielle : c’est quoi Hugging Face, la pépite française valorisée à 4,5 milliards d’euros ? – Le Parisien

[10] LLaMA: Open and Efficient Foundation Language Models (arxiv.org)

[11] IA responsable : quelles solutions pour réduire l’empreinte carbone des modèles ? Blog Devoteam Revolve

[12] How to estimate and reduce the carbon footprint of machine learning models | by Kasper Groes Albin Ludvigsen | Towards Data Science

[13] Introduction aux méthodes d’accélération de réseaux de neurones (ENS Paris Saclay)

[14] Zero-Shot, One-Shot, Few-Shot Learning – Techopedia

[15] Edge Artificial Intelligence (cea.fr)

[16] A Memristor-Based Bayesian Machine (arxiv.org)

[17] A review on TinyML: State-of-the-art and prospects – ScienceDirect

[18] TinyML for Ubiquitous Edge AI (arxiv.org)

[19] Intel dévoile Loihi 2, sa nouvelle puce neuromorphique (usine-digitale.fr)

[20] L’américain Mythic lève 13 M$ de plus pour continuer d’étoffer son portefeuille de puces IA analogiques (lembarque.com)

[21] Post de Philipe Baumard (LinkedIn)

[22] Artificial intelligence technology behind ChatGPT was built in Iowa — with a lot of water | AP News

 

Signature : 

 

Louise Francillon, stagiaire au Service Science et Technologie, Consulat Général de France à San Francisco, [email protected]  

Valentine Asseman, chargée de mission pour la Science et la Technologie, Consulat Général de France à San Francisco, [email protected] 

Emmanuelle Pauliac-Vaujour, attachée pour la Science et la technologie, Consulat Général de France à San Francisco, [email protected]

Partager

Derniers articles dans la thématique