Adopter l’IA frugale : concepts, leviers et initiatives

septembre 7, 2023

L’importance croissante de l’IA frugale dans un monde aux ressources limitées

La frugalité, issue du latin frugalitas, « la juste récolte des fruits de la terre », prône une approche mesurée de la récolte, laissant la terre indemne et les êtres contentés. En d’autres termes, la frugalité invite à faire mieux avec moins [1], en privilégiant les solutions les plus simples, les moins coûteuses, accessibles et à faible impact environnemental, le tout sans détériorer la performance. Dans cette série d’articles, nous accorderons une attention particulière à l’intérêt environnemental de la frugalité lorsqu’elle est appliquée à la technologie.

L’urgence climatique actuelle conduit à l’intégration d’une dimension frugale dans de nombreux domaines, dont l’IA. En effet, la généralisation de l’IA dans divers aspects de la vie quotidienne, conjuguée à une préoccupation environnementale grandissante, soulève des interrogations sur son empreinte environnementale et pousse à considérer la frugalité comme une approche pertinente pour une utilisation responsable et durable de l’IA.

Il convient de souligner que jusqu’à ce jour, aucune définition de l’IA frugale n’a été universellement acceptée, et que le déploiement à grande échelle d’outils pour la mettre en œuvre n’a pas commencé. Cette publication propose donc, dans un premier temps, un panorama des diverses définitions de l’IA frugale et des concepts périphériques à cette notion qui pourraient permettre de mieux l’appréhender.

1. Quantifier et classifier l’impact environnemental de l’IA

L’essor de l’IA et de l’apprentissage automatique (ou machine learning) a entraîné le développement et le déploiement de modèles complexes nécessitant une grande puissance de calcul et par conséquent une quantité importante de données et de ressources énergétiques afin de les entraîner et de les exécuter. Les Large Language Models, qui ont beaucoup attiré l’attention des médias récemment, en sont un exemple. Aujourd’hui, il est établi que plus les données sont nombreuses, plus l’entraînement est efficace et plus ce type de modèle d’IA est performant. Cependant, cette méthodologie présente un inconvénient majeur du fait de l’utilisation de grandes quantités de données qui entraînent des coûts énergétiques importants.

Plusieurs études ont permis de mettre en évidence et de quantifier l’impact environnemental de l’IA. La plupart des modèles doivent être entraînés sur des centaines, voire des milliers de processeurs graphiques (graphics processing unit, GPU). Ces GPU permettent de réaliser des calculs matriciels rapides mais avec une consommation d’énergie et une production de CO2 proportionnellement élevée. A titre d’exemple, l’entraînement de GPT-3 sur des GPU a nécessité 190 000 kWh, soit 85 000 kg d’équivalents CO2, ce qui équivaut à parcourir environ 700 000 kilomètres en voiture, ou encore un aller retour Terre-Lune [2]. Dans la même idée, selon un rapport du MIT Technology Review, le cloud a désormais une plus grande empreinte carbone que la totalité du trafic aérien, et la formation d’un seul modèle d’IA peut émettre plus de 626 000 livres d’équivalent dioxyde de carbone, soit près de cinq fois les émissions d’une voiture américaine moyenne au cours de sa durée de vie [3].

Cette prise de conscience pousse certains acteurs à mettre en place des outils de mesure de l‘impact énergétique de l’IA. Cet impact peut par exemple se caractériser par la quantité d‘énergie utilisée (en kWh), la source d’énergie utilisée (renouvelable ou fossile) ou l’efficacité du hardware utilisé (mesurée selon différents critères comme par exemple le temps d’exécution). Il est aujourd’hui possible de faire appel à des outils développés par des groupes de recherche visant à évaluer l’empreinte carbone d’un modèle, dont voici deux exemples parmi les plus populaires :

Carbon footprint de Google, permet de mesurer l’empreinte carbone du cloud Google, et donc du développement de ses produits. Accessible à tous les détenteurs d’un compte Google Cloud, cet outil permet en quelques clics seulement de suivre et d’évaluer l’impact environnemental de ses activités [5].
Code Carbon, un outil intégré au langage de programmation Python, qui estime la quantité de dioxyde de carbone produite à la fois par le cloud et par les ressources informatiques personnelle utilisées pour exécuter un code [6].

L’adoption à grande échelle de tels outils est une condition nécessaire à la classification des IA en fonction de leur impact environnemental. Roy Schwartz et son équipe du Allen Institute for AI – dont la mission est de construire une IA à fort impact et au service du bien commun et de l’environnement – ont théorisé en 2019 deux grands concepts en IA sur la base des méthodes utilisées et de leur impact énergétique [7] :

L’IA rouge, ou ‘’Red AI‘’, recherche à tout prix l’amélioration de la précision et de la puissance des modèles en les complexifiant et en utilisant une puissance de calcul massive, quitte à augmenter son impact environnemental et social.

L’IA verte, ou ‘’Green AI‘’, se distingue par son efficacité, elle vise à atteindre une performance égale à celle de ‘’Red AI’’ tout en réduisant au maximum les coûts de calculs. Son impact environnemental et social est un critère d’évaluation à part entière de sa performance.

Notons qu’il est important de différencier l’IA frugale proche de Green AI, de l’IA au service de l’environnement ou encore AI for Green. Si l’IA frugale consiste à réduire l’impact direct de l’IA sur l’environnement, l’IA au service de l’environnement consiste à utiliser l’IA comme un outil de travail pour gagner en efficacité dans une démarche de préservation de l’environnement.

L‘impact environnemental de l’IA est très souvent mesuré en empreinte carbone et par rapport à la phase d’apprentissage du modèle d’IA. Cependant, la prise en compte de critères comme la consommation d’eau et de ressources naturelles et la pollution de l’eau et de l’air est nécessaire afin de mesurer correctement l’impact environnemental de l’IA.

Par ailleurs, si la phase d’apprentissage représente habituellement la majorité de la consommation d’un modèle d’IA, ce n’est plus le cas depuis l’avènement de l’IA générative. En effet, pour ce type d’IA, la consommation de la phase d’inférence (ou phase d’utilisation) peut être supérieure à celle de la phase d’entraînement. Dans une étude publiée par Meta [8], il est montré que pour un modèle de langage utilisé plusieurs milliards de milliards de fois par jour pendant 2 ans, la phase d’apprentissage représente 35% de l’impact environnemental tandis que la phase d’inférence en représente 65%.

Enfin, en complément de l’impact environnemental de l’IA en tant que tel lors des phases d’apprentissage et d’inférence, il est crucial d’étudier l’impact environnemental du cycle de vie du hardware utilisé ainsi que des datacenter.

2. Vers une IA frugale et durable : les voies à suivre

L’enjeu de l’IA frugale est de trouver un équilibre entre la performance des modèles d’IA et les contraintes de ressources, afin de maximiser les performances tout en minimisant les coûts. Si elle nécessite de repenser la manière de créer les IA, l’IA frugale présente potentiellement une grande efficacité puisqu’elle réussit à conserver un niveau de performance égal ou presque à des modèles qui nécessitent davantage de données et d’énergie. De plus, diminuer la consommation énergétique de l’IA n’est pas nécessairement un frein à l’IA puisque cette démarche s’accompagne d’économie financières et de temps. Ainsi, les motivations écologiques, économiques ainsi que la recherche d’une plus grande efficacité peuvent se combiner à travers l’adoption de “pratiques frugales”.

Ci-dessous, un tour d’horizon de ces pratiques dans l’état de l’art nous montre que derrière le concept émergent d’IA frugale, se regroupent des principes et méthodes déjà bien connues et des approches plus novatrices.

a. Agir sur les données

L’IA frugale peut tout d’abord être considérée comme une IA qui apprend et exécute des tâches en mobilisant peu de données. Il existe plusieurs motivations à cela : une contrainte physique de limitation de stockage, le manque de données disponibles ou exploitables (c’est-à-dire correctement annotées), ou encore une volonté de diminuer le temps d’apprentissage. Bien entendu, l’adoption de la frugalité peut également être volontaire et préventive. Des techniques connues permettent de réduire intrinsèquement l’utilisation, la transformation ou le transfert de données, à l’image par exemple du compressive sensing [9] qui consiste à reconstruire une information à partir d’un échantillonnage restreint.

Une retombée positive de l’utilisation de peu de données est la possibilité de déployer l’IA dans des zones géographiques aux ressources et aux données limitées, en particulier dans les pays peu développés technologiquement. Ceci permet de réduire les inégalités d’accès à la technologie.

Enfin, cette approche est compatible avec une utilisation locale (non déportée vers le cloud) de l’IA, c’est-à-dire une IA apprenant et s’exécutant sur des infrastructures aux ressources limitées, tels que des appareils mobiles, des objets connectés ou des systèmes embarqués.

b. Agir sur les modèles

Une autre grande problématique consiste à réduire la consommation énergétique intrinsèque du modèle en privilégiant les modèles simples et compacts. Il faut pour cela créer de nouveaux types d’algorithmes ou optimiser les algorithmes existants, par des méthodes de compression, par exemple en utilisant des réseaux de neurones moins profonds ou moins larges, et moins de paramètres. Sous ces termes se regroupent des méthodes déjà très utilisées par certains, dont le pruning [10], le few-shot learning [11] et encore d’autres méthodes qui seront développées dans un prochain article.

Enfin, la frugalité s’appuie aussi sur une volonté de recycler et réutiliser des modèles existants dès que cela est possible. C’est le cas du transfer learning, qui réutilise les modèles ayant déjà appris en les transposant sur un nouveau problème. Cette démarche vise à minimiser les efforts et l’énergie consommés lors du développement et de l’apprentissage de nouvelles IA.

c. Agir sur le hardware

La consommation énergétique des modèles d’IA est également fortement impactée par le choix des circuits ou composants utilisés. En effet, selon Jack Guedj, CEO de Numem, sur un circuit, la consommation énergétique des mémoires peut représenter jusqu’à 80% de l’énergie totale consommée par un modèle d’IA embarqué, et jusqu’à 400 fois plus que l’énergie requise pour le traitement de signal IA. Le type de processeur utilisé a lui aussi un rôle critique sur la consommation énergétique globale.

Pour répondre à cette problématique, de nouveaux composants font leur apparition, comme les puces neuromorphiques qui s’inspirent du fonctionnement des neurones humains. Ces puces rapprochent les unités de calcul et la mémoire, limitant ainsi les transferts de données et donc la consommation énergétique par rapport aux puces classiques.

d. Agir sur l’énergie utilisée

La consommation énergétique des infrastructures est un facteur critique en termes d’impact environnemental de l’IA. En parallèle des voies à suivre mentionnées précédemment, il est essentiel de faire un choix éclairé concernant l’origine de l’énergie utilisée pour alimenter ces infrastructures. Pour cela, le choix de la localisation des infrastructures est d’une importance majeure. À titre d’exemple, concernant l’empreinte carbone d’un centre de données (datacenter), peu d’opérateurs possèdent assez de ressources pour produire leur propre énergie renouvelable sur le site de leurs infrastructures. La plupart du temps, la consommation énergétique du datacenter dépend du mix énergétique de la région dans laquelle il est implanté, il est donc essentiel de se tourner vers des régions où les énergies renouvelables ou propres sont déjà développées. De nombreux datacenter des pays du nord de l’Europe sont alimentés exclusivement en énergies renouvelables, comme le datacenter Kolos en Norvège, fonctionnant avec de l‘énergie éolienne et hydraulique [13]. En France, le mix énergétique est favorable du fait de la prédominance de l’énergie nucléaire.

La localisation d’un datacenter est aussi déterminante pour le système de refroidissement et de ventilation, qui représente jusqu’à 40 % de sa consommation d’énergie [14]. Ainsi un climat adapté et l’abondance d’eau peuvent constituer des facteurs favorables.

Cependant, il est important de noter que le principe de source énergétique “verte” reste relatif, puisqu’en l’état des techniques actuelles, la construction de datacenter peut entraîner des effets discutables voire néfastes sur l’écosystème local.

3. Les initiatives dans le domaine en France et aux US

Déjà bien identifié dans la recherche française depuis plusieurs années, le sujet de la frugalité de l’IA est de plus en plus documenté et des initiatives se concrétisent dans ce domaine à l’international. Ces initiatives utilisent de manière encore désordonnée les différents leviers identifiés plus haut et pourraient ouvrir la voie à des actions de plus en plus coordonnées dans les prochaines années. Celles-ci sont à la fois portées par des industriels, les géants de la Tech, des startups, des laboratoires de recherche académiques et peuvent être motivées par des initiatives gouvernementales. En effet, l’IA frugale peut avoir plusieurs finalités, allant de la bonification de l’image d’un grand groupe, à la réduction des coûts économiques liés à l’IA, en passant par l’adaptation au manque de ressources, ou encore la mise en place d’une stratégie nationale visant à acquérir un leadership dans le domaine de l’IA.

Certains géants de la Tech ont déjà pris des initiatives visant à compenser au moins partiellement leurs émissions de carbone. En particulier, Google (depuis 2017) et Meta (depuis 2020) achètent chaque année suffisamment d’énergie renouvelable ou propre via des CER (crédits d’énergie renouvelable) pour couvrir 100 % de leur consommation. Jusqu’à ce jour, cette énergie n’était pas nécessairement produite au même endroit que l’implantation de ces entreprises, ni au moment des pics de consommation [15], valant à ces initiatives d’être qualifiées de greenwashing. Le positionnement actuel de Google est d’atteindre un objectif plus ambitieux à l’horizon 2030, à savoir le fonctionnement de toutes ses installations avec de l’énergie bas carbone 24h/24, 7j/7. Cet objectif s’inscrit dans le cadre du U.N. 24/7 Carbon-Free Energy Compact établi en 2021 par les Nations unies en collaboration avec Sustainability Energy for All et Google, dans lequel les entreprises déclarent leur intention de suivre une voie carbon free energy 24/7 et collaborent pour y parvenir [11]. Cela signifie l’atteinte d’un impact carbone net considéré comme nul. Si cette stratégie ne signifie pas non plus que les IA fonctionnent directement avec 100% d’énergies renouvelables, elle résout néanmoins les problèmes de temps et de localisation associés aux CER en faisant correspondre la production et la consommation d’énergie sur une base horaire et géographique : l’énergie propre est achetée à proximité et au moment de la production [15][16].

Ainsi, concernant la réduction de l’impact des modèles d’IA, Google se positionne en présentant quatre bonnes pratiques, appelées ‘’4M’’ (Model, Machine, Mechanization, Map optimization), que sont l’utilisation d’architectures de modèles efficaces et plus éparses, l’utilisation de processeurs optimisés et récents, la priorisation du calcul dans des cloud mutualisés et enfin le choix d’une localisation géographique propice à une source d’énergie propre. Ces mesures permettraient de réduire jusqu’à 100 fois l’énergie nécessaire à l‘apprentissage automatique et jusqu’à 1 000 fois les émissions de dioxyde de carbone liées à l’utilisation des services Google Cloud. L’utilisation de ces pratiques depuis 2019 aurait permis à Google de maintenir la part d’utilisation de l’énergie totale dédiée à l‘apprentissage automatique à moins de 15% [14].

Si les grands groupes affichent en façade des intentions louables, leur communication millimétrée sur ce sujet rend la documentation de l’impact environnemental et social des modèles d’IA délicate. En 2020, Timnit Gebru a été contrainte de quitter son poste de co-directrice de l‘équipe IA éthique chez Google en raison d’une prise de position trop forte dans un article sur les dangers, en partie écologiques, des Large Language Models [17][18].

Autre géant de la Tech, Microsoft a également pris des résolutions importantes s’engageant à devenir une entreprise à bilan carbone négatif d’ici 2030, et à compenser toutes ses émissions de carbone historiques d’ici 2050 [19]. Pour cela, Microsoft souhaite capturer du carbone déjà émis, ce qui constitue un vrai pas en avant depuis la neutralité carbone que l’entreprise prétend avoir atteinte en 2012 [20].

Sur le plan académique, des chercheurs de l’université de Berkeley ont également travaillé sur le sujet en s’associant à Google à l’occasion d’un projet de recherche commun. Ils ont publié en 2021 un article qui comprend les calculs de la consommation d’énergie et de l’empreinte carbone de plusieurs grands modèles, ainsi que diverses possibilités d’amélioration de l’efficacité énergétique [21].

Enfin plus récemment, en 2022, le Institute of Electrical and Electronics Engineers (IEEE) s’est joint à l’institut Human-Centered Artificial Intelligence (HAI) de Stanford et au Stanford Woods Institute for the Environment à l’occasion d’un atelier de deux jours sur le thème des technologies donnant la priorité à la planète, concernant les défis énergétiques et réglementaires de l’IA [22].

En France, l’Etat s’implique sur la thématique de l’IA depuis 2017 à travers une stratégie nationale ambitieuse. En 2021, une nouvelle phase de ce plan a permis le financement à hauteur de 73 millions d’euros sur 5 ans du PEPR (Programme et Équipement Prioritaires de Recherche) “Intelligence artificielle” consacré à l’IA frugale, mais aussi à l’IA embarquée, l’IA décentralisée et l’IA de confiance, ainsi qu’aux fondements mathématiques de l’IA. Le PEPR est piloté par l’INRIA (Institut national de recherche en informatique et en automatique), épaulé par le CEA (Commissariat à l’énergie atomique et aux énergies alternatives) et le CNRS (Centre national de recherche scientifique) [23].

Certaines initiatives françaises sur l’IA frugale regroupent les entreprises et les académiques. C’est le cas du club parisien Datacraft, qui, en conjuguant échange de bonnes pratiques et recherche de solutions ingénieuses entre ses membres issus de l’industrie, s’attèle à la problématique du manque de données et de données annotées. Le Consulat général de France à San Francisco est partenaire de cette initiative en 2023 à l’occasion d’un atelier sur la thématique de l’IA frugale [24], organisé le 13 septembre en présentiel entre Paris et San Francisco.

Conclusion

La frugalité en IA s’impose comme un concept essentiel pour relever les défis d’un monde aux ressources limitées. En donnant la priorité à l’efficacité et à l’économie des ressources, cette approche présente des solutions simples et performantes. Des pratiques frugales peuvent être mises en place en agissant sur plusieurs leviers comme les données, les modèles, le hardware ou l’énergie.

Afin de favoriser une adoption de l’IA frugale à plus grande échelle, initiatives et mesures réglementaires se multiplient, restrictives ou incitatives, afin que tout acteur de l’IA soit en mesure d’adopter une attitude plus responsable.

Ce principe d’IA frugale s’adresse donc de fait à des acteurs tels que les entreprises, qui s’efforcent d’adopter progressivement le concept de l’ESG (Environnemental, Social, and Gouvernance) depuis le milieu des années 2000. Ce concept vise à créer un cadre de gestion des ressources pérenne, qui s’avère rassurant pour des investisseurs en quête de prévention efficace des risques, y compris financiers, liés à la gestion de l’ESG [25][26][27]. Ce volet touchant aux motivations et incitations en faveur de l’adoption de l’IA frugale sera développé dans le second article de notre série.

Enfin, le troisième article abordera de manière très appliquée les défis scientifiques et technologiques attenant à l’IA frugale et à son déploiement. En effet, l’IA frugale exige de repenser la manière de créer les IA et des les implémenter, ceci à la fois du point de vue des algorithmes, mais également des composants.

Dans l’attente, la préconisation pour les entreprises pourrait être le partage de bonnes pratiques, une habitude déjà très présente dans la communauté de l’IA, comme en témoigne le succès de la plateforme ouverte Hugging Face. L’atelier co-organisé par le Service pour la Science et la Technologie le 11 octobre prochain, en collaboration avec Datacraft, s’inscrit dans cette démarche et devrait donner un exemple concret d’une manière possible de l’implémenter par delà les frontières.

Pour aller plus loin :

Le livre blanc sur les grands défis de l’IA générative rédigé par Data for Good, communauté francaise de bénévoles autour de la tech pour la société et l’environnement.

Rencontrer la communauté de l’IA frugale :

Atelier Datacraft – Consulat Général de France à San Francisco : “Frugal AI, unsupervised domain adaptation for semantic segmentation” – 11 octobre 2023, Paris / San Francisco (en présentiel)

Références: