Adopter l’IA frugale : les motivations

L’essor rapide de l’intelligence artificielle (IA) a fait naître plusieurs problématiques telles qu’un fort impact environnemental, des coûts élevés, des disparités en termes d’accessibilité ainsi que la présence de biais, pour n’en citer que quelques-unes. Ces problématiques s’intensifient à mesure que l’IA se généralise, mais ne sont pas perçues de la même manière selon les régions du monde. En particulier, leur poids est réparti différemment aux Etats-Unis qu’en Europe, la prise de conscience écologique en Silicon Valley étant fortement concurrencée par la course à la performance sur les plans technologiques et économiques. Ce second article de notre série sur l’IA frugale s’attache à démontrer que celle-ci peut, dans une certaine mesure, offrir de bons leviers pour répondre aux différents défis de l’IA, en fonction des contraintes identifiées comme importantes par chacun des acteurs.

Pour rappel, le premier article de cette série définissant le concept d’IA frugale, les leviers d’action et les pratiques frugales actuelles est disponible ici

 

Quelles motivations pourraient propulser l’IA frugale au rang de priorité mondiale dans la course à l’adoption de l’IA?  Les avis divergent, selon le lieu et les personnes, concernant la nécessité d’adopter l’IA frugale, l’urgence avec laquelle il faudrait le faire, ainsi que la manière de la déployer à grande échelle. Si la volonté d’adopter des pratiques responsables est bien présente au sein de la communauté mondiale de l’IA, les motivations écologiques semblent loin d’être suffisantes à la généralisation de cette approche. D’autres facteurs pourraient inciter davantage à l’adoption d’une pratique frugale, sur la base de diverses contraintes auxquelles font face les acteurs de l’IA, et notamment les très grandes entreprises. Grâce à cette dynamique, l’IA frugale pourrait s’imposer progressivement comme la norme en matière d’IA. 

 

L‘IA frugale comme point de convergence de divers intérêts

 

ChatGPT, quelle énergie consommes-tu ? « En tant que modèle linguistique d’IA, je n’ai pas de présence physique et je ne consomme pas directement d’énergie ». En réponse à cette même question, l’IA Bard de Google va encore plus loin et affirme : ‘’Mon empreinte carbone est nulle’’, et lorsqu’elle est interrogée sur l’énergie consommée pour sa création et son apprentissage, elle répond : « ce n’est pas une donnée publique » [1]. Contrairement à ce que laissent entendre les réponses pré-entraînées données par ces IA génératives, leur impact environnemental est réel. En effet, l’apprentissage de GPT-3 aurait à lui seul nécessité 1 287 gigawattheures, une consommation comparable à celle de 120 foyers américains sur une année [2].

 

Mais la motivation écologique n’est pas le seul critère qui puisse amener les entreprises à se tourner vers l’IA frugale, et certainement pas encore le critère privilégié – tout au moins au cœur de la Silicon Valley. Voici un tour d’horizon des motivations potentielles que nous avons identifiées et qui pourraient susciter un intérêt plus large. Pour chaque motivation, des exemples concrets recueillis localement auprès d’experts ou dans la presse spécialisée sont proposés en réponse à la question posée. 

Des motivations économiques 

 

En premier lieu, il est important de noter que la frugalité peut permettre aux acteurs impliqués dans le domaine de l’IA, notamment les académiques et les entreprises, de réaliser des économies substantielles. A des échelles différentes mais suivant une même tendance, les grandes écoles et centres de recherche français et américains – entre autres – sont les moteurs principaux de l’innovation en IA frugale lorsqu’ils disposent de financements publics limités, les incitant à développer des alternatives à moindre coût. A titre d’exemple, en 2021, les agences gouvernementales américaines ont investi 1,5 milliard de dollars dans les institutions de recherche académique travaillant sur  l’IA. En comparaison, 340 milliards de dollars ont été dépensés par l’ensemble des industriels américains pour leurs propres laboratoires de recherche et développement [3]. Ce budget est malgré tout conséquent à l’échelle du financement de la recherche publique mondiale sur le sujet (sans compter que nombre d’universités américaines bénéficient de soutiens de mécènes et d’entreprises privées). 

 

Alors comment l’IA frugale contribue-t-elle à réaliser des économies financières?

Elle minimise le stockage de données.  En utilisant moins de données, l’IA frugale permet de réduire significativement les coûts financiers en infrastructures et en énergie relatives à leur stockage. Ces économies ne sont pas négligeables, puisque le coût d’un datacenter, même de petite taille, s’élève en moyenne à 4,3 millions de dollars [4]. 

Elle minimise la puissance de calcul et la consommation d’énergie. Avec d’une part l’augmentation des prix des composants suite à la pandémie de COVID-19 – certains processeurs graphiques (GPU) atteignant $2 500 pièce [5] – et d’autre part le coût élevé et fluctuant de l’énergie, les composants conçus pour plus de frugalité et d’efficacité – à l’image des puces neuromorphiques – sont un levier d’intérêt majeur pour un certain type d’entreprises. Certaines de ces puces permettent de consommer jusqu’à mille fois moins d’énergie qu’un processeur conventionnel de même taille, en réduisant les transferts de données [6].

Elle minimise les coûts d’annotation Des pratiques frugales telles que la réduction du jeu de données (few shot learning) ou l’automatisation de l’annotation, peuvent permettre d’éviter l’annotation de gros jeux de données, une étape très onéreuse en ressources financières et humaines (et qui soulève d’autres problèmes, que nous verrons ci-après). L’abondance de données disponibles en Silicon Valley rend la question de l’annotation absolument centrale, c’est pourquoi elle sera évoquée ci-après à plusieurs reprises.

 

Un objectif d’efficacité et rapidité

 

L’IA frugale, intrinsèquement axée sur l’efficacité, favorise une véritable accélération de la recherche dans le domaine. Il s’agit d’un levier qui intéresse particulièrement les très grandes entreprises, qui consacrent énormément de ressources à réaliser leur propre recherche en interne (les Etats-Unis ne possédant pas comme la France de nombreux centres de recherche dans lesquels se prépare le transfert industriel, à l’exemple de l’INRIA, ou du CEA). 

 

Comment une approche frugale peut-elle permettre aux data scientists de travailler plus vite et plus efficacement ? Nous avons collecté quelques exemples décrits ci-dessous : 

Réduire le temps d’annotation. En termes de gain de temps, l’utilisation de petits jeux de données permet de réduire de manière significative le temps alloué à la récupération de la donnée mais surtout à son annotation, qui est une étape très chronophage.

Automatiser tout ce qui est répétitif ou incrémental. Le machine learning automatisé (AutoML) est un ensemble de méthodes visant à simplifier et automatiser toutes les étapes du machine learning pour le rendre plus accessible sans compromis sur la qualité des modèles. Il peut s’inscrire dans une démarche d’IA frugale, avec le développement de techniques moins gourmandes en ressources de calcul et donc plus performantes d’un point de vue énergétique. Parmi les techniques d’AutoML, on trouve le Neural Architecture Search (NAS), qui automatise la recherche de la meilleure architecture pour chaque cas d’IA. Cette technique permet de réduire les tests de différentes configurations d’architectures et de paramètres qui nécessitent une puissance de calcul importante [7].

Avoir toujours suffisamment de ressources de calcul. Pour les chercheurs, développeurs et utilisateurs d’IA, il est fréquent de devoir attendre plusieurs heures avant que les GPU nécessaires au test des modèles – qui sont des ressources le plus souvent partagées – soient disponibles. Cette situation est vraie également en Silicon Valley. Les algorithmes plus fractionnés d’IA frugale constituent une solution partielle à ce problème en ce qu’ils permettent à la fois d’utiliser moins de GPU et de réduire leur temps d’utilisation. 

Ne plus perdre de temps à déplacer des données. Dans les applications spécifiques d’IA pouvant être embarquées sur des appareils, l’edge AI, ou calcul en périphérie, permet un gain de temps et de nombreux autres avantages. En edge AI, les algorithmes sont exécutés localement [8]. Cela réduit drastiquement l’usage du cloud et les transferts de données jusqu’à des datacenter, mais aussi la latence et les coûts. L’edge AI offre aussi une meilleure confidentialité et disponibilité en raison de sa capacité à fonctionner hors ligne. Le tout avec un impact environnemental réduit [9]. L’edge AI promet de transformer en profondeur de nombreux nouveaux secteurs d’activité (mobilités, industrie, réseaux d’énergie, santé, défense, agriculture…), et représenterait un potentiel économique estimé à 5000 emplois directs et plus de 10 000 dans les filières applicatives [10]. Les entreprises pour lesquelles le matériel et l’intelligence embarquée sont au cœur des développements technologiques pratiquent déjà l’edge AI mais gagneraient à adopter une approche frugale globale, afin de maximiser leur gain en efficacité.

Améliorer l’accessibilité de l’IA

 

En abaissant le “coût à l’adoption” de l’IA – en termes de données, d’énergie, d’algorithmie – la frugalité s’inscrit également dans une recherche d’accessibilité pour tous et d’universalisation de l’accès à l’IA. 

 

Quelles sont, d’après les experts interrogés, les inégalités d’accessibilité à l’IA qui pourraient se résorber par une large adoption des règles de frugalité ?

Disparité géographique. Les disparités géographiques entre les régions du monde dans l’accessibilité aux datacenters de dernière génération créent des inégalités en termes de stockage, de disponibilité et de proximité des données. En parallèle de l’adoption de l’IA frugale, il est également essentiel de promouvoir la recherche en nouvelles technologies de stockage (comme le stockage sur ADN) et en datacenters efficaces, compacts et déployables. De plus, réduire la quantité de données requises pour l’entraînement d’un modèle d’IA permet de diminuer le stockage de données inutiles ou latentes. Cela réduit la taille des datacenters, entraînant une consommation d’énergie moindre et une utilisation réduite des ressources. Cette approche pourrait être une solution pertinente pour de nombreux pays.

Disparités entre secteurs d’activité. En parallèle, rendre l’IA plus accessible signifie faciliter son adoption par de nouveaux domaines d’activité. Nina Miolane, chercheuse à l’université de Santa Barbara, s’est intéressée à cette question cruciale pour le secteur de la santé. D’après Miolane, ce secteur pourrait considérablement profiter de l’avancement des méthodes d’IA économes en données. En effet, dans le domaine de la santé, obtenir des données de qualité et annotées est rendu difficile par le caractère secret des données médicales. De plus, l’annotation des données médicales est laborieuse et chronophage. Elle nécessite l’intervention d’experts médicaux qui ont peu de temps à consacrer à cette tâche et dont les interprétations peuvent varier. Les méthodes d’IA frugale automatisant ou réduisant le besoin d’annotations pourraient renforcer l’adoption de l’IA frugale dans le secteur de la santé. 

Opportunité pour les start-ups. Finalement, l‘IA frugale, par son économie en ressources, contribuerait à offrir aux jeunes entreprises les moyens de rivaliser avec les géants du secteur, et ce malgré leurs moyens et un accès aux données limités. 

Vers une indépendance face aux pénuries de matière première et de matériel 

 

Pour être indépendant face aux aléas de disponibilité du hardware – dont on sait qu’ils s’inscriront dans la durée – les approches frugales préconisent en premier lieu de se tourner vers les solutions utilisant le moins de matériel possible ou bien du matériel déjà disponible.

 

Concrètement, quels vont être les réflexes à adopter pour progresser face à cette pénurie mondiale ? 

Une difficulté durable d’accès au hardware. Depuis 2020, le marché des GPU (processeurs graphiques) et des CPU (unités centrales) fait face à une pénurie et à un envol des prix [5]. Cette crise a en partie été déclenchée par les contraintes d’approvisionnement en semi-conducteurs et en matériaux nécessaires à la fabrication de GPU durant la pandémie de Covid-19. Or en parallèle de la crise, l’essor des applications d’IA, des cryptomonnaies et du gaming a créé une demande sans précédent pour les GPU. Si bien que les fabricants ont eu du mal à suivre le rythme effréné de la demande, entraînant des ruptures de stock dès le lancement de nouveaux modèles. Les prix ont également connu une flambée, faisant craindre que les GPU haut de gamme ne deviennent inaccessibles pour de nombreux consommateurs. Bien que la pénurie ait régressé en 2022, les prix des GPU restent élevés et le développement d’IA massives à l’image de ChatGPT laisse présager de possibles difficultés d’approvisionnement à l’avenir puisque ces modèles utilisent des centaines, voire des milliers, de GPU. Les Etats-Unis, au même titre que l’Europe, l’ont bien compris et concentrent à présent leurs efforts sur le rapatriement et la diversification de leurs moyens de production sur leurs sols. La très agressive politique du “made in America” américain entraîne d’ailleurs de fortes pressions sur les entreprises étrangères et de vives tensions avec le partenaire européen depuis plusieurs mois, dans de nombreux secteurs de l’industrie et de la technologie.

Lutter contre l’obsolescence des composants. Face aux prix élevés et à la rareté des GPU, certaines entreprises et experts de l’IA ont adopté des pratiques frugales permettant de réduire le nombre de GPU nécessaires et la dépendance aux GPU dernière génération. C’est le cas de Gregory Renard, entrepreneur et expert français de l’IA en Silicon Valley. Avec ses équipes, il a développé des modèles d’IA performants en inférence en utilisant des architectures réduites et spécialisées (transformeurs intégrant du prompting, de l’in-context learning ou du zero-shot learning), ce qui permet une bonne performance en exécution sur des GPUs vieux de 5 ans. Cette initiative illustre de manière concrète et appliquée les leviers accessibles aux développeurs d’IA afin de lutter contre l’obsolescence des composants et pour une IA plus frugale. 

 

Pour une IA plus éthique 

 

Finalement, il est important de considérer le caractère éthique de l’IA, qui peut aussi être un facteur motivant pour les entreprises voulant rester attractives. La frugalité peut contribuer, dans une certaine mesure, à la réduction des biais, des discriminations et à une amélioration des conditions de travail et de la transparence. 

 

Quelles sont les dimensions par lesquelles l’IA frugale contribue à l’utilisation éthique de l’IA ?

Des données de qualité pour minimiser les biais. Utiliser moins de données offre la possibilité d’en améliorer la qualité. Il est en effet plus économe, en termes de temps et d’effort, de garantir un bon degré de correspondance avec la réalité sur un petit jeu de données que sur un grand jeu de données. Dans les gros ensembles de données non triés, certains types de données sont surreprésentés. Par exemple, il est à présent connu que les modèles d’IA apprenant sur internet surreprésentent les occidentaux et discriminent les femmes noires, entre autres. Un tel biais peut notamment poser des problèmes dans les applications de reconnaissance faciale et en matière de sécurité [11]. Avec les modèles d’IA frugale, les petits jeux de données donnent la possibilité de réfléchir davantage pour représenter au mieux la réalité.

Considérer la charge mentale des annotateurs. Alice Desthuilliers, spécialiste de la donnée et product manager chez Appen – une entreprise d’annotation de données implantée dans la Baie de San Francisco – nous a rappelé que plusieurs enquêtes récentes montrent que l’impact psychologique de l’annotation de données sur les annotateurs peut être significatif. Un risque encore mal mesuré à l’heure actuelle et dont on pourrait souhaiter qu’il soit pris en considération dans l’aménagement des conditions de travail de cette main d’œuvre invisible au quatre coins du monde.

Développer une IA explicable. Enfin, l’explicabilité et la transparence de l‘IA sont également devenues des sujets d’intérêt face à la généralisation de l’utilisation de l’IA, notamment pour certains domaines d’application stratégiques et critiques tels que l’aéronautique, l’espace, la défense ou le nucléaire. Nous avions déjà évoqué l’importance du concept d’explicabilité de l’IA dans l’un de nos précédents articles. Cette dimension est également au cœur des préoccupations du bureau californien en charge de la publication d’un décret sur la réglementation de l’IA, paru en septembre 2023 [12] – équipe que nous avons rencontrée à l’occasion d’une conférence organisée au NASA Ames Research Center sur les questions d’IA et d’éducation. Des techniques frugales telles qu’AutoML peuvent représenter des solutions intéressantes, puisqu’elles fournissent des résultats explicables et reproductibles [13]. Par ailleurs, des études ont montré que l’alliance du raisonnement bayésien [14] et de l’apprentissage automatique pouvait créer des IA explicables et capables d’estimer la certitude de leurs prédictions. Cette approche est qualifiée de frugale puisqu’elle fonctionne sur des quantités réduites de données et présente une grande efficacité énergétique [15]. Les solutions frugales apportent donc des réponses concrètes sur la question de l’explicabilité de l’IA.

 

En conclusion, l’adoption de l’IA frugale se profile comme un impératif mondial à mesure que l’IA continue de se généraliser. Bien que les motivations pour embrasser cette approche puissent varier selon les lieux et les acteurs, plusieurs facteurs clés – et pour la plupart compatibles entre eux – convergent vers la nécessité d’adopter la frugalité dans le domaine de l’IA.

 

Si l’Europe et la France accordent beaucoup d’importance aux considérations écologiques – probablement plus que la plupart des régions du monde – celles-ci ne sont pas les seuls moteurs de la frugalité à considérer. Les motivations économiques sont indéniables, car l’IA frugale permet de réaliser des économies substantielles en termes de stockage de données, de puissance de calcul, et de coûts d’annotation. Elle favorise également l’efficacité et la rapidité de la recherche en IA, ce qui intéresse tout particulièrement les grandes entreprises.

 

L’accessibilité est un autre aspect essentiel, car l’adoption de pratiques frugales rend l’IA plus accessible à tous et réduit les inégalités géographiques et sectorielles. Elle permet également aux jeunes start-ups de rivaliser avec les géants de l’industrie. Enfin, la frugalité contribue à une utilisation éthique de l’IA en réduisant les biais, en améliorant la qualité des données, en considérant la charge mentale des annotateurs, et en favorisant l’explicabilité de l’IA.

 

La notion de compatibilité de ces différents facteurs est une opportunité rare pour l’adoption de l’IA frugale, puisqu’elle offre des leviers pour relever les défis actuels de l’IA à tous les niveaux de la chaîne de valeur (des créateurs jusqu’aux utilisateurs). Cet alignement permet également une réflexion holistique : chaque acteur peut, en effet, réaliser des améliorations de portée significative dans son champ de spécialité, tout en sachant que l’impact de ces actions peut être démultiplié dès lors qu’elles sont menées de manière coordonnée. 

 

Le prochain article de cette série, disponible dans cette même édition de la newsletter, apporte un éclairage sur les règles partagées et incitations qui pourraient conduire à l’adoption de l’IA frugale à grande échelle, sur la base de ces motivations.

 

L’équipe scientifique du consulat de San Francisco remercie chaleureusement les nombreux experts qui ont bien voulu participer à notre étude de terrain, et particulièrement ceux qui ont accepté d’être nommés dans cet article. 

 

Sources : 

 

    1. As the AI industry booms, what toll will it take on the environment? | The Guardian
    2. ChatGPT & co : pourquoi le coût énergétique de l’IA pose un vrai problème | Clubic
    3. Future of AI Research in Industry vs Academia | Litmaps
    4. Cost of a data center | Kio.tech
    5. Guerre du computing : de la pénurie de composants à la guerre hybride | Hors normes 
    6. Vers une IA moins gourmande en données et en énergie | Hello Future
    7. Is AutoML the key to the democratization of machine learning? | Hello Future
    8. How Machine Learning And Edge Computing Power Sustainability | Forbes
    9. What Is Edge AI and How Does It Work? | Nvidia
    10. Intelligence artificielle embarquée (entreprises.gouv.fr)
    11. Small Data for sustainability: AI ethics and the environment | OpenGlobalRights
    12. Régulation américaine sur l’IA : perspectives au niveau du gouvernement fédéral et de l’Etat de Californie – France-Science
    13. Qu’est-ce qu’AutoML ? | ibm
    14. A Memristor-Based Bayesian Machine (arxiv.org) 

 

Signature:

Louise Francillon, stagiaire au Service Science et Technologie, Consulat Général de France à San Francisco, [email protected]  

Valentine Asseman, chargée de mission pour la Science et la Technologie, Consulat Général de France à San Francisco, [email protected] 

Emmanuelle Pauliac-Vaujour, attachée pour la Science et la technologie, Consulat Général de France à San Francisco, [email protected] 

Partager

Derniers articles dans la thématique
, ,