Le projet de loi SB-1047, intitulé « Safe and Secure Innovation for Frontier Artificial Intelligence Models Act » [1], introduit par le Sénateur Wiener en Février 2024, est une initiative législative californienne visant à réguler le développement, l’utilisation, et la sécurité des modèles avancés d’intelligence artificielle (IA), en particulier ceux susceptibles de présenter des risques majeurs pour la sécurité publique. Le projet de loi était cet été en examen au Capitole à Sacramento et a été soumis au vote de l’Assemblée – et adopté à la majorité – le 29 août. Cette loi suscite des préoccupations parmi les entreprises technologiques et les investisseurs en Californie [2], qui cherchent à évaluer l’impact potentiel de cette régulation sur leurs activités et la pérennité de leurs feuilles de route en R&D. 

1. Le Sénateur Scott Wiener et la genèse du projet de loi SB 1047 : une tentative de réponse aux débats sur l’IA à San Francisco

La baie de San Francisco est animée par de nombreux événements dédiés à l’IA, où se réunissent jeunes chercheurs, entrepreneurs, scientifiques, philosophes, et représentants gouvernementaux. Ces rencontres sont l’occasion de débattre sur l’avenir de l’IA et d’envisager les impacts de cette technologie sur la société.

Le sénateur Scott Wiener, après avoir assisté à plusieurs de ces conférences, a pris conscience de l’importance de la régulation dans ce domaine. Il a ainsi initié la rédaction du projet de loi SB 1047, en collaboration avec le Center for AI Safety [3] Cette organisation indépendante et à but non lucratif se concentre sur la recherche et la promotion de pratiques sécuritaires dans le développement de l’IA et  travaille avec différents acteurs, tant du secteur privé que du milieu académique et des instances gouvernementales, afin d’élaborer des politiques et des normes de sécurité visant à encadrer cette technologie.

La Californie : Un leader mondial en IA face aux défis de la sécurité et de l’accessibilité

Ce projet de loi reconnaît d’abord la Californie comme un leader mondial en recherche sur l’IA, avec des initiatives importantes provenant à la fois des grandes entreprises, des startups et des universités. En effet, la Californie s’est affirmée comme le leader mondial de l’innovation en IA générative, abritant 35 des 50 principales entreprises d’IA au monde et étant à l’origine d’un quart de tous les brevets en matière d’IA déposés aux États-Unis. Cependant, il met aussi en évidence les risques majeurs que ces technologies d’IA présentent pour la sécurité publique, ainsi que le risque de rendre ces avancées inaccessibles aux structures disposant de moyens financiers plus limités, telles que les chercheurs universitaires ou les startups. En effet, des préoccupations émergent également au sein d’universités prestigieuses telles que Stanford ou UC Berkeley, concernant leur capacité à satisfaire les exigences croissantes en puissance de calcul nécessaires pour soutenir leurs recherches académiques.

Une nouvelle définition des modèles d’IA : critères de puissance et coûts selon le SB 1047

Pour la première fois, ce projet de loi propose une définition précise d’un modèle d’IA en se basant sur les ressources financières et la puissance de calcul nécessaires pour l’entraîner. Un “modèle couvert” (covered model), selon cette loi, désigne tout modèle d’IA qui a été entraîné en utilisant une puissance de calcul dépassant 10 puissance 26 opérations, qu’il s’agisse de calculs avec des nombres entiers ou à virgule flottante*, et dont le coût total dépasse 100 millions de dollars. Ce coût est estimé en fonction des prix moyens du marché du cloud, au moment où l’entraînement du modèle commence, selon une évaluation raisonnable faite par le développeur d’IA. 

* Pour mieux comprendre, une opération en virgule flottante est un calcul qui implique des nombres avec des décimales, par opposition à des nombres entiers simples. Les opérations en virgule flottante par seconde, ou FLOPS, sont une unité de mesure qui permet de quantifier la puissance de calcul d’un ordinateur ou d’un processeur. Plus concrètement, cette unité indique combien d’opérations mathématiques complexes, impliquant des nombres avec des décimales (appelés nombres en virgule flottante), un ordinateur peut effectuer en une seconde.

Création de la Frontier Model Division : Un nouvel organe régulateur pour l’IA en Californie

Afin de structurer les initiatives de régulation de l’IA en Californie, le SB-1047 vise à créer la Frontier Model Division, une nouvelle entité au sein de l’Agence des Opérations Gouvernementales de Californie. Cette entité aura pour  responsabilité de garantir le respect de la législation, de fournir des orientations, de conseiller les fonctionnaires de l’État sur les questions relatives à l’IA, et de réviser annuellement les seuils définissant ce qui constitue un modèle soumis à la réglementation. Cette division serait placée sous la supervision d’un nouveau Board of Frontier Models, composé de représentants de la communauté open source, de l’industrie de l’IA, du milieu universitaire et du gouvernement.

Cette nouvelle entité serait notamment responsable de l’examen des rapports de certification qui devront être soumis par les développeurs, de l’élaboration de directives et de normes visant à prévenir les risques associés aux modèles d’IA, de la publication de rapports anonymisés sur les incidents de sécurité liés à l’IA, ainsi que de la mise à jour annuelle de la définition de « covered models » pour s’adapter aux évolutions technologiques.

Le Board of Frontier Models serait composé de cinq membres nommés par le gouverneur de Californie et les législateurs, représentant diverses parties prenantes, comme l’industrie de l’IA, la communauté de la science ouverte et le monde académique.

Nouvelles obligations pour les développeurs d’IA : Sécurité, audits et conformité. 

Ce projet de loi imposerait également plusieurs obligations aux développeurs d’IA: 

• Une obligation de mise en place d’un protocole de sécurité et de protection : Les développeurs sont tenus d’élaborer et de mettre en œuvre un protocole de sécurité documenté, visant à prévenir les risques potentiels. Ce protocole doit comporter des mesures précises pour tester et évaluer les capacités du modèle à causer des dommages à la société, et doit faire l’objet d’une révision annuelle.
• Intégration d’une capacité d’arrêt total du modèle : Les développeurs doivent prévoir la possibilité de désactiver entièrement un modèle si nécessaire, en particulier lorsque celui-ci présente un risque significatif de causer des dommages critiques.
• Se soumettre à des audits indépendants: À partir de 2028, les développeurs devront faire appel à un auditeur tiers afin d’effectuer un audit annuel de conformité. 
• Déclarer officiellement la conformité de leurs modèles: Les développeurs devront soumettre une certification sous serment de leur conformité avec les exigences de la loi, à la Frontier Model Division. Ils seront également tenus de signaler tout incident de sécurité lié à l’IA dans les 72 heures.

CalCompute : Une infrastructure publique pour soutenir l’innovation en IA en Californie

Le projet de loi mandate également la création de « CalCompute », une infrastructure de calcul dans le cloud, publique, gérée par le Département de la Technologie de l’Etat de Californie. CalCompute serait principalement utilisée pour la recherche sur le déploiement sécurisé des modèles d’IA à grande échelle et pour encourager une innovation plus équitable et accessible à tous. Cette infrastructure serait développée en consultation avec les laboratoires nationaux et les universités. 

Protections des lanceurs d’alerte : Garanties pour les employés face aux risques des modèles d’IA

Le projet de loi prévoit des protections pour les employés qui signalent des violations ou des risques liés aux modèles d’IA. Les développeurs ne peuvent pas s’opposer à ou engager des actions à l’encontre d’un employé qui divulgue des informations au procureur général ou au commissaire du travail, dès lors que cet employé a des raisons de croire que le modèle pose un risque de dommages critiques. Les violations de ces dispositions peuvent entraîner des sanctions civiles, y compris des amendes calculées en fonction du coût de la puissance de calcul utilisée pour entraîner le modèle.

2. Controverses autour du SB 1047 : entre innovation et régulation de l’IA

Le projet de loi SB1047 n’est pas actuellement le seul projet à l’étude en Californie concernant la régulation de l’IA. Il existe en effet trois textes principaux qui ont été discutés par les comités d’appropriation du Sénat californien au cours du mois d’août [4]. Le texte AB3211 [5] s’intéresse à la provenance du contenu numérique en Californie. Le AB2930 [6] se focalise sur les systèmes de décision automatisés. Les trois textes avaient été renvoyés en 3ème lecture fin août.

Le projet de loi SB 1047 [7], en particulier, suscite un vif débat entre partisans de l’innovation et défenseurs d’une régulation stricte [8]. Des figures éminentes de l’IA, comme Fei-Fei Li, co-directrice du Human-Centered AI Institute à Stanford [9], dénoncent les restrictions que cette loi impose, les jugeant trop sévères et susceptibles de freiner l’innovation, surtout dans le domaine de l’open source. Elles avertissent que ces obligations pourraient décourager les développeurs, notamment dans les secteurs académiques et publics, sans pour autant résoudre efficacement les problèmes que la loi cherche à traiter. D’autres personnalités influentes de l’IA, comme Yann LeCun (Meta) et Andrew Ng (ancien cadre de Google) partagent ces préoccupations, affirmant que la loi créerait un environnement juridique incertain, ralentissant ainsi l’innovation. Arun Rao, chef de produit pour l’IA générative chez Meta, va même jusqu’à qualifier le projet de loi d’« irréalisable », soulignant qu’il pourrait mettre fin au développement open source en Californie et avoir un impact économique négatif en poussant des entreprises et des talents à quitter l’État. Les critiques du projet de loi soulignent également que, si l’open source est freiné aux États-Unis, le développement de l’IA pourrait se déplacer vers d’autres pays, comme la Chine, où la réglementation est – pour le moment – moins contraignante.

Cependant, les partisans du SB 1047 estiment que des régulations strictes sont nécessaires pour prévenir les catastrophes potentielles et instaurer des garde-fous face aux entreprises trop centrées sur le profit. Certains experts en IA, comme Geoff Hinton et Yoshua Bengio, considérés comme des “pères fondateurs de l’IA”,  soutiennent le projet de loi, arguant que des mesures de régulation fortes sont essentielles pour encadrer les avancées technologiques de manière responsable.

Un débat qui rappelle celui autour de l’adoption de l’EU AI Act : alors, quelles similarités et quelles différences ?

L’argument consistant à dire que la régulation entrave l’innovation n’est pas sans rappeler les débats apparus lors du vote au parlement européen de l’EU AI Act [10]. Parmi les similarités les plus évidentes entre les deux textes, on notera en particulier que la loi SB1047 porte spécifiquement sur les “modèles couverts” d’IA qui ont été entraînés à l’aide d’une puissance de calcul supérieure à 10 puissance 26 FLOPs, dont le coût d’entraînement dépasse cent millions de dollars, ou qui ont des performances similaires à celles d’un modèle de fondation avancé. La loi européenne sur l’IA possède quelques éléments qui rappellent ces dispositions et en particulier, l’IA Act couvre les applications de l’IA et les modèles d’IA à usage général (GPAI) – par exemple les grands modèles de langage, LLM – avec un seuil pour les GPAI à haut risque  de 10 puissance 25 FLOPs. Les deux textes se concentrent sur un sous-ensemble de modèles d’IA considérés comme les plus susceptibles de causer des dommages. Les deux textes imposent des évaluations et des tests des modèles d’IA.

Sur le plan des différences, à présent : 

• Sur la définition de « modèle couvert » : pour les systèmes d’IA à grande échelle, l’AI Act inclut un seuil de calcul mais il existe également des critères qualitatifs qui peuvent être utilisés pour déterminer le risque systémique en regard de la capacité élevée des GPAI tels que, par exemple, les modalités, les types d’entrées et de sorties, l’adaptabilité, la portée et les utilisateurs, et l’impact attendu sur le marché. Des critères qui n’existent pas dans SB1047 et pourraient améliorer sa flexibilité.
• Sur le plan des interdictions : SB1047 interdit à un développeur d’utiliser ou de mettre à disposition un modèle couvert s’il existe un risque déraisonnable qu’il puisse causer un préjudice critique (i.e. chimique, biologique, radiologique ou nucléaire – CBRN, victimes massives ou dommages financiers importants par le biais de cyberattaques). L’AI Act interdit un certain nombre de cas d’utilisation de l’IA, notamment la notation sociale et la reconnaissance des émotions, ainsi que les systèmes d’IA exploitant des groupes vulnérables ou employant des techniques de manipulation ou de tromperie. Une interdiction de la notation sociale a également été incluse dans la feuille de route du groupe de travail bipartisan du Sénat américain sur l’IA [11] et est utile dans la lutte contre les risques résultant de l’utilisation de tels systèmes par des acteurs malveillants.
• Exemption pour la recherche et la sécurité nationale : contrairement à la version actuelle du SB1047, la loi européenne sur l’IA exclut de la réglementation les modèles et systèmes d’IA utilisés pour la recherche et le développement scientifiques et les modèles d’IA utilisés à des fins militaires, de défense ou de sécurité nationale.
• Modèles d’IA à usage général (GPAI) open source : l’AI Act exempte les modèles d’IA open source sans risques systémiques (c’est-à-dire inférieurs à 10 puissance 25 FLOPs et ne présentant pas d’effets négatifs sur la santé publique, la sécurité publique, les droits fondamentaux ou la société dans son ensemble) des exigences de transparence. Si la SB1047 incluait une définition plus dynamique des modèles couverts (incluant FLOPS et définition qualitative des risques systémiques) ainsi qu’une exemption pour la recherche scientifique, elle pourrait aider à couvrir les modèles open source qui pourraient présenter des risques systémiques définis en termes qualitatifs, malgré une faible puissance de calcul, sans entraver la recherche scientifique.

Des évolutions pour apaiser les oppositions et permettre l’adoption

Après son renvoi en première et deuxième lecture, le SB1047 a subi plusieurs amendements (dont certains suggérés par la startup Anthropic, créatrice du modèle d’IA Claude, concurrent principal du ChatGPT d’OpenAI). Ces amendements sont une tentative de répondre aux craintes des oppositions afin de permettre son adoption in fine, avec la suppression notamment de la Frontier Model Division mais le maintien du Conseil (avec 9 membres au lieu de 5). 

Ce nouveau texte a été voté et adopté à la majorité en 3ème lecture le 28 août 2024 à l’Assemblée de l’Etat et le 29 août au Sénat. Dans la version adoptée du texte, les sanctions pénales ont été transformées en des sanctions civiles. Celles-ci ne pourront être appliquées que dans des conditions assez  strictes : un préjudice réel établi ou des menaces imminentes pèsent sur la sécurité publique.

Dès l’annonce de l’adoption du texte, Elon Musk, PDG de X, a de nouveau apporté sur ce réseau son soutien à cette nouvelle législation. La Maire de San Francisco, London Breed, a elle réitéré ses réserves à propos de cette réglementation [12].

Le Gouverneur Newsom a maintenant jusqu’au 30 septembre pour décider de mettre ou non son véto à son adoption définitive (ce qui reste une hypothèse crédible si le risque économique est trop important).

En conclusion, le projet de loi SB-1047 représente une tentative ambitieuse de la Californie de prendre les devants dans la régulation de l’intelligence artificielle, en particulier en ce qui concerne les modèles avancés susceptibles de poser des risques majeurs pour la sécurité publique. Bien que cette législation réponde à une nécessité croissante de réguler une technologie en plein essor, elle a également suscité de vives critiques de la part des acteurs de l’industrie, mais aussi de plusieurs personnalités politiques, qui craignent qu’elle n’entrave l’innovation et ne pousse les entreprises à quitter l’État pour des régions moins contraignantes. San Francisco, qui joue un rôle central dans l’écosystème technologique mondial, pourrait voir son statut de hub technologique menacé si des régulations perçues comme excessives, où engageant de manière trop ciblée la responsabilité des développeurs, poussent les entreprises à se délocaliser. Sans s’inspirer nécessairement des dispositifs mis en place dans une négociation similaire lors de l’adoption de l’EU AI Act début 2024, plusieurs amendements et assouplissements ont cependant été acceptés qui ont conduit à l’adoption du texte en troisième lecture ce 29 août 2024. Symptomatique d’une régulation qui se durcit pour répondre de manière urgente aux développements de l’IA, le texte pourrait tout simplement être abandonné suite au veto du Gouverneur de Californie, Gavin Newsom, pourtant précurseur sur le sujet de la régulation de l’IA mais garant des intérêt économiques de la Californie [13].

Sources:

[1] Bill Text – SB-1047 Safe and Secure Innovation for Frontier Artificial Intelligence Models Act. (ca.gov)

[2] California A.I. Bill Causes Alarm in Silicon Valley – The New York Times (nytimes.com)

[3] Center for AI Safety (safe.ai)

[4] California Privacy and AI Legislation Update: August 19, 2024 | Byte Back (bytebacklaw.com)

[5] AB 3211: California Digital Content Provenance Standards. | Digital Democracy (calmatters.org)

[6] AB 2930: Automated decision systems. | Digital Democracy (calmatters.org)

[7] SB 1047: Safe and Secure Innovation for Frontier Artificial Intelligence Models Act. | Digital Democracy (calmatters.org)

[8] Le projet de loi californien SB-1047 vise à prévenir les catastrophes potentielles liées à l’IA, mais les critiques craignent que l’accent mis sur les menaces existentielles de futures IA ne nuise à la R&D (developpez.com)

[9] ‘Godmother of AI’ Warns SB 1047 AI Bill Restricts Innovation – Advocacy – California Chamber of Commerce (calchamber.com)

[10] Regulation of the European Parliament and of the Council of 13 June 2024 laying down harmonised rules on artificial intelligence and amending Regulations (Artificial Intelligence Act) (europa.eu)

[11] Driving US Innovation in AI:  a roadmap for AI policy in the US Senate

[12] San Francisco mayoral candidates agree this AI bill will kill tech (sfstandard.com)

[13] Governor Newsom Signs Executive Order to Prepare California for the Progress of Artificial Intelligence | Governor of California 

Rédactrices:

Valentine Asseman, chargée de mission pour la Science et la Technologie, Consulat Général de France à San Francisco, [email protected]
Elisa Bastid, Stagiaire au service pour la Science et la Technologie, Consulat Général de France à San Francisco, [email protected]
Emmanuelle Pauliac Vaujour, attachée pour la Science et la Technologie au Consulat général de France à San Francisco, [email protected]