Le calcul haute performance aux Etats-Unis

février 16, 2006

Introduction – La position du calcul à haute performance aux Etats-Unis

Le calcul à haute performance donne lieu à une forme de compétition internationale, dont les chefs de file sont les Etats-Unis et le Japon. Il a fait l’objet d’une couverture médiatique significative lorsque le Japon a dépassé les Etats-Unis dans le Top500 en 2002, puis lorsque ces derniers ont repris la tête en 2005, avec un IBM Blue Gene installé u aALawrence Livermore National Laboratory (qui dépend de la National Nuclear Security administration du Department of Energy – DOE). Si IBM apparaît comme l’acteur majeur actuel, en étant le constructeur de près de la moitié des machines classées au Top500, il ne s’agit pas de la réussite d’une société privée isolée, mais bien d’un effort fortement appuyé par le gouvernement.

1- Une priorité politique et stratégique

Le calcul à haute performance a été très tôt identifié comme étant une priorité stratégique, au départ fortement en relation avec les questions de défense ou de dominance stratégique. La question est d’importance suffisante pour avoir fait dès il y a quinze l’objet d’une loi (cf. §1.2) et pour avoir été régulièrement évoquée au parlement. Il n’est sans doute pas anodin de constater qu’au début des années 90 les japonais avaient fait une entrée en force dans le domaine des supercalculateurs (Fujitsu atteignant finalement la première place du Top500 en 1993).
Elle est revenue au premier plan en 2003, lorsque les japonais ont, fin 2002, à nouveau dépassé les américains en matière de performance de supercalculateurs (tandis que la Chine lançait son propre projet de supercalculateur).

La réaction a été très nette puisque :
– une audition à la chambre s’est tenue en juillet 2003, pour examiner comment rétablir la situation, concluant à la nécessité de pousser les feux en matière de R&D, d’investissement et de définition d’objectifs ;
– un groupe de travail intitulé de manière parlante "High End Computing Revitalization Task Force" (HECRTF) a été mis en place par l’"Office of Science & Technology Policy" (OSTP) dans le cadre du budget 2004, groupe de travail qui a produit un rapport détaillé en 2004, le "Federal Plan for High End Computing" ;
– parallèlement, le Sénat a demandé dans loi d’appropriation 2003 (S.R. 107-220) que le programme d’activité du DOE dans le domaine fasse l’objet d’une évaluation, concrétisée par le rapport "Getting Up to Speed: The Future of Supercomputing" des National Academies (fin 2004 pour le texte, juin 2005 pour la publication officielle). On peut relever l’argumentaire de la demande : "The Committee notes the intriguing development of the Japanese vector-based Earth Simulator Computer which is now several times faster …"" ;
– une proposition de loi bipartisane intitulée "The High Performance Computing Revitalization Act" a été proposée en mai 2004 à la Chambre et au Sénat, avec l’appui de l’exécutif (cf. §2).

Plus récemment le président Bush a, lors de son discours sur l’état de l’Union le 31 janvier 2006, mis en avant ce domaine comme l’un des trois domaines prioritaires pour un doublement des fonds consacrés à la recherche de base (avec les nanotechnologies et les sources d’énergie alternatives). Cela n’était pas sans rapport avec les différentes prises de position intervenues en 2005, venant de tous les milieux, académiques, industriels et politiques. D’une façon générale, le sujet a fait l’objet de nombreux textes, constituant par exemple le sujet principal ou un sujet important pour une dizaine de rapports depuis cinq ans, issus de cercles subordonnés à l’administration (PITAC, NITRD, OSTP/ HECRTF) ou non (National Academies etc.).
Il faut noter que, si les considérations de sécurité de défense (que ce soit au sens du contrôle à l’export de ces technologies ou de leur emploi pour les besoins de défense) restent présentes, c’est l’avance technologique et la compétitivité économique qui sont le plus souvent mises en avant. C’est aussi le point de vue du Council on Competitiveness (voir ses enquêtes dans le cadre de son initiative "High Performance Computing"). Au demeurant un certain protectionnisme, sous l’influence du Congrès, est de mise en matière d’acquisitions. Le projet japonais, annoncé l’été dernier, de développer une machine à 10 petaflops à l’horizon 2011, pour un montant approchant le milliard de dollars, contribuera certainement à induire un effort soutenu du côté américain.
Enfin, à l’image du "Federal Plan for High End Computing" de 2004, l’accent politique ou stratégique est souvent mis sur le domaine des supercalculateurs plutôt que, par exemple, sur les systèmes de grilles, les questions de très grandes bases de données etc. La NSF finance pourtant de manière significative ces sujets de recherche qui ne relèvent pas des supercalculateurs, mais il lui est souvent reproché un manque (très) relatif de financement sur les supercalculateurs, parfois sous l’angle d’un manque de coordination des activités fédérales. Pour autant, le financement de la NSF pour les supercalculateurs -loin d’être négligeable- est le plus important de toutes les agences.

Il y a de facto une forme de compétition entre le développement de supercalculateurs, machines à architecture dédiée, dont les débouchés sont réduits par le développement de grilles ou clusters de machines "ordinaires" et le développement d’infrastructures qui permettent d’optimiser l’emploi de ressources existantes, dont des grilles. Cela a en pratique contribué à réduire le marché des constructeurs spécialisés, dont un seul (Cray) subsiste aux Etats-Unis, après avoir failli disparaître. Ce manque de débouchés conduit à ce que les acteurs industriels du secteur soient très fortement dépendants de la commande publique, aussi bien en matière de développement qu’en matière de recherche. Aucun ne semble trouver un intérêt économique à investir significativement sur fonds propres, voire à affecter des équipes de très haut niveau à cette activité plutôt qu’à d’autres. Cela rend d’autant plus difficile, pour le gouvernement, de maintenir une concurrence parmi des fournisseurs potentiels (du moins dans le cadre d’achats strictement nationaux). En tout état de cause, les machines de pointe sont développées sur commande de l’état et installées dans des laboratoires nationaux (à l’exception d’une machine située dans le centre de recherche Thomas Watson d’IBM).
Une autre conséquence du choc causé par les japonais a été -au-delà de votes de crédits ou de lois par le Congrès ou de la mise en place de nouveaux programmes- l’accent mis sur la coordination entre les agences. Un accord a ainsi été mis en place entre le DOE (SC, NNSA, ODDR&E) et la défense (DARPA et NSA) pour coordonner leurs activités en matière d’architecture, il en est allé de même entre la NSF et la DARPA pour ce qui est des logiciels, ou entre la NSF et le DOE pour ce qui est des infrastructures d’accès.

2- Une priorité consignée dans la loi

Le "High Performance Computing Act" de 1991 (proposé par Al Gore -alors sénateur- au Sénat et par George E. Brown à la Chambre), a défini un "National High Performance Computing Program", ses objectifs, son organisation, ses budgets jusqu’en 1997, son contrôle etc. La chose est en soi remarquable, peu de pays ont en effet organisé par la loi leur effort en matière de calcul à haute performance. L’objectif de cette loi non seulement les super calculateurs, mais aussi et tout autant d’établir un "National Research and Education Network", un réseau donnant accès à des moyens de calcul à haute performance pour l’ensemble des utilisateurs (secteur public et secteur privé).

L’organisation définie en 1991 a relativement peu varié depuis :
– la NSF est l’opérateur principal pour le développement du réseau, doit aider les établissements d’enseignement à y accéder, fournir un service d’aide à l’accès ;
– le département de l’énergie doit également conduire des recherches sur le calcul intensif, les communications, les logiciels, est responsable de l’infrastructure nécessaire pour les besoins liés à l’énergie et de la création de consortia (public privé) en matière de calcul à haute performance ;
– la NASA doit conduire de la recherche en calcul intensif, liée à ses besoins (aérospatial, sciences de la terre, exploration etc.) ;
– la Défense (DARPA) doit conduire des recherches en réseaux à très haut débit (fibres optiques, commutateurs, protocoles etc.) ;
– le NIST est chargé des mesures et de la métrologie, du développement de normes et de tests, y compris pour la sécurité informatique, conformément à sa mission classique ;
– la NOOA est chargée des recherches en logiciels pour le calcul à haute performance pour la météorologie et l’océanographie et l’EPA des recherches liées à l’environnement.
En pratique les principaux acteurs restent le DOE et la DARPA, qui sont intervenus plus d’une fois en cofinancement, pour le développement des supercalculateurs, et la NSF pour l’infrastructure et la recherche sur les autres types de calcul à haute performance, ce qui a été accentué depuis le développement du programme de cyber-infrastructure au sein de cette agence et le développement du programme ASCR au DOE. On peut cependant relever le rôle croissant des NIH, en parallèle avec le doublement de leur budget d’ensemble, jusqu’à faire d’eux maintenant la troisième agence par le volume des investissements, devant la DARPA (mais, tandis que pour cette dernière seul l’effort de R&D est comptabilisé, les NIH ont surtout des investissements d’acquisition de moyens de calcul à haute performance).
Ce "High Performance Computing Act" a été actualisé en 1993 ("High Performance Computing and High Speed Networking Applications Act") par l’ajout d’un plan pour le développement des applications et de compléments d’actions pour le développement des réseaux.

En pratique, le HPC Act a eu un impact beaucoup plus large que le calcul à haute performance, puisqu’il est finalement à la base du NITRD, la structure fédérale de coordination de la R&D en technologies de l’information, ainsi que du PITAC.
Le "High Performance Computing Revitalization Act" de 2004 n’a pu être voté par le Sénat (par manque de possibilité de l’insérer dans le calendrier des votes) ; une nouvelle version amendée proposée à la chambre en janvier 2005 et votée en avril a suivi le même parcours. En revanche, la proposition de loi Department of Energy "High-end Computing Revitalization Act" of 2004, déposée à la chambre en avril 2004 est devenue une loi (108-423) fin novembre 2004. Elle décide que le DOE doit conduire un programme de recherche en supercalculateurs (logiciel et matériel), fournir un accès à de tels moyens pour la communauté de recherche américaine et favoriser le transfert de technologie vers le secteur privé. Ce plan consigné dans la loi organise et sécurise un investissement significatif du DOE dans la R&D sur les supercalculateurs.

3- Des financements variables

Il existe un débat quant à la définition de ce qui est financé en matière de calcul à haute performance. Ainsi la HECRTF a considéré que sur environ 900 millions de dollars de financement sur le sujet dans le cadre du NITRD, seulement 158 millions correspondraient à du "High End Computing", entendu sous l’acception plus étroite de supercalculateurs.
Si l’on considère une définition plus large de calcul à haute performance, le graphique suivant reprend les chiffres donnés lors d’une audition à la chambre en 2004. Ces chiffres s’appuient sur les données du NITRD, ce qui recouvre l’essentiel mais non nécessairement la totalité de l’effort fédéral (comme le montre la récente révision radicale faite à cet égard par le DoD) :

Certaines évolutions apparaissent clairement :
– une croissance forte est constatée à la fin des années 90, ce qui peut surprendre compte tenu des inquiétudes manifestées à partir de fin 2002 ;
– cette croissance peut être attribuée au premier chef à la NSF (dont l’effort a plus que doublé) mais aussi au DOE (Office for Science et NNSA, dont les budgets ont d’abord fortement augmenté puis se sont tassés après 2001) et aux NIH (dans l’élan du doublement de leur budget d’ensemble),
– tandis que la contribution de la DARPA (jusqu’à la révision intervenue en ce début de 2006) a fortement baissé.
– La baisse temporaire de la contribution du DOE après 2001 est bien sûr à relier aux inquiétudes manifestées ensuite à partir de 2002-2003 : c’est le DOE qui avec la DARPA est le principal financeur des travaux de R&D sur les supercalculateurs, partie la plus médiatiquement visible de l’iceberg.

Les variations sont plus radicales en ce qui concerne la recherche sur les supercalculateurs, affectée par un repli des budgets informatique de la DARPA et de la NASA ainsi que, pendant un temps, par un creux des financements du DOE. Ce dernier a cependant sensiblement augmenté son investissement à partir du budget 2004 (donc d’octobre 2003), par le biais du programme "Next Generation Architecture", doté d’une quarantaine de millions par an, ainsi que par la croissance du programme "National Energy research Scientific Computing Center".
Les chiffres du NITRD sont éloquents quant à l’impact des inquiétudes nées en 2003. Alors que la proposition budgétaire initiale pour 2004 (élaborée en 2002 et rendue publique début 2003) aurait dû conduire à un tassement, l’exécution a vu une croissance sensible de l’effort de recherche (+27% par rapport à la proposition budgétaire), en partie au détriment des acquisitions. Surtout, à partir de 2004 l’effort de R&D apparaît clairement supérieur à ce qu’il était devenu, tendant à rester au-delà des 400 millions de dollars pour les dernières années.

A titre illustratif, le programme "Advanced Scientific Computing Research" du DOE (pour une bonne part consacrée au calcul à haute performance), dont l’exécution 2003 s’était élevée à 163,3 millions, a atteint 202,3 millions en 2004 puis 232,5 millions en 2005 et 207 millions ont été demandés pour 2006, mais compte tenu de la fin d’essais et d’acquisitions. Le programme de cyber-infrastructure de la NSF a également connu une croissance régulière ces dernières années pour maintenant dépasser les 500 millions de dollars. En parallèle, les universités achètent également pour partie sur leurs fonds ou par donation des équipements. L’université de l’Iowa a ainsi réceptionné en janvier un "petit" Blue Gene (2048 processeurs, 5,7 téraflops) dont le coût, 1,25 million, a été financé à parité avec la NSF, tandis que la Brigham Young University dans l’Utah dispose d’un ensemble de six clusters 682 Dell PowerEdge 1850 servers and PowerEdge 1855 blade servers (9 téraflops) acheté en pour 5 millions, grâce à une donation. Les chiffres de réalisation du budget 2006 ne sont évidemment pas encore connus, de même que le détail de la proposition de l’administration pour 2007, mais, compte tenu de la priorité affichée pour ce domaine jusque dans le discours présidentiel sur l’état de l’Union, on peut gager qu’ils seront en croissance (sur les quelques chiffres déjà connus, la croissance est sensible). Ils conforteront alors la place des Etats-Unis dans le Top500 : 305 machines sur le sol américain, dont 34 des 35 premières, 479 fabriquées aux Etats-Unis…

La version pdf du présent article est également disponible au téléchargement à l’url https://www.bulletins-electroniques.com/rapports/smm06_016.htm

Source :

– Flash TIC 100 : https://www.bulletins-electroniques.com/actualites/28612.htm
– BE Etats-Unis 10 : https://www.bulletins-electroniques.com/actualites/30704.htm
– BE Etats-Unis 8 : https://www.bulletins-electroniques.com/actualites/30395.htm
– High End Computing Revitalization Task Force (HECRTF) : https://www.nitrd.gov/subcommittee/hec/hecrtf-outreach/
– Loi d’appropriation Energie et Eau du Sénat SR 107_220 : https://www.er.gov/bes/Senate_Rpt_107_220.pdf
– Getting Up to Speed: The Future of Supercomputing : https://www7.nationalacadamies.org/cstb/pub_supercomp.html
– Council on Competitiveness – High Performance Computing Initiative – https://www.compete.org/hpc
– Federal plan for high end computing : https://www.nitrd.gov/pubs/2004_hecrtf/20040510_hecrtf.pdf
– High Performance Computing Act 1991 :
https://thomas.loc.gov/cgi-bin/bdquery/z?d102:SN00272:%7CTOM:/bss/d102query.html%7C
https://thomas.loc.gov/cgi-bin/bdquery/z?d102:HR00656
– High Performance Computing and High Speed Networking Applications Act of 1993 https://thomas.loc.gov/cgi-bin/query/z?c103:H.R.1757
– Audition à la chambre 2003 : https://www.house.gov/science/hearings/full03/index.htm
– NITRD : https://www.nitrd.gov
– High-Performance Computing Revitalization Act of 2004 HR 4218 : https://thomas.loc.gov/cgi-bin/bdquery/z?d108:HR04218:@@@L&summ2=m&
– Department of Energy High-End Computing Revitalization Act of 2004 HR 4516, S 2176 puis loi 108-423 :
https://thomas.loc.gov/cgi-bin/query/z?c108:h4516
https://thomas.loc.gov/cgi-bin/query/z?c108:S.2176
https://www.nsf.gov/mps/ast/aaac/p_l_108-423_doe_high-end_computing_revitalization_act_of_2004.pdf
– Audition au Sénat : https://frwebgate.access.gpo.gov/cgi-bin/getdoc.cgi?dbname=108_senate_hearings&docid=f:96630.pdf
– High-Performance Computing Revitalization Act of 2005, HR 28 : https://thomas.loc.gov/cgi-bin/query/z?c109:h28
– H.R. 4218, the High-Performance Computing Revitalization Act of 2004 Hearing charter May 13, 2004 : https://www.house.gov/sci
– https://science/hearings/full04/may13/charter.pdf
– https://www.er.doe.gov/ascr/
– https://www.nitrd.gov/pubs/bluebooks/2003/03BB-final.pdf
– https://www.nitrd.gov/pubs/bluebooks/2004
– https://www.nitrd.gov/pubs/bluebooks/2005/05bb-final.pdf
– https://www.nitrd.gov/pubs/2006supplement/
– https://www.nsf.gov/dir/inhttps://index.jsp?org=OCI
– https://www.science.doe.gov/obp/FY_06_Budget/ASCR.pdf
– https://www.dell4hied.com/resource_detail.php?ri=514
– https://www.Top500.org