Les équations aux dérivées partielles : une modélisation des phénomènes physiques

Les équations aux dérivées partielles sont des familles d’équations fondamentales qui permettent de relier des variations dans le temps et dans l’espace de grandeurs physiques. Les scientifiques comme les ingénieurs en mécanique les utilisent dans presque toutes les modélisations de phénomènes naturels : de l’écoulement de l’air autour d’un avion aux mouvements des planètes ou la météorologie en passant par les ondes électromagnétiques.  Malheureusement, dans des applications réelles, trouver les solutions de ces équations est difficile et nécessite des résolutions numériques approchées qui sont très coûteuses en temps de calcul.  Cela est d’autant plus problématique que, souvent, les scientifiques et les ingénieurs vont s’intéresser à des problèmes complexes tels que: « quelle est la forme d’un avion qui minimise le frottement de l’air tout en maximisant sa portance ? », il s’agit dans ce type de cas de résoudre une équation aux dérivées partielles pour plusieurs paramètres de forme d’avions (taille des ailes, forme du nez de l’avion, etc.), on parle alors d’équations aux dérivées partielles paramétriques (EDPP). Dans la pratique, des centaines voire parfois des milliers de paramètres de forme devraient en théorie être testés pour un même avion, ce qui nécessite de résoudre l’EDPP autant de fois. Compte tenu des ressources nécessaires en temps de calcul, les ingénieurs en sont réduits à ne faire les calculs que pour un nombre très limité de paramètres.

Équations au dérivées partielle et Deep Learning: une synergie bidirectionnelle et une émergence rapide

Afin de trouver des alternatives plus rapides à ces méthodes de résolution numérique d’EDPP, des travaux apparus depuis environ 4 ou 5 ans utilisent le Deep Learning (DL) pour résoudre des problèmes de mécanique en général et des EDPP en particulier. Les résultats sont particulièrement prometteurs, mais notons qu’encore plus récemment, les connaissances accumulées en résolution d’EDPP permettent également de modéliser des réseaux de neurones artificiels.

Une analyse bibliographique, représentée Fig 1, montre que le nombre d’articles traitant du lien entre réseaux de neurones artificiels et résolution d’EDPP (dans un sens ou dans l’autre, comme nous l’avons vu) est en augmentation très rapide sur les cinq dernières années. Ces résultats sont obtenus en utilisant la base de publications Lens[1], en cherchant les publications dont le titre, les mots clés, ou l’abstract contiennent simultanément les termes « artificial networks » et « Partial Differential Equations ». Toujours sur la base Lens, et avec la même requête, on s’aperçoit que sur les 20 universités mondiales qui publient le plus, les trois premières sont américaines : Brown, Stanford, et Purdue University (voir Figure 2). On observe également que de plus en plus d’universités qui publiaient peu dans le domaine de la mécanique ont commencé à s’y intéresser à travers le DL.

Figure 1 : Nombre de publications (toutes universités confondues), entre 2015 et 2020, qui utilisent des réseaux de neurones artificiels pour la résolution d’EDPP

Figure 2 : 20 universités qui publient le plus de publications, entre 2015 et 2020, sur le sujet de l’utilisation des réseaux de neurones artificiels pour la résolution d’EDPP

Une tendance de plus en plus forte, qui semble au-delà de l’effet de mode

L’idée de base pour appliquer le DL aux EDPP est simple : les réseaux de neurones artificiels sont des approximateurs universels qui peuvent, sur la base d’une quantité suffisante de données d’apprentissage, apprendre à associer des éléments d’entrée à des éléments de sortie. Ainsi, si l’on reprend l’exemple précédent de l’écoulement d’air autour d’un avion, un réseau de neurones artificiels est en mesure de relier les éléments d’entrée qui sont l’équation et les paramètres de forme de l’avion aux éléments que l’on souhaite obtenir, à savoir la portance de l’avion et la force de frottement (d’autres informations pourraient être intéressantes à calculer, mais pour cet exemple nous nous en tiendrons à ces deux valeurs). Une fois l’apprentissage effectué, qui peut être extrêmement long, le calcul de la portance et du frottement est très rapide, ce qui permet de le faire pour beaucoup de valeurs différentes des paramètres.

Si la motivation est compréhensible, cette approche n’est pas naturelle : en effet, le DL est une approche basée sur les données qui a été développé pour faire face à des cas d’applications où beaucoup de données existaient (la reconnaissance d’images : l’internet mondial regorge d’une quantité considérable d’images de toutes sortes par exemple) mais où peu, voire aucun, modèle quantitatif de description n’existait. La résolution d’EDPP se situe dans le cas de figure opposé : très peu de données existent car elles nécessitent généralement des expériences (en soufflerie par exemple) à grande échelle très coûteuses, par contre les EDPP incorporent une description quantitative de la physique sous-jacente du phénomène. Une autre approche est donc souvent utilisée, dite « physics driven » et non « data driven », qui se base directement sur l’EDPP en construisant une fonction de coût quantifiant le niveau avec lequel la fonction implémentée dans le réseau de neurones vérifie l’EDPP[2,3,4].

La startup franco-américaine Atmo utilise le Deep Learning pour effectuer de la prévision météorologique et climatique dans le but de vendre des supercalculateurs aux pays qui n’ont pas de services météorologiques et climatiques déjà bien développés comme l’Europe, les Etats-Unis, la Chine ou le Japon. Leurs outils offrent des résultats de prédiction du même niveau que les centres météorologiques nationaux de pays tels que les Etats-Unis, le Japon ou la France. Au-delà de cet exemple particulier, ces méthodes deviennent de plus en plus populaires. Ainsi, NVIDIA propose une boîte à outils logicielle, NVIDIA Simnet[5], permettant d’utiliser aisément les réseaux de neurones artificiels pour la résolution d’EDPP, tant de façon « data driven » que « physics driven ». Ces approches ne sont donc plus simplement un domaine de recherche, mais commencent à être utilisées en ingénierie.

Le cas symétrique, à savoir l’utilisation d’EDPP pour simuler des réseaux de neurones semble prometteur et doit également être suivi avec attention. Dans certains cas, des échantillons de données peuvent être mieux approximés en intégrant une EDPP qu’avec un réseau de neurones[6]. Le domaine des EDPP et celui du DL s’interpénètrent donc, et les progrès de l’un et de l’autre se renforcent mutuellement. Ce cas étonnant de deux sujets a priori très disjoints qui s’avèrent avoir une forte synergie illustre le fait que les découvertes en sciences et technologies ont de plus en plus lieu à l’intersection entre plusieurs disciplines.

[1] https://www.lens.org

[2] Maziar Raissi, Paris Perdikaris, and George Em Karniadakis. Physics informed deep learning (part i): Data-driven solutions of nonlinear partial differential equations, 2017.

[3] Luning Sun, Han Gao, Shaowu Pan, and Jian-Xun Wang. Surrogate modeling for fluid flows based on physics constrained deep learning without simulation data. Computer Methods in Applied Mechanics and Engineering, 361:112732, 2020.

[4] Justin Sirignano and Konstantinos Spiliopoulos. Dgm: A deep learning algorithm for solving partial differential equations. Journal of computational physics, 375:1339–1364, 2018.

[5] https://developer.nvidia.com/simnet

[6] https://medium.com/@khushbooshrivastava/neural-ordinary-differential-equations-major-breakthrough-in-neural-network-research-4963b5293c2e