{"id":6697,"date":"2022-05-23T07:08:55","date_gmt":"2022-05-23T05:08:55","guid":{"rendered":"https:\/\/variances.eu\/?p=6697"},"modified":"2022-05-23T07:09:16","modified_gmt":"2022-05-23T05:09:16","slug":"a-la-croisee-du-deep-learning-et-des-modeles-physiques-en-quete-de-simulation-moins-gourmande-et-plus-transparente","status":"publish","type":"post","link":"https:\/\/variances.eu\/?p=6697","title":{"rendered":"\u00c0 la crois\u00e9e du Deep Learning et des mod\u00e8les physiques : en qu\u00eate de simulation moins gourmande et plus transparente"},"content":{"rendered":"

Apr\u00e8<\/em>s un Mast<\/em>\u00e8<\/em>re Sp<\/em>\u00e9cialis\u00e9 <\/em>en Data Science <\/em>\u00e0 l\u2019ENSAE, Caroline Boudier a effectu\u00e9 son stage de fin d\u2019\u00e9tudes \u00e0 la Direction des Applications Militaires du CEA. Dans cet article, elle r\u00e9sume ces quelques mois d\u2019exploration autour de l\u2019application d\u2019un mod\u00e8le innovant de Deep Learning (les R\u00e9seaux de Neurones Inversibles) \u00e0 la simulation des syst\u00e8mes physiques r\u00e9gis par des lois \u00e9nerg\u00e9tiques. <\/em><\/p>\n

Introduction\u00a0: principe et enjeux de la simulation<\/h3>\n

En physique, la simulation num\u00e9rique est un outil important qui permet d\u2019analyser, de comprendre et de pr\u00e9dire le comportement et l\u2019\u00e9volution de syst\u00e8mes \u00e0 diff\u00e9rentes \u00e9chelles. Depuis le trait\u00e9 d\u2019interdiction compl\u00e8te des essais nucl\u00e9aires (1996), elle est \u00e9galement devenue un pilier crucial de la strat\u00e9gie de dissuasion fran\u00e7aise.<\/p>\n

Si l\u2019approche existe depuis bien longtemps, ses principaux d\u00e9fis n\u2019ont pas chang\u00e9 : pr\u00e9cision de la mod\u00e9lisation et r\u00e9duction du temps de calcul.<\/p>\n

Dans le champ de la physique, les m\u00e9thodes classiques – dites it\u00e9ratives – sont largement utilis\u00e9es afin de mod\u00e9liser l\u2019\u00e9volution dynamique de syst\u00e8mes. Mais elles montrent bien souvent leurs limites : un besoin important en ressources de calcul qui peut devenir prohibitif.<\/p>\n

Face \u00e0 ce d\u00e9fi, l\u2019Intelligence Artificielle est une piste int\u00e9ressante pour mettre en place des mod\u00e8les moins gourmands en ressources. Mais comment faire en sorte que le gain en efficacit\u00e9 ne s\u2019accompagne pas d\u2019une opacit\u00e9 accrue de mod\u00e8les \u00ab\u00a0bo\u00eetes noires\u201d peu interpr\u00e9tables et explicables ?<\/p>\n

Dans le cas des syst\u00e8mes r\u00e9gis par des lois \u00e9nerg\u00e9tiques, les R\u00e9seaux de Neurones Inversibles pourraient bien apporter une premi\u00e8re solution, comme le d\u00e9crit cet article.<\/p>\n

La simulation appliqu\u00e9e aux syst\u00e8mes r\u00e9gis par des lois \u00e9nerg\u00e9tiques<\/h3>\n

Les applications de la simulation en physique sont nombreuses. On y a recours lorsque les simples \u00e9quations physiques ne permettent pas de totalement appr\u00e9hender un ph\u00e9nom\u00e8ne du fait de sa complexit\u00e9. \u00c0 partir d\u2019hypoth\u00e8ses, on lance alors une simulation : un mod\u00e8le dit \u201cg\u00e9n\u00e9ratif\u201d produit des \u00e9chantillons qui correspondent \u00e0 des configurations du syst\u00e8me. \u00c0 partir de ces configurations il est possible de d\u00e9river des propri\u00e9t\u00e9s cl\u00e9s du syst\u00e8me.<\/p>\n

Pour prendre un exemple plus parlant, No\u00e9 et al<\/a><\/span><\/span> [2] s’int\u00e9ressent aux prot\u00e9ines : des structures complexes qui peuvent adopter une grande vari\u00e9t\u00e9 de configurations diff\u00e9rentes. Chacune de ces configurations est associ\u00e9e \u00e0 une probabilit\u00e9 d’apparition. L\u2019objectif de la simulation est de g\u00e9n\u00e9rer des \u00e9chantillons repr\u00e9sentatifs de cette distribution. Or les prot\u00e9ines ont tendance \u00e0 rester infiniment longtemps dans certaines configurations plus stables que d’autres (configurations \u00ab\u00a0pli\u00e9es<\/em>\u00a0\u00bb ou \u00ab\u00a0d\u00e9pli\u00e9es<\/em>\u00ab\u00a0). La distribution est d\u00e9s\u00e9quilibr\u00e9e et les \u00e9v\u00e9nements de transition (d\u00e9pliement ou repliement) sont tr\u00e8s rarement observ\u00e9s : on les appelle \u00ab \u00e9v\u00e9nements rares \u00bb. Ils repr\u00e9sentent un d\u00e9fi pour les m\u00e9thodes statistiques classiques.<\/p>\n

Plus g\u00e9n\u00e9ralement de nombreux syst\u00e8mes physiques suivent ce genre de distributions d\u00e9s\u00e9quilibr\u00e9es, r\u00e9gies par des lois \u00e9nerg\u00e9tiques. La distribution sous-jacente (dite de Boltzmann) traduit le fait que les syst\u00e8mes se stabilisent autour d’\u00e9tats dont l’\u00e9nergie est minimale : la probabilit\u00e9 d’un \u00e9tat est d’autant plus forte que l’\u00e9nergie associ\u00e9e \u00e0 cet \u00e9tat est faible. Les \u00e9tats les plus stables sont les plus fr\u00e9quents et la transition entre deux \u00e9tats stables est tr\u00e8s difficile \u00e0 observer. Pourtant cette transition int\u00e9resse beaucoup les scientifiques car c\u2019est elle qui r\u00e9v\u00e8le les quantit\u00e9s thermodynamiques d\u2019int\u00e9r\u00eat du syst\u00e8me.<\/p>\n

L\u2019\u00e9tude d\u2019un cas d\u2019\u00e9cole en physique (le potentiel de Mueller) permet de simplifier le probl\u00e8me tout en retrouvant les contraintes des syst\u00e8mes physiques r\u00e9els. Il s\u2019agit d\u2019un probl\u00e8me en deux dimensions dans lequel on cherche \u00e0 \u00e9chantillonner la position d\u2019un point (d\u00e9fini par ses coordonn\u00e9es x1<\/em> et x2<\/em>) dans un paysage \u00e9nerg\u00e9tique compos\u00e9 de deux puits principaux d\u2019\u00e9nergie comme le montre la figure ci-dessous.<\/p>\n

\"\"

Variation en \u00e9nergie sur le potentiel de Mueller<\/p><\/div>\n

L\u2019id\u00e9e de la simulation est d\u2019obtenir un \u00e9chantillonnage coh\u00e9rent avec l\u2019\u00e9nergie (les zones d\u2019\u00e9nergie les plus faibles – plus fonc\u00e9es sur le graphe – doivent \u00eatre sur-repr\u00e9sent\u00e9es) et diversifi\u00e9 (un maximum de configurations doivent \u00eatre repr\u00e9sent\u00e9es et on veut notamment observer le chemin de passage d\u2019un puits \u00e0 l\u2019autre).<\/p>\n

L\u2019approche traditionnelle : les m\u00e9thodes it\u00e9ratives<\/h3>\n

\u00c0 ce jour les m\u00e9thodes les plus classiques pour aborder ce type de probl\u00e8mes en physique sont des m\u00e9thodes it\u00e9ratives (de type MCMC : Monte Carlo par Cha\u00eene de Markov, ou Dynamique Mol\u00e9culaire). L\u2019id\u00e9e est de partir d\u2019une configuration initiale puis de lui appliquer successivement de l\u00e9g\u00e8res modifications pour observer son \u00ab d\u00e9placement \u00bb. Les modifications apport\u00e9es sont li\u00e9es \u00e0 des \u00e9l\u00e9ments de th\u00e9orie physique qui assurent la pertinence de l’\u00e9chantillonnage.<\/p>\n

Ces approches pr\u00e9sentent deux probl\u00e8mes majeurs. Tout d\u2019abord, elles requi\u00e8rent de partir d\u2019une configuration donn\u00e9e puis d\u2019attendre que le mod\u00e8le ait produit suffisamment d\u2019\u00e9chantillons pour qu\u2019on puisse consid\u00e9rer les points \u00e9chantillonn\u00e9s comme ind\u00e9pendants. Cela repr\u00e9sente (surtout en grande dimension) un co\u00fbt \u00e9norme en calcul.<\/p>\n

Deuxi\u00e8mement, ces m\u00e9thodes sont tr\u00e8s d\u00e9pendantes de leur initialisation. Dans le cas des distributions \u00e9tudi\u00e9es (fond\u00e9es sur l\u2019\u00e9nergie) les m\u00e9thodes restent pi\u00e9g\u00e9es dans des configurations d’\u00e9nergie faible sans pouvoir passer les barri\u00e8res \u00e9nerg\u00e9tiques permettant de visiter d\u2019autres \u00e9tats. Dans le cas d\u2019une prot\u00e9ine, si on lance une simulation classique \u00e0 partir d’une configuration pli\u00e9e, le temps n\u00e9cessaire pour observer le \u00ab\u00a0d\u00e9pliement\u00a0\u00bb sera extr\u00eamement long, voire infini.<\/p>\n

Dans l\u2019exemple du potentiel de Mueller, les simulations it\u00e9ratives (MCMC) restent pi\u00e9g\u00e9es dans le puits d\u2019\u00e9nergie le plus proche du point de d\u00e9part comme le montre la figure ci-dessous.<\/p>\n

\"\"

\u00c9chantillonnage d\u2019un mod\u00e8le it\u00e9ratif classique (MCMC) : position des points et distribution en \u00e9nergie sur le potentiel de Mueller<\/p><\/div>\n

La simulation \u00e0 l\u2019\u00e8re du Deep Learning<\/h3>\n

Les m\u00e9thodes de Deep Learning se sont largement popularis\u00e9es dans le cadre des mod\u00e8les g\u00e9n\u00e9ratifs. En r\u00e8gle g\u00e9n\u00e9rale, ces mod\u00e8les reposent sur une base de donn\u00e9es (compos\u00e9e d\u2019\u00e9chantillons cr\u00e9dibles) et sur des m\u00e9triques que l\u2019on souhaite optimiser (que l\u2019on appelle fonctions de pertes).<\/p>\n

\u00c0 partir de ces deux \u00e9l\u00e9ments, les mod\u00e8les appr\u00e9hendent une certaine id\u00e9e de la distribution sous-jacente de la base de donn\u00e9es, et sont capables d\u2019en g\u00e9n\u00e9rer de nouveaux \u00e9chantillons. Des mod\u00e8les comme les R\u00e9seaux Antagonistes G\u00e9n\u00e9ratifs (\u00ab Generative Adversarial Networks<\/em> \u00bb ou GANs) ou les Auto-Encodeurs Variationnels (Variational Autoencoder<\/em> ou VAE) qui reposent sur ces techniques sont aujourd\u2019hui d\u00e9mocratis\u00e9s et largement utilis\u00e9s.<\/p>\n

Dans le cas de la simulation physique, ces techniques apparaissent comme une solution possible pour r\u00e9duire le temps de calcul.\u00a0 En effet, une fois un tel mod\u00e8le \u00ab entra\u00een\u00e9 \u00bb, il est capable d\u2019\u00e9chantillonner imm\u00e9diatement des configurations ind\u00e9pendantes sans avoir besoin d\u2019une initialisation et d\u2019it\u00e9rations (c\u2019est ce qu\u2019on appelle le \u00ab one-shot sampling<\/em> \u00bb). Apr\u00e8s entra\u00eenement, le mod\u00e8le peut g\u00e9n\u00e9rer quasi instantan\u00e9ment autant d\u2019\u00e9chantillons que l\u2019on souhaite.<\/p>\n

Pourtant leur utilisation en physique reste limit\u00e9e car ces mod\u00e8les ne prennent pas en compte certaines contraintes du champ physique.<\/p>\n

Tout d\u2019abord leur manque intrins\u00e8que de transparence pose probl\u00e8me dans un univers scientifique o\u00f9 l\u2019objectif est de d\u00e9gager des lois et d\u2019am\u00e9liorer la compr\u00e9hension des ph\u00e9nom\u00e8nes observ\u00e9s. Pour un physicien, un mod\u00e8le qui fonctionne mais que l\u2019on ne peut pas expliquer et d\u00e9composer a peu de valeur et suscitera de la suspicion.<\/p>\n

Ensuite la qualit\u00e9 d\u2019un mod\u00e8le g\u00e9n\u00e9ratif d\u00e9pend uniquement de la qualit\u00e9 de sa base de donn\u00e9es d\u2019entra\u00eenement. Les GANs ou les VAEs sont construits dans l\u2019id\u00e9e d\u2019\u00eatre capable de reproduire la distribution de leur base de donn\u00e9es d’entra\u00eenement. Or la constitution d\u2019une base de donn\u00e9es fiable et non biais\u00e9e ne va pas forc\u00e9ment de soi.<\/p>\n

Enfin, ces mod\u00e8les sont incapables d\u2019int\u00e9grer certains \u00e9l\u00e9ments de th\u00e9orie. Dans le cas des mod\u00e8les fond\u00e9s sur l\u2019\u00e9nergie, on conna\u00eet la forme g\u00e9n\u00e9rale de la distribution attendue. On sait que la loi finale satisfait au crit\u00e8re de Boltzmann qui relie la probabilit\u00e9 d\u2019une configuration avec l\u2019\u00e9nergie de celle-ci : \"p_{X}(x)\propto \exp (-u(x))\" o\u00f9 \"u(x)\" est proportionnelle \u00e0 l\u2019\u00e9nergie potentielle du syst\u00e8me. De m\u00eame dans le contexte physique, ce n\u2019est pas tant l\u2019\u00e9chantillonnage g\u00e9n\u00e9ral qui est important que la mod\u00e9lisation d\u2019une trajectoire pour laquelle la connaissance des \u201ccoordonn\u00e9es de r\u00e9action\u201d peut \u00eatre utile. Dans les deux cas, ces \u00e9l\u00e9ments th\u00e9oriques sont des indices qui pourraient aider le mod\u00e8le \u00e0 \u00eatre plus pertinent mais qui ne peuvent pas \u00eatre int\u00e9gr\u00e9s dans l\u2019entra\u00eenement du mod\u00e8le.<\/p>\n

Pour mettre en lumi\u00e8re ces failles sur l\u2019exemple du potentiel de Mueller, imaginons que l\u2019on cherche \u00e0 entra\u00eener un VAE. Pour constituer une base de donn\u00e9es de d\u00e9part, on pourrait envisager de lancer une simulation it\u00e9rative MCMC partant du puits le plus profond (en haut \u00e0 gauche) puis une seconde partant du puits le moins profond (en bas \u00e0 droite) afin de constituer une base repr\u00e9sentative sur laquelle entra\u00eener le mod\u00e8le.<\/p>\n

Mais apr\u00e8s entra\u00eenement, le VAE reproduit exactement la base de donn\u00e9es sur laquelle il a \u00e9t\u00e9 entra\u00een\u00e9. En particulier, il \u00e9chantillonne autant de points dans le puits le plus profond que dans le puits interm\u00e9diaire, alors m\u00eame que la physique nous dit que le puits le plus profond (o\u00f9 les \u00e9nergies sont les plus basses) devrait \u00eatre sur-repr\u00e9sent\u00e9.<\/p>\n

\"\"

\u00c9chantillonnage d\u2019un mod\u00e8le g\u00e9n\u00e9ratif classique (VAE) : position des points et distribution en \u00e9nergie sur le potentiel de Mueller<\/p><\/div>\n

Cette qu\u00eate d\u2019une plus grande transparence et de la possibilit\u00e9 d\u2019int\u00e9grer des \u00e9l\u00e9ments th\u00e9oriques sur les lois \u00e9chantillonn\u00e9es pendant l\u2019entra\u00eenement conduit \u00e0 s\u2019int\u00e9resser aux r\u00e9seaux de neurones inversibles (not\u00e9s par la suite INNs pour \u00ab Invertible Neural Networks <\/em>\u00bb<\/em>).<\/p>\n

Les r\u00e9seaux de neurones inversibles face aux limites des mod\u00e8les traditionnels<\/h3>\n

Pour comprendre le changement de paradigme apport\u00e9 par les INNs, il faut d\u2019abord s\u2019int\u00e9resser au fonctionnement des mod\u00e8les de Deep Learning tels que les GANs ou les VAEs.<\/p>\n

Leur principe de base est la recherche d\u2019une fonction de transition entre un espace latent connu et l\u2019espace d\u2019int\u00e9r\u00eat dans lequel on cherche \u00e0 \u00e9chantillonner. On cherche \u00e0 identifier une fonction qui prendra en entr\u00e9e des \u00e9chantillons d\u2019une loi facile \u00e0 simuler (par exemple une loi Normale) et qui retournera en sortie des \u00e9chantillons de la loi inconnue qui nous int\u00e9resse.<\/p>\n

Dans le cas du potentiel de Mueller, on souhaite trouver une fonction capable de prendre en entr\u00e9e des vecteurs de taille 2 (simul\u00e9s par une loi normale) et qui renverra des vecteurs de taille 2 repr\u00e9sentant la position du point dans l\u2019espace.<\/p>\n

\"\"

Principe d\u2019un mod\u00e8le de Deep Learning classique dans le cadre g\u00e9n\u00e9ratif (GAN, VAE)<\/p><\/div>\n

Le souci r\u00e9side bien s\u00fbr dans le choix de cette fonction de transition F qui doit \u00eatre suffisamment complexe pour \u00eatre capable de transformer la Gaussienne et de la modeler en une distribution repr\u00e9sentative de notre espace d\u2019int\u00e9r\u00eat. On a alors recours pour F \u00e0 un \u00ab r\u00e9seau de neurones <\/em>\u00bb,<\/em> \u00e0 savoir une succession de transformations (telles que des multiplications par des matrices, l\u2019application de fonctions non lin\u00e9aires, des convolutions etc). Cette fonction aura de nombreux param\u00e8tres (par exemple les poids des matrices) que l\u2019on optimisera gr\u00e2ce \u00e0 une m\u00e9trique lors de la phase d\u2019entra\u00eenement sur les donn\u00e9es.<\/p>\n

L\u2019id\u00e9e de base des INNs est de faire de cette fonction de transition entre espace latent et espace d\u2019int\u00e9r\u00eat une fonction (1) inversible, (2) bijective, (3) avec des d\u00e9terminants de Jacobiennes[1]<\/sup><\/a> faciles \u00e0 calculer. Ce sont des contraintes tr\u00e8s fortes car les architectures habituellement utilis\u00e9es pour construire des r\u00e9seaux de neurones ne respectent pas ces propri\u00e9t\u00e9s. En r\u00e9alit\u00e9, l\u2019essor r\u00e9cent des INNs n\u2019a \u00e9t\u00e9 permis que par la d\u00e9couverte du \u00ab coupling block<\/em> \u00bb par Dinh et Al<\/a> [1] : une transformation astucieuse qui permet de garantir l\u2019inversibilit\u00e9 tout en introduisant suffisamment de complexit\u00e9. C\u2019est \u00e0 partir de ce bloc de base que sont construits les INNs.<\/p>\n

Satisfaire \u00e0 ces contraintes a deux int\u00e9r\u00eats principaux :<\/p>\n