Pour \u00e9laborer chaque jour le programme de fonctionnement des usines afin d\u2019assurer 24h sur 24 l\u2019\u00e9quilibre entre l\u2019offre et la demande d\u2019\u00e9lectricit\u00e9 d\u2019EDF au moindre co\u00fbt, il est ainsi n\u00e9cessaire de disposer d\u2019une panoplie compl\u00e8te d\u2019outils qui couplent programmation dynamique stochastique \u00e0 la pr\u00e9vision fine de la consommation et de la production des \u00e9nergies nouvelles et renouvelables (ENR) comme l\u2019\u00e9olien ou le solaire.<\/p>\n
L\u2019\u00e9lectricit\u00e9 ne se stockant pas, la qualit\u00e9 de la pr\u00e9vision des besoins \u00e0 satisfaire et des moyens disponibles pour y parvenir est au c\u0153ur de nos enjeux. Pour ce faire, nous avons d\u00e9velopp\u00e9 des expertises multiples dans la collecte et le traitement des donn\u00e9es centr\u00e9es sur le march\u00e9 de l\u2019\u00e9lectricit\u00e9. Nous pouvons ainsi\u00a0:<\/p>\n
- \n
- Challenger en permanence nos m\u00e9thodes via les nombreux outils d\u2019IA (m\u00e9lange de pr\u00e9dicteurs, stacking<\/em>, Maching Learning automatis\u00e9)\u00a0;<\/li>\n
- Etre \u00e0 la recherche de nouvelles m\u00e9thodologies (reinforcement learning<\/em>), au sein d\u2019un collectif (lors de comp\u00e9titions internes et de projets en collaboration avec R&D)\u00a0;<\/li>\n
- Collecter toujours plus de donn\u00e9es dans le \u00ab\u00a0lac de donn\u00e9es\u00a0\u00bb via les sources de donn\u00e9es publiques et opendata pour enrichir les jeux d\u2019apprentissage\u00a0;<\/li>\n
- Garantir toujours plus de performance des outils qui doivent rester \u00e0 l\u2019optimum dans le temps dans un contexte d\u2019\u00e9volution rapide : \u00e9volutions du contexte r\u00e9glementaire, al\u00e9as climatiques impactant les conditions aux limites, qualit\u00e9 de donn\u00e9es, extension de la quantit\u00e9 et de la vari\u00e9t\u00e9 des donn\u00e9es.<\/li>\n<\/ul>\n
La s\u00fbret\u00e9 op\u00e9rationnelle d<\/strong>\u2019exploitation<\/strong> de nos mod\u00e8les est devenue \u00e9galement un enjeu majeur au fil de la complexification du march\u00e9 de l\u2019\u00e9lectricit\u00e9. La multiplication des donn\u00e9es et des algorithmes a rendu n\u00e9cessaire le d\u00e9veloppement d\u2019outils puissants et innovants de d\u00e9tection d\u2019anomalies.<\/p>\n
Trois cas d\u2019usage \u00e9tudi\u00e9s puis mis en exploitation \u00e0 EDF sont d\u00e9taill\u00e9s dans cet article, illustrant ainsi la plus-value des innovations statistiques au service des enjeux de l\u2019\u00e9quilibre offre-demande.<\/p>\n
Cas d\u2019usage\u00a0 1 : Le machine learning au service de la pr\u00e9vision ENR<\/h3>\n
Il existe depuis longtemps des mod\u00e8les de pr\u00e9visions de production \u00e9olienne et hydraulique produite au fil de l\u2019eau par des usines d\u00e9pendant du d\u00e9bit des fleuves.\u00a0 Ces deux sources d\u2019\u00e9nergie sont r\u00e8glementairement inject\u00e9es en priorit\u00e9 sur le r\u00e9seau, et prennent une part de plus en plus importante dans le syst\u00e8me \u00e9lectrique. Il est indispensable de toujours mieux les pr\u00e9voir. C\u2019est dans ce contexte que nous avons test\u00e9 des m\u00e9thodes de machine learning.<\/em><\/p>\n
La production \u00e9olienne pr\u00e9sente la simplicit\u00e9 de s\u2019expliquer par les pr\u00e9visions de vent, encore faut-il imaginer comment mod\u00e9liser un parc sur le territoire complet, avec plus de 1400 sites de productions r\u00e9partis sur tout le territoire. Une fa\u00e7on de voir le probl\u00e8me est de faire une \u00ab\u00a0clusterisation\u00a0\u00bb du parc d\u2019apr\u00e8s sa courbe de charge\u00a0; c\u2019est-\u00e0-dire rassembler les s\u00e9ries chronologiques qui se comportent de fa\u00e7on similaire. Nous avons choisi une m\u00e9thode de K-m\u00e9do\u00efdes qui a permis d\u2019identifier 8 clusters qui suffisaient \u00e0 segmenter la production du parc fran\u00e7ais.<\/p>\n
R\u00e9partition g\u00e9ographique des 8 clusters<\/em><\/p>\n
![\"\"](\"http:\/\/variances.eu\/wp-content\/uploads\/2021\/05\/F1.png\")
<\/p>\nIl faut alors identifier les principaux points de mesure des pr\u00e9visions de vent de M\u00e9t\u00e9o France et mod\u00e9liser chacun de ces 8 clusters avec des m\u00e9thodes d\u2019apprentissage. C\u2019est donc plusieurs m\u00e9thodes de machine learning<\/em> qui ont \u00e9t\u00e9 test\u00e9es\u00a0: XGBoost, Random Forest, GAM, etc.<\/p>\n
Elles sont ensuite optimis\u00e9es pour ne garder finalement qu\u2019un unique mod\u00e8le, une liste restreinte de variables explicatives (position g\u00e9ographique, r\u00e9gime de vent…) et des param\u00e8tres intrins\u00e8ques les plus performants possible.<\/p>\n
Pour l\u2019hydraulique, nous testons de nouvelles sources de donn\u00e9es de d\u00e9bits d\u2019eau aujourd\u2019hui en opendata et en gros volume gr\u00e2ce \u00e0 l\u2019ouverture de la base HubEau (base de donn\u00e9es sur l\u2019eau disponibles en open data, mise en place notamment par le Bureau de Recherche G\u00e9ologiques et Mini\u00e8res et l\u2019Agence Fran\u00e7aise pour la Biodiversit\u00e9). Cette base n\u00e9cessite d\u2019utiliser des outils big data de stockage (Hive) et de requ\u00eatage (Spark)\u00a0: chaque mois ce sont 12\u00a0000\u00a0000 points de mesure qui sont ajout\u00e9s. Nous testons actuellement sur ces donn\u00e9es les m\u00e9thodes de machine learning <\/em>pour pr\u00e9voir la production du jour pour le lendemain ; les r\u00e9sultats sont tr\u00e8s encourageants.<\/p>\n
Cas d\u2019usage 2 : Le traitement automatique du langage au service de la Programmation journali\u00e8re<\/h3>\n
Chaque jour, notre Centre Programmation et Optimisation re\u00e7oit des contrats de performance journali\u00e8re de chaque tranche de production thermique. Une soixantaine de rapports sont \u00e0 saisir, lire, comprendre, et v\u00e9rifier par les op\u00e9rateurs qui doivent assurer la coh\u00e9rence des informations et statuer sur les aptitudes techniques des tranches pour les horizons J+1 et J+2. Une activit\u00e9 dans laquelle l\u2019intelligence artificielle peut aider l\u2019humain. Un outil IA a \u00e9t\u00e9 construit afin de\u00a0:<\/p>\n
A. Automatiser la saisie de donn\u00e9e ;<\/p>\n
B. Interpr\u00e9ter les commentaires libres et en d\u00e9duire si la tranche est apte \u00e0 r\u00e9aliser certaines op\u00e9rations (suivi de charge, service syst\u00e8me etc.) ;<\/p>\n
C. D\u00e9tecter les incoh\u00e9rences au sein des donn\u00e9es structur\u00e9es et avec les commentaires, \u00e0 l\u2019aide des r\u00e8gles m\u00e9tiers pr\u00e9d\u00e9finies ;<\/p>\n
D. Proposer aux op\u00e9rateurs un double rapport avec version initiale et version modifi\u00e9e (avec les incoh\u00e9rences corrig\u00e9es ou surlign\u00e9es en fonction de la confiance dans le diagnostic).<\/p>\n
L\u2019outil permet de gagner en temps et en efficacit\u00e9. Le traitement automatique du langage (TAL) intervient dans la partie \u2018interpr\u00e9tation des commentaires\u2019. Il s\u2019agit d\u2019une classification binaire de texte libre <\/strong>avec un corpus de texte tr\u00e8s orient\u00e9 vers la production nucl\u00e9aire. Dans le cadre de l\u2019am\u00e9lioration continue, un travail est en cours pour augmenter la performance du mod\u00e8le TAL.<\/p>\n
![\"\"](\"http:\/\/variances.eu\/wp-content\/uploads\/2021\/05\/F2.png\")
<\/p>\nUne d\u00e9marche en plusieurs \u00e9tapes que nous nous proposons de d\u00e9crire ci-dessous : <\/strong><\/p>\n
![\"\"](\"http:\/\/variances.eu\/wp-content\/uploads\/2021\/05\/F3.png\")
<\/p>\n1. Acquisition des donn\u00e9es<\/strong><\/span><\/h5>\n
Apr\u00e8s avoir collect\u00e9 un nombre suffisant de commentaires, une premi\u00e8re \u00e9tape importante a consist\u00e9 en l\u2019annotation de chaque commentaire par des experts : 0 pour inaptitude ou 1 pour aptitude. A titre d\u2019exemple :<\/p>\n
Commentaire 1 : Pas de mouvement de charge durant l<\/em>\u2019<\/em>arr\u00eat de la tranche 1. <\/em>\u2794 label = 0 (0 pour inaptitude)<\/em><\/p>\n
Commentaire 2 : La tranche est apte au suivi de charge. => label =1 (1 pour aptitude)<\/em><\/p>\n
2. Pr\u00e9traitement<\/strong><\/span><\/h5>\n
Les commentaires sont \u00ab nettoy\u00e9s \u00bb pour ne garder que des mots utiles et limiter le nombre de \u00ab vocabulaires \u00bb. Cette \u00e9tape a pour but de standardiser le texte afin de faciliter les \u00e9tapes de vectorisation et classification. Les techniques classiques comprennent :<\/p>\n
- \n
- Tokenisation qui transforme un texte en une s\u00e9rie de mots (tokens) ;<\/li>\n
- Suppression des mots les plus fr\u00e9quents (stop words) ;<\/li>\n
- Suppression des ponctuations ;<\/li>\n
- Stemming<\/em> qui r\u00e9duit un mot dans sa forme de racine ;<\/li>\n
- \u00ab\u00a0Lemmatisation\u00a0\u00bb, etc.<\/li>\n<\/ul>\n
Illustration pour le commentaire 1 :<\/p>\n
Pas <\/em>de<\/span><\/em><\/span> mouvement<\/em> de<\/span><\/em><\/span> charge <\/em>durant l<\/span><\/em>\u2019<\/span><\/em><\/span>arr\u00eat <\/em>de la<\/span><\/em><\/span> tranche<\/em> 1. <\/span><\/em><\/span>\u2794 pas mouv charge arr\u00ea<\/em>t tranche<\/em><\/p>\n
3. Vectorisation<\/strong> : texte \u2794 num\u00e9rique<\/span><\/h5>\n
Les commentaires ainsi pr\u00e9trait\u00e9s sont ensuite transform\u00e9s en une matrice avec des techniques de vectorisation. A titre d\u2019illustration, la technique la plus simple est de compter le nombre d\u2019occurrences de mots.<\/p>\n
Cette m\u00e9thode est retenue dans certains cas d\u2019usage mais elle a ses limites : elle ne tient pas compte de l\u2019ordre des mots au sein d\u2019un texte et elle n\u2019int\u00e8gre pas le sens s\u00e9mantique du vocabulaire. La m\u00e9thode N-Gram ou la m\u00e9thode plongement de mots (Word2Vec) permettent d\u2019am\u00e9liorer la performance pour notre cas d\u2019usage.<\/p>\n
4. Entra\u00eenement \u00e0 l\u2019aide d\u2019un algorithme ML<\/strong><\/span><\/h5>\n
La matrice avec les labels allou\u00e9s est utilis\u00e9e pour entra\u00eener un mod\u00e8le d\u2019apprentissage supervis\u00e9. Des algorithmes \u00e0 la base des arbres de d\u00e9cision (Gradient Boosting,<\/em> etc.) ont permis d\u2019obtenir une performance satisfaisante. La technique des r\u00e9seaux de neurones r\u00e9currents a \u00e9t\u00e9 test\u00e9e mais elle a une performance moyenne pour plusieurs raisons. D\u2019une part, le nombre de commentaires pour entrainement est tr\u00e8s faible par rapport au volume n\u00e9cessaire pour un apprentissage approfondi, d\u2019autre part, les vocabulaires sont tr\u00e8s sp\u00e9cifiques \u00e0 la production nucl\u00e9aire et il est donc peu pertinent d\u2019utiliser un mod\u00e8le pr\u00e9-entra\u00een\u00e9.<\/p>\n
5. Mesure de performance et validation du mod\u00e8le<\/strong><\/span><\/h5>\n
Diff\u00e9rentes m\u00e9thodes de vectorisation et de classification ont \u00e9t\u00e9 test\u00e9es et ont permis de comparer les performances du mod\u00e8le.<\/p>\n
6. Pr\u00e9diction<\/span><\/h5>\n
Le mod\u00e8le entra\u00een\u00e9, une fois valid\u00e9, permet de pr\u00e9dire les aptitudes techniques.<\/p>\n
Cas d\u2019usage 3 : pr\u00e9vision de disponibilit\u00e9 du parc de production Nucl\u00e9aire<\/h3>\n
CONTEXTE<\/strong><\/span><\/h5>\n
Chaque jour, les responsables du processus op\u00e9rationnel doivent fournir pour le lendemain un empilement des moyens de production \u00e9quilibrant au moindre co\u00fbt la demande pr\u00e9visionnelle adress\u00e9e \u00e0 EDF. Ils utilisent un mod\u00e8le d\u2019optimisation (tir mod\u00e8le) qui n\u00e9cessite une vision tr\u00e8s fine\u00a0 de la performance des \u00e9quipements et notamment de la disponibilit\u00e9 pr\u00e9visionnelle des moyens de production nucl\u00e9aire pour le lendemain qui est particuli\u00e8rement difficile \u00e0 pr\u00e9voir lors du retour sur le r\u00e9seau d\u2019un des 56 r\u00e9acteurs du parc de production d\u2019EDF suite \u00e0 des op\u00e9rations de rechargement de combustible ou de maintenance.<\/p>\n
Par le pass\u00e9, les hypoth\u00e8ses sur le volume disponible \u00e9taient prises \u00ab\u00a0\u00e0 dire d\u2019expert\u00a0\u00bb, sur la base du type de maintenance que la centrale nucl\u00e9aire venait d\u2019effectuer, des difficult\u00e9s de la tranche \u00e0 remonter, etc. En 2019, nous avons mis en service un mod\u00e8le de Machine Learning pour produire ces hypoth\u00e8ses.<\/p>\n
![\"\"](\"http:\/\/variances.eu\/wp-content\/uploads\/2021\/05\/F4.png\")
<\/p>\n<\/p>\n
BESOINS<\/span><\/strong><\/h5>\n
![\"\"](\"http:\/\/variances.eu\/wp-content\/uploads\/2021\/05\/Tab1.png\")
<\/p>\nRESULTATS<\/span><\/h5>\n
On observe une variabilit\u00e9 importante dans les r\u00e9sultats obtenus sur le jeu de test. Globalement les scores de RMSE\u00a0 (erreur quadratique moyenne ) sont cependant significativement meilleurs que ceux obtenus via les hypoth\u00e8ses prises par les experts. La variabilit\u00e9 en sortie s\u2019explique notamment par la combinaison des tirages al\u00e9atoires dans les variables d\u2019entr\u00e9e, ainsi que par la pr\u00e9sence d\u2019al\u00e9as dans certains \u00e9v\u00e8nements mod\u00e9lis\u00e9s.<\/p>\n
Repr\u00e9sentativit\u00e9 des sorties mod\u00e8les<\/strong><\/p>\n
![\"\"](\"http:\/\/variances.eu\/wp-content\/uploads\/2021\/05\/F5.png\")
<\/p>\nLa repr\u00e9sentativit\u00e9 des sorties mod\u00e8les implique le post-traitement des pr\u00e9dictions du mod\u00e8le. Ce post-traitement permet d\u2019obtenir une sortie qui soit physiquement vraisemblable (continue, strictement croissante). En outre, il vise \u00e0 \u00e9tablir une vision \u00ab\u00a0centr\u00e9e\u00a0\u00bb sur la r\u00e9alit\u00e9, c\u2019est-\u00e0-dire ni pessimiste ni optimiste. La repr\u00e9sentation de la distribution permet de s\u2019assurer que les post-traitements n\u2019impactent pas le caract\u00e8re centr\u00e9 des publications et orientent les actions correctives si ce n\u2019est pas le cas.<\/p>\n
Optimisation de la performance<\/strong><\/p>\n
Les r\u00e9sultats ont montr\u00e9 une \u00ab consolidation \u00bb du gain capt\u00e9 par les experts m\u00e9tiers \u00e0 hauteur de\u00a0 plusieurs M\u20ac\/an tout en permettant une meilleure auditabilit\u00e9 des r\u00e9sultats par les autorit\u00e9s de r\u00e9gulation.<\/p>\n
![\"\"](\"http:\/\/variances.eu\/wp-content\/uploads\/2021\/05\/F6.png\")
<\/p>\nCette performance est principalement le fruit d\u2019une s\u00e9lection de variables pertinente obtenue par le biais d\u2019\u00e9changes avec les experts. Contrairement \u00e0 l\u2019attendu, l\u2019\u00e9tape de tuning<\/em> des mod\u00e8les n\u2019est pas celle qui permet d\u2019obtenir l\u2019\u00e9volution de la performance la plus significative (retour d\u2019exp\u00e9rience de l\u2019usage des techniques d\u2019auto-ML). Le mod\u00e8le et sa performance restent li\u00e9s \u00e0 la compr\u00e9hension des variables explicatives et leur influence sur la disponibilit\u00e9 des moyens de production.<\/p>\n
En conclusion <\/strong><\/h3>\n
La gestion optimis\u00e9e d\u2019un parc de production de grande dimension dans le march\u00e9 de l\u2019\u00e9lectricit\u00e9 devient de plus en plus complexe et n\u00e9cessite d\u2019acqu\u00e9rir et de traiter avec des constantes de temps de plus en plus courtes des volumes de donn\u00e9es de plus en plus massifs. Les d\u00e9marches initi\u00e9es depuis quelques ann\u00e9es \u00e0 la DOAAT (autour du Machine learning tout particuli\u00e8rement) sont d\u2019ores et d\u00e9j\u00e0 porteuses de valeur, nous travaillons \u00e0 \u00e9tendre leur domaine d\u2019utilisation au sein de nos processus en \u00e9tant particuli\u00e8rement vigilants \u00e0 maintenir la proximit\u00e9 entre les sp\u00e9cialistes du data\u00a0\u00a0 et les futurs utilisateurs.<\/p>\n
<\/p>\n","protected":false},"excerpt":{"rendered":"
En 2000, dans le cadre de l\u2019ouverture des march\u00e9s europ\u00e9ens de l\u2019\u00e9lectricit\u00e9 engag\u00e9e en Grande-Bretagne \u00e0 la fin des ann\u00e9es 1980, la France a cr\u00e9\u00e9 R\u00e9seau Transport d\u2019Electricit\u00e9 (RTE) qui d\u00e9tient en France continentale le monopole du transport d\u2019\u00e9lectricit\u00e9 et la responsabilit\u00e9 de l\u2019\u00e9quilibre offre-demande d\u2019\u00e9lectricit\u00e9 au jour le jour. La production et la commercialisation […]<\/p>\n","protected":false},"author":359,"featured_media":5971,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[187],"tags":[],"class_list":["post-5959","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-politique_energetique","et-has-post-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/5959","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/users\/359"}],"replies":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=5959"}],"version-history":[{"count":0,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/5959\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/media\/5971"}],"wp:attachment":[{"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=5959"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=5959"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=5959"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
- \u00ab\u00a0Lemmatisation\u00a0\u00bb, etc.<\/li>\n<\/ul>\n
- Etre \u00e0 la recherche de nouvelles m\u00e9thodologies (reinforcement learning<\/em>), au sein d\u2019un collectif (lors de comp\u00e9titions internes et de projets en collaboration avec R&D)\u00a0;<\/li>\n