{"id":5212,"date":"2020-07-15T07:25:08","date_gmt":"2020-07-15T05:25:08","guid":{"rendered":"http:\/\/variances.eu\/?p=5212"},"modified":"2020-07-20T09:54:01","modified_gmt":"2020-07-20T07:54:01","slug":"machine-learning-guide-de-survie-pour-statisticiens-curieux","status":"publish","type":"post","link":"https:\/\/variances.eu\/?p=5212","title":{"rendered":"\u00ab Machine Learning \u00bb – Guide de survie pour statisticiens curieux"},"content":{"rendered":"

Vous n\u2019avez pas pu y \u00e9chapper\u00a0: les mots \u00ab\u00a0Machine Learning<\/em>\u00a0\u00bb apparaissent sous vos yeux un peu partout et tout le temps. Accol\u00e9s, m\u00e9lang\u00e9s, appari\u00e9s, mix\u00e9s, avec bien d\u2019autres termes plus ou moins \u00e9sot\u00e9riques\u00a0: \u00ab\u00a0Big Data<\/em>\u00a0\u00bb, \u00ab\u00a0apprentissage automatique\u00a0\u00bb, \u00ab\u00a0apprentissage artificiel\u00a0\u00bb, etc. Et bien d\u2019autres. Enfin pas si \u00e9sot\u00e9riques apr\u00e8s quelques ann\u00e9es d\u2019ENSAE, tout de m\u00eame. Difficile cependant de faire le tri, y compris lorsque quelques ann\u00e9es seulement sont pass\u00e9es depuis l\u2019obtention de votre dipl\u00f4me\u2026<\/p>\n

Le but de cet article est de vous aider \u00e0 y voir un peu plus clair dans cette jungle, mais surtout de vous orienter dans vos lectures si jamais vous souhaitez investir un peu de votre temps libre pour, enfin, d\u00e9nouer les dilemmes mentaux que le sujet peut parfois provoquer. Je n\u2019ai pour ainsi dire aucune l\u00e9gitimit\u00e9, sinon un enthousiasme personnel pour des techniques et des possibilit\u00e9s d\u00e9sormais \u00e0 la port\u00e9e de tous. Vous trouverez donc sans peine contributeur plus investi, plus dou\u00e9, plus cultiv\u00e9 que moi sur un sujet aux d\u00e9veloppements sans limites\u2026 En t\u00e9moigne l\u2019activit\u00e9 fr\u00e9n\u00e9tique, visible par exemple sur le site arXiV (voir [1]), o\u00f9 les publications autour de l\u2019application des techniques d\u2019apprentissage artificiel en de multiples domaines sont humainement impossibles \u00e0 suivre, m\u00eame si l\u2019on devait y d\u00e9dier toutes ses journ\u00e9es.<\/p>\n

Mais je vais tenter de mettre \u00e0 la port\u00e9e de ceux que le sujet peut int\u00e9resser, des ressources (avec une cardinalit\u00e9 finie) permettant de se faire rapidement une culture appliqu\u00e9e de qualit\u00e9. Une premi\u00e8re approche serait de parcourir en totalit\u00e9 le site Pathmind (voir [2]) et lire toutes les ressources qu\u2019il cite. Un peu chronophage\u2026 Les r\u00e9f\u00e9rences donn\u00e9es ici ne sont donc que quelques portes d\u2019entr\u00e9e qu\u2019il ne tiendra qu\u2019\u00e0 vous de pousser. Tout ce que je raconte n\u2019est qu\u2019un r\u00e9sum\u00e9 des ressources que je donne, aussi se reporter \u00e0 l\u2019original est une saine d\u00e9marche. Et la bonne nouvelle est que certaines de ces r\u00e9f\u00e9rences ont \u00e9t\u00e9 \u00e9crites par d\u2019\u00e9minents anciens ENSAE. Un petit lexique cl\u00f4turera cette publication pour que tout lecteur puisse avoir acc\u00e8s \u00e0 un r\u00e9f\u00e9rentiel l\u2019aidant \u00e0 y voir clair.<\/p>\n

Quelques clarifications pr\u00e9liminaires<\/strong><\/h3>\n

La premi\u00e8re ambigu\u00eft\u00e9 \u00e0 lever est de savoir de quoi nous parlons. Bien souvent, dans la presse ou dans des articles de vulgarisation, se m\u00ealent joyeusement plusieurs concepts. Ce que je souhaite vous pr\u00e9senter ici, ce sont des lectures donnant les \u00e9l\u00e9ments cl\u00e9s des techniques concern\u00e9es, ainsi qu\u2019une mise en perspective de la th\u00e9orie sous-jacente au Machine Learning<\/em> avec le corpus statistique usuel auquel nous sommes plus habitu\u00e9s. Je n\u2019aborderai par exemple pas le sujet de l\u2019application de ces techniques et de leur intrusion dans notre vie quotidienne. Je ne serai pas en mesure de d\u00e9tailler ma vue personnelle sur leur avenir ou la place qu\u2019elles prendront dans tel ou tel domaine, et ce, que leur utilisation aille de la finance de march\u00e9 aux instituts de sondage, des \u00e9tudes \u00e9pid\u00e9miologiques \u00e0 la radiologie. Le lecteur pourra se reporter aux dossiers d\u00e9j\u00e0 r\u00e9alis\u00e9s et consultables sur le site de Variances sur l\u2019Intelligence Artificielle (voir http:\/\/variances.eu\/?cat=164<\/a><\/span><\/span>) ou au livre (plus g\u00e9n\u00e9raliste que les r\u00e9f\u00e9rences plus techniques \u00e9gren\u00e9es dans la suite) de Yann Le Cun \u00ab\u00a0Quand la machine apprend<\/em>\u00a0\u00bb (voir [16]) qui pourront donner une id\u00e9e sur le futur de ces techniques et leur interop\u00e9rabilit\u00e9. Cas particulier concernant l\u2019utilisation de ces algorithmes pour la banque et la finance, le joli papier de Charles-Albert LeHalle (voir [17]) est \u00e9galement \u00e0 conseiller (aussi pour les aspects historiques abord\u00e9s au d\u00e9but de cet article).<\/p>\n

Un peu de po\u00e9sie\u00a0!<\/strong><\/h3>\n

Si je devais vous convaincre que ces algorithmes poss\u00e8dent m\u00eame une certaine po\u00e9sie, je vous conseille plus que vivement de visionner l\u2019extraordinaire (et le mot est faible) reportage suivant les d\u00e9veloppements de Google (voir r\u00e9f\u00e9rence [3]) pour battre en mars 2016 le champion incontest\u00e9 du jeu de Go, Lee Sedol. Si les aspects scientifiques abord\u00e9s sont int\u00e9ressants, le reportage, visionnable m\u00eame en famille, pr\u00e9figure et illustre la rupture franche que ces algorithmes apporteront et apportent d\u00e9j\u00e0 dans notre vie quotidienne (les sp\u00e9cialistes comme les n\u00e9ophytes auront la m\u00eame \u00e9motion au coup 37 de la partie 2 !).<\/p>\n

Des champs d\u2019application sans fin<\/strong><\/h3>\n

L\u2019article remarquable de Le Cun, Bengio et Hinton dans Nature<\/em> ([4]) exprime particuli\u00e8rement bien toutes les potentialit\u00e9s de l\u2019Apprentissage Statistique aujourd\u2019hui. Si le Deep Learning<\/em>* est c\u00e9l\u00e8bre aujourd\u2019hui, c\u2019est entre autres pour la capacit\u00e9 qu\u2019ont ces algorithmes \u00e0 reconna\u00eetre des visages ou permettre la conduite autonome. Fort bien. Mais il n\u2019y a pas que dans le domaine des images que les progr\u00e8s sont fulgurants. La g\u00e9nomique, le marketing<\/em>, la chimie, la radiologie sont boulevers\u00e9s. On trouve des applications dans la r\u00e9solution d\u2019\u00e9quations diff\u00e9rentielles comme dans l\u2019industrie, avec la pr\u00e9vision de composants d\u00e9fectueux. Dans le domaine du langage, la compr\u00e9hension du langage naturel, la classification de th\u00e8me, la possibilit\u00e9 de poser des questions ou d\u2019y r\u00e9pondre, la traduction, sont tout autant de champs o\u00f9 l\u2019Apprentissage Statistique enregistre des perc\u00e9es stup\u00e9fiantes.<\/p>\n

Une trajectoire cahoteuse<\/strong><\/h3>\n

Tout n\u2019a cependant pas \u00e9t\u00e9 si facile pour l\u2019Apprentissage Statistique, souvent confondu ou r\u00e9duit aux premiers r\u00e9seaux de neurones comme le perceptron<\/em>*. Ce qui a chang\u00e9, bien \u00e9videmment, c\u2019est l\u2019augmentation des capacit\u00e9s des ordinateurs puis du calcul distribu\u00e9 et en nuage, et l\u2019omnipr\u00e9sence \u00e9vidente de la donn\u00e9e, des images aux donn\u00e9es collect\u00e9es par des acteurs priv\u00e9s ou publics. En effet, on parle pour les r\u00e9seaux de neurones d\u2019une travers\u00e9e du d\u00e9sert dans les ann\u00e9es 90, tant ceux qui croyaient encore en eux se faisaient rares. On donne souvent l\u2019exemple du concours de reconnaissance d\u2019images ImageNet<\/em> o\u00f9 \u00e0 partir de 2012, les 25 % d\u2019erreurs jusqu\u2019\u00e0 pr\u00e9sent incompressibles, se sont alors transform\u00e9s en quelques pourcents. Pour certains usages, un algorithme m\u00eame imparfait mais nourri avec un volume de donn\u00e9es terrifiant peut d\u00e9passer des solutions que l\u2019on pensait les meilleures, mais entra\u00een\u00e9es sur des ensembles de donn\u00e9es plus restreints. L\u2019une des cl\u00e9s de la force d\u2019Uber, par exemple, n\u2019est pas tant le fait de connecter chauffeurs et passagers, mais de pouvoir conna\u00eetre les habitudes de tout un chacun \u00e0 (tr\u00e8s) grande \u00e9chelle. Cependant il faut distinguer deux champs majeurs. Premi\u00e8rement les math\u00e9matiques, et la compr\u00e9hension de pourquoi ces algorithmes fonctionnent\u00a0et comment ils se g\u00e9n\u00e9ralisent. Et l\u2019informatique qui permet de r\u00e9pondre efficacement \u00e0 des probl\u00e9matiques pr\u00e9cises avec une cha\u00eene de techniques qui deviennent petit \u00e0 petit une suite de briques de plus en plus faciles \u00e0 assembler, y compris \u00e0 un niveau personnel, pas seulement au niveau industriel.<\/p>\n

Que lire\u00a0?<\/strong><\/h3>\n

Allez, coupons court au suspense. Si vous voulez aller vite et savoir quelles sont les grandes tendances et les grands courants en Machine Learning<\/em>, une r\u00e9f\u00e9rence \u00ab\u00a0culte\u00a0\u00bb, efficace et remarquable est l\u2019article de Le Cun, Bengio et Hinton (trois r\u00e9f\u00e9rences absolues, laur\u00e9ats du Prix Turing – voir [4]) \u00ab\u00a0Deep Learning<\/em>\u00a0\u00bb. Malgr\u00e9 son nom, assez sp\u00e9cialis\u00e9, le papier est remarquable de concision et brasse des th\u00e8mes g\u00e9n\u00e9raux qui permettent de situer les diverses techniques. Si vous \u00eates pr\u00eats \u00e0 investir un peu plus de temps, alors je vous conseille l\u2019excellent livre d\u2019Aur\u00e9lien G\u00e9ron (voir [5]) dont une double traduction existe du reste en fran\u00e7ais. D\u2019autres r\u00e9f\u00e9rences que ce livre existent bien entendu, mais sa concision, sa clart\u00e9, son exhaustivit\u00e9, et sa facilit\u00e9, associ\u00e9es aux exemples de code, en font une r\u00e9f\u00e9rence id\u00e9ale pour d\u00e9buter ou m\u00eame se mettre \u00e0 niveau. Il peut \u00eatre compl\u00e9t\u00e9 par la lecture du livre tr\u00e8s connu de Hastie, Tibshirani et Fridman (voir [6]), moins didactique et plus math\u00e9matique. Et si vraiment, vous \u00eates pr\u00eats \u00e0 investir du temps (et apprendre, vraiment, plein de choses) je ne peux que vous conseiller les cours de St\u00e9phane Mallat au Coll\u00e8ge de France, dont ceux des ann\u00e9es pass\u00e9es sont disponibles en ligne et en vid\u00e9o sur le site de l\u2019institution (voir [7]). Le cours demande un investissement en temps mais apporte vraiment un compl\u00e9ment de tr\u00e8s grande qualit\u00e9 aux pr\u00e9c\u00e9dentes lectures. Pour une plong\u00e9e dans l\u2019apprentissage profond, une \u00ab\u00a0gueuse\u00a0\u00bb de confiance sera le livre de Bengio, Courville, Goodfellow et Bach (voir [15]) d\u00e9di\u00e9 au sujet. Enfin si vous souhaitez passer une certification, il en existe de nombreuses en ligne, propos\u00e9es par de multiples universit\u00e9s. La plus connue est celle d\u2019Andrew Ng \u00e0 Stanford (voir [13]) et est relativement ais\u00e9e m\u00eame si elle demande un suivi minimal. Evidemment, des recherches simples vous donneront d\u2019autres noms en fonction du temps que vous souhaitez y consacrer\u00a0; ce n\u2019est qu\u2019un exemple.<\/p>\n

Une pr\u00e9cision cependant\u00a0: \u00e0 la fin de ces lectures, deux th\u00e8mes particuliers ne seront que faiblement couverts. Il s\u2019agit de l\u2019Apprentissage par Renforcement (RL ou Reinforcement Learning*<\/em>) et l\u2019Analyse du Langage Naturel (Natural Language Processing <\/em>ou NLP*<\/em>). Nous y reviendrons plus bas.<\/p>\n

Econom\u00e9trie et Machine Learning<\/em><\/strong><\/h3>\n

S\u2019il y a un article par lequel tout statisticien curieux devrait commencer, c\u2019est celui de Charpentier, Flachaire et Ly (voir [8]). Je pense \u00e0 titre personnel que ce papier est assez unique dans le paysage car il prend le temps de faire des rappels historiques, de poser les choses math\u00e9matiquement tout en balayant un champ large des techniques existantes. Condenser autant de messages dans aussi peu de place est une petite prouesse. Je citerai ici quelques phrases importantes que je retiens de cette lecture. Un fait important \u00e0 retenir, et que l\u2019article avance tr\u00e8s \u00e0 propos, est que \u00ab\u00a0si l\u2019\u00e9conom\u00e9trie \u00e9tudie abondamment les propri\u00e9t\u00e9s (souvent asymptotiques) [des estimateurs], l\u2019apprentissage statistique s\u2019int\u00e9resse davantage aux propri\u00e9t\u00e9s du mod\u00e8le optimal (suivant un crit\u00e8re qui reste \u00e0 d\u00e9finir), voire simplement pour quelques observations jug\u00e9es d\u2019int\u00e9r\u00eat.<\/em>\u00a0\u00bb Ceci est tr\u00e8s loin d\u2019\u00eatre anodin. Une des diff\u00e9rences est aussi que d\u00e9sormais les techniques de Machine Learning<\/em> sont utilis\u00e9es dans des contextes tr\u00e8s pr\u00e9cis et non supervis\u00e9s. Prenons l\u2019exemple de la description de contenu de vid\u00e9o \u00e0 destination de la production de labels pour classer ces vid\u00e9os. Si l\u2019algorithme (non supervis\u00e9) commence \u00e0 d\u00e9railler et \u00e0 produire des recommandations inadapt\u00e9es \u00e0 des enfants, alors l\u2019algorithme n\u2019est pas seulement erron\u00e9, il est tout bonnement inacceptable. Idem pour les chatbots<\/em> devenus racistes (comme un op\u00e9rateur en avait fait la d\u00e9sagr\u00e9able d\u00e9couverte il y a quelque temps). Sans parler des risques en conduite autonome. Ce qui change donc est l\u2019acceptation des risques de premi\u00e8re ou deuxi\u00e8me esp\u00e8ce, dans un contexte bien pr\u00e9cis. Le contr\u00f4le th\u00e9orique des propri\u00e9t\u00e9s de l\u2019algorithme ou son temps de d\u00e9veloppement, importent moins que sa mise en production effective et sa fiabilit\u00e9.<\/p>\n

L\u2019article [8] d\u00e9taille en particulier pourquoi \u00ab\u00a0le probl\u00e8me de choix de mod\u00e8le est aussi vu sous un angle assez diff\u00e9rent. (\u2026) les \u00e9conom\u00e8tres utilisent des crit\u00e8res (\u2026) pour choisir un mod\u00e8le optimal (p\u00e9nalisant la qualit\u00e9 d\u2019ajustement d\u2019un mod\u00e8le par sa complexit\u00e9, ex-post, lors de la phase de validation ou de choix), alors qu\u2019en apprentissage statistique, c\u2019est la fonction objectif qui tiendra compte d\u2019une p\u00e9nalisation (\u2026) ressemblant \u00e0 une forme de p\u00e9nalisation ex-ante.<\/em>\u00a0\u00bb Une autre mani\u00e8re de le dire est que \u00ab\u00a0l\u2019\u00e9conom\u00e9trie repose fondamentalement sur un mod\u00e8le probabiliste (\u2026)\u00a0 En apprentissage statistique, on n\u2019a pas besoin de mod\u00e8le probabiliste.\u00a0<\/em>\u00bb On va dans un cas poser un estimateur et d\u00e9river ses propri\u00e9t\u00e9s th\u00e9oriques pour juger ex-post de sa validit\u00e9. Dans le deuxi\u00e8me cas, on se tournera vers des m\u00e9thodes plus empiriques pour s\u00e9lectionner un mod\u00e8le cr\u00e9dible tout en pr\u00e9d\u00e9finissant des garde-fous. [5] le dit \u00ab\u00a0Le vrai objectif en soi n\u2019est pas la lecture de ses actions mais la capacit\u00e9 de g\u00e9n\u00e9ralisation et d\u2019extrapolation \u00e0 de nouvelles donn\u00e9es.<\/em>\u00a0\u00bb (Historiquement, on pourrait m\u00eame rapprocher cet int\u00e9r\u00eat pour la capacit\u00e9 de g\u00e9n\u00e9ralisation des travaux de Vapnik dans les ann\u00e9es 70, o\u00f9 pour la premi\u00e8re fois, le statisticien s\u2019int\u00e9resse \u00e0 la robustesse des mod\u00e9lisations, en d\u00e9connectant possiblement le mod\u00e8le d\u2019\u00e9tude du processus g\u00e9n\u00e9ratif des donn\u00e9es.) Les dangers de l\u2019entreprise \u00e9tant alors le manque de donn\u00e9es, la mauvaise qualit\u00e9 de la donn\u00e9e, la surrepr\u00e9sentation de variables non explicatives, le sur ou sous-apprentissage. Malgr\u00e9 tout, les dangers sont les m\u00eames que pour l\u2019\u00e9conom\u00e9trie plus classique\u00a0!<\/p>\n

Quelques concepts<\/strong><\/h3>\n

Que doit-on alors appeler Intelligence Artificielle<\/em>\u00a0? La question est vaste et trouve ses sources dans la volont\u00e9 d\u2019imiter le fonctionnement du cerveau et des capacit\u00e9s de raisonnement humain. Ainsi, l\u2019ensemble des concepts qu\u2019elle recouvre est trop vaste pour \u00eatre ici r\u00e9sum\u00e9. Nous pouvons cependant restreindre notre champ d\u2019int\u00e9r\u00eat \u00e0 l\u2019Apprentissage Automatique, ou Machine Learning<\/em> en anglais. [5] donne deux d\u00e9finitions utiles pour comprendre le paysage. Pour le citer, je les reprends ici en commen\u00e7ant par celle d\u2019Arthur Samuel\u00a0: \u00ab\u00a0L\u2019apprentissage automatique est la discipline donnant aux ordinateurs la capacit\u00e9 d\u2019apprendre sans qu\u2019ils soient explicitement programm\u00e9s.\u00a0<\/em>\u00bb et celle de Tom Mitchell\u00a0: \u00ab\u00a0Un programme informatique apprend \u00e0 partir d\u2019une exp\u00e9rience si les r\u00e9sultats obtenus pour une t\u00e2che et une mesure de performance s\u2019am\u00e9liorent gr\u00e2ce \u00e0 cette exp\u00e9rience.<\/em>\u00a0\u00bb<\/p>\n

Nous pr\u00e9f\u00e9rerons parler dans le reste du texte d\u2019Apprentissage Statistique, acception plus large et aux accents th\u00e9oriques plus adapt\u00e9s \u00e0 notre propos. L\u2019Apprentissage Statistique se s\u00e9pare g\u00e9n\u00e9ralement entre apprentissage supervis\u00e9 et non supervis\u00e9. L\u2019apprentissage supervis\u00e9* pr\u00e9sente \u00e0 \u00ab\u00a0l\u2019exp\u00e9rimentateur\u00a0\u00bb des donn\u00e9es d\u2019entr\u00e9e avec en correspondances des r\u00e9ponses, valeurs ou classes, ou r\u00e9sultats attendus. La r\u00e9gression telle que nous la connaissons est un tel exemple. Dans l\u2019apprentissage non supervis\u00e9*, on laisse l\u2019algorithme apprendre seul, sans cible et sans r\u00e9sultat pr\u00e9-attendu au d\u00e9part pour les donn\u00e9es d\u2019entr\u00e9e. Un cas hybride est l\u2019apprentissage semi-supervis\u00e9 qui combine les deux notions, en utilisant dans un premier temps l\u2019apprentissage non supervis\u00e9, la supervision et l\u2019expertise rentrant en compte pour r\u00e9gler plus pr\u00e9cis\u00e9ment l\u2019algorithme dans un second temps.<\/p>\n

Les enseignements du cours de [7] sont un peu plus profonds. Ils sont troublants dans la mesure o\u00f9 ils vous permettront de vous rendre compte que pouvoir dire \u00ab\u00a0pourquoi et comment tout cela\u00a0fonctionne<\/em>\u00a0\u00bb\u00a0reste une entreprise assez hasardeuse. Les ressorts profonds de la mani\u00e8re dont les succ\u00e8s du Deep Learning<\/em>* se r\u00e9alisent sont encore tr\u00e8s myst\u00e9rieux. Leur g\u00e9n\u00e9ricit\u00e9 l\u2019est plus encore\u00a0: comment un r\u00e9seau optimis\u00e9 pour reconna\u00eetre des visages peut, \u00e0 peu de frais, se g\u00e9n\u00e9raliser \u00e0 de la reconnaissance de parole ? Pour citer St\u00e9phane Mallat, le Deep Learning<\/em> ne semble marcher que lorsque les r\u00e9seaux sont tr\u00e8s structur\u00e9s, et non simplement gr\u00e2ce aux grands volumes de donn\u00e9es. En particulier, pour l\u2019apprentissage supervis\u00e9, ce n\u2019est plus tant le fait d\u2019avoir des donn\u00e9es qui devient n\u00e9vralgique\u00a0: il devient \u00ab\u00a0co\u00fbteux d\u2019avoir des labels<\/em>\u00a0\u00bb (c\u2019est-\u00e0-dire\u00a0: que faut-il apprendre\u00a0?). St\u00e9phane Mallat parle m\u00eame des labels comme d\u2019un \u00ab\u00a0fantasme dont il faudrait pouvoir se d\u00e9barrasser<\/em>\u00a0\u00bb, lui voyant dans l\u2019architecte qui construit le r\u00e9seau de neurones, le principal pourvoyeur d\u2019information a priori<\/em>. L\u00e0 encore, les vid\u00e9os de son cours le diront mieux que moi\u00a0! A ce titre, et pour en revenir aux biais potentiels qu\u2019un \u00ab\u00a0expert en label\u00a0\u00bb pourrait introduire, un courant fort et montant sur la notion d\u2019\u00e9quit\u00e9 se fait jour. Le fait de produire un fair learning<\/em> n\u2019est pas du tout anecdotique d\u00e8s lors qu\u2019ils envahissent nos vies, s\u2019ils sont \u00ab\u00a0orientables\u00a0ou orient\u00e9s \u00bb (volontairement ou non, du reste) sans que l\u2019on s\u2019en aper\u00e7oive. On pourra se reporter aux ressources disponibles par exemple sur le site de Jean-Michel Loubes \u00e0 Toulouse (voir [18]).<\/p>\n

[4] pr\u00e9cise en particulier (et c\u2019est un message \u00e0 probablement m\u00e9diter car c\u2019est une conclusion concise et simple de personnes tr\u00e8s, tr\u00e8s comp\u00e9tentes\u00a0!) est que le futur de l\u2019Apprentissage Statistique et du Deep Learning<\/em> se situe plus que probablement dans l\u2019am\u00e9lioration des techniques d\u2019apprentissage non supervis\u00e9 dont nous n\u2019avons probablement fait qu\u2019effleurer la puissance jusqu\u2019\u00e0 pr\u00e9sent.<\/p>\n

La folie Machine Learning<\/em><\/strong><\/h3>\n

Une autre lecture int\u00e9ressante est celle de l\u2019article de Marcos Lopez de Prado, \u00ab\u00a0Beyond Econometrics: A Roadmap Towards Financial Machine Learning<\/em>\u00a0\u00bb (voir [9]). Si cette publication n\u2019est pas du niveau du papier [8] et qu\u2019elle poursuit probablement des buts plus opportunistes et moins fondamentaux, il s\u2019agit au moins de la vue d\u2019un chercheur actif en finance\u00a0; sa lecture renseigne sur les diff\u00e9rences de perception entre l\u2019\u00e9conom\u00e9trie plus traditionnelle et le Machine Learning<\/em>. Int\u00e8gres ou non, les arguments d\u00e9velopp\u00e9s nous en apprennent d\u00e8s lors autant en creux sur la vision des gens qui l\u2019utilisent. L\u2019auteur des pr\u00e9sentes lignes ne cautionne donc pas tous les arguments du papier, mais le message est int\u00e9ressant car il montre \u00e0 quel point il est d\u00e9sormais important, pour les entreprises comme pour les chercheurs dans la sph\u00e8re acad\u00e9mique, d\u2019utiliser ces termes ou de publier autour de ces concepts. Lopez de Prado\u00a0y souligne par exemple que le Machine Learning<\/em> peut \u00eatre vu au premier ordre \u00ab\u00a0comme une \u00e9volution naturelle des statistiques traditionnelles \u00e0 l\u2019\u00e8re des ordinateurs\u00a0\u00bb<\/em> et \u00ab\u00a0si le but de l\u2019\u00e9conom\u00e9trie est de d\u00e9finir des relations causales, les algorithmes de Machine Learning sont destin\u00e9s \u00e0 la pr\u00e9diction hors \u00e9chantillon<\/em>\u00a0\u00bb. Si cette premi\u00e8re assertion est d\u00e9j\u00e0 sujette \u00e0 d\u00e9bat, elle est n\u00e9anmoins \u00e9clairante sur les intentions des utilisateurs extensifs du Machine Learning<\/em>\u00a0: pr\u00e9voir, quantifier, classer dans une situation inconnue.<\/p>\n

Evidemment, la plupart du temps, comme en \u00e9conom\u00e9trie, le mod\u00e9lisateur est aux manettes. [8] rappelle du reste que \u00ab\u00a0les \u00e9conom\u00e8tres se sont beaucoup interrog\u00e9s sur la mani\u00e8re dont les donn\u00e9es \u00e9taient construites, et ne se sont jamais content\u00e9s de \u201cconstruire des mod\u00e8les\u201d<\/em>\u00a0\u00bb. Derri\u00e8re la mise en place d\u2019une proc\u00e9dure, aussi brillante soit-elle, il y a toujours un humain \u00e0 l\u2019heure actuelle. Si l\u2019\u00e9conom\u00e8tre pose un mod\u00e8le et le teste, le chercheur ou le data analyst<\/em> (puisque c\u2019est souvent l\u2019acception utilis\u00e9e) doit toujours chercher \u00e0 \u00e9valuer ses mod\u00e8les pour choisir dans sa bo\u00eete \u00e0 outils entre de nombreuses solutions alternatives. Sur les fondamentaux de cette d\u00e9marche, [9] passe probablement \u00e0 c\u00f4t\u00e9 de cette similarit\u00e9 en confinant l\u2019\u00e9conom\u00e9trie \u00e0 un champ trop restreint. Mais encore une fois, le propos n\u2019est pas l\u00e0\u00a0: voir comment les gens parlent de l\u2019une ou l\u2019autre des mati\u00e8res reste enrichissant.<\/p>\n

Reinforcement Learning*<\/em><\/strong><\/h3>\n

Parmi tous ces concepts, une technique tient une place un peu particuli\u00e8re\u00a0: il s\u2019agit de l\u2019Apprentissage par Renforcement (RL pour Reinforcement Learning<\/em>*). Dans ce cas, la formulation du probl\u00e8me est assez proche, dans l\u2019esprit, de ce qui peut \u00eatre exprim\u00e9 en th\u00e9orie des jeux. Plus pr\u00e9cis\u00e9ment, cette approche est justement utilis\u00e9e pour mod\u00e9liser des strat\u00e9gies optimales pour r\u00e9soudre des jeux de plateau, des jeux vid\u00e9o, effectuer du contr\u00f4le de trajectoire, ou en construction de portefeuille en finance. Dans ce cas, un agent choisit des actions dans un environnement qu\u2019il ne conna\u00eet pas forc\u00e9ment. Il doit trouver, en fonction d\u2019une r\u00e9compense qu\u2019il cherche \u00e0 maximiser, une strat\u00e9gie d\u2019\u00e9volution optimale, en fonction des r\u00e9compenses que son environnement lui renvoie. Evidemment, ce cadre utilise largement les \u00e9l\u00e9ments de contr\u00f4le optimal enseign\u00e9s \u00e0 l\u2019ENSAE. Une illustration amusante et didactique se trouve sur le site du d\u00e9partement de robotique de l\u2019ETH (https:\/\/rsl.ethz.ch\/robots-media.html<\/a><\/span><\/span>) dens\u00e9ment rempli de vid\u00e9os et de ressources sur les projets finaux atteignables avec une telle technique. Le co\u00fbt d\u2019entr\u00e9e purement technique sur la th\u00e9matique est plus important que pour d\u2019autres champs de l\u2019Apprentissage Statistique. Des livres existent mais on peut donner trois r\u00e9f\u00e9rences gratuites. Tout d\u2019abord l\u2019introduction g\u00e9n\u00e9raliste et compl\u00e8te du livre de Sutton et Barto suite \u00e0 leur cours \u00e0 Stanford (voir [10]). Disponible sur arXiV, on pourra aussi citer le travail de [11], r\u00e9f\u00e9rence plus orient\u00e9e vers le Deep Learning<\/em>. Enfin, \u00e0 destination d\u2019une utilisation en finance, un tr\u00e8s bon et r\u00e9cent papier de Charpentier, Elie et Remlinger (voir [12]) est \u00e9galement \u00e0 conseiller. Une partie des vid\u00e9os du cours de St\u00e9phane Mallat ([7]) aborde aussi le sujet.<\/p>\n

Le cas particulier du NLP<\/em>*<\/strong><\/h3>\n

La volont\u00e9 de mod\u00e9liser le langage est assez ancienne et remonte probablement \u00e0 plusieurs si\u00e8cles. Jusqu\u2019\u00e0 pr\u00e9sent et y compris dans la deuxi\u00e8me moiti\u00e9 du XXe si\u00e8cle, les principaux efforts ont consist\u00e9 \u00e0 d\u00e9gager et imbriquer des efforts de structure et d\u2019analyse\u00a0: articuler les notions de grammaire, de structure, de sens. Et les diff\u00e9rents efforts qui ont \u00e9t\u00e9 faits ont toujours oscill\u00e9 entre une approche tr\u00e8s rationnelle et tr\u00e8s structur\u00e9e, et une approche beaucoup plus empirique, partant des corpus de textes \u00e9tudi\u00e9s. C\u2019est cette approche qui va permettre \u00e0 l\u2019Intelligence Artificielle de proposer un renouveau de l\u2019\u00e9tude du langage. En cela les R\u00e9seaux de Neurones Profonds ont beaucoup aid\u00e9 et ce depuis environ 10 ans, obtenant des r\u00e9sultats tr\u00e8s impressionnants pour la traduction. D\u00e9sormais le NLP s\u2019applique aussi au r\u00e9sum\u00e9 de textes et de vid\u00e9os. Les r\u00e9f\u00e9rences sont plus \u00e9clat\u00e9es sur ce th\u00e8me et s\u2019investir en NLP demande un r\u00e9el effort. On peut tout de m\u00eame citer l\u2019exemple de la finance, avec le papier de Loughran et McDonald (voir [14]) qui est souvent cit\u00e9. Le d\u00e9but du papier peut tout de m\u00eame \u00e9clairer tout lecteur dans les grandes lignes sur le sujet.<\/p>\n

Conclusion<\/strong><\/h3>\n

Il faut voir que pour le moment nous sommes encore dans une phase o\u00f9 les machines n\u2019apprennent encore gu\u00e8re r\u00e9ellement toutes seules. Leur autonomie n\u2019est pas totale, et nous sommes encore loin d\u2019une pleine \u00ab intelligence artificielle \u00bb faite d\u2019un cerveau en silicium. Mais pour r\u00e9pondre \u00e0 des t\u00e2ches cibl\u00e9es, \u00e9ventuellement ambitieuses et tr\u00e8s complexes, le co\u00fbt de r\u00e9alisation a drastiquement baiss\u00e9. C\u2019est ce que [17] formule en identifiant que nous sommes pass\u00e9s \u00ab des machines apprenantes \u00e0 l\u2019intelligence bon march\u00e9\u00a0<\/em>\u00bb. Preuve en est la difficult\u00e9 d\u2019interpr\u00e9ter les mod\u00e8les qui gardent encore leur aspect \u00ab\u00a0bo\u00eete noire\u00a0\u00bb dans beaucoup de cas. On pourra \u00e0 ce titre parcourir les r\u00e9f\u00e9rences sur le sujet cit\u00e9es dans les pr\u00e9sentations du cours en ligne d\u2019Arthur Charpentier disponible \u00e0 l\u2019adresse suivante\u00a0: https:\/\/freakonometrics.hypotheses.org\/58249.<\/p>\n

Ces th\u00e9matiques, finalement pas si nouvelles mais r\u00e9ellement passionnantes, sont un passe-temps d\u00e9licieux pour toute personne avide de connaissance. M\u00eame avec une vie de famille et un travail prenant au jour le jour, se replonger dans ces concepts pour comprendre les enjeux d\u2019une p\u00e9riode incroyable reste un plaisir plut\u00f4t qu\u2019une contrainte. J\u2019esp\u00e8re que ces quelques lectures vous permettront de satisfaire votre curiosit\u00e9 et vous ouvriront des perspectives.<\/p>\n

\n

Bibliographie<\/strong><\/h3>\n

 <\/p>\n

[1] arXiV \u2013 Sanity Preserver – http:\/\/www.arxiv-sanity.com\/<\/a><\/span><\/span><\/p>\n

[2] Pathmind – https:\/\/pathmind.com\/wiki\/deeplearning-research-papers<\/a><\/span><\/span><\/p>\n

[3] AlphaGo – The Movie | Full Documentary – https:\/\/www.youtube.com\/watch?v=WXuK6gekU1Y<\/a><\/span><\/p>\n

[4] Yann LE CUN, Yoshua BENGIO, Geoffrey HINTON \u2013 Deep Learning<\/em> \u2013 Nature, 521(7553):436-44\u00a0–\u00a0May 2015 – https:\/\/www.cs.toronto.edu\/~hinton\/absps\/NatureDeepReview.pdf<\/a><\/span><\/p>\n

[5] Aur\u00e9lien GERON – Hands-On Machine Learning with Scikit-Learn, Keras, and Tensorflow: Concepts, Tools, and Techniques to Build Intelligent Systems<\/em> \u2013 O\u2019Reilly, 2de<\/sup><\/em> Edition, 2019<\/p>\n

[6] Trevor HASTIE, Robert TIBSHIRANI, Jerome FRIEDMAN – The Elements of Statistical Learning, Data Mining, Inference, and Prediction \u2013 Springer, 2de <\/sup>Edition <\/em>–https:\/\/web.stanford.edu\/~hastie\/Papers\/ESLII.pdf<\/a><\/span><\/span><\/p>\n

[7] St\u00e9phane MALLAT \u2013 Cours en ligne au Coll\u00e8ge de France<\/em> – https:\/\/www.college-de-<\/a>france.fr\/site\/stephane-mallat\/index.htm<\/span><\/p>\n

[8] Arthur CHARPENTIER, Emmanuel FLACHAIRE, Aantoine LY \u2013 Econom\u00e9trie et Machine Learning<\/em> – https:\/\/hal.archives-ouvertes.fr\/hal-01568851v3<\/span><\/p>\n

[9] Marcos LOPEZ DE PRADO \u2013 Beyond Econometrics: A Roadmap Towards Financial Machine Learning<\/em> \u2013 Papier de recherche, 2019 –\u00a0 https:\/\/papers.ssrn.com\/sol3\/papers.cfm?abstract_id=3365282<\/a><\/span><\/span><\/p>\n

[10] Richard SUTTON and Andrew BARTO – Reinforcement Learning: An Introduction<\/em>, 2015 – https:\/\/web.stanford.edu\/class\/psych209\/Readings\/SuttonBartoIPRLBook2ndEd.pdf<\/span><\/a><\/p>\n

[11] Vincent FRANCOIS-LAVET, Peter HENDERSON, Riashat ISLAM, Marc BELLEMARE, Jo\u00eblle PINEAU – An Introduction to Deep Reinforcement Learning,<\/em> 2018 – https:\/\/arxiv.org\/pdf\/1811.12560.pdf<\/a><\/span><\/span><\/p>\n

[12] Arthur CHARPENTIER, Romuald ELIE, Carl REMLINGER – Reinforcement Learning in Economics and Finance<\/em>, 2020 – https:\/\/arxiv.org\/abs\/2003.10014<\/span><\/a><\/p>\n

[13] Andrew NG – Coursera, Stanford – https:\/\/fr.coursera.org\/learn\/machine-learning<\/a><\/span><\/span><\/p>\n

[14] Tim LOUGHRAN, Bill McDONALD \u2013 Textual Analysis in Finance<\/em>, 2020 –https:\/\/papers.ssrn.com\/sol3\/papers.cfm?abstract_id=3470272<\/a><\/span><\/span><\/p>\n

[15] Yoshua BENGIO, Aaron COURVILLE, Ian GOODFELLOW, Francis BACH \u2013 L\u2019apprentissage Profond<\/em>, 2018 \u2013 Massot<\/p>\n

[16] Yann LE CUN \u2013 Quand la machine apprend\u00a0: La r\u00e9volution des neurones artificiels et de l\u2019apprentissage profond<\/em>, 2019 \u2013 Odile Jacob<\/p>\n

[17] Charles-Albert LEHALLE – La finance de march\u00e9 \u00e0 l\u2019\u00e8re de l\u2019intelligence bon march\u00e9<\/em>, 2019 – https:\/\/hal.archives-ouvertes.fr\/hal-02314348\/<\/a><\/span><\/span><\/p>\n

[18] Jean-Michel LOUBES – Fairness & Robustness in Machine Learning<\/em> – https:\/\/perso.math.univ-toulouse.fr\/loubes\/fairness-robustness-in-machine-learning\/<\/a><\/span><\/span><\/p>\n

\n

Lexique<\/em><\/h3>\n

Activation Function<\/em> (ou Fonction d\u2019activation):<\/strong> fonction monotone croissante (non forc\u00e9ment strictement) appliqu\u00e9e en sortie d\u2019un neurone dans un r\u00e9seau. Pour des variables d\u2019entr\u00e9e X, elle s\u2019applique sur w.X o\u00f9 w sont les poids \u00e0 optimiser. Sa d\u00e9finition d\u00e9pend \u00e0 la fois du r\u00e9seau et de l\u2019objectif (classification ou r\u00e9gression). Des exemples sont la fonction sigmo\u00efde, tangente hyberbolique ou ReLu (voir ci-apr\u00e8s).<\/p>\n

ADABOOST (<\/em>pour Adaptive Boosting)<\/em><\/strong>: algorithme particulier de boosting<\/em> (voir par ailleurs). G\u00e9n\u00e9ralisation de l\u2019id\u00e9e initiale du boosting<\/em>. Utilis\u00e9 en classification.<\/p>\n

Accuracy<\/em> (ou Exactitude) <\/strong>: m\u00eame si cela pourrait se traduire en fran\u00e7ais par \u00ab\u00a0pr\u00e9cision\u00a0\u00bb, ce n\u2019est pas l\u2019indicateur \u00ab\u00a0precision\u00a0\u00bb (voir plus bas). Il s\u2019agit du nombre total de bonnes pr\u00e9dictions au regard du nombre total d\u2019exemples.<\/p>\n

Backpropagation<\/em> (ou R\u00e9tropropagation du gradient) : <\/strong>dans les r\u00e9seaux de neurones, m\u00e9thode de calcul du gradient donc utilis\u00e9e dans l\u2019optimisation des poids du r\u00e9seau. C\u2019est une m\u00e9thode parmi d\u2019autres.<\/p>\n

Bagging<\/em> (pour Bootstrap Aggregating<\/em> ou Ensachage) : <\/strong>m\u00e9thode ensembliste (souvent conjugu\u00e9e aux arbres de d\u00e9cision en pratique). Le Bagging est appliqu\u00e9 avec un classificateur sur des sous-ensemble de l\u2019ensemble d\u2019apprentissage tir\u00e9s au hasard et avec remise. Si le tirage est sans remise, on parle alors de Pasting.<\/p>\n

Boosting<\/em> (ou Hypothesis Boosting<\/em>): <\/strong>algorithme it\u00e9ratif utilisant une suite d\u2019apprentissage o\u00f9 \u00e0 chaque \u00e9tape, l\u2019algorithme suivant corrige les erreurs du pr\u00e9c\u00e9dent. Des poids a priori sur les donn\u00e9es de l\u2019ensemble d\u2019apprentissage sont red\u00e9finis en fonction du tour pr\u00e9c\u00e9dent. L\u2019id\u00e9e est d\u2019insister au fil du temps sur les exemples r\u00e9calcitrants o\u00f9 l\u2019apprentissage est encore en \u00e9chec en leur donnant plus de poids. La fonction finale est obtenue comme une combinaison lin\u00e9aire d\u2019un ensemble de fonctions d\u00e9pendant directement des exemples. L\u2019un des probl\u00e8mes potentiellement rencontr\u00e9s par le boosting<\/em> est que l\u2019algorithme finisse par essayer d\u2019ajuster \u00e0 la fin des exemples trop bruit\u00e9s.<\/p>\n

CART (pour Classification and Regression Tree<\/em> ou Apprentissage par arbre de d\u00e9cision) :<\/strong> voir Regression Tree.<\/p>\n

Classification :<\/strong> le but de la classification est de d\u00e9terminer (de mani\u00e8re supervis\u00e9e ou non) quels \u00e9l\u00e9ments de l\u2019ensemble de donn\u00e9es appartiennent \u00e0 une classe donn\u00e9e. Il peut y avoir 2 ou plus modalit\u00e9s de classe, assimilable alors \u00e0 une variable cat\u00e9gorielle. La r\u00e9gression logistique est l\u2019exemple le plus simple et le plus parlant de classification.<\/p>\n

Clustering<\/em><\/strong> (ou Partitionnement de donn\u00e9es)\u00a0:<\/strong> algorithme non supervis\u00e9 cherchant \u00e0 s\u00e9parer les donn\u00e9es en sous-ensemble les plus homog\u00e8nes possibles, au sens d\u2019un crit\u00e8re \u00e0 pr\u00e9ciser. Chaque sous-ensemble (ou classe) se doit d\u2019\u00eatre le plus homog\u00e8ne possible et le plus diff\u00e9rent possible des autres sous-ensembles.<\/p>\n

CNN (pour Convolutional Neural Network<\/em> ou R\u00e9seau de Neurones Convolutif)\u00a0: <\/strong>Type particulier de r\u00e9seau neuronal profond. Ils sont particuli\u00e8rement destin\u00e9s \u00e0 des situations o\u00f9 les donn\u00e9es d\u2019entr\u00e9e sont constitu\u00e9s de tableaux multiples comme par exemple des vid\u00e9os. Ils ont gagn\u00e9 leurs lettres de nobles en obtenant de bons r\u00e9sultats dans une p\u00e9riode o\u00f9 les r\u00e9seaux de neurones n\u2019\u00e9taient plus trop \u00e0 la mode (voir\u00a0 [4])<\/p>\n

Cross-Validation<\/em> (ou Validation crois\u00e9e) : <\/strong>m\u00e9thode d\u2019aide au choix des hyperparam\u00e8tres ou de s\u00e9lection du meilleur mod\u00e8le d\u2019apprentissage avec un jeu de donn\u00e9es fix\u00e9. En pratique, on divise l\u2019ensemble de donn\u00e9es entre un jeu d\u2019entra\u00eenement, un jeu de validation, et un jeu de test. \u00ab\u00a0Philosophiquement,\u00a0\u00bb, le jeu d\u2019entra\u00eenement sert \u00e0 optimiser et estimer les param\u00e8tres des mod\u00e8les concurrents, le jeu de validation \u00e0 s\u00e9lectionner le meilleur mod\u00e8le parmi les mod\u00e8les \u00e0 disposition, et le jeu de test \u00e0 \u00e9valuer le mod\u00e8le retenu sur des donn\u00e9es \u00ab\u00a0jamais vues\u00a0\u00bb. Il existe plusieurs types de validation crois\u00e9e (notamment en effectuant des s\u00e9parations entra\u00eenement\/validation vari\u00e9es dans le jeu de donn\u00e9es de non-test). Voir par exemple [8] pour une mise en perspective de cette technique avec la notion de loi d\u2019estimateur.<\/p>\n

DBSCAN<\/strong>\u00a0: algorithme de clustering*<\/em> qui d\u00e9termine les clusters selon la notion de densit\u00e9, un groupe \u00e9tant alors une r\u00e9gion de grande intensit\u00e9.<\/p>\n

\u00a0<\/em><\/strong>Deep Learning<\/em> (Apprentissage Profond) :<\/strong> ensemble des mod\u00e8les d\u2019apprentissages particuli\u00e8rement utiles en reconnaissance d\u2019images, d\u2019objets ou de signaux audio. Le mot \u00ab\u00a0deep\u00a0\u00bb vient du fait qu\u2019ils sont des r\u00e9seaux de neurones particuliers en ce sens qu\u2019ils accumulent des dizaines voire des centaines de couches de r\u00e9seaux de neurones pour \u00ab\u00a0apprendre des repr\u00e9sentations des donn\u00e9es avec diff\u00e9rents niveaux d\u2019abstraction<\/em>\u00a0\u00bb ([4]). Chaque couche est en g\u00e9n\u00e9rale simple mais non-lin\u00e9aire. Leur succ\u00e8s vient notamment du fait de pouvoir entra\u00eener ces r\u00e9seaux sur des ensembles de donn\u00e9es gigantesques. Dans le cas de la reconnaissance d\u2019images, les premi\u00e8res couches d\u00e9tectent g\u00e9n\u00e9ralement les arr\u00eates, les suivantes les motifs et les combinaisons de ces arr\u00eates. Mais la structuration de ces premi\u00e8res couches n\u2019a pas \u00e9t\u00e9 initialement guid\u00e9e par des exp\u00e9rimentateurs, c\u2019est l\u2019optimisation globale de ces r\u00e9seaux qui permet d\u2019observer ce comportement. Le nombre de poids \u00e0 optimiser dans un r\u00e9seau peut \u00eatre de l\u2019ordre de la centaine de millions, mais un \u00ab\u00a0petit\u00a0\u00bb r\u00e9seau \u00e0 5 couches peut d\u00e9j\u00e0 pour certaines applications produire des r\u00e9sultats \u00e9tonnants. Toujours selon [4], les r\u00e9seaux profonds \u00ab\u00a0exploitent la propri\u00e9t\u00e9 que de nombreux signaux naturels sont le r\u00e9sultat de hi\u00e9rarchies compos\u00e9es, o\u00f9 les propri\u00e9t\u00e9s de haut-niveau sont le r\u00e9sultat de la composition de propri\u00e9t\u00e9s de plus bas niveau<\/em>\u00a0\u00bb.<\/p>\n

DNN (pour Deep Neural Networks<\/em> ou R\u00e9seaux de Neurones Profonds)\u00a0: <\/strong>voir Deep Learning.<\/p>\n

ElasticNet\u00a0:<\/strong> r\u00e9gression lin\u00e9aire r\u00e9gularis\u00e9e o\u00f9 la p\u00e9nalit\u00e9 est une combinaison des p\u00e9nalit\u00e9s utilis\u00e9es dans une r\u00e9gression Lasso* et une r\u00e9gression de type Ridge*.<\/p>\n

Ensemble Methods<\/em><\/strong> (ou M\u00e9thodes Ensemblistes)\u00a0:<\/strong> le but est de produire en partant d\u2019une famille de pr\u00e9dicteurs non optimaux, un algorithme de pr\u00e9diction meilleur que le meilleur classificateur individuel de la famille. Pour que l\u2019astuce fonctionne il faut que les classificateurs soient suffisamment imparfaits, diff\u00e9rents et ind\u00e9pendants entre eux.<\/p>\n

Epoch\u00a0:<\/strong> dans l\u2019optimisation par descente de gradient, correspond \u00e0 un parcours complet du jeu de donn\u00e9es.<\/p>\n

F1 Score<\/em> :<\/strong> moyenne harmonique des scores de type Recall et Precision, tr\u00e8s utilis\u00e9 pour choisir parmi des algorithmes de classification. Le F1 Score <\/em>met en avant les classificateurs assez \u00e9quilibr\u00e9s, poussant \u00e0 une utilisation qui d\u00e9pend de la situation.<\/p>\n

Feature Extraction <\/em>: <\/strong>action de r\u00e9duire la dimensionnalit\u00e9 tout en structurant un probl\u00e8me d\u2019apprentissage. Le but est de pouvoir appr\u00e9hender plus simplement un probl\u00e8me tr\u00e8s vaste pour, sinon le r\u00e9soudre, du moins donner des r\u00e9ponses avec des techniques usuelles d\u2019Apprentissage Statistique. Pour comprendre la diff\u00e9rence avec une technique de r\u00e9duction de dimension (comme l\u2019ACP), dans les \u00e9quipes de Data Analysts des banques ou hedge funds, la feature extraction consiste \u00e0 partir d\u2019un jeu de donn\u00e9es large de g\u00e9n\u00e9rer tous les indicateurs quantitatifs utiles aux \u00e9quipes de trading (avec ou sans demande de la part de ces \u00e9quipes).<\/p>\n

GAN (pour Generalized Adversarial Networks<\/em> ou R\u00e9seaux Adverses G\u00e9n\u00e9ratifs): <\/strong>type d\u2019algorithme non-supervis\u00e9. Relativement r\u00e9cents, ces algorithmes sont dits g\u00e9n\u00e9ratifs et fonctionnent en apprenant l\u2019un contre l\u2019autre. Difficiles \u00e0 faire converger, ils peuvent donner des r\u00e9sultats particuli\u00e8rement ahurissants en g\u00e9n\u00e9ration d\u2019image, recherche de mol\u00e9cules, ou apprentissage de jeux. Un premier r\u00e9seau est g\u00e9n\u00e9rateur, g\u00e9n\u00e8re une observation, et son r\u00e9seau adversaire tente de d\u00e9terminer si cette observation est r\u00e9elle ou g\u00e9n\u00e9r\u00e9e.<\/p>\n

Gradient Boosting <\/em><\/strong>: <\/strong>il ne s\u2019agit pas d\u2019une m\u00e9thode d\u2019optimisation mais bien, comme le Boosting, le Bagging, ou les For\u00eats Al\u00e9atoires, d’une m\u00e9thode utilisant un ensemble de mod\u00e8les. L\u2019algorithme utilise en particulier le gradient de la fonction de perte pour modifier les poids des exemples de l\u2019ensemble d\u2019apprentissage \u00e0 chaque nouveau mod\u00e8le. G\u00e9n\u00e9ralement utilis\u00e9 avec des mod\u00e8les de type CART.<\/p>\n

Hyperparam\u00e8tre\u00a0: <\/strong>param\u00e8tre \u00e0 choisir et fixer pour d\u00e9finir un mod\u00e8le et pour pouvoir ensuite estimer les param\u00e8tres du mod\u00e8le sur l\u2019ensemble d\u2019entra\u00eenement. Par exemple il peut s\u2019agir du nombre maximal de feuilles pour une for\u00eat al\u00e9atoire, de la p\u00e9nalisation dans une r\u00e9gression lasso, du nombre de couches pour un r\u00e9seau de neurones.<\/p>\n

KNN (pour K-Nearest Neighbors<\/em> ou K plus proches voisins) :<\/strong> algorithme d\u2019apprentissage supervis\u00e9 non-param\u00e9trique utilis\u00e9 en classification comme en r\u00e9gression, consistant \u00e0 associer \u00e0 une donn\u00e9e d\u2019entr\u00e9e une pr\u00e9diction fond\u00e9e sur les K observations les plus proches de cette donn\u00e9e dans l\u2019ensemble de donn\u00e9es initiales (cette proximit\u00e9 \u00e9tant \u00e0 d\u00e9finir).<\/p>\n

Keras :<\/strong> outil d\u2019apprentissage venant comme une surcouche de Tensorflow (voir plus bas) particuli\u00e8rement utile pour le deep learning (entre autres). Le but de Keras est de mettre l\u2019accent sur la facilit\u00e9 d\u2019utilisation, l\u2019ergonomie et la simplicit\u00e9 pour l\u2019utilisateur.<\/p>\n

Lasso<\/strong>\u00a0: r\u00e9gression lin\u00e9aire r\u00e9gularis\u00e9e par une p\u00e9nalisation de type L1, c\u2019est-\u00e0-dire p\u00e9nalisant les coefficients diff\u00e9rents de z\u00e9ro. Le principe est de mettre \u00e0 z\u00e9ro les composantes les moins influentes.<\/p>\n

\u00a0<\/strong>LightGBM\u00a0: <\/strong>algorithme de Gradient Boosting<\/em> utilisant des arbres, avec en particulier une croissance verticale (s\u00e9paration des feuilles). Plus adapt\u00e9 sur de grands ensembles de donn\u00e9es.<\/p>\n

LSTM (pour Long Short-Term Memory<\/em>) : <\/strong>extension des r\u00e9seaux de neurones qui adjoint au r\u00e9seau une m\u00e9moire exploit\u00e9e dans des unit\u00e9s cach\u00e9es du r\u00e9seau appel\u00e9e \u00ab\u00a0cellule m\u00e9moire\u00a0\u00bb connect\u00e9e \u00e0 la fois \u00e0 elle-m\u00eame et \u00e0 la suite du r\u00e9seau. Particuli\u00e8rement utilis\u00e9es en reconnaissance vocale, en NLP*<\/em> (voir par ailleurs) et en g\u00e9n\u00e9ral dans les mod\u00e8les s\u00e9quentiels. Cas particulier de RNN*<\/em> (voir par ailleurs).<\/p>\n

Neural Networks<\/em><\/strong> (ou R\u00e9seaux de Neurones)\u00a0: <\/strong>m\u00e9thode d\u2019apprentissage pour la r\u00e9gression ou la classification initialement inspir\u00e9e d\u2019une conception sch\u00e9matique d\u2019un neurone humain. Leur champ d\u2019application est extr\u00eamement vaste d\u00e9sormais (voir Deep Learning plus haut).<\/p>\n

NLP (pour Natural Language Processing<\/em> ou Traitement Naturel du Langage)\u00a0: <\/strong>ensemble des techniques et algorithmes permettant de d\u00e9chiffrer un texte. Ce champ est en fait tr\u00e8s vaste et englobe des approches et des finalit\u00e9s tr\u00e8s diverses. Il demande en g\u00e9n\u00e9ral un angle d\u2019\u00e9tude sp\u00e9cifique. Le champ du NLP va l\u2019extraction de sentiment \u00e0 la r\u00e9alisation de r\u00e9sum\u00e9s, en passant par la traduction.<\/p>\n

Online Learning <\/em>(ou Apprentissage En Ligne) : <\/strong>apprentissage o\u00f9 contrairement aux situations o\u00f9 tout l\u2019ensemble de donn\u00e9es est disponible d\u2019un coup (permettant de s\u00e9parer entre test, validation, entra\u00eenement), les donn\u00e9es arrivent en flux, et o\u00f9 l\u2019algorithme entra\u00een\u00e9 doit s\u2019adapter \u00e0 cette apparition s\u00e9quentielle de la donn\u00e9e en m\u00eame temps que son utilisation r\u00e9elle.<\/p>\n

PCA\u00a0(pour Principal Component Analysis<\/em> ou Analyse en Composantes Principales) : <\/strong>technique de r\u00e9duction de dimension tr\u00e8s bien enseign\u00e9e \u00e0 l\u2019ENSAE\u00a0!<\/p>\n

Perceptron :<\/strong> classificateur lin\u00e9aire supervise, un des plus anciens (date des ann\u00e9es 50), peut \u00eatre vu comme le r\u00e9seau de neurone le plus simple.<\/p>\n

Precision<\/em> (Pr\u00e9cision): <\/strong>dans une t\u00e2che de classification, ratio du nombre de vrais positifs sur le nombre total de positifs pr\u00e9dits. D\u00e9crit quelle est la proportion de pr\u00e9dits qui sont effectivement pertinents. Aussi appel\u00e9 valeur pr\u00e9dictive positive. Voir F1-Score pour une interpr\u00e9tation.<\/p>\n

Random Forests<\/em> (ou For\u00eats al\u00e9atoires)\u00a0: <\/strong>extension ensembliste des arbres de r\u00e9gression. M\u00e9thode particuli\u00e8rement puissante et tr\u00e8s utilis\u00e9e \u00e0 l\u2019heure actuelle. Les arbres sont notamment entra\u00een\u00e9s sur des sous-ensembles de variables pioch\u00e9s au hasard.<\/p>\n

Recall<\/em> (Rappel):<\/strong> dans une t\u00e2che de classification, ratio du nombre de vrais positifs sur le nombre total de positifs r\u00e9els. Identique \u00e0 la sensibilit\u00e9 (ou sensitivity<\/em> en anglais). Voir F1-Score pour une interpr\u00e9tation.<\/p>\n

\u00a0<\/em><\/strong>R\u00e9duction de dimension\u00a0:<\/strong> terme qui recouvre toutes les techniques o\u00f9 partant d\u2019un ensemble de donn\u00e9es dans un espace de grande dimension, les projette sur un sous-ensemble plus petit de l\u2019espace. Le principe est de se \u00ab\u00a0centrer sur l\u2019essentiel\u00a0\u00bb, r\u00e9duire la complexit\u00e9 du probl\u00e8me et peut aussi aider \u00e0 la visualisation. La PCA* est un tel exemple.<\/p>\n

Regression Trees <\/em><\/strong>(ou Arbres de R\u00e9gression)\u00a0: <\/strong>\u00a0m\u00e9thode d\u2019apprentissage supervis\u00e9 utilisant un arbre comme mod\u00e8le de pr\u00e9vision. Le parcours au sein de l\u2019arbre se fait via une comparaison des variables explicatives avec des valeurs types, qui m\u00e8nent aux feuilles qui repr\u00e9sentent les valeurs prises par la variable expliqu\u00e9e.<\/p>\n

Reinforcement Learning\u00a0<\/em>(ou Apprentissage par Renforcement) : <\/strong>tr\u00e8s diff\u00e9rent des autres concepts pr\u00e9sent\u00e9s\u00a0; ici l\u2019algorithme est entra\u00een\u00e9 sous forme d\u2019un \u00ab\u00a0agent\u00a0\u00bb pouvant effectuer des actions dans un ecosyst\u00e8me qu\u2019il observe et avec lequel interagit en pouvant \u00e9valuer des r\u00e9compenses associ\u00e9es aux actions choisies. Le r\u00e9sultat est une \u00ab\u00a0politique\u00a0\u00bb d\u2019actions \u00e0 mener.<\/p>\n

ReLU :<\/strong> alias pour Rectified Linear Unit. Simplement d\u00e9finie par f(x)=max(0, x).<\/p>\n

Ridge\u00a0: <\/strong>r\u00e9gression lin\u00e9aire r\u00e9gularis\u00e9e par une p\u00e9nalisation de type L2. Alternative au Lasso<\/em>*.<\/p>\n

RNN (pour Recurrent Neural Nets <\/em>ou R\u00e9seaux de Neurones R\u00e9currents) :<\/strong> les RNN peuvent \u00eatre vus \u00ab\u00a0comme des r\u00e9seaux tr\u00e8s profonds o\u00f9 toutes les couches partagent les m\u00eames poids<\/em>\u00a0\u00bb ([4]). Pens\u00e9s \u00e0 l\u2019origine pour la traduction et la reconnaissance de texte, leurs couches interm\u00e9diaires ou cach\u00e9es sont consid\u00e9r\u00e9es comme un vecteur d\u2019\u00e9tat qui contient l\u2019information sur tout le pass\u00e9. Ils peuvent \u00eatre tr\u00e8s puissants mais leur entra\u00eenement est souvent probl\u00e9matique en pratique (stabiliser le calcul du gradient peut \u00eatre compliqu\u00e9).<\/p>\n

ROC (pour Reveiver Operating Character<\/em>) : <\/strong>courbe qui croise le taux de faux positifs avec le taux de vrais positifs et permet de mesurer l\u2019efficacit\u00e9 d\u2019un classificateur.<\/p>\n

Scikit-Learn :<\/strong> package<\/em> Python d\u00e9di\u00e9 au Machine Learning<\/em>. Voir [5].<\/p>\n

Specificity (Sp\u00e9cificit\u00e9) : <\/strong>dans une t\u00e2che de classification, ratio du nombre de vrais n\u00e9gatifs sur le nombre total de n\u00e9gatifs r\u00e9els.<\/p>\n

Supervised Learning<\/em> (ou Apprentissage Supervis\u00e9) : <\/strong>ensembles des techniques d\u2019apprentissage o\u00f9 les donn\u00e9es d\u2019entra\u00eenements sont pr\u00e9sent\u00e9es avec le r\u00e9sultat correspondant (classe, label, vecteur de valeurs, etc.)<\/p>\n

SVM (pour Support Vector Machines<\/em> ou S\u00e9parateurs \u00e0 Vaste Marge)\u00a0: <\/strong>technique de classification ou de r\u00e9gression supervis\u00e9e particuli\u00e8rement utile sur des \u00e9chantillons des taille modeste. C\u00e9l\u00e8bre pour utiliser l\u2019astuce du noyau du Th\u00e9or\u00e8me de Mercer, elle focalise en particulier sur quelques \u00e9chantillons (les \u00ab\u00a0supports\u00a0\u00bb) pour inf\u00e9rer les fronti\u00e8res de d\u00e9cision. Cette technique permet en effet d\u2019obtenir des fronti\u00e8res tr\u00e8s non lin\u00e9aires sans pour autant ajouter activement des dimensions multiples aux variables initiales.<\/p>\n

TensorFlow : <\/strong>outil d\u2019Apprentissage Statistique d\u00e9velopp\u00e9 par Google depuis 2015. Extr\u00eamement utilis\u00e9, par exemple dans un contexte Python.<\/p>\n

Transfer Learning :<\/em><\/strong> le transfer learning<\/em> (ou apprentissage de transfert) n\u2019est pas vraiment une technique ou un algorithme \u00e0 proprement parler mais repr\u00e9sente le fait d\u2019utiliser ce qui a \u00e9t\u00e9 appris ou extrait d\u2019une premi\u00e8re situation d\u2019apprentissage dans un autre cadre pour aider \u00e0 diminuer l\u2019erreur de g\u00e9n\u00e9ralisation. Particuli\u00e8rement utilis\u00e9 en reconnaissance du langage, la discussion sur ce th\u00e8me d\u00e9passe le pr\u00e9sent dossier et le lecteur pourra se r\u00e9f\u00e9rer au lien suivant (en anglais)\u00a0: https:\/\/towardsdatascience.com\/a-comprehensive-hands-on-guide-to-transfer-learning-with-real-world-applications-in-deep-learning-212bf3b2f27a<\/p>\n

Unsupervised Learning<\/em> (ou Apprentissage Non Supervis\u00e9) : <\/strong>contrairement \u00e0 l\u2019apprentissage supervis\u00e9, type d\u2019apprentissage o\u00f9 le syst\u00e8me apprend seul, sans que les donn\u00e9es soient pr\u00e9sent\u00e9es avec des valeurs cibles. Probablement le champ de l\u2019Apprentissage Statistique o\u00f9 il reste le plus de choses \u00e0 d\u00e9couvrir (voir la conclusion de [4]).<\/p>\n

VADER :<\/strong> alias pour Valence Aware Dictionary and sEntiment Reasoner<\/em>. D\u00e9velopp\u00e9 en open source<\/em> sous licence du MIT, il s\u2019agit d\u2019un package<\/em> pour Python qui permet d\u2019extraire d\u2019un texte un indicateur de sentiment base sur des r\u00e8gles et un lexique. Le lexique utilis\u00e9 est tourn\u00e9 vers l\u2019analyse des media sociaux.<\/p>\n

XGBoost (pour<\/strong> eXtreme Gradient Boosting)<\/em><\/strong>\u00a0: <\/em>algorithme particulier de Gradient Boosting*<\/i> (voir par ailleurs).<\/p>\n","protected":false},"excerpt":{"rendered":"

Vous n\u2019avez pas pu y \u00e9chapper\u00a0: les mots \u00ab\u00a0Machine Learning\u00a0\u00bb apparaissent sous vos yeux un peu partout et tout le temps. Accol\u00e9s, m\u00e9lang\u00e9s, appari\u00e9s, mix\u00e9s, avec bien d\u2019autres termes plus ou moins \u00e9sot\u00e9riques\u00a0: \u00ab\u00a0Big Data\u00a0\u00bb, \u00ab\u00a0apprentissage automatique\u00a0\u00bb, \u00ab\u00a0apprentissage artificiel\u00a0\u00bb, etc. Et bien d\u2019autres. Enfin pas si \u00e9sot\u00e9riques apr\u00e8s quelques ann\u00e9es d\u2019ENSAE, tout de m\u00eame. Difficile […]<\/p>\n","protected":false},"author":308,"featured_media":5216,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[164,233],"tags":[],"class_list":["post-5212","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligence-artificielle","category-juillet2020","et-has-post-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/5212","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/users\/308"}],"replies":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=5212"}],"version-history":[{"count":0,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/5212\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/media\/5216"}],"wp:attachment":[{"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=5212"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=5212"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=5212"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}