{"id":3114,"date":"2018-05-02T09:41:23","date_gmt":"2018-05-02T07:41:23","guid":{"rendered":"http:\/\/variances.eu\/?p=3114"},"modified":"2018-05-04T15:40:57","modified_gmt":"2018-05-04T13:40:57","slug":"colloque-intelligence-artificielle-fiction-actions-breve-histoire-de-lintelligence-artificielle-2eme-partie","status":"publish","type":"post","link":"https:\/\/variances.eu\/?p=3114","title":{"rendered":"Colloque \u00ab Intelligence Artificielle : fiction ou actions ? \u00bb : Une br\u00e8ve histoire de l\u2019Intelligence Artificielle (2\u00e8me partie)"},"content":{"rendered":"

Deuxi\u00e8me partie\u00a0: de la naissance de l\u2019informatique au Deep Learning<\/strong><\/h3>\n

Dans une premi\u00e8re partie<\/strong><\/span><\/a>, nous avons balay\u00e9 pratiquement un mill\u00e9naire, du catalan Ramon Llull aux travaux de Norbert Wiener. Cette seconde partie nous conduira \u00e0 l\u2019actualit\u00e9 du Learning, en partant de la naissance de l\u2019informatique.<\/em><\/span><\/p>\n

Le connexionnisme et la naissance de l\u2019informatique<\/strong><\/h4>\n
John von Neumann<\/em><\/h5>\n

Le lien avec la naissance de l\u2019informatique\u00a0est tr\u00e8s fort.\u00a0Un r\u00f4le majeur est jou\u00e9 par Janos Neumann, ou John von Neumann (1903 \u2013 1957). Math\u00e9maticien et physicien hongrois \u2013 il na\u00eet \u00e0 Budapest \u2013 puis am\u00e9ricain, von Neumann est bien connu pour ses travaux dans des domaines diversifi\u00e9s, dont la th\u00e9orie de la d\u00e9cision.<\/em> Son travail de 1944, Theory of games and economic behaviour<\/em>, co-\u00e9crit avec Oskar Morgenstern, est plus que pr\u00e9curseur.<\/p>\n

\"\"

John von Neumann<\/p><\/div>\n

Entre autres, von Neumann est consid\u00e9r\u00e9 comme le p\u00e8re de l\u2019architecture des ordinateurs. Une vision attentive du timbre ci-dessus, \u00e9dit\u00e9 par les postes hongroises,<\/em> permet de reconna\u00eetre un sch\u00e9ma de circuit\u00a0: il repr\u00e9sente le premier ordinateur con\u00e7u par Von Neumann, sous l\u2019acronyme EDVAC (Electronic Discrete Variable Automatic Computer<\/em>).<\/p>\n

L\u2019EDVAC est l’un des tout premiers ordinateurs \u00e9lectroniques (1949). Il op\u00e8re en mode binaire contrairement \u00e0 l’ENIAC (Electronic Numerical Integrator And Computer<\/em>, 1946), qui travaille en d\u00e9cimal, et est souvent mentionn\u00e9 dans les cours d\u2019histoire de l\u2019informatique.<\/p>\n

\"\"<\/p>\n

Les caract\u00e9ristiques de l\u2019EDVAC\u00a0: addition, soustraction et multiplication automatiques, division programmable, le tout avec un contr\u00f4le automatis\u00e9 et une capacit\u00e9-m\u00e9moire de 1000 mots de 44 bits, qui sera \u00e9tendue par la suite \u00e0 1024 mots. Sa m\u00e9moire aurait en termes actuels une capacit\u00e9 de 5,5 ko. <\/strong>Il est compos\u00e9 de pr\u00e8s de 6 000 tubes \u00e0 vide et 12 000 diodes, consomme 56 kW, occupe une surface de 45,5 m2 et p\u00e8se 7,85 tonnes. Pour le faire fonctionner, trois \u00e9quipes de trente personnes se succ\u00e9dant en continu sont n\u00e9cessaires.<\/p>\n

\"\"<\/p>\n

Ci-dessus, la page de garde d\u2019un rapport sur l\u2019EDVAC datant de 1945, sign\u00e9 uniquement par John von Neumann. Il est clair qu\u2019il n\u2019a pas \u00e9t\u00e9 tout seul dans la conception de l\u2019EDVAC, ce qui a cr\u00e9\u00e9 un certain m\u00e9contentement chez ses \u00ab\u00a0partenaires\u00a0\u00bb. Dans ce rapport est d\u00e9crit ce que devait \u00eatre un ordinateur avec la fameuse architecture de von Neumann, avec \u00e0 la fois le calculateur et les programmes enregistr\u00e9s. Le seul article mentionn\u00e9 par von Neumann est celui de McCulloch et Pitts, qui pr\u00e9conisaient la construction d\u2019un ordinateur dans lequel les calculateurs sont les neurones mis en r\u00e9seau.<\/p>\n

Alan Turing<\/em><\/h5>\n
\"\"

Alan Turing<\/p><\/div>\n

Un rapport d\u2019Alan Turing (1912 \u2013 1954), intitul\u00e9 Intelligent Machinery<\/em>, \u00e9crit en 1948, a \u00e9t\u00e9 red\u00e9couvert vingt ans plus tard, en 1968. Puisque Turing travaillait beaucoup pour les services secrets, nombreuses sont ses publications qui ont \u00e9t\u00e9 class\u00e9es \u00ab\u00a0secret d\u00e9fense\u00a0\u00bb, et, avec le temps, d\u00e9classifi\u00e9es. Deux chercheurs n\u00e9o-z\u00e9landais, Jack Copeland et Diane Proudfoot, ont \u00e9crit plusieurs articles sur Alan Turing (voir, par exemple, Alan Turing\u00a0: father of the modern computer, The Rutherford Journal<\/em>, 2011). Selon ces deux biographes, Turing a certainement entendu parler des travaux de McCulloch et Pitts par von Neumann, mais ne les a pas cit\u00e9s. Il n\u2019\u00e9tait pas convaincu par McCulloch, allant m\u00eame jusqu\u2019\u00e0 le consid\u00e9rer comme un charlatan. Jugement probablement excessif. C\u2019est une question ouverte de savoir si les avanc\u00e9es de McCulloch et Pitts ont eu une quelconque influence sur les travaux de Turing. Mais il est reconnu que ces derniers connaissaient les travaux de Turing.<\/p>\n

Le Perceptron de Frank Rosenblatt<\/em><\/h5>\n

Quelle que soit l\u2019inventivit\u00e9 de tous les grands noms cit\u00e9s, l\u2019essentiel consiste \u00e0 faire ou \u00e0 faire faire des calculs. Les r\u00e9seaux de neurones et l\u2019apprentissage sont encore loin, avec leur principe de pr\u00e9senter des exemples et d\u2019essayer d\u2019apprendre comment il est possible de pr\u00e9dire.<\/p>\n

\"\"

Frank Rosenblatt<\/p><\/div>\n

La rupture arrive avec les travaux de Frank Rosenblatt (1928 \u2013 1971), et sa publication de 1958 \u00ab\u00a0The Perceptron\u00a0: a probabilistic model for information storage and organization in the brain<\/em>\u00a0\u00bb, dans Psychological Review<\/em>. Il est le concepteur-inventeur du Perceptron, la premi\u00e8re machine \u00e0 apprendre, comportant un syst\u00e8me de r\u00e9troaction\u00a0: l\u2019algorithme de r\u00e9tropropagation du gradient.<\/p>\n

Le Perceptron n\u2019est pas seulement un concept, mais aussi une machine r\u00e9elle, repr\u00e9sent\u00e9e ci-apr\u00e8s.<\/p>\n

 <\/p>\n

\"\"<\/p>\n

Le Mark 1 Perceptron est cr\u00e9\u00e9 en 1957-58 selon les principes des r\u00e9seaux multicouches \u00e0 r\u00e9ponse lin\u00e9aire \u00e0 seuil. Il s\u2019agit d\u2019un classifieur visuel avec une couche d\u2019entr\u00e9e de 400 cellules photo\u00e9lectriques selon une grille 20×20 simulant une r\u00e9tine, une couche interm\u00e9diaire de 512 unit\u00e9s, et une couche de sortie de 8 unit\u00e9s. Le Mark 1 Perceptron est visible au Smithsonian Institute \u00e0 Washington.<\/p>\n

L\u2019algorithme d\u2019apprentissage pr\u00e9sentait certaines limites, et donc il y avait des t\u00e2ches impossibles \u00e0 ex\u00e9cuter. Partant de ce constat d\u2019impossibilit\u00e9, Marvin Minsky et Seymour Papert ont \u00e9crit un ouvrage \u00ab\u00a0Perceptrons\u00a0\u00bb publi\u00e9 en 1969. Beaucoup de lecteurs se sont arr\u00eat\u00e9s \u00e0 cette mise en \u00e9vidence des limites du Perceptron, alors que les auteurs pr\u00e9sentaient des solutions, avec des r\u00e9seaux de neurones en plusieurs couches, et des fonctions d\u2019activation non plus lin\u00e9aires mais logistiques.<\/p>\n

Rosenblatt est mort le jour de son 43\u00e8me anniversaire, dans un accident de bateau\u00a0; sa contribution est telle qu\u2019il est entr\u00e9 dans la post\u00e9rit\u00e9. En hommage, l\u2019IEEE (Institute of Electrical and Electronics Engineers<\/em>) a cr\u00e9\u00e9 en 2004 le prix Rosenblatt, attribu\u00e9, par exemple, en 2008 \u00e0 Teuvo Kohonen, et en 2012 \u00e0 Vladimir Vapnik.<\/p>\n

Les hivers<\/em><\/h5>\n

La litt\u00e9rature consacr\u00e9e aux r\u00e9seaux de neurones fait r\u00e9f\u00e9rence aux deux hivers de l\u2019IA.<\/p>\n

Le premier hiver \u2013 1970 – 1980 \u2013 suit le livre de Minsky et Papert et ses mauvaises ou incompl\u00e8tes lectures, ayant pour cons\u00e9quence \u00ab\u00a0\u00e7a ne marchera jamais\u00a0\u00bb et l\u2019arr\u00eat des subventions.<\/p>\n

Ce premier hiver a \u00e9t\u00e9 suivi d\u2019un printemps, dans les ann\u00e9es 80, plut\u00f4t dans les syst\u00e8mes experts, et aussi gr\u00e2ce \u00e0 la renaissance des r\u00e9seaux de neurones due \u00e0 l\u2019algorithme de r\u00e9tropropagation du gradient et les travaux de Paul Werbos (n\u00e9 en 1947) et David Rumelhart (1942 \u2013 2011).<\/p>\n

Deuxi\u00e8me hiver \u00e0 partir de 1987. Cette p\u00e9riode est marqu\u00e9e par un int\u00e9r\u00eat d\u00e9clinant pour les r\u00e9seaux neuronaux, en raison de capacit\u00e9s insuffisantes, de difficult\u00e9s de codage, et de grande complexit\u00e9 de mise en \u0153uvre. En m\u00eame temps, d\u2019autres d\u00e9veloppements prennent le dessus, comme les SVM (Support Vector Machine<\/em>, ou Machine \u00e0 vecteur de support) ou les for\u00eats al\u00e9atoires, etc. De 1993 \u00e0 2001, l\u2019Intelligence Artificielle passe en retrait, les mots prenant le m\u00eame chemin que cybern\u00e9tique dans le vocabulaire scientifique.<\/p>\n

Vapnik et Chernovenkis<\/em><\/h5>\n
\"\"

A. Chernovenkis\u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 \u00a0 V. Vapnik<\/p><\/div>\n

De 1960 aux ann\u00e9es 90, deux c\u00e9l\u00e8bres chercheurs russes, Vladimir Vapnik et Alexey Chervonenkis, construisent la th\u00e9orie statistique de l\u2019apprentissage. Depuis 2004, leurs articles (dont \u00ab\u00a0On uniform convergence of the frequencies of events to their probabilities<\/em><\/span>\u00a0\u00bb, in Theory of Probability and its Applications<\/em>, 1971) et le livre de Vapnik \u00ab\u00a0The nature of statistical learning theory<\/em>\u00a0\u00bb (2000, Springer) apportent un \u00e9clairage nouveau.<\/p>\n

Apr\u00e8s une brillante carri\u00e8re acad\u00e9mique, Vapnik a rejoint Facebook en 2014\u00a0; la m\u00eame ann\u00e9e, Chervonenkis meurt de froid en se perdant dans la for\u00eat d\u2019un parc national proche de Moscou.<\/p>\n

Apprentissage ou Statistique\u00a0?<\/strong><\/h4>\n

Beaucoup de d\u00e9bats ou de controverses ont exist\u00e9 ou existent encore autour des mots apprentissage et statistique. Pendant des ann\u00e9es, les statisticiens ont eu du mal \u00e0 accepter la m\u00e9thode de l\u2019apprentissage, notamment parce que ce dernier fait de la pr\u00e9diction sans mod\u00e9lisation au sens classique. Nous retrouvons l\u00e0 le c\u00e9l\u00e8bre adage : il est possible de pr\u00e9voir sans comprendre. C\u2019est par exemple le point de vue de Leo Breiman (1928 \u2013 2005) en 2001, ou de Vapnik qui, en 2006, stipule que l\u2019on peut trouver des mod\u00e8les parfois bien meilleurs en \u00e9vitant d\u00e9lib\u00e9r\u00e9ment de reproduire des m\u00e9canismes qui ont produit des donn\u00e9es, parce que l\u2019objectif unique est la pr\u00e9vision et la pr\u00e9diction.<\/p>\n

Malgr\u00e9 l\u2019hiver de l\u2019IA et les d\u00e9bats, un certain nombre de statisticiens se sont int\u00e9ress\u00e9s assez t\u00f4t aux techniques des r\u00e9seaux de neurones\u00a0: Vladimir Cherkassky, Jerome Friedman et Harry Weschler publient en 1994 \u00ab\u00a0From Statistics to Neural networks<\/em>\u00a0\u00bb\u00a0, et peu de temps apr\u00e8s, en France, suite \u00e0 un colloque organis\u00e9 par le Club Modulad,<\/em> appara\u00eet le livre \u00ab\u00a0Statistique et m\u00e9thodes neuronales\u00a0\u00bb (Sylvie Thiria, Yves Lechevallier, Olivier Gascuel, St\u00e9phane Canu\u00a0; Dunod, 1997).<\/p>\n

Ces approches d\u2019apprentissage ont apport\u00e9 un \u00e9l\u00e9ment novateur et important\u00a0: la validation, avec l\u2019id\u00e9e qu\u2019on ne peut pas avoir un mod\u00e8le de pr\u00e9vision sans valider ces pr\u00e9visions par des donn\u00e9es externes et donc par un usage syst\u00e9matique de la s\u00e9paration \u00ab\u00a0ensemble d\u2019apprentissage\u00a0\u00bb-\u00ab\u00a0ensemble de test\u00a0\u00bb. Cela semble maintenant \u00e9vident. Les pr\u00e9curseurs furent, entre autres, Paul Horst en 1941, Peter Lachenbruch et Ray Mickey, \u00ab\u00a0Estimation of error rates in discriminant analysis<\/em>\u00a0\u00bb, Technometrics, 1968, ou Mervyn Stone, \u00ab\u00a0Cross-validation choice and assessment of statistical predictions<\/em>\u00a0\u00bb, Journal of Royal Statistical Society, 1974.<\/p>\n

En France, Fran\u00e7oise Fogelman Souli\u00e9 a \u00e9t\u00e9 \u00e0 l\u2019avant-garde du d\u00e9veloppement du connexionnisme et de l\u2019apprentissage. Retour en arri\u00e8re\u00a0: elle \u00e9tait la directrice de th\u00e8se de Yann LeCun. Dans les ann\u00e9es 80, les physiciens ont \u00e9galement jou\u00e9 un grand r\u00f4le dans le d\u00e9veloppement des r\u00e9seaux de neurones\u00a0; il faut citer, en particulier, un article de Marc M\u00e9zard et Werner Krauth de 1988. Marc M\u00e9zard est depuis 2012 le directeur de l\u2019Ecole Normale Sup\u00e9rieure.<\/p>\n

Le mot start-up n\u2019\u00e9tait pas \u00e0 la mode, ce qui n\u2019a pas emp\u00each\u00e9 l\u2019\u00e9mergence de soci\u00e9t\u00e9s comme Mimetics, en 1991. Il faut reconna\u00eetre qu\u2019en France, il y a toujours eu des chercheurs en Intelligence Artificielle, m\u00eame dans les p\u00e9riodes hivernales. Une illustration est fournie par le colloque de Cerisy de 1981 intitul\u00e9 \u00ab\u00a0L\u2019auto-organisation, de la physique au politique\u00a0\u00bb, tr\u00e8s multi-disciplinaire, avec la participation de philosophes ou de sociologues.<\/p>\n

Et, apr\u00e8s 2008 arrive le Deep Learning<\/em>, l\u2019apprentissage profond. L\u00e0, il ne s\u2019agit alors plus d\u2019histoire, mais de l\u2019actualit\u00e9.<\/p>\n

 <\/p>\n

Relire la premi\u00e8re partie\u00a0: des origines \u00e0 Norbert Wiener<\/strong><\/span><\/a><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

Deuxi\u00e8me partie\u00a0: de la naissance de l\u2019informatique au Deep Learning Dans une premi\u00e8re partie, nous avons balay\u00e9 pratiquement un mill\u00e9naire, du catalan Ramon Llull aux travaux de Norbert Wiener. Cette seconde partie nous conduira \u00e0 l\u2019actualit\u00e9 du Learning, en partant de la naissance de l\u2019informatique. Le connexionnisme et la naissance de l\u2019informatique John von Neumann […]<\/p>\n","protected":false},"author":148,"featured_media":3162,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[164,12],"tags":[],"class_list":["post-3114","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-intelligence-artificielle","category-alumni","et-has-post-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/3114","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/users\/148"}],"replies":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=3114"}],"version-history":[{"count":0,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/3114\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/media\/3162"}],"wp:attachment":[{"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=3114"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=3114"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=3114"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}