{"id":1417,"date":"2016-10-10T07:59:55","date_gmt":"2016-10-10T05:59:55","guid":{"rendered":"http:\/\/variances.eu\/?p=1417"},"modified":"2017-09-25T12:23:04","modified_gmt":"2017-09-25T10:23:04","slug":"big-data-1-la-fin-des-echantillons-ou-trois-paradigmes","status":"publish","type":"post","link":"https:\/\/variances.eu\/?p=1417","title":{"rendered":"Big Data (1) – la fin des \u00e9chantillons ou nouveau paradigme\u00a0?"},"content":{"rendered":"

De l\u2019\u00e9chantillon \u2026.<\/b><\/i><\/span><\/span><\/p>\n

Depuis les premi\u00e8res tablettes cun\u00e9iformes du pays de Sumer jusqu\u2019\u00e0 la fin du XIX<\/span><\/span>\u00e8me<\/span><\/span><\/sup> si\u00e8cle, on peut consid\u00e9rer que le monde a v\u00e9cu sous le r\u00e8gne quasi-exclusif de \u00ab\u00a0l\u2019exhaustivit\u00e9\u00a0\u00bb. <\/span><\/span><\/p>\n

Il y eut bien, au milieu du XVII<\/span><\/span>\u00e8me<\/span><\/span><\/sup> si\u00e8cle, de premi\u00e8res approches d\u2019\u00e9chantillonnage avec l\u2019\u00e9cole dite de l\u2019arithm\u00e9tique politique de John Graunt et William Petty en Angleterre, et les avanc\u00e9es de S\u00e9bastien Le Prestre de Vauban et Jean-Baptiste Colbert en France\u00a0: Vauban publie en 1686 un livre intitul\u00e9 \u00ab\u00a0<\/span><\/span>M\u00e9thode g\u00e9n\u00e9ralle et facille pour faire le d\u00e9nombrement des <\/i><\/span><\/span>peuples\u00a0\u00bb. <\/span><\/span><\/p>\n

<\/p>\n

Cependant, ces tentatives innovantes ne se sont pas g\u00e9n\u00e9ralis\u00e9es. La norme reste la vision exhaustive\u00a0; les pays les plus d\u00e9velopp\u00e9s sur le plan statistique \u2013 n\u2019oublions\u00a0<\/span><\/span>pas que statistique vient du latin status, mot dont l\u2019un des sens est \u00ab\u00a0attitude, posture, position, \u00e9tat\u00a0\u00bb mais aussi qui poss\u00e8de un acception plus large en tant que \u00ab\u00a0gouvernement, Etat\u00a0\u00bb \u2013 qui g\u00e8rent des recensements, qu\u2019ils soient de population, d\u2019entreprises ou d\u2019\u00e9tablissements industriels, ou de terres agricoles.<\/span><\/span><\/p>\n

Le XX<\/span><\/span>\u00e8me<\/span><\/span><\/sup> si\u00e8cle est marqu\u00e9 par le lent recul de l\u2019exhaustif et la mont\u00e9e de plus en plus affirm\u00e9e du paradigme de l\u2019\u00e9chantillonnage. On peut consid\u00e9rer que l\u2019acte fondateur en est la c<\/span><\/span>ommunication d\u2019Anders N. Kiaer, directeur du Bureau Central de Statistique du Royaume de Norv\u00e8ge, <\/span><\/span>lors du C<\/span><\/span>ongr\u00e8s de Berne de l\u2019Institut International de Statistique d\u2019ao\u00fbt 1895 (IIS, maintenant d\u00e9nomm\u00e9e ISI dans sa version anglaise International Statistical Institute). Intitul\u00e9e <\/span><\/span>Observations et exp\u00e9riences concernant des d\u00e9nombrements repr\u00e9sentatifs<\/i><\/span><\/span>, elle ouvre un p<\/span><\/span>remier et long d\u00e9bat sur l\u2019\u00e9chantillonnage, la \u00ab\u00a0pars pro toto\u00a0\u00bb.<\/span><\/span><\/p>\n

Au niveau le plus g\u00e9n\u00e9ral, il faut appr\u00e9cier tout particuli\u00e8rement les quatre premi\u00e8res lignes qui composent le pr\u00e9ambule de l\u2019expos\u00e9 de A. N. Kiaer, pertinentes et visionnaires.<\/span><\/span><\/p>\n

<\/p>\n

Suite \u00e0 l\u2019expos\u00e9 initial de Kiaer, pas tr\u00e8s bien accueilli par le monde scientifique de l\u2019\u00e9poque, et \u00e0 ses communications ult\u00e9rieures, puis \u00e0 d\u2019autres interventions reprenant de fa\u00e7on th\u00e9orique ou exp\u00e9rimentale les id\u00e9es de Kiaer, l\u2019IIS cr\u00e9e en mai 1924 une commission pour \u00e9tudier le bien-fond\u00e9 de ces techniques repr\u00e9sentatives. <\/span><\/span><\/p>\n

Elle est pr\u00e9sid\u00e9e par le c\u00e9l\u00e8bre Adolph Jensen, l\u2019auteur de la bien connue in\u00e9galit\u00e9 \u00e9ponyme, et comporte des c\u00e9l\u00e9brit\u00e9s comme Corrado Gini, Arthur Bowley ou Lucien March. Les travaux de la Commission Jensen vont confirmer l\u2019int\u00e9r\u00eat scientifique de l\u2019approche. Anders Kiaer, d\u00e9c\u00e9d\u00e9 en 1919, n\u2019est plus de ce monde lorsque, lors du congr\u00e8s biennal de l\u2019IIS de 1925, Jensen en tire deux communications\u00a0: \u00ab\u00a0<\/span><\/span>Rapport sur la m\u00e9thode repr\u00e9sentative en statistique\u00a0\u00bb <\/i><\/span><\/span>et \u00ab\u00a0<\/span><\/span>La m\u00e9thode repr\u00e9sentative en pratique\u00a0\u00bb<\/i><\/span><\/span>\u00a0; ces conclusions seront publi\u00e9es dans le Bulletin de l\u2019Institut International de Statistique, en 1926, Volume 22, Livre 1. En quelques mots, l\u2019approche repr\u00e9sentative de Kiaer est confirm\u00e9e.<\/span><\/span><\/p>\n

Le d\u00e9veloppement est ensuite rapide\u00a0: en 1934 para\u00eet l\u2019article de r\u00e9f\u00e9rence de la th\u00e9orie des sondages de Jerzy Neyman, \u00ab\u00a0O<\/span><\/span>n the two different aspects of representative method\u00a0: the method of stratified sampling and the method of purposive selection\u201d<\/i><\/span><\/span>, publi\u00e9 dans le Journal of the Royal Statistical Society, Vol. 97.<\/span><\/span><\/p>\n

Fait plut\u00f4t rare, tout au moins \u00e0 l\u2019\u00e9poque, dans le domaine scientifique\u00a0: ces premiers travaux trouvent rapidement un \u00e9cho dans le monde des applications op\u00e9rationnelles. En \u00e9conomie, \u00e0 la suite des articles de J-M. Keynes, au d\u00e9but des ann\u00e9es trente, on voit l\u2019apparition en 1935 des premiers panels de consommateurs et de distributeurs, op\u00e9r\u00e9s par des soci\u00e9t\u00e9s comme Nielsen aux Etats-Unis, GfK en Allemagne, et plus tard Cecodis \u2013 Centre d\u2019\u00e9tude de la consommation et de la distribution \u2013 en France. La soci\u00e9t\u00e9 allemande GfK est cr\u00e9\u00e9e par des professeurs d\u2019\u00e9conomie de l\u2019universit\u00e9 de Nuremberg. <\/span><\/span><\/p>\n

Toujours en 1935, aux Etats-Unis, George Gallup lance son entreprise, <\/span><\/span>l\u2019American Institute for Public Opinion<\/i><\/span><\/span>, et se fait conna\u00eetre du grand public en \u00ab\u00a0pr\u00e9disant\u00a0\u00bb, \u00e0 l\u2019aide d\u2019un \u00e9chantillon d\u2019\u00e9lecteurs, la victoire de Franklin D. Roosevelt sur Andrew Landon aux \u00e9lections pr\u00e9sidentielles am\u00e9ricaines de 1936. Jean Stoetzel en cr\u00e9e le clone fran\u00e7ais en 1937, l\u2019Institut Fran\u00e7ais d\u2019Opinion Publique (IFOP), premi\u00e8re soci\u00e9t\u00e9 d\u2019\u00e9tudes d\u2019opinion en France.<\/span><\/span><\/p>\n

Apr\u00e8s guerre, l\u2019\u00e9chantillonnage devient la r\u00e9f\u00e9rence\u00a0par la rapidit\u00e9 d\u2019exploitation, la r\u00e9duction des co\u00fbts, dans un contexte de forte avanc\u00e9e des th\u00e9ories des probabilit\u00e9s et statistique, de l\u2019informatique, avec en outre une g\u00e9n\u00e9ralisation des domaines d\u2019application : \u00e9conomie, statistique \u00ab\u00a0officielle\u00a0\u00bb, sant\u00e9, marketing, sociologie, audience, politique, etc. <\/span><\/span><\/p>\n

\u2026 aux Big Data<\/b><\/i><\/span><\/span><\/p>\n

Majoritairement, le XX<\/span><\/span>\u00e9me<\/span><\/span><\/sup> si\u00e8cle a donc statistiquement v\u00e9cu sous le paradigme de l\u2019\u00e9chantillonnage, les recensements exhaustifs ont battu en retraite. Alors que dans les ann\u00e9es 1960, il y avait encore, au niveau du syst\u00e8me statistique public, le recensement d\u00e9mographique, le recensement agricole, le recensement industriel, aucun de ces dispositifs d\u2019observation n\u2019existe encore aujourd\u2019hui.\u00a0<\/span><\/span><\/p>\n

Depuis la fin du XX<\/span><\/span>\u00e8me<\/span><\/span><\/sup> si\u00e8cle et le d\u00e9but du XXI<\/span><\/span>\u00e8me<\/span><\/span><\/sup>, la convergence num\u00e9rique a favoris\u00e9 le recueil automatique de donn\u00e9es observ\u00e9es sur des populations de plus en plus grandes, cr\u00e9ant des bases de donn\u00e9es contenant une masse croissante d\u2019informations, et annon\u00e7ant le potentiel retour du paradigme de l\u2019exhaustif.<\/span><\/span><\/p>\n

En outre, le passage au digital a permis de mettre sous la m\u00eame forme des informations historiquement distinctes et h\u00e9t\u00e9rog\u00e8nes comme des fichiers de donn\u00e9es quantitatives, de textes, de sons (l\u2019audio), d\u2019images fixes ou d\u2019images mobiles (la video), ce qui est une r\u00e9volution aussi fondamentale que si les \u00eatres humains se mettaient tous \u00e0 parler la m\u00eame langue. <\/span><\/span><\/p>\n

Sont apparues ainsi ce qu\u2019on appelle maintenant les Big Data, ou donn\u00e9es massives, ou plut\u00f4t, pour les fran\u00e7ais, les m\u00e9gadonn\u00e9es puisque c\u2019est le nom que recommande depuis ao\u00fbt 2014 la Commission Nationale de Terminologie. <\/span><\/span><\/p>\n

Notons au passage l\u2019humour de la Commission qui montre ainsi non seulement sa ferme d\u00e9termination, l\u00e9gitime, \u00e0 lutter contre les termes anglais (\u00ab\u00a0big\u00a0\u00bb) mais aussi latins, puisque \u00ab\u00a0data\u00a0\u00bb n\u2019est autre que le pluriel de la forme A du supin du verbe <\/span><\/span>do, das, dare, dedi, datum<\/i><\/span><\/span> \u2026, qui signifie donner en latin. <\/span><\/span>A priori<\/i><\/span><\/span>, ou plut\u00f4t \u00e0 premi\u00e8re vue, c\u2019est une extension hardie du champ de comp\u00e9tences. Esp\u00e9rons que la dite Commission ne va pas r\u00e9aliser que l\u2019anglais Big a \u00e9t\u00e9 traduit par le pr\u00e9fixe m\u00e9ga qui vient directement du grec ancien, probablement aussi condamnable que le latin\u00a0!<\/span><\/span><\/p>\n

Plus s\u00e9rieusement, les Big Data poss\u00e8dent deux param\u00e8tres majeurs\u00a0qui aident les \u00e0 d\u00e9finir\u00a0: la quantit\u00e9 et la fr\u00e9quence d\u2019acquisition. On peut donc \u00e9crire \u00ab\u00a0<\/span><\/span>Volum\u00e9trie = Quantit\u00e9 x Fr\u00e9quence\u00a0\u00bb, la q<\/span><\/span>uantit\u00e9 pouvant aller jusqu\u2019\u00e0 l\u2019exhaustivit\u00e9, et la fr\u00e9quence pouvant aller jusqu\u2019au temps r\u00e9el.<\/span><\/span><\/p>\n

A ces Big Data on a coutume d\u2019associer des V, historiquement 3, puis 6. <\/span><\/span>Les 3 V \u00ab\u00a0primitifs\u00a0\u00bb\u00a0sont Volume, Vari\u00e9t\u00e9 et V\u00e9locit\u00e9. Volume, pour la<\/span><\/span> quantit\u00e9 de donn\u00e9es \u00e9chang\u00e9es (recueil, stockage et traitement), <\/span><\/span>Vari\u00e9t\u00e9, pour la<\/span><\/span> diversit\u00e9 des formats (texte, audio, image, video), des sources (sites, r\u00e9seaux sociaux, t\u00e9l\u00e9phones, Radio Frequency Identification (RFID), <\/span><\/span>Global Positioning System (<\/span><\/span>GPS), ..), et des origines (donn\u00e9es internes structur\u00e9es, externes non structur\u00e9es), et enfin <\/span><\/span>V\u00e9locit\u00e9<\/span><\/span> pour le recueil et le traitement des donn\u00e9es en \u00ab\u00a0temps r\u00e9el\u00a0\u00bb.<\/span><\/span><\/p>\n

Plus r\u00e9cemment ont \u00e9t\u00e9 ajout\u00e9s trois autres V, plus \u00ab\u00a0marketing\u00a0\u00bb, car c\u2019est l\u2019une des forces du Big Data que de bien se faire conna\u00eetre et reconna\u00eetre\u00a0: V\u00e9racit\u00e9 pour la <\/span><\/span>confiance des utilisateurs dans l\u2019information recueillie, <\/span><\/span>Visualisation<\/span><\/span> pour le traitement et la pr\u00e9sentation optimis\u00e9e des donn\u00e9es et des r\u00e9sultats \u00e0 des non-sp\u00e9cialistes pour l\u2019aide \u00e0 la d\u00e9cision, et enfin <\/span><\/span>Valeur<\/span><\/span> pour la cr\u00e9ation de valeur pour l\u2019entreprise.<\/span><\/span><\/p>\n

Les \u00ab\u00a0Big Data\u00a0\u00bb ont soulev\u00e9 et soul\u00e8vent des questions diverses, parfois anciennes, parfois innovantes, concernant les m\u00e9thodes de traitement, le stockage, etc .. Ces questions n\u2019ont pas toutes encore de r\u00e9ponse optimale, mais il faut en \u00eatre conscient et \u00eatre vigilant. Appliquer la politique de l\u2019autruche et ignorer ces informations ne saurait \u00eatre une option satisfaisante pour un scientifique. <\/span><\/span><\/p>\n

D\u2019abord, que fait-on\u00a0sur le plan des traitements statistiques, c\u2019est-\u00e0-dire les fameux \u00ab\u00a0algorithmes\u00a0\u00bb que nous voyons appara\u00eetre jusque dans la presse quotidienne\u00a0? Quel est le statut\u00a0des donn\u00e9es, et celui de leur auteur-propri\u00e9taire ? Le cadre r\u00e9glementaire ou l\u00e9gislatif existant est-il toujours adapt\u00e9, ou de fa\u00e7on plus r\u00e9aliste puisque nous savons tous qu\u2019en g\u00e9n\u00e9ral le droit court derri\u00e8re la pratique sociale, \u00e9volue-t-il presque aussi rapidement que la r\u00e9alit\u00e9 de la statistique et des bases de donn\u00e9es\u00a0?<\/span><\/span><\/p>\n

Donn\u00e9es homog\u00e8nes sur \u00e9chantillon ou donn\u00e9es h\u00e9t\u00e9rog\u00e8nes nombreuses\u00a0: un faux d\u00e9bat\u00a0?<\/b><\/i><\/span><\/span><\/p>\n

On assiste depuis quelque temps \u00e0 des \u00e9changes parfois passionn\u00e9s \u00e0 propos des donn\u00e9es, semblant opposer les tenants de donn\u00e9es homog\u00e8nes issues d\u2019un \u00e9chantillonnage r\u00e9alis\u00e9 selon les \u00ab\u00a0r\u00e8gles de l\u2019Art\u00a0\u00bb, et les donn\u00e9es h\u00e9t\u00e9rog\u00e8nes provenant de collectes peu structur\u00e9es mais massives. <\/span><\/span><\/p>\n

Sur un tout autre plan, cela rappelle les d\u00e9bats sans fin des ann\u00e9es soixante, et d\u2019ailleurs assez st\u00e9riles, avec le recul du temps, entre les tenants de l\u2019analyse g\u00e9om\u00e9trique des donn\u00e9es et les d\u00e9fenseurs d\u2019une approche probabiliste ou statistique math\u00e9matique.<\/span><\/span><\/p>\n

Surtout ne pas entrer dans ce jeu d\u00e9risoire. De m\u00eame que dans les ann\u00e9es 1990 les m\u00e9gabases de donn\u00e9es (alors en mode d\u00e9claratif, ma\u00eetris\u00e9es par des soci\u00e9t\u00e9s comme Claritas ou Axciom) n\u2019ont pas tu\u00e9 l\u2019\u00e9chantillonnage, la victoire des Big Data et la disparition des \u00ab\u00a0sondages\u00a0\u00bb sont, \u00e0 moyen terme, tr\u00e8s peu probables. <\/span><\/span><\/p>\n

Tout d\u2019abord, il faut prendre conscience que tous les domaines n\u2019engendrent pas forc\u00e9ment des m\u00e9gadonn\u00e9es. N\u00e9anmoins, de fait, dans de nombreux secteurs d\u2019activit\u00e9, les donn\u00e9es sont l\u00e0, et depuis le d\u00e9but des ann\u00e9es 2000, on assiste \u00e0 un retour possible vers l\u2019exhaustif gr\u00e2ce aux nouvelles technologies et \u00e0 la convergence num\u00e9rique. En t\u00e9l\u00e9com et m\u00e9dias, on parle de \u00ab\u00a0voie de retour\u00a0\u00bb ou \u00ab\u00a0return path data\u00a0\u00bb via des objets qui transmettent leur \u00e9tat instantan\u00e9, comme sm<\/span><\/span>artphones, tablettes, TV connect\u00e9es, box ADSL, etc\u2026, ou encore les cartes de fid\u00e9lit\u00e9 en grande consommation, sans oublier la g\u00e9n\u00e9ralisation des capteurs et l\u2019arriv\u00e9e des objets connect\u00e9s. <\/span><\/span><\/p>\n

Pour l\u2019usage et les traitements, la r\u00e9ponse est simple \u00e0 \u00e9noncer, m\u00eame si elle peut \u00eatre tr\u00e8s compliqu\u00e9e \u00e0 concevoir ou \u00e0 mettre en oeuvre. Il faut s\u2019inspirer, en r\u00e9f\u00e9rence, de la \u00ab\u00a0philosophie\u00a0\u00bb des grands th\u00e9oriciens de la statistique et des sondages, comme Jean-Claude Deville et Carl-Eric Sarndal\u00a0: quand on a des donn\u00e9es ou de l\u2019information auxiliaire, il faut s\u2019en servir. <\/span><\/span><\/p>\n

Excellent principe\u00a0: c\u2019est donc \u00e0 la science statistique de trouver des r\u00e9ponses math\u00e9matiques intelligentes.<\/span><\/span><\/p>\n

Pour illustrer ceci, dans le domaine des m\u00e9dias, a \u00e9t\u00e9 mise au point l\u2019hybridation de sources, m\u00e9lange des donn\u00e9es d\u2019\u00e9chantillonnage ou de panels et des donn\u00e9es en grand nombre, de granularit\u00e9s diff\u00e9rentes\u00a0: nous avons l\u2019observation de comportements fins \u00e0 partir de panels d\u2019individus d\u2019une part, et le recueil d\u2019informations plus grossi\u00e8res sur l\u2019\u00e9tat de \u00ab\u00a0box\u00a0\u00bb ou de \u00ab\u00a0devices\u00a0\u00bb, d\u2019autre part. <\/span><\/span><\/p>\n

Un objet n\u2019est pas un individu, la plupart d\u2019entre eux ont plusieurs utilisateurs, et en outre \u00ab\u00a0exhaustif\u00a0\u00bb ne signifie pas \u00ab\u00a0sans erreur\u00a0\u00bb, ou \u00ab\u00a0parfait\u00a0\u00bb.<\/span><\/span> Ceci est une \u00e9vidence, mais c\u2019est pourtant ce que croient fr\u00e9quemment certains non-sp\u00e9cialistes, et il n\u2019est pas simple de faire comprendre, par exemple, que la quantit\u00e9 ou l\u2019exhaustivit\u00e9 ne sont pas forc\u00e9ment le Graal. Ceci nous ram\u00e8ne \u00e0 Anders Kia\u00ebr, 1895, \u00e0 Jerzy Neyman, 1934, ou aux \u00ab\u00a0votes de paille\u00a0\u00bb de Gallup en 1936, et donc au fondement de la th\u00e9orie des sondages. <\/span><\/span><\/p>\n

Deux exemples \u00e0 ce sujet : en t\u00e9l\u00e9vision, une box ADSL allum\u00e9e continue \u00e0 rester active sur le signal de la derni\u00e8re cha\u00eene regard\u00e9e, m\u00eame quand le t\u00e9l\u00e9viseur est \u00e9teint. Il y a l\u00e0 cr\u00e9ation indue d\u2019information qui se trouve \u00eatre compl\u00e8te mais enti\u00e8rement fausse. Cela fait un biais de quelques heures\u00a0de dur\u00e9e de vision ! <\/span><\/span><\/p>\n

Pour Internet, on consid\u00e8re qu\u2019en moyenne <\/span><\/span>le taux de visites cr\u00e9\u00e9es par des robots ou autres technologies de contact est de l’ordre de 50 \u00e0 60 % (Source Le Journal du Net). Il faut donc traiter et filtrer des donn\u00e9es quasi-exhaustives\u00a0! <\/span><\/span><\/span><\/p>\n

Une fois ce nettoyage effectu\u00e9, quelques expos\u00e9s scientifiques r\u00e9cents ont montr\u00e9 que l\u2019approche hybridant des sources distinctes \u00e9tait porteuse d\u2019avenir, donnant naissance \u00e0 une nouvelle base plus riche que les sources parentes. <\/span><\/span><\/p>\n

Dans le domaine du marketing m\u00e9dias, M\u00e9diam\u00e9trie a d\u00e9velopp\u00e9 deux techniques d\u2019hybridation, qui ont \u00e9t\u00e9 r\u00e9compens\u00e9es au printemps 2015 par deux <\/span><\/span>award<\/i><\/span><\/span> mondiaux.<\/span><\/span><\/p>\n

La premi\u00e8re est appel\u00e9e \u00ab\u00a0panel up\u00a0\u00bb\u00a0: comme son nom l\u2019indique, l\u2019approche \u00ab\u00a0panel up\u00a0\u00bb am\u00e9liore la donn\u00e9e individuelle issue d\u2019un panel, en utilisant une technique de type \u00ab redressement sous contraintes\u00a0\u00bb. La seconde est d\u00e9nomm\u00e9e \u00ab\u00a0log up\u00a0\u00bb, qui individualise l\u2019\u00e9tat d\u2019un device, via une approche de mod\u00e9lisation permettant de passer de l\u2019\u00e9tat d\u2019une box \u00e0 ses utilisateurs potentiels. <\/span><\/span><\/p>\n

Ainsi, ont \u00e9t\u00e9 rapproch\u00e9s les comportements d\u2019un panel d\u2019internautes se connectant via un ordinateur avec le d\u00e9nombrement de l\u2019ensemble des visites et des pages vues des sites. Avec l\u2019accord du march\u00e9 de l\u2019Internet, cette approche hybride \u00ab\u00a0panel up\u00a0\u00bb est devenue la r\u00e9f\u00e9rence de la mesure d\u2019audience de l\u2019Internet via un PC ou un Mac depuis l\u2019\u00e9t\u00e9 2012.<\/span><\/span><\/p>\n

Et la t\u00e9l\u00e9vision suivra, c\u2019est in\u00e9luctable. D\u2019ores et d\u00e9j\u00e0, \u00e0 titre exploratoire pour certaines cha\u00eenes th\u00e9matiques payantes, sont estim\u00e9s les comportements individuels d\u2019audience des personnes vivant dans un foyer \u00e9quip\u00e9 d\u2019une box CanalSat en travaillant sur les log (informations \u00e9l\u00e9mentaires) des bo\u00eetiers, enrichies des \u00e9l\u00e9ments du panel TV, en utilisant un mod\u00e8le, un algorithme enti\u00e8rement nouveau d\u00e9velopp\u00e9 par la direction scientifique de M\u00e9diam\u00e9trie et utilisant le cadre g\u00e9n\u00e9ral de la th\u00e9orie de cha\u00eenes de Markov cach\u00e9es pour passer de l\u2019\u00e9tat d\u2019un objet aux individus qui le font fonctionner. Andre\u00ef Markov (1856-1922) est \u00e0 l\u2019origine des mod\u00e8les de description probabiliste du passage de l\u2019\u00e9tat d\u2019un syst\u00e8me \u00e0 un autre \u00e9tat. Le mod\u00e8le de Markov cach\u00e9 date, quant \u00e0 lui, de 1965, ses applications \u00e9tant d\u00e9velopp\u00e9es \u00e0 partir de la fin des ann\u00e9es 1970 et durant les ann\u00e9es 1980.<\/span><\/span><\/p>\n

Les r\u00e9sultats hybrides garantissent une coh\u00e9rence globale bien meilleure entre les r\u00e9sultats marginaux auxquels conduiraient chacun des deux syst\u00e8mes d\u2019observation pris s\u00e9par\u00e9ment. <\/span><\/span><\/p>\n

Mais, avec du recul, il y a quarante ans, quand \u00e0 l\u2019INSEE, pour \u00e9laborer le \u00ab\u00a0Syst\u00e8me Unifi\u00e9 de Statistique d\u2019Entreprises\u00a0\u00bb, \u00e9taient rapproch\u00e9es les donn\u00e9es des \u00e9chantillons des enqu\u00eates annuelles d\u2019entreprise, les donn\u00e9es exhaustives fiscales, et m\u00eame parfois les donn\u00e9es contenues dans les rapports de conseil d\u2019administration, n\u2019\u00e9tait-ce pas d\u00e9j\u00e0 de l\u2019hybridation\u00a0de sources ? <\/span><\/span><\/p>\n

Pour conclure avec une image, il y a encore quelques ann\u00e9es, on observait en g\u00e9n\u00e9ral un ph\u00e9nom\u00e8ne via un \u00e9chantillon, on avait donc une \u00ab\u00a0brique\u00a0\u00bb d\u2019observations faite avec une mati\u00e8re homog\u00e8ne. Maintenant c\u2019est comme si l\u2019on disposait de plusieurs briques, mais la finalit\u00e9 est de construire un mur\u00a0: la solidit\u00e9 des briques est importante, mais la qualit\u00e9 du ciment l\u2019est \u00e9galement. Les briques sont les divers dispositifs engendrant des donn\u00e9es, la conception et la mod\u00e9lisation statistique sont le ciment. Ce ciment, c\u2019est le m\u00e9tier des sp\u00e9cialistes de l\u2019observation, des sondages, de la statistique math\u00e9matique, de la mod\u00e9lisation, et plus g\u00e9n\u00e9ralement de l\u2019utilisation optimale des techniques math\u00e9matiques.<\/span><\/span><\/p>\n

Ce m\u00e9lange de data de natures diff\u00e9rentes est m\u00eame une fabuleuse opportunit\u00e9 pour les m\u00e9tiers scientifiques, au sens large, vision totalement oppos\u00e9e \u00e0 celle de certains qui pr\u00e9tendent que profusion de donn\u00e9es dispensera de math\u00e9matiques et m\u00eame d\u2019intelligence\u00a0!<\/span><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"

De l\u2019\u00e9chantillon \u2026. Depuis les premi\u00e8res tablettes cun\u00e9iformes du pays de Sumer jusqu\u2019\u00e0 la fin du XIX\u00e8me si\u00e8cle, on peut consid\u00e9rer que le monde a v\u00e9cu sous le r\u00e8gne quasi-exclusif de \u00ab\u00a0l\u2019exhaustivit\u00e9\u00a0\u00bb. Il y eut bien, au milieu du XVII\u00e8me si\u00e8cle, de premi\u00e8res approches d\u2019\u00e9chantillonnage avec l\u2019\u00e9cole dite de l\u2019arithm\u00e9tique politique de John Graunt et […]<\/p>\n","protected":false},"author":18,"featured_media":1443,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_et_pb_use_builder":"","_et_pb_old_content":"","_et_gb_content_width":"","_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[99,15,133],"tags":[104,112,42],"class_list":["post-1417","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-big-data","category-data-science","category-themes","tag-big-data","tag-echantillons","tag-statistique","et-has-post-format-content","et_post_format-et-post-format-standard"],"_links":{"self":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/1417","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/users\/18"}],"replies":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=1417"}],"version-history":[{"count":0,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/posts\/1417\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=\/wp\/v2\/media\/1443"}],"wp:attachment":[{"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=1417"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=1417"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/variances.eu\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=1417"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}