Lors d’une récente réunion de notre comité, on a inévitablement parlé de ChatGPT. L’un de nous a suggéré de faire un test. Très sceptique, j’ai proposé d’interroger cette moderne, mais fausse, pythie sur le concept du PIB. La réponse, obtenue en quelques secondes, figure ci-dessous. Elle m’a d’abord bluffé ! Je vous livre mes commentaires plus élaborés dans les paragraphes qui suivent. Mais, avant de me lire, parcourez-la. C’est court. Après, n’hésitez pas à commenter mes commentaires qui sont peut-être aussi « cliché » que ChatGPT lui-même !
Ex-chef du département des comptes nationaux de l’Insee, de l’OCDE et de la Commission Européenne, j’ai publié un manuel, Understanding National Accounts (OCDE 2014), qui a été largement diffusé dans les offices statistiques du monde entier et qui a été traduit en français, espagnol et, même, chinois. Depuis plusieurs années, ceci m’a conduit à donner un cours basé sur ce manuel à l’université Paris Dauphine. C’est avec cette casquette pédagogique, et elle seule, que je vous livre mes réactions. Il y a probablement d’autres dimensions de ChatGPT qui m’échappent.
La première réaction est que ce robot aurait eu une très bonne note à l’examen que j’organise chaque année. Sûrement la meilleure si on la pondère par le temps mis à répondre ! Son texte est totalement pertinent, centré sur le sujet, équilibré, documenté et, last but not least, bien écrit et sans faute d’orthographe… Il s’appuie sur une bibliographie, certes courte, mais tout à fait appropriée[1]. Honnêtement, de nombreux étudiants des Masters dans lesquels j’enseigne n’auraient pas remis une réponse aussi bien construite. Ma seconde réaction, plus à froid, est néanmoins que la réponse est, comment dire… « bateau ». Il n’y a pas d’approche originale. Il n’y a pas de jugement personnel. Sans parler d’éléments de recherche novatrice. En d’autres mots, elle est totalement scolaire.
D’où une conclusion évidente. ChatGPT va faire un malheur dans les universités. Un malheur dans les deux sens. Le premier, d’ailleurs déjà largement documenté, est qu’il va être massivement utilisé par les étudiants pour tricher, gagner du temps et obtenir des bonnes notes sans se fatiguer. Le second, qui va de pair, est qu’il ne va pas contribuer à les faire réfléchir. Déjà, cette génération disait : à quoi sert d’apprendre l’histoire et la géographie, Google nous donne les réponses détaillées en un clic ! Maintenant, elle va même se passer d’effectuer l’effort de synthèse critique qui est ce qu’on espère des études universitaires.
Il va en tout cas falloir une révolution dans les modalités de l’organisation des cours et des examens à l’université, au lycée et, qui sait, en primaire… Les devoirs à la maison vont devenir complètement vains. L’oral va devoir systématiquement se substituer à l’écrit, ce qui n’est pas forcément bon pour l’égalité des chances. Je fais néanmoins confiance à nos institutions éducatives pour trouver la parade.
Voici la question posée à ChatGPT et la réponse que le robot a produite :
Pourriez-vous, en 5000 signes, expliquer en quoi la notion de PIB (Produit intérieur brut) est une notion dépassée et en quoi elle ne l’est pas ? Des références bibliographiques sont souhaitées, les citations sont autorisées.
Le Produit Intérieur Brut (PIB) est un indicateur économique largement utilisé pour mesurer la richesse et la performance économique d’un pays. Cependant, cette notion est de plus en plus critiquée en raison de ses limites et de son inadéquation pour mesurer la qualité de vie de la population et l’état réel de l’environnement.
En premier lieu, le PIB ne prend pas en compte les activités économiques informelles, telles que les travaux domestiques non rémunérés, ce qui peut donner une image erronée de la performance économique réelle d’un pays. De plus, le PIB ne tient pas compte de la distribution des richesses, ce qui signifie qu’une croissance économique élevée ne garantit pas une amélioration du bien-être économique pour tous les habitants.
En second lieu, le PIB ne mesure pas les coûts environnementaux des activités économiques, tels que la pollution, la déforestation et la dégradation des sols, ce qui peut entraîner une survalorisation de la performance économique réelle. Le PIB ne reflète pas non plus les externalités négatives associées à certaines activités économiques, telles que les coûts sociaux et environnementaux des énergies fossiles.
Cependant, le PIB reste un indicateur utile pour mesurer la performance économique d’un pays en termes de production de biens et de services. Il permet également de comparer la performance économique de différents pays et de mesurer l’évolution de celle-ci au fil du temps. De plus, le PIB est facilement quantifiable et peut être utilisé pour établir des politiques économiques et budgétaires.
En conclusion, le PIB est une notion qui peut être considérée comme dépassée en raison de ses limites, mais il reste un indicateur important pour comprendre la performance économique d’un pays. Il est donc important de le compléter par d’autres indicateurs, tels que l’Indice de Développement Humain (IDH) et les indicateurs environnementaux, pour avoir une image plus complète et plus précise de la situation économique et environnementale d’un pays.
Références :
- Stiglitz, Joseph E., Amartya Sen, and Jean-Paul Fitoussi. « Misleading measures of progress. » The European Economic Review 46, no. 4-5 (2002): 697-717.
- « Beyond GDP: Measuring progress in a changing world. » Organisation for Economic Co-operation and Development, (2010).
- « Indicators of sustainable development. » United Nations, (2018).
Mots-clés : IA – ChatGPT – PIB – pédagogie
[1] A noter que les références bibliographiques avaient été demandées dans la question. Evidemment, je ne peux que regretter qu’il n’ait pas mentionné mon propre manuel. Mais personne n’est parfait, même ChatGPT…
Auteur de « Déficit et dette en temps de crise », Éditions Economica.
- Splendeur et misère de ChatGPT - 13 mars 2023
- De la comptabilité nationale au roman régional - 24 novembre 2022
- Un éclatant parcours en deux vies entremêlées : Portrait d’Evelyne Huet, peintre, ENSAE 1979 - 10 novembre 2021
1. Le lancement de ChatGPT est une réussite. Gratuit. mais pendant combien de temps? Lorsque j’ai échangé avec ChatGPT sur un tout autre sujet, mes relances lui ont sans doute été profitables : l’IA apprend des réponses, l’humain devient un fournisseur et un produit
2. ChatGPT n’est nourri que de ce qui a été mis (par les humains) sur le web. Il régurgite fort bien. Mais si on ne demande pas les sources (comme dans l’exemple de l’article), comment s’assurer que l’information est fiable? monsieurphi.com montre comment ChatGPT peut partir en vrille. Attention au « Garbage in garbage out ». C’est toute la différence avec Wikipedia.
3. Il n’en reste pas moins que l’IA en général devrait être l’occasion de modifier en profondeur des pans entiers de l’enseignement. Je crois que l’égalité des chances est plus faible à l’écrit qu’à l’oral. Je suis persuadé que le travail en groupe devrait être systématique (il est rare que le travail professionnel soit individuel).
Au contraire de ce que vous dites la triche va considérablement réduire car l’IA peut vous dire en qq secondes si un texte a été auto-génère par une IA et avec quelle probabilité. On pourrait pondérer la note obtenue par une fonction adéquate de cette probabilité. On peut même exiger des étudiants qu’ils soumettent eux mêmes leur travail à ce test avec l’obligation de fournir un code encrypté (clé) qui permet au prof de vérifier avec un IA rapidement que le test a été effectué et que la réponse fournie est celle émise par l’IA. Cordialement
Vous n’êtes pas difficiles à satisfaire. Cette expérience de ChatGPT sur le PIB donne une réponse basique et principielle uniquement verbale du PIB à partir de références très marquées idéologiquement. La notion de revenu n’apparaît même pas. Très insuffisant à mon goût pour un niveau « Master ».
« L’effort de synthèse critique » : il va falloir que les enseignants se creusent la tête pour poser des questions nécessitant cet effort et qui ne soient pas à la portée du logiciel.
Apparemment, c’est possible : j’ai lu récemment plusieurs exemples où des chercheurs ont réussi à piéger le logiciel, facilement au début. Mais le travail est toujours à recommencer, car ce logiciel progresse constamment !
Si on veut voir le bon côté des choses : cela revalorise l’entretien en face à face entre un professeur et un étudiant. Mais la productivité en souffrira !
Il est aussi intéressant de noter que la référence proposée:
Stiglitz, Joseph E., Amartya Sen, and Jean-Paul Fitoussi. « Misleading measures of progress. » The European Economic Review 46, no. 4-5 (2002): 697-717.
est plausible, mais entièrement artificielle: elle n’existe tout simplement pas!
Votre commentaire est corroboré par plusieurs articles que j’ai lus sur ChatGPT, notamment ceux de G. Koenig : ChatGPT donne assez systématiquement des références inventées mais très plausibles, raisonnables. Il y a là, selon moi, un véritable danger : le vrai est-il plausible et raisonnable? Faudra-t-il des humains pour vérifier ce que raconte ChatGPT? Wikipedia le fait déjà…
L’homme et la femme et les animaux domestiques n’ont déjà pas pu survivre à la vitesse de transport du train, donc vous pensez, ma bonne dame, que le progrès c’est néfaste. C’était mieux avant, glisse, souffle et tonne ma concierge. Toute avancée scientifique er technologique présente plus d’inconvénients que d’avantages, voyezl’ordinateur et l’internet. Ils ou elles ont créé l’inculture et la desertification et la perte de la biodiversité et la réduction du niveau de vie.
Le niveau d’éducation en France est à protéger par dessus tout. Solutions simples : interdire ChatGPT et créer un champion national de l’intelligeance umaine.
C’est gênant de parler d’intelligence à propos d’une machine jusqu’à nouvel ordre dénuée de sensibilité. Rappelons-nous Kant : « Sans la sensibilité, nul objet ne nous serait donné et sans l’entendement, nul ne serait pensé. » Cela conduit à attendre, sinon à espérer que la machine produise des jugements ou des vues originales sur une question.
Évidemment, les propos du champion du monde de go Ke Jie battu en 2017 par AlphaGo (« « pour la première fois, AlphaGo jouait presque comme un humain ») jettent le trouble et appellent sans doute une meilleure compréhension du cheminement des calculs opérés à chaque pas par les différents types d’IA.
Je ne doute pas que les enseignants et les chercheurs sauront trouver le moyen de démasquer les tricheries permises par ces outils. Ce qui me semble plus inquiétant est le champ d’action immense qu’ils offrent aux propagateurs de fausses nouvelles. Déjà on peut semble-t-il mettre des discours inventés dans la bouche d’images animées de personnes, ou même passer commande par une simple phrase de l’image d’une personnalité dans une situation aussi fictive qu’incongrue…
La parade sera probablement juridique, avec l’absolue obligation d’accompagner tout texte, image ou son à usage public des conditions de sa production.
Pour conclure sur une note interrogative à propos de ce que pourrait être la « sensibilité » d’une machine, je renvoie aux pages 352 à 361 de l’ouvrage de Stanislas Dehaene (« Le code de la conscience », Odile Jacob, 2014) intitulées « Des machines conscientes ? ». « Au moins en principe – écrit l’auteur, spécialiste du fonctionnement du cortex humain – aucune raison fondamentale ne s’oppose à l’idée d’une conscience artificielle ».