{"id":701,"date":"2025-08-20T15:29:57","date_gmt":"2025-08-20T14:29:57","guid":{"rendered":"https:\/\/www.smarinier.net\/?p=701"},"modified":"2025-08-21T10:15:23","modified_gmt":"2025-08-21T09:15:23","slug":"chatgpt-en-pleine-confiance","status":"publish","type":"post","link":"https:\/\/www.smarinier.net\/chatgpt-en-pleine-confiance\/","title":{"rendered":"ChatGPT en pleine confiance"},"content":{"rendered":"

\u00ab\u00a0ChatGPT can make mistakes. Check important info\u00a0\u00bb<\/em><\/p>\n

C’est le pied de page de ChatGPT, dans son interface de chat. Et il a bien raison de le pr\u00e9ciser!<\/p>\n

Sur une question moyennement complexe, qui aurait n\u00e9cessit\u00e9 de ma part (et de la sienne) de fouiller un peu sur internet, il s’est compl\u00e9ment fourvoy\u00e9. Par ailleurs, sa r\u00e9ponse a mentionn\u00e9 des hommes, alors que la bonne r\u00e9ponse \u00e9tait une femme. Je n’aurais pas \u00e9t\u00e9 surpris de la part de Grok ou \u00ab\u00a0Meta AI\u00a0\u00bb que leurs r\u00e9ponses pourraient \u00eatre b\u00eatement misogynes! Plaisanterie mise \u00e0 part, il s’est simplement plant\u00e9 : \u00ab\u00a0\u00e0 c\u00f4t\u00e9 de la plaque\u00a0\u00bb selon ses propres termes.<\/p>\n

Nous savons que les r\u00e9ponses sont issues de r\u00e9sultat provenant de scores calcul\u00e9s. Mais de ces scores, point de d\u00e9tail, en tout cas par d\u00e9faut. Quelle confiance peut-on avoir dans ses r\u00e9ponses ?
\nDans nos \u00e9changes il pr\u00e9tend utiliser des pr\u00e9cautions lors de la construction de ses r\u00e9sultats (je le cite):<\/p>\n

\ud83d\udd0e 1. Quand la confiance est haute (80\u2013100 %)<\/em>
\n\u2022 C\u2019est typiquement sur des faits stables, bien \u00e9tablis, peu sujets \u00e0 controverse :\u2028exemple : \u00ab Les JO de 1932 ont eu lieu \u00e0 Los Angeles. \u00bb<\/em>
\n\u2022 Tu verras que j\u2019\u00e9cris avec des formulations nettes, sans h\u00e9sitation.<\/em><\/p>\n

\ud83d\udfe1 2. Confiance moyenne (40\u201370 %)<\/em>
\n\u2022 Quand la source n\u2019est pas totalement claire, ou que j\u2019ai un doute entre plusieurs possibilit\u00e9s.<\/em>
\n\u2022 Mes indices linguistiques : je vais employer des \u00ab il semble que \u00bb, \u00ab g\u00e9n\u00e9ralement \u00bb, \u00ab souvent \u00bb ou lister plusieurs hypoth\u00e8ses.<\/em>
\n\u2022 Ici tu devrais consid\u00e9rer que c\u2019est une info \u00e0 v\u00e9rifier, pas \u00e0 prendre comme argent comptant.<\/em><\/p>\n

\ud83d\udd34 3. Confiance basse (0\u201340 %)<\/em>
\n\u2022 Quand il y a un risque de confusion historique ou factuelle<\/em>
\n\u2022 En g\u00e9n\u00e9ral, si j\u2019avais \u00e9t\u00e9 plus rigoureux, j\u2019aurais d\u00fb \u00e9crire \u00ab je crois que, mais je ne suis pas certain \u00bb.<\/em>
\n\u2022 Si tu vois que je balance une liste un peu \u00ab au d\u00e9bott\u00e9 \u00bb ou que \u00e7a ne colle pas avec la question, c\u2019est souvent le signe que je suis dans cette zone basse.\u00a0\u00bb<\/em><\/p>\n

En fait, pour sa r\u00e9ponse, il ne m’a fourni aucune p\u00e9riphrase, aucune mise en contexte. Juste une affirmation directe et s\u00e8che comme \u00e0 son accoutum\u00e9e. Alors qu’\u00e0 ma demande explicite, il m’a avou\u00e9 que le score de confiance de sa r\u00e9ponse \u00e9tait de \u00ab\u00a0probablement autour de 30%<\/strong>\u00ab\u00a0.<\/p>\n

Dans les benchmarks de l’API de ChatGPT que j’avais effectu\u00e9s, j’avais \u00e9t\u00e9 confront\u00e9 au probl\u00e8me des r\u00e9glages \u00ab\u00a0temperature \u00ab\u00a0et \u00ab\u00a0top_p\u00a0\u00bb disponibles dans l’API.<\/p>\n

temperature : (d\u00e9faut 1) \u00ab\u00a0Higher values like 0.8 will make the output more random, while lower values like 0.2 will make it more focused and deterministic\u00a0\u00bb<\/em><\/span>
\n.<\/span>
\nL’objectif des r\u00e9glages par d\u00e9faut de ChatGPT – et certainement des autres IA – est d’introduire une forte dose de \u00ab\u00a0cr\u00e9ativit\u00e9\u00a0\u00bb. Cela nous rappelle les notions de pr\u00e9cision\/recall en moteur de recherche : voulez-vous des r\u00e9sultats pr\u00e9cis (au risque d’obtenir du silence), ou bien plus nombreux (au risque qu’il soient \u00e9loign\u00e9s de la stricte recherche) ?
\nAfin d’\u00e9viter le silence, mais \u00e9galement afin de donner un c\u00f4t\u00e9 non reproductible aux r\u00e9ponses, l’IA est r\u00e9gl\u00e9e sur une cr\u00e9ativit\u00e9 tr\u00e8s forte. Elle peut donc ass\u00e9ner avec une grande assurance des affirmations partiellement ou compl\u00e8tement fausses.<\/p>\n

\"\"<\/a><\/p>\n

Cela m’a immanquablement fait penser au fameux sondage du d\u00e9but de cet \u00e9t\u00e9, o\u00f9 les hommes sont plus de 50% \u00e0 affirmer qu’ils pourraient faire atterrir un avion de ligne (contrairement aux femmes) : https:\/\/www.lemonde.fr\/les-decodeurs\/article\/2025\/07\/09\/pourquoi-les-hommes-sont-plus-susceptibles-de-penser-pouvoir-faire-atterrir-un-avion-tout-seuls-que-les-femmes_6620088_4355770.html<\/a><\/p>\n

J’ai lui ai donc pos\u00e9 cette m\u00eame question : fort heureusement, il m’a r\u00e9pondu qu’il manquerait d’\u00e9l\u00e9ments de perception du monde r\u00e9el, mais qu’il pourrait me guider… avec une confiance de 95% ! Ceci \u00e9tant, on sait que les recherches sur ce sujet sont en cours.<\/p>\n

En tout cas, d\u00e9sormais, je lui demande \u00ab\u00a0Score de confiance de ta r\u00e9ponse ?\u00a0\u00bb apr\u00e8s chacune de mes questions. Je vous invite \u00e0 l’essayer vous aussi : vous serez peut-\u00eatre surpris!<\/p>\n","protected":false},"excerpt":{"rendered":"

\u00ab\u00a0ChatGPT can make mistakes. Check important info\u00a0\u00bb C’est le pied de page de ChatGPT, dans son interface de chat. Et il a bien raison de le pr\u00e9ciser! Sur une question moyennement complexe, qui aurait n\u00e9cessit\u00e9 de ma part (et de la sienne) de fouiller un peu sur internet, il s’est […]<\/p>\n","protected":false},"author":1,"featured_media":705,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2],"tags":[],"class_list":["post-701","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-divers"],"_links":{"self":[{"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/posts\/701","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/comments?post=701"}],"version-history":[{"count":3,"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/posts\/701\/revisions"}],"predecessor-version":[{"id":706,"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/posts\/701\/revisions\/706"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/media\/705"}],"wp:attachment":[{"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/media?parent=701"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/categories?post=701"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.smarinier.net\/%77%70%2d%6a%73%6f%6e\/wp\/v2\/tags?post=701"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}