Le thermomètre n’est pas la température
Introduction
La mesure des choses est essentielle pour le commerce, la construction et bien d’autres activités. Cependant, pour la majorité de l’histoire humaine, des outils précis permettant la mesure de choses simples comme la distance étaient difficiles à fabriquer et peu disponibles. Ce n’est qu’avec l’avènement de la révolution industrielle et scientifique que des outils fabriqués en masse et vraiment précis ont été développés. Inévitablement, cela a conduit à la précision inimaginable que les êtres humains manient aujourd’hui pour créer des choses comme des transistors dont la taille se décrit en nanomètres. Être capable de mesurer les choses facilement et précisément est donc probablement l’une des capacités les plus fondamentales de l’être humain.
Avec le temps, cette capacité s’est développée pour englober des réalités moins concrètes. Alors qu’un mètre est certainement un concept clair et indéniable, le coût d’une pomme est certainement plus vague. Contrairement au mètre, le prix d’une pomme est une valeur dynamique qui dépend de l’offre et de la demande. C’est un concept beaucoup plus volatile en ce sens que la valeur de quelque chose n’est pas exactement une vérité objective mais dépend des agents agissant dans un marché. Inévitablement, alors que la mesure d’une distance nécessite l’action simple d’utiliser une règle, la mesure de la valeur de quelque chose nécessite le processus continu de nombreuses personnes en commerçant les unes avec les autres. Par conséquent, le prix d’une pomme change continuellement, augmentant et diminuant constamment. Le coût des choses n’est certainement pas un concept simple et clair.
De plus, les économistes commencent désormais à réfléchir au coût environnemental des commodités. En effet, l’environnement paie également un prix car on utilise de l’énergie non renouvelable et des pesticides pour produire des pommes. Cependant, nous n’avions pas pensé à ce coût avant parce que nous supposions que notre mesure du prix était complète. En réalité, la mesure des choses complexes et abstraites est souvent incomplète et les conséquences peuvent être problématiques.
Le thermomètre n’est pas la température
Alors que nous appliquons des mesures quantitatives à de plus en plus de choses, nous nous séparons de ce que nous mesurons jusqu’à ce que tout devienne de simples chiffres. À ce moment la, nous courons le risque d’oublier qu’il y avait même une réalité derrière les chiffres en premier lieu. Nous pensions que le prix d’une pomme était simplement l’argent utilisé dans la transaction, maintenant nous nous rendons compte que sur une grande échelle, les coûts environnementaux comptent aussi. Le problème, c’est que lorsque l’on confond la mesure avec la chose mesurée, on risque d’ignorer la réalité derrière la mesure.
Ce problème existe dans de nombreux contextes. Les bulles dans les marchés boursiers sont de bons exemples où le prix de quelque chose se dissocie avec la réalité. Inévitablement, la réalité revient nous hanter, la bulle explose et tout revient à la normale. Mais cela peut causer des dommages énormes comme nous l’avons vu dans la crise de 2008. Un autre exemple sont les notes de classes. Alors que les notes correspondent à peu près à la connaissance d’un élève. Il est plus sage de se concentrer sur l’apprentissage de la matière plutôt que d’obtenir de bonnes notes. Car, bien que connaitre sa matière peut vous obtenir de bonnes notes, obtenir de bonnes notes ne signifie pas que vous avez bien appris. Il y a bien évidement bien d’autres examples comme le QI : bien que le QI est une mesure de l’intelligence, il ne faut pas la confondre avec l’intelligence elle-même.
Ainsi, alors que la mesure d’une distance correspond à la réalité de la distance, les notes de classes par exemple simplifient inévitablement la réalité qu’elles mesurent. C’est parce que les compétences et les connaissances acquises dans le cadre d’un cours sont des concepts complexes à multiples facettes qui ne peuvent être réduits à un simple nombre. Pourtant, nous réduisons constamment des réalités complexes en de simples chiffres et nous oublions la complexité et les hypothèses que cela cache.
Mon expérience personnelle
En tant que chercheur, je crois fermement que nous ne sommes pas assez sceptiques à l’égard des mesures. Trop souvent, on crée des mesures et on oublie ce qu’il y a derrière. Par exemple, disons que deux intelligence artificielle (IA) ont appris à séparer des images de chats et d’oiseaux et elles ont toutes les deux la même précision de 70%. Cela veut-il dire qu’elles sont équivalentes?
Une enquête plus approfondie pourrait révéler qu’une IA a appris avec précision les différences pertinentes entre les chats et les oiseaux (tels que les yeux, les membres, les oreilles, etc.) tandis que l’autre IA a appris que les photos d’oiseaux comprennent souvent des branches, des feuilles et le ciel et que les photos de chats comprennent souvent des canapés et des décorations intérieures.
En d’autres termes, une IA a appris la différence entre les deux animaux tandis que l’autre a simplement appris les spécificités des images qui lui ont été donné. Cependant, dans la pratique, si l’on utilise de nouvelles images dans des environnements différents, une seule IA aura appris à classer correctement les images. Par conséquent, si nous regardons uniquement la précision d’une IA sur un ensemble de données standard, nous ne pouvons pas toujours dire si une IA a appris correctement. Dans des applications réelle, cela peut causer beaucoup de problèmes plus tard, car la réalité est toujours plus complexe que l’environnement scientifique contrôlé.
En pratique, il existe des méthodes pour atténuer ces problèmes et vérifier ce qui se cache derrière la performance d’une IA. Par exemple, nous pouvons analyser les erreurs de ces IA pour comprendre quel genre d’erreur elles font ou entreprendre une analyse axée sur l’attention pour comprendre sur quelle partie de l’image l’IA prête son attention pour prendre une décision. Cependant, ces méthodes sont imparfaites, incomplètes et difficile à mettre en place et par conséquent, rarement utilisées.
Conclusion
J’espère qu’à travers cet article, je vous ai convaincu que même si des mesures simples peuvent décrire des réalités complexes, elles doivent être utilisées avec scepticisme. Le thermomètre n’est pas la température et il est important de vérifier si la mesure que vous utilisez représente réellement ce qu’elle mesure ou si cette mesure ne vous cache pas la vérité.
Votre entreprise cherche-t-elle à intégrer des solutions d'IA, à analyser des données ou à renforcer son développement back-end ? Contactez-moi !
Mail : pro.judicael.poumay@gmail.com
Linkedin : Judicaël Poumay
Portfolio : www.portfolio.thethoughtprocess.xyz
Spinoff project : www.aiashi.be
