Un modèle n'a pas d'opinion, mais il a des habitudes. Elles viennent de ce qu'il a lu, et elles ressortent dans ses réponses de façon régulière. Sur des usages qui touchent à des personnes, cela peut avoir des conséquences très concrètes.
Définition
Un biais algorithmique est une distorsion systématique dans les résultats produits par un système automatisé, qui désavantage régulièrement certaines situations ou certains groupes.
Le mot important est systématique. Une erreur ponctuelle n'est pas un biais. Un biais se répète, dans le même sens, et devient donc prévisible une fois qu'on l'a repéré.
L'origine est rarement une intention. Un modèle apprend sur des textes produits par des humains, qui portent leurs propres déséquilibres. Il ne les invente pas, il les reproduit, parfois en les amplifiant parce qu'il en fait la moyenne.
Où cela se manifeste dans une petite structure
| Usage | Biais possible |
|---|---|
| Tri de candidatures | Favoriser des parcours ou des formulations types |
| Rédaction commerciale | Répéter des stéréotypes selon le secteur visé |
| Analyse d'avis clients | Mal interpréter les tournures régionales ou familières |
| Traduction | Attribuer un genre par défaut à des métiers |
| Priorisation de demandes | Sous-estimer les messages mal rédigés |
La première ligne est la plus sensible : en France, le tri automatisé de candidatures est encadré et une décision entièrement automatisée qui produit un effet significatif sur une personne pose un problème juridique en plus du problème éthique.
Ce que vous pouvez faire concrètement
Testez sur des cas volontairement variés. Faites passer les mêmes contenus en changeant un élément non pertinent, un prénom, une région, une formulation. Si le résultat change, vous avez trouvé un biais.
Gardez une personne dans la boucle sur tout ce qui concerne des individus. Voir Humain dans la boucle.
Demandez la justification. Un modèle à qui l'on demande d'expliquer son classement rend le biais visible bien plus vite qu'un score seul.
Ne confiez pas la décision finale à un modèle quand elle affecte quelqu'un. Le tri peut être assisté, la décision doit rester humaine.
Le biais le plus dangereux est celui qui vous arrange. Un modèle qui écarte systématiquement les demandes les plus complexes semble efficace, jusqu'au jour où vous vous apercevez qu'il écartait vos clients les plus rentables.
Questions fréquentes
Peut-on supprimer complètement un biais ?
Non, et il faut se méfier des outils qui l'affirment. On peut le mesurer, le réduire et le compenser, mais un système entraîné sur des données humaines porte la marque de ces données.
Un modèle plus récent est-il moins biaisé ?
Sur les biais les plus visibles, oui, les fournisseurs y travaillent activement. Sur les biais fins et propres à un métier ou à une langue, l'amélioration est bien plus lente et ne vous dispense pas de tester chez vous.
Cela concerne-t-il aussi le RAG ?
Oui, et à double titre : le modèle apporte ses biais, et votre base documentaire apporte les siens. Un RAG branché sur une documentation déséquilibrée produira des réponses déséquilibrées avec l'assurance de la citation.
Comment mettre en place des contrôles simples ?
En constituant une Évaluation que vous rejouez à chaque changement de modèle ou de consigne. Notre formation Claude Cowork aborde cette pratique de vérification en même temps que la mise en production.