L’effet expérimentateur consiste en un biais affectant les résultats d’une expérimentation, ceux-ci validant les hypothèses internes, conscientes ou non, de l’expérimentateur.

Cet effet a pu être mis en évidence dans plusieurs disciplines scientifiques : en psychologie, en éducation, en médecine et dans des expériences de pointe en sciences de la matière (les grands chercheurs obtenant des effets importants que leurs successeurs peinent à reproduire).

En quoi êtes-vous concernés dans vos projets ?

Vous pourriez penser qu’en collectant davantage d’estimations d’effort sur les tâches à réaliser, vous améliorerez la précision des estimations. Toutefois, cela suppose que les réponses sont statistiquement indépendantes. Dans le cas du biais de l’expérimentateur, la simple moyenne de ces données ne conduira pas à une meilleure estimation, mais peut simplement refléter les corrélations entre les mesures individuelles et leur nature non dépendante. En fait, les uns influencent les autres même à leur insu.

Autre exemple, si lors de vos premiers tests produit, certains utilisateurs remontent des problèmes de performance, il y a de très fortes chances pour que les autres testeurs remontent ensuite ce même problème alors qu’il a objectivement été corrigé à 100% ou qu’ils ne l’auraient pas fait s’ils n’en avaient pas entendu parler.

Comment éviter le plus possible ce travers ?

Méthodologiquement, une parade utilisée consiste dans ce qu’on appelle l’expérimentation en double aveugle. Par exemple, pendant l’élaboration et les tests d’un médicament, ni le patient ni le prescripteur ne savent si le patient utilise le médicament actif ou le placebo. L’objectif est de réduire au mieux l’influence sur la ou les variables mesurées que pourrait avoir la connaissance d’une information à la fois sur le patient (le premier « aveugle ») et sur le médecin (le deuxième « aveugle »).

Dans les exemples précédents, une technique utilisée dans les méthodes Agiles est le planning poker où chacun prépare une estimation sans que les autres la connaissent, puis tous les évaluateurs dévoilent la leur en même temps.

Lors des tests produits, isoler les participants peut donc aussi s’avérer intéressant. Faire un état des lieux des problèmes remontés précédemment et de comment ils ont été adressés peut aussi limiter leurs impacts sur la prochaine période de tests.

Ce biais peut-il nous être utile ?

Votre expertise et celles des membres de l’équipe vont immanquablement influencer le ressenti de vos clients et parties prenantes. Mentionner comme objectifs d’une phase de recettage que « ces tests vont nous permettre de valider la robustesse et les temps de réponse » peut immédiatement être perçu comme un manque de confiance dans le livrable de la part des développeurs.

Ceci risque fort d’accroitre la sensibilité des testeurs à l’aspect performance qui au départ n’était peut-être pas crucial pour eux. Attention donc aux messages subliminaux envoyés même en toute bonne foi mais qui pourrait causer des dérives.