POUR QUELLES RAISONS L'AUTOMATISATION DES TESTS FONCTIONNELS PEUT-ELLE  ÉCHOUER ?

L’automatisation des tests fonctionnels est censée rendre les processus de validation plus rapides pour les entreprises, tout en améliorant la qualité de l’application. Cependant, l’automatisation n’est pas infaillible et peut échouer pour de multiples raisons. 

Gain de temps, diminution des coûts, réduction du time to market, accélération du move to prod, meilleure couverture des tests : il existe un certain nombre de bonnes raisons de se lancer dans une démarche d’automatisation de ses tests fonctionnels. Mais si elle n’est pas bien préparée en amont, l’automatisation peut échouer. 

Les tests automatisés peuvent alors se révéler plus coûteux que ce qu’ils rapportent à l’entreprise, prendre plus de temps que ce qu’ils font gagner, ou même ne pas permettre de détecter les anomalies assez rapidement. Tout dépend des objectifs que vous vous êtes fixés, mais si l’un d’eux n’est pas rempli, c’est qu’il y a un dysfonctionnement quelque part. Et nous vous conseillons de regarder du côté de ces quatre raisons. 

Un mauvais ciblage des tests à automatiser ?

Vous allez dire qu’on se répète, mais une petite piqûre de rappel ne fait jamais de mal : il n’est pas nécessaire d’automatiser tous ses tests et ce serait d’ailleurs contre-productif. Tout simplement parce que certains tests ont besoin de rester manuels, permettant à un humain de repérer des choses qu’une machine ne verrait pas, notamment en ce qui concerne l’ergonomie, l’accessibilité, etc. 

Pour assurer la qualité des développements des applications web ou mobiles et obtenir un retour sur investissement optimal, il est donc impératif de combiner tests automatisés et tests manuels. Mais faut-il encore bien choisir les tests à automatiser, car un mauvais ciblage peut rendre votre stratégie d’automatisation totalement inefficace et vous faire perdre plus de temps et d’argent qu’autre chose. 

Chez Mr Suricate, nous conseillons d’automatiser en priorité les tests les plus récurrents et répétitifs, comme les tests de non régression, ainsi que les parcours et fonctionnalités les plus critiques, qui ont un impact direct sur l’entreprise (business, juridique, image). 

Un outil non adapté ?

Pour répondre au besoin de l’automatisation, de nombreux outils existent, mais il ne faut pas se tromper. Tous les outils ne se valent pas. Certains peuvent être trop techniques et demander des compétences qui ne sont pas adaptées à celles de votre équipe. D’autres ont des coûts d’implémentation et de maintenance élevés et il faut donc le prendre en compte. Et d’autres ne permettent pas de tout tester. 

Cela demande donc de bien étudier vos besoins, mais également de prendre en compte votre projet de développement (s’il s’agit d’une API, d’un client lourd, d’une interface web, d’une application mobile, si c’est multi-devices…), mais aussi les compétences de votre équipe, le niveau de complexité des tests fonctionnels que vous souhaitez automatiser, ainsi que le coût que vous souhaitez y allouer. 

Un manque de maintenance ?

Sur le long terme, l’automatisation échoue souvent à cause d’un problème de maintenance. En effet, il ne faut pas oublier de mettre à jour ses scénarios de tests automatisés dès qu’il y a des modifications, que ce soit au niveau de l’UI, des fonctionnalités, du système d’exploitation, du navigateur, des données, etc. Le risque, sinon, est de ne pas bien détecter les anomalies et de faire perdre du temps aux équipes de développement, alors que le but même de l’automatisation est de leur en faire gagner.  

Un manque d’analyse ?

Automatiser les tests fonctionnels peut apporter beaucoup à votre entreprise, mais cela ne sert à rien de se lancer dans la démarche si vous n’avez pas prévu d’analyser les résultats des tests exécutés. 

Après tout, quel intérêt de lancer des campagnes de tests automatisés si vous décidez de livrer en production sans contrôler que des anomalies ont été détectées ? Le risque est alors de déployer une application de mauvaise qualité, remplie de bugs critiques et on ne parle pas de l’impact négatif que cela peut avoir sur vos utilisateurs.. 

Exécuter des tests automatisés par dizaine, centaine ou milliers ne suffit pas, il faut également mettre en place des systèmes d’analyse des échecs et faciliter la remontée de ces échecs, en créant, par exemple, automatiquement des fiches d’incidents, afin de pouvoir prendre les actions nécessaires par la suite : relancer le test qui est tombé en échec, le mettre à jour ou corriger l’anomalie détectée.