Test je testtools

Voor testen gebruik je al vrij snel hulpmiddelen en applicaties. Vaak om je testen te automatiseren, maar ook om je bij het testen te ondersteunen. Steeds vaker gebruiken we dan wat anderen ook gebruiken. Wat we op internet kunnen vinden bovenaan de Google lijst. We gaan ervan uit dat deze tools werken. En dat de tools voor ons zullen werken. Mijn ervaring: dit is niet altijd het geval. De oplossing: test je testtools, voor je ze invoert.

Mijn ervaring met testtools is zeer positief en zeer negatief tegelijkertijd. Bij het testen voor mobiele telefoons is het zoveel eenvoudiger om simulatoren en emulatoren te installeren dan om echte telefoons te kopen. Totdat een knop op een mobiele telefoon niet werkt. En de knop deed het toch echt op de simulator. Of in een andere situatie: je komt er tot je verbazing achter dat een tool plotseling resultaten niet meer toont. Omdat jij een weergave wil in tekst en het tool voor je besluit dat HTML een betere optie is (ja, echt gebeurd). Maar ze kunnen je flink tijd en geld besparen. Een simulator kan vrij risicoloos gebruikt worden om het testproces te versnellen, omdat je deze op elke laptop beschikbaar kan maken. Mits je ook besluit aan het eind op een echte mobiel te testen. En als je 95% van de tijd je gewenste tekstweergave krijgt, kan je voor die 5% HTML wel een iets mindere ideale oplossing vinden.

Om nu grote problemen bij gebruik te voorkomen, is het verstandig om te weten waar je een tool voor wil gebruiken. Neem bijvoorbeeld de volgende vragen:

• Hoe betrouwbaar moet het zijn? Wil je een nauwkeurige test of gaat het vooral om een indruk te krijgen?
• Is het als hulpmiddel bedoelt, ter aanvulling van een bestaande testwijze? Of moet het echt een andere testwijze gaan vervangen? Dit kan weer effect hebben op de benodigde betrouwbaarheid.
• Wil je de test eenmalig uitvoeren om de kwaliteit te bepalen? Of is het tevens een controle middel om de kwaliteit te bepalen over langere tijd, zoals een regressietest? Bij de tweede keuze zijn de eisen voor het vastleggen van gegevens hoger dan bij de eerste.
• Wat zijn je eisen? Welke browsers, programmeertalen, operating systems, databases, enz. moet het kunnen ondersteunen?
• Hoe flexibel moet de tool ingezet kunnen worden? Vaak te lezen als: hoe groot is de kans op verandering in de organisatie? Hoe flexibeler je tool moet zijn, hoe meer je organisatie verandert, hoe verstandiger het is om de eisen ruimer te trekken dan b.v. de programmeertalen die je nu gebruikt of de browsers die je nu ondersteunt.

Dan komt de werkelijke test: probeer je tool uit. Bedenk een eenvoudige testsituatie, die wel overeenkomt met een test die je vaak tegenkomt. En misschien moet je er zelfs meer bedenken. Kijk met behulp van deze testsituatie of je tool aan de eisen voldoet. Vertrouw niet op teksten als "Deze applicatie is zowel in IE als in Firefox te gebruiken". Als dit voor jou belangrijk is, gebruikt het dan zowel in IE als Firefox. Mogelijk zijn de aangeboden functies in een van beide minder uitgebreid.

Om dit duidelijk te maken, een kleine voorbeelduitwerking. Stel je hebt vaak websiteprojecten. Hierbij is performance een belangrijke graadmeter. Performance testen heeft zeker de voorkeur, maar dit kan vaak pas aan het eind en kost vrij veel tijd. Nu heb je gehoord van standaarden als PageSpeed, die via regels en berekeningen een performancescore geven van een pagina op de website. Deze standaard wordt door verschillende tools ondersteunt en ze lijken allemaal even goed.

Omdat Performance voor jou belangrijk is, wil jij een tool dat werkelijk kritisch is. Nu zou je denken dat, uitgaande van een standaard, de score, ongeacht tool, gelijk zouden zijn. Hier kan je blind van uitgaan of je kan dit controleren. Onderstaand het resultaat van een test die ik zelf heb uitgevoerd t.b.v. deze blog. De waardes zijn dus niet verzonnen, maar werkelijk gemeten met behulp van de gekozen website.

Als je weet dat de pagina bij een hogere score als een pagina met een betere performance wordt beschouwd. En je eis is om een zo kritisch mogelijk tool te kiezen. Welke van de bovenstaande hulpwebsites zou je dan niet kiezen?

Waar het op neer komt: vertrouw niet blind op verkooppraatjes, reviews, tips of standaarden. Probeer zelf de tools uit en kijk hoe ze voor jou werken. En kijk hierbij vooral naar datgene wat voor jou belangrijk is. Want wat een goede keuze is voor een ander, kan voor jou de verkeerde keuze zijn.