Starten met BDD in Reqnroll

 

Ik geef vaak de voorkeur aan veelgebruikte, ruim ondersteunde tools. Soms komt dat echter niet uit. Zo kwam ik de afgelopen tijd in aanraking met Reqnroll. Een BDD testframework gericht op een .NET omgeving, dat de opvolger moet zijn van het meer gebruikte SpecFlow,. Ik wil jullie meenemen in mijn ervaringen, zowel met het testframework, als met de zoektocht naar kennis.

Alles begon met de zoektocht naar kennis. Veel cursussen zijn er niet echt beschikbaar. En het probleem wat ik vaak heb met open source tools: ik snap de documentatie vaak niet genoeg om hiermee te starten. Documentatie van open source tools zijn in mijn ogen best geschikt als naslagwerk, maar niet om je een tool te leren. De informatie is regelmatig kort door de bocht en/of vanuit meer technisch perspectief beschreven.

Gelukkig is YouTube hierbij een uitkomst. Het moet wel heel nieuw zijn, wil je er geen hulp over kunnen krijgen op YouTube. En ook voor Reqnroll vond ik hier de oplossing:
https://www.youtube.com/playlist?list=PL6tu16kXT9PpqWrAYzhnlulMTKU2aP58P

Ik volg graag een cursus om een tool te leren. Toch heeft dit ook zeker nadelen. De basis is meestal wel gelijk, maar voor de wat meer advanced lessen moet de cursus maar net bieden wat je zoekt. Deze cursus bood bijvoorbeeld de verschillende mogelijkheden voor data driven testen die ik zocht. Maar hoe je de input in de Given/When/Then statements kan configureren was voor mij niet voldoende. Ik weet dat er meer opties zijn, dan in de cursus getoond. En eigenlijk wil ik er ook meer.

Wat voor mij een voordeel was: ik zocht voornamelijk simpel gebruik. Gewoon een Given/When/Then formaat, vooral met tekst en getallen als invoer. Dit maakte het makkelijker om met een nieuw tool te beginnen, omdat ik niet veel kennis nodig had om een start te  maken. Gezien het feit dat ik al met Cucumber heb gewerkt, was de basis van Reqnroll voor mij geen probleem. De structuur is eigenlijk gelijk: aan de ene kant de BDD test in tekst, aan de andere kant de implementatie van de stappen.

Misschien is het ook daarom dat ik de soms wat negatieve kijk op Reqnroll, die ik online las, niet deel. Het kan ook zijn dat dit BDD framework zich verder ontwikkeld heeft. Als basis vind ik het een fijn framework om mee te werken. Ja, ik heb wat andere voorkeuren. Zo wil ik vrijer zijn in de keuze tussen Given/When/Then. Ik wil een zin als “Given I login with username and password” ook kunnen gebruiken als “When I login with username and password”. Dit is echter niet mogelijk zonder voor dezelfde implementatie zowel een aparte “Given” als een aparte “When”-ingang te definiëren. En ik moet erg wennen aan de “” die ik moet toevoegen bij strings, om het matchen met de juiste implementatie van de stap goed te laten werken. Omdat strings de enige datatypen zijn die expliciet met quotes moeten worden vastgelegd, betrapte ik mezelf er regelmatig op dat ik dit vergat. Maar beiden zijn geen overkomelijk probleem.

Reqnroll biedt goede mogelijkheden voor varianten in zinnen. Je kan aan een implementatie meerdere matchende zinnen meegeven, zolang de variabelen maar gelijk blijven. Ook vind ik dat, als je een foutje maakt, de foutmeldingen duidelijk zijn. Als laatste zijn de data driven test mogelijkheden voor mij in ieder geval voldoende. Het biedt zowel per stap als voor de gehele testcase de mogelijkheid om data via tabellen mee te geven.

Ik ben nog steeds op zoek naar mogelijkheden om meer te leren. Mijn verwachting is dat dat wel gaat lukken. Nu ik meer weet, is de officiële documentatie van Reqnroll ook beter bruikbaar. En ik heb goede hoop dat meer cursussen zich snel zullen gaan aanbieden. Maar met wat ik nu weet kan ik ook al goed uit te voeten.

Er is iets vreemds in Selector land

 

Dit hele verhaal begon omdat ik keek naar een stukje door AI gegenereerde Playwright code. En onmiddellijk voelde “Hier klopt iets niet.” Maar toen ik hier later met een collega over sprak, merkte ik dat ik met mijn uitleg niet veel verder wist te komen dan “Dat doe je zo niet”. Niet dat de code niet zou werken, in de meeste gevallen wel. Maar als de code wel werkt, waarom voelde de code dan toch verkeerd?

Wat ik in de Playwright code miste was veel GetBy… selectors. En dat terwijl er wel degelijk selectors waren op basis van tekst en rol. GetByRole, GetByText, GetByLabel, een van het eerste wat je leert bij Playwright. Aangeleerd door cursussen, gebruikt in voorbeelden, maar ik vraag me toch af: hoeveel mensen weten waarom?

Daarnaast viel mij nog iets anders op: de door AI gegenereerde code deed me ook aan iets denken. Aan de manier waarop ik met Selenium een selector maakte op tekst en rol. Dat deed mij beseffen: ik ben onbewust steeds meer overgeschakeld van de standaard manier van selectors binnen Selenium naar de standaard manier van selectors in Playwright. Gewoon, omdat de cursus dat zei en mijn collega’s dat al deden. En dat voor een persoon, die een sterk voorstander is van beargumenteerde keuze.

Wat de door AI gegenereerde code betreft zijn er meerdere mogelijke verklaringen. Het zou kunnen dat oudere voorbeelden een rol spelen, uit een tijd waarin Playwright nog minder GetBy… selectors had. Daarnaast lijkt de code aan te sluiten bij selectiemethoden die ook uit b.v. Selenium bekend zijn. Dat zou kunnen verklaren waarom de code afwijkt van de huidige standaard, maar wel correct is.

Wat betreft mijn eigen onbewuste switch? Ik had geleerd dat tekst te vaak wijzigt om te gebruiken. En ID of Name zou stabieler zijn. Maar in de praktijk heb ik hier nooit zoveel verschil in gemerkt. Het ene moment blijft de naam eeuwig staan, maar wordt constant geëxperimenteerd met de wijze van tonen en/of invoer, waardoor vaak ook ID of Name wijzigen. De andere keer blijft de wijze van invoer steeds gelijk, maar probeert men steeds andere varianten van tekst uit. Maar in de praktijk wijzigen beide eigenlijk niet zo vaak. En het grootste voordeel van een GetByText ten opzichte van een By.Id heb ik eigenlijk nergens gelezen: ik hoef het element meestal niet in de HTML-code op te zoeken om een selector te kunnen schrijven. Tekst en role kan ik namelijk altijd zien. Name en id moet ik bewust zoeken.

Toch blijf ik het wat vreemd vinden. Door middel van cursussen en voorbeeldcodes worden ons voorkeuren aangeleerd. Voorkeuren waardoor het merendeel van ons waarschijnlijk onmiddellijk denkt “Hier klopt iets niet”, als code hiervan afwijkt. Zonder dat het fout is, zonder dat we weten waarom. De belangrijkste reden, die wordt gegeven voor een selector voorkeur is stabiliteit. Maar dit is vooral voor de door de tool beter ondersteunde selectors t.o.v. css of xpath selectors. Informatie waarom Selenium geen expliciete By.text() aanbiedt (waardoor tekstselectie via vaak XPath loopt) en waarom Playwright geen getById() heeft (waardoor id-selectie vaak via CSS blijft lopen), kon ik moeilijk terugvinden.

Het voelt een beetje als “Wij bepalen voor jou wat beter is”. Maar ach, gebeurt dat uiteindelijk niet meer in de wereld van testen en ICT? Waarin vele van ons doen wat ons aangeleerd is, zonder te bedenken waarom? Zonder soms zelfs te weten dat er andere opties zijn?

Voor testautomatisering draait het er uiteindelijk om dat je code goed tegen wijzigingen kan. Naar mijn mening, ondanks alle voorkeuren van testframeworks, is dat toch iets wat project afhankelijk is. Zoals ik eerder schreef wordt bij het ene project meer gespeeld met de tekst en bij de andere met de elementen. Dus de meest stabiele testautomatiseringscode is code die daar rekening mee houdt. Ongeacht of dit de aangeraden wijze is of niet.

Maar het was een buitengewone interessante ontdekkingstocht. Hopelijk was het net zo interessant om te lezen.

Herken jij het plaatselijke testdialect?

 

Elk bedrijf heeft zijn eigen manier van praten en zijn eigen woordgebruik. Ook als het aankomt op testen. Het plaatselijke testdialect is vaak een combinatie van woorden van het domein waarbinnen het bedrijf actief is, woordgebruik binnen de meest gebruikte applicaties en (test)tools en het meegebrachte woordgebruik van de plaatselijke experts. Als je het plaatselijke testdialect nog niet spreekt, kan dat de communicatie flink bemoeilijken.

Neem het woord testplan. Door mijn carrière heen heb ik dit zien gebruiken met drie betekenissen.

1.      Een aan het begin van een project opgesteld document, waarin het gehele testproces beschreven stond, meer een soort plan van aanpak/risicoanalyse

2.      Als vervanging voor het woord testscript, dus een document dat stap voor stap beschrijft welke handelingen tijdens testen uitgevoerd moeten worden

3.      Als verwijzing naar een collectie testen binnen een testautomatiserings- of devops tool

Hopelijk kan je je dan voorstellen dat de vraag “Moeten we het testplan gebruiken?” heel anders beantwoord wordt bij elke betekenis. En je antwoord niet begrepen wordt, als de vraagsteller een andere betekenis in zijn hoofd heeft.

Het grootste gevaar van het plaatselijke testdialect is dat het gebruik daarvan vaak onbewust is. Men staat er niet meer bij stil of weet oprecht niet dat een woord ook andere betekenissen kan hebben. Men staat er niet bij stil, dat bepaalde testgewoontes of tradities binnen andere bedrijven, programmeertalen of tools best wel eens anders genoemd kunnen worden. Waardoor men onbewust vragen stelt of meningen geeft, die op een hele andere manier opgevat kunnen worden, dan oorspronkelijk de bedoeling was.

Ik ben net begonnen met een nieuwe baan, begonnen in de detachering en begonnen met een nieuwe opdracht. Dat maakt dat ik hier op dit moment zeer sterk tegenaan loop. Gesprekken lopen soms moeilijker, waarbij soms ik, soms mijn gesprekspartner, soms beiden niet beseffen dat woorden en zinnen voor ons andere betekenissen hebben. Maar ik merk wel op dat het gesprek niet vloeiend verloopt. Alsof je een beetje langs elkaar heen loopt te praten.

Laat me duidelijk zijn: meestal is dat geen ernstig probleem. Je brengt het onderwerp later nog een keer ter sprake. Of naarmate je het bedrijf beter leert kennen, begrijp je beter hoe woorden en zinnen gebruikt worden. Het merendeel van mijn gesprekspartners zien het feit dat ik “rare antwoorden geef” of “bepaalde begrippen niet weet” niet automatisch als signaal dat ik niet zo goed ben in mijn vak als ik me voor doe. Maar helaas gebeurt het toch met enige regelmaat dat ik door “verkeerd woordgebruik” als tester lager wordt ingeschat.

Jaren geleden had ik een sollicitatiegesprek waarin mij gevraagd werd of ik binnen testautomatisering wel eens POM toepaste. Omdat ik de term niet kende, ging ik ervan uit dat ik dit ook niet deed. En ik voelde onmiddellijk dat dat antwoord een min punt was. Toen ik later de term opzocht en ontdekte dat het Page Object Model was, dacht ik achteraf: “Is dat alles? “ Je hoeft de term POM niet te kennen, om op het idee te komen dat centraliseren van selectors voor elementen op een webpagina de onderhoudbaarheid van je code vergroot. En dat deze vervolgens groeperen per pagina een logische keuze is. Zelf zou ik dan ook de voorkeur geven aan een vraag, die meer vaardigheden dan woordgebruik checkt: Hoe zorg je dat je testautomatiseringscode goed onderhoudbaar blijft?

Ik vind dat we als testers altijd in ons achterhoofd moeten houden dat ieder van ons een plaatselijk test dialect spreekt. En daarom moeten onthouden dat “een raar antwoord krijgen” niet meteen inhoud dat een tester niet weet waar die het over heeft. Ook zou ik graag zien dat de vraag “Ik ken dat woord niet” als iets positiefs wordt gezien en niet als bewijs van gebrek aan senioriteit. En als laatste zou ik er sterk voor pleiten, dat we als testers onderling minder praten in “Gebruik je X” of “Doe je Y”, maar meer in “Hoe zorg je ervoor dat?” of “Welke stappen nam je om tot dit resultaat/besluit te komen?” Niet alleen zie ik hier mogelijkheden om spraakverwarring te voorkomen. Daarnaast voorkom je dat mensen door puur “woorden uit het hoofd leren” als senior over kunnen komen.