Testontwerp-keuzes bij een gebruikstest

Artikel, gebaseerd op een lezing tijdens het wetenschappelijke VIOT congres 1999, niet gepubliceerd

Ben Vroom en Erik Hartman hebben in 1999 een gebruikstest uitgevoerd van een prototype van www.wereldkinderen.nl. Doel was om daarin zoveel mogelijk problemen op te sporen op het gebied van gebruiksvriendelijkheid en effectiviteit, voordat hij zou worden gelanceerd.

Drie vragen bij de testopzet willen we in dit artikel bespreken:

• Keuze voor plus-en-minmethode of hardopdenkmethode?
• Wel of geen opdrachten?
• Alleen gebruikersproblemen opsporen of ook problemen vanuit zenderperpectief?

Inhoud artikel:

• De website
• De gebruikstest
• Haropdenkmethode of plus-en-minmethode
• Wel of geen opdrachten
• Alleen gebruikersproblemen of ook problemen vanuit zenderperpectief?
• Slot
• Literatuur

De website

Eerst iets over de geteste site. Wereldkinderen heeft twee hoofdactiviteiten:

• projecthulp aan kinderen in nood in ontwikkelingslanden
• adoptie van kinderen uit die landen naar Nederlandse gezinnen

Wereldkinderen kent een landelijk bureau en 20 regio's waarin leden actief zijn. Regio's organiseren bijvoorbeeld avonden over adoptie in bepaalde landen en gespreksgroepen voor mensen die op een kind wachten of er net een gekregen hebben. Ook steunen veel regio's projecten in landen waaruit kinderen geadopteerd zijn.

Homepage

De website bevat bijzonder veel informatie, met name over adoptie, projecthulp, de organisatie zelf en de regionale afdelingen. 'Nieuws' en 'Het trefpunt' (discussie) waren nog oningevuld.

Beginpagina rubriek Adoptie

De gebruikstest

De gebruikstest was er dus op gericht om zoveel mogelijk problemen op te sporen die ten koste zouden gaan van het functioneren van de website, en aanwijzingen voor verbetering te krijgen. Enerzijds is getracht om zoveel mogelijk gebruikersproblemen op te sporen (gebruikersperspectief). Anderzijds is vanuit de doelen van de website gezocht naar problemen die het bereiken ervan in de weg zouden kunnen staan (zenderperspectief).

Inventarisatie doelen
Voordat de test werd uitgevoerd, zijn de doelen van de website geïnventariseerd en uitgesplitst per doelgroep. Voor elke doelgroep is een aparte vragenlijst gemaakt en een aparte lijst met opdrachten die de proefpersonen moesten kunnen uitvoeren (bijvoorbeeld "Meld je aan als vrijwilliger van Wereldkinderen." of "Zoek op welke adoptiekosten fiscaal aftrekbaar zijn.").

Uitvoering
De test is uitgevoerd met behulp van de hardopdenkmethode en de vragenlijst. De proefpersonen moesten eerst hardopdenkend een tijdje vrijelijk op de site rondsurfen, vervolgens werd de voor de bewuste doelgroep opgestelde vragenlijst afgenomen en ten slotte moesten ze hardopdenkend een aantal opdrachten uitvoeren.

Proefpersonen
De gebruikstest is afgenomen bij 15 proefbezoekers uit de zes belangrijkste doelgroepen van de site: algemene belangstellenden, in adoptie geïnteresseerden, mensen die op een adoptiekind wachten, ouders met een adoptiekind, leden van Wereldkinderen die in een regio actief zijn en mogelijke sponsors van Wereldkinderen.

Resultaten
De gebruikstest leverde een schat aan informatie over de site op:

• 17 zeer urgente problemen (belemmeren functioneren website ernstig)
• 41 urgente problemen (belemmeren optimaal functioneren website)
• 21 problemen (onhandig maar overkomelijk)
• 7 punten van sterke algemene waardering

Zie voor een uitgebreider overzicht de belangrijkste resultaten op deze site of het verslag van de gebruikstest (zie literatuurlijst onderaan).

Hardopdenkmethode of plus-en-minmethode?

Voor het opsporen van zoveel mogelijk problemen lijkt de door ons gebruikte hardopdenkmethode voor de hand te liggen: je ziet wat mensen doen, waar het mis gaat en krijgt dankzij de daarbij uitgesproken gedachten inzicht in de redenen daarvoor en de mogelijkheden om de problemen op te lossen.

Op grond van Sienot (1997) lijkt de digitale plus-en-minmethode echter op het eerste gezicht effectiever.
Deze werkt als volgt: proefpersonen bekijken de website en omcirkelen met de muis delen die ze goed of niet goed vinden, en zeggen daarbij 'plus' of 'min'. De testleider registreert de plussen en minnen, alle gedrag op het scherm wordt geregistreerd met een screencam-programma. Na afloop wordt dit als een filmpje opnieuw afgedraaid en lichten de proefpersonen de plussen en minnen toe.

In zijn onderzoek levert de plus-en-minmethode in vergelijking met de hardopdenkmethode gemiddeld per proefpersoon meer feedback op. In totaal brengt de plus-en-minmethode zo'n 30 tot 40% méér problemen aan het licht. Tevens is de feedback informatiever wat betreft suggesties voor verbetering.

Uit onderzoek Sienot (1997): gemiddeld aantal opgespoorde problemen per proefpersoon. Tussen haakjes: totaal aantal verschillende problemen (bewerking van Sienot (1997), tabel 2)

Afgaande op de uitleg in zijn publicatie lijkt Sienot echter de hardopdenkmethode niet op de gebruikelijke manier te hebben toegepast: hij heeft tijdens het bekijken van de site alleen een registratie van de beeldschermbewegingen gemaakt en niet van de hardop uitgesproken gedachten daarbij. Hij heeft achteraf het filmpje van de beeldschermbewegingen laten becommentariëren door de proefpersonen, net als bij de plus-en-minmethode. Wij vermoeden dat daardoor veel van de informatie die wordt verkregen door mensen tijdens het bekijken van de website hardop te laten denken, verloren kan gaan. Allerlei spontane reacties zullen niet nog eens achteraf worden geuit.

Belangrijker is dat er aanzienlijk minder tijd overblijft voor het bekijken van de website als het commentaar achteraf verzameld moet worden, wat bij de plus-en-minmethode onvermijdelijk is.
Wij hadden ongeveer een uur per proefpersoon. De website was groot, dus er viel veel te bekijken en te becommentariëren/evalueren. Tijdens de hardopdenksessies verkregen wij voortdurend relevante feedback. Elke minuut bleek nuttig. De tijd voor het laten bekijken zou ernstig worden beperkt als in dat uur ook tijd voor het achteraf becommentariëren zou moeten worden ingeruimd. Bij de gebruikelijke vorm van de hardopdenkmethode treedt die beperking niet op, omdat bekijken en de registratie van gebruikersgedrag en -uitingen tegelijkertijd plaatsvinden. Je kunt in dezelfde tijd dus per proefpersoon wellicht over twee keer zoveel onderdelen van de website feedback verzamelen. Dat is een factor van doorslaggevend belang.

Kijken we naar het soort feedback dat Sienot met de hardopdenkmethode en de plus-en-minmethode heeft verkregen, dan zien we hierin geen reden om onze voorkeur voor de hardopdenkmethode te heroverwegen.
De plus-en-minmethode leverde beduidend meer informatie op over waarderingsproblemen, de hardopdenkmethode wat meer over selectieproblemen. De rest is ongeveer om het even. Wij neigen ernaar om selectieproblemen belangrijker te vinden dan waarderingsproblemen. Het gaat bij selectieproblemen, als we Sienot goed begrijpen (zijn uitleg is niet heel duidelijk), onder meer om problemen op het gebied van navigatie en ontsluiting van informatie. Dit zijn bij websites over het algemeen nogal kritische aspecten. Navigatie- en ontsluitingsproblemen kunnen ervoor zorgen dat hele delen van een website nauwelijks bezocht worden.
Wat de verschillen in waarderingsproblemen betreft: wij nemen aan dat Sienots resultaten minder uiteen zouden hebben gelegen als de door ons gebruikte vorm van de hardopdenkmethode zou zijn gebruikt. En we zijn geneigd toch meer waarde te hechten aan informatie over de werking van de site - grofweg: inhoud, ontsluiting en gebruiksgemak - dan over de waardering.

Wel of geen opdrachten?

Het lijkt wel of de hardopdenkmethode standaard wordt uitgevoerd mét opdrachten (proefpersonen krijgen opdrachten die ze hardopdenkend moeten uitvoeren). Usability-goeroe Jakob Nielsen propageert zulke gebruikstests op zijn gerenommeerde website www.useit.com:

"There is only one valid way to gather usability data: observe real users as they use your site to accomplish real tasks." (Alertbox 12 december 1999, "Voodoo Usability")

Jared Spool doet in zijn boek 'Web site usability' verslag van 14 gebruikstests van websites waarbij hij heeft getest mét opdrachten, en ook Christian Gram heeft zijn studenten dat laten doen. Het lijkt ook zo voor de hand te liggen. Simpel gezegd: geef proefpersonen een aantal opdrachten om dingen op een website te doen of te zoeken en registreer wat er mis gaat. Succes verzekerd.

Dat het geven van opdrachten succesvol is, is ook onze ervaring. Maar testen zonder opdrachten is waarschijnlijk minstens zo zinvol. Bovenstaande cijfers wijzen daarop. Een grote website kan in potentie honderden problemen herbergen. Opdrachten zijn altijd beperkt in aantal en kunnen dus maar een beperkt aantal problemen aan het licht brengen. De kans is groot dat proefpersonen op veel meer plaatsen terecht komen als hun de vrije hand wordt gelaten. Zeker als aan de gebruikstest mensen meedoen uit de verschillende doelgroepen, kan het site-bezoek sterk uiteenlopen. Daardoor kunnen meer onderdelen worden bezocht die problematisch blijken. Sienot wijst op dit effect ter verklaring van de verschillen in opgespoorde problemen op het gebied van relevantie en volledigheid. Ook Gram wijst erop dat door het gebruik van opdrachten slechts gedeeltes van websites zijn geëvalueerd.

Aan de andere kant ligt het voor de hand dat zoektaken extra informatie kunnen opleveren over de vindbaarheid van informatie, en daarmee over de interface, navigatie-elementen, de structuur van de site. Bij het uitvoeren van opdrachten wordt echt getest hoe mensen met de site overweg kunnen. De verschillen op het gebied van selectieproblemen wijzen in die richting. Bovendien lijkt Sienots onderzoek erop te wijzen dat begripsproblemen hiermee eerder kunnen worden opgespoord, ook niet onbelangrijk.

Beide varianten hebben dus hun verschillende sterke kanten. Gelukkig is voor een probleemopsporende gebruikstest de vraag of je wél of géén opdrachten gebruikt, eigenlijk geen vraag. Je kunt zonder problemen beide doen: eerst vrijelijk laten rondsurfen en dan nog wat opdrachten geven. Dat hebben we gedaan.

Vrije surfsessies
Onze ervaring is dat je met een vrije hardopdenksessie allerhande problemen kunt opsporen. Doordat we proefpersonen uit de verschillende doelgroepen hebben gebruikt, die ieder een eigen interesse hadden en op hun eigen manier de site bekeken, leverde iedere sessie voortdurend nieuwe informatie op, naast bevestiging van informatie uit eerdere sessies. Dit heeft ons een enorme variatie aan relevante feedback opgeleverd. Wij schatten dat we 70 tot 80% van de informatie via de vrije hardopdenksessies hebben verkregen. Daar zat veel belangrijke informatie bij die we waarschijnlijk nooit hadden gekregen als we alleen van opdrachten gebruik hadden gemaakt.

Een voorbeeld. Een nogal prominent geplaatste passage over een intakestop bleek mensen die in adoptie zijn geïnteresseerd tot de verkeerde conclusie te kunnen brengen dat Wereldkinderen hun niets te bieden zou hebben.

Sommigen hadden daar de neiging de website te verlaten en bij andere adoptieorganisaties te gaan kijken. Maar bij doorklikken op het woord 'intake-stop' bleek dat er weinig aan de hand was: meldde iemand zich aan, dan kon hij op de normale wijze aan de adoptieprocedure beginnen, alleen het intakegesprek zou wat later dan normaal plaatsvinden. Dat was voor de meesten bepaald overkomelijk. Dat bezoekers door de tekst die ze als eerste zagen een volkomen verkeerde conclusie konden trekken, was belangrijke informatie. Daar kwamen we toevallig achter, we hadden er waarschijnlijk nooit een opdracht aan gewijd.

Ontbrekende informatie
Eén voordeel van vrije surfsessies is dat deze meer geschikt zijn om ontbrekende informatie op te sporen dan de uivoering van opdrachten. Dat soort feedback is erg belangrijk. Het is voor site-bouwers moeilijk om zich steeds in de interesse van de bezoekers te verplaatsen. Bovendien kan die interesse sterk uiteenlopen en gemakkelijk onverwachte vormen aannemen. Een gebruikstest is bij uitstek geschikt om inhoudelijke lacunes op te sporen.

Sienots onderzoek wijst hierop: in de categorie 'relevantie en volledigheid' (helaas niet uitgesplitst) brengen de methoden zonder opdrachten veel meer problemen aan het licht dan de methoden met opdrachten (56 tegen 19). De reden is simpel: meestal laat men proefgebruikers zoeken naar onderdelen die op de site staan. Dat levert niet of nauwelijks gegevens op over onderdelen die men mist. Bovendien ligt het initiatief bij de testleider, niet bij de proefpersoon. De proefgebruiker voert slechts opdrachten uit. Hij hoeft zelf niet na te denken over wat hij op de site zou willen vinden.

Wij zagen de proefpersonen vanuit hun eigen interesse de site bekijken en op zoek gaan naar informatie, en zo als het ware hun eigen zoekopdrachten uitvoeren:

• iemand die geïnteresseerd was in adoptie bekeek of alle haar bekende informatie er inderdaad op stond (en miste gelukkig weinig);
• een vrijwilliger van Wereldkinderen zocht tevergeefs jaarrekeningen van de vereniging;
• iemand van een bank die projecten van Wereldkinderen zou kunnen sponsoren, zocht zich suf om erachter te komen wat voor hulp Wereldkinderen organiseerde. Hij kwam in eerste instantie tot een verkeerd beeld daarvan, en pas na een half uur tot een goed beeld.

Verder zochten proefpersonen tevergeefs naar bijvoorbeeld resultaten van projecthulp, informatie over wijzigingen in adoptieprocedures van bepaalde landen en informatie over uit welke landen de kinderen kwamen die de laatste jaren via Wereldkinderen werden geadopteerd.

Opdrachten
Ook de opdrachten bleken erg waardevol. Zelfs bij mensen die zeer uitgebreid op de website hadden rondgekeken, bleek pas bij de opdrachten dat zij wezenlijke onderdelen van de website niet konden vinden. Zo kon bijna niemand het formulier vinden waarmee je Wereldkinderen of haar projecten financieel kunt ondersteunen. Dat stond op ieder scherm, en toch bleek het onvindbaar. Mensen zochten op diverse plaatsen in de informatie in het rechterframe, bijvoorbeeld in de informatie over Wereldkinderen of over projecten, en zagen stelselmatig het plaatje in het linker navigatieframe over het hoofd waaronder de link naar het formulier zat.

Ook bleek voor bijna iedereen de informatie onvindbaar over de activiteiten van Wereldkinderen voor bijvoorbeeld ouders die op een kind wachten of er net een gekregen hebben. Omdat de regio's dit organiseren, stond het op de site ook onder de rubriek 'De regio's'. Maar mensen die Wereldkinderen niet kenden zochten de informatie hierover onder de rubrieken over adoptie of over de organisatie Wereldkinderen. Men verwachtte het niet onder 'De regio's'. De gebrekkige ontsluiting van dit soort informatie kwam dus zowel door een indeling van informatie die niet aansloot bij de verwachtingen van bezoekers, als door een gebrek aan verwijzingen naar informatie hierover in de rubrieken waar mensen wèl zochten. En de term 'De regio's' is duidelijk voor mensen die Wereldkinderen goed kennen, maar verwarrend voor mensen die voor het eerst met Wereldkinderen in aanraking komen - men dacht eerder aan regio's in de wereld waar Wereldkinderen hulpprojecten heeft.

Alleen zoeken naar gebruikersproblemen of ook naar problemen vanuit de doelen van de zender?

Bij het testen van websites lijkt nadruk sterk te liggen op het opsporen van gebruikersproblemen. Zie bijvoorbeeld de geschriften van opnieuw Jakob Nielsen, Jared Spool en Christian Gram.

Echter, het is niet alleen belangrijk te achterhalen in hoeverre de gebruikers goed met de site overweg kunnen, het is even belangrijk om te achterhalen in hoeverre de site al dan niet geschikt is voor het bereiken van zenderdoelen (doelen van de organisatie van de website). Door alleen op gebruikersproblemen te focussen wordt een te enge weg ingeslagen. Tenminste, als het gaat om de vraag hoe je zoveel mogelijk problemen in een website kunt opsporen.

Om zoveel mogelijk relevante problemen in een website op te sporen, is het dus van wezenlijk belang voorafgaand aan de gebruikstest een analyse van de doelen - zonodig uitgesplitst per doelgroep - te maken en daaruit af te leiden wat je vanuit zenderperspectief te weten wilt komen. Er kunnen beter doordachte opdrachten uit worden gedistilleerd. Een aanvullende vragenlijst over onderwerpen waarover de hardopdenksessie geen informatie heeft opgeleverd, lijkt een noodzakelijke aanvulling.

We lichten dit toe aan de hand van een paar voorbeelden. Wat de website van Wereldkinderen betreft: de organisatie en de bouwers van de website vonden het belangrijk dat Wereldkinderen zou overkomen als een professionele organisatie die nuttig werk verricht wat betreft het steunen van kinderen in nood. Daar hebben we een aantal vragen over gesteld. Zo kwamen we erachter dat Wereldkinderen inderdaad zo overkwam. Dat soort algemene - voor de organisatie uitermate belangrijke - informatie kwam niet uit de hardopdenksessies.

Daarnaast waren we er op gespitst, doordat we vooraf testvragen op basis van de doelen hadden geformuleerd, welke delen van de site door proefpersonen werden bekeken. Wat bleek: mensen die in adoptie waren geïnteresseerd bekeken soms alleen de pagina's over adoptie. Dan kwamen ze niets tegen over de projecthulpactiviteiten van Wereldkinderen, omdat de homepage en de adoptiepagina's daarover geen informatie boden. Zo werd het doel dat bezoekers te weten zouden komen dat Wereldkinderen met name een projecthulporganisatie is, bij die mensen niet gehaald. Dat kan ondervangen worden door op de homepage direct een beeld van de organisatie te geven, en mogelijk ook door op pagina's over adoptie hier en daar te verwijzen naar projecthulpactiviteiten. Maar als we alleen naar gebruikersproblemen hadden gezocht, was dit ons waarschijnlijk niet opgevallen omdat gebruikers op dit punt zelf geen problemen ondervonden.

Slot

Wat de digitale plus-en-minmethode betreft: graag zouden wij die vergeleken zien met de echte hardopdenkmethode, waarbij ook het tijdsaspect wordt meegenomen. Het lijkt ons nuttig als het onderzoek zich ook richt op vragen als:

• in hoeverre leveren methoden met en zonder opdrachten aanvullende feedback op?
• in hoeverre hebben vrije surfsessies invloed op daarna uitgevoerde tests mét opdrachten?
• in hoeverre levert een gebruikstest meer relevante informatie op als ook vanuit de doelen van de organisatie en de website wordt getest?

Voor onze praktijk is dus de vraag belangrijk: hoe spoor je in zo kort mogelijke tijd zoveel mogelijk problemen op? Daarvoor zou het onderzoek zich niet zozeer moeten richten op één methode, maar op elkaar aanvullende methoden.

Literatuur

Molich, R. en C. Gram (1999) - 'Are the Results of Usability Tests Reproducible?' Niet gepubliceerd.

Nielsen, J. - www.useit.com.

Sienot, M. (1997) - 'Pretesting Web Sites: A Comparison between the Plus-Minus Method and the Think-Aloud Method for the World Wide Web'. Journal of Business and Technical Communication, 11/4. p. 469-482.

Spool, M. et al (1999): Web Site Usability. A Designers guide. San Francisco, Morgan Kaufmann Publishers.

Vroom, B. (1994): De tekst getest. Handleiding voor het gebruikstesten van schriftelijk materiaal. Van Gorkum, Assen.

Vroom, B. (1999): Het testen van websites. Tekst[blad] 1999/1.

Vroom, B. en E. Hartman (1999): Testverslag gebruikstest www.wereldkinderen.nl. Eigen uitgave Ben Vroom usability, Leiden, en Hartman Communicatie, Zaltbommel

© Ben Vroom, januari 2000