NOPVO in de media

In dit artikel wordt gesproken over 600.000 unieke panelrespondenten. Tussen het schrijven van het artikel en de publicatie zijn we erachter gekomen dat de berekeningswijze van dit getal niet correct was. Er was geen rekening gehouden met de grotere kans van respondenten die in meerdere panels zitten om in de steekproef te komen. Daarnaast heeft een aantal panels de opgave over het aantal actieve panelleden herzien. Het correcte getal unieke respondenten is ca. 900.000. Daarvan zitten er ca. 700.000 in 1 panel en ca. 200.000 in meerdere panels. Die 200.000 vullen overigens wel 80% van alle vragenlijsten in.

Door Robert van Ossenbruggen ProCression - Ted Vonk Onderzoekpaleis - Pieter Willems Millward Brown

Respons van panels die varieert tussen 19% en 77%, panelleden die gemiddeld lid zijn van bijna 3 panels, panels die elkaar voor meer dan 40% overlappen, 600.000 unieke panelrespondenten, 25.000.000 online enquêtes per jaar: Nederland is hét online panelland in de wereld en voor het eerst in de geschiedenis van online onderzoek is deze Nederlandse panelmarkt uitvoerig in kaart gebracht. Niet minder dan 19 online panels, samen goed voor ruim 90% van al het panelonderzoek in Nederland, hebben meegewerkt aan een vergelijkingsonderzoek waarin de invloed van panelmanagement, de samenstelling van panels en eigenschappen van panelleden onder de loep zijn genomen. We speken over het Nederlands Online Panel Vergelijkingsonderzoek (NOPVO) 2006. Op 14 september zijn de eerste resultaten gepresenteerd tijdens een MOA bijeenkomst te Utrecht. Hieronder zetten we enkele bevindingen op een rij. Tussen nu en december 2006 zullen de resultaten uitvoerig in de media verschijnen. Via MOAweb.nl en Clou blijft u daarvan op de hoogte.

De markt voor online onderzoek is in Nederland bijzonder sterk gegroeid. Inmiddels wordt meer dan 50% van het opinie- en marktonderzoek via Internet uitgevoerd. Met die groei van online onderzoek is ook het aantal panels stek toegenomen. Inmiddels beschikken we in Nederland over meer dan 20 online access panels, goed voor in totaal – naar eigen opgave van de panels – meer dan 1,7 miljoen panelleden die beschikbaar zijn voor onderzoek. Nederland is, met dit aantal panels en omvang van de panelbase in verhouding tot de populatie, het grootste panelland in de wereld.

Met dit snelgroeiende aanbod van panels is ook de bezorgdheid toegenomen over de kwaliteit van panels. In welke mate leveren deze panels dezelfde resultaten? Is er sprake van substantiële paneloverlap en wat is de invloed daarvan? Wie melden zich aan bij panels en is deze groep voldoende vergelijkbaar met de Nederlandse populatie? Om een gefundeerd antwoord te vinden op deze vragen, is vorig jaar het project NOPVO opgestart.

NOPVO 2006 is een uniek onderzoek waaraan 19 panels die actief zijn in de Nederlandse markt hebben meegewerkt. Deze 19 panels vertegenwoordigen meer dan 90% van de respondenten die aan onderzoek meedoen. Het hoofddoel van het NOPVO was de verschillen tussen online panels op gestructureerde wijze in kaart te brengen. Met daarbij als kernvraag: in welke mate leidt een typisch marktonderzoek uitgevoerd door de verschillende online panels tot dezelfde uitkomsten en conclusies? Daarnaast zijn diverse andere aspecten van online panels onder de loep genomen. Kortom, de online panels zijn een keer goed bekeken. In het kader op deze pagina’s staat de onderzoeksopzet beschreven.

Er zijn aanzienlijk verschillen in respons. Deze varieert van 19% tot 77% (zie Figuur 1). Een hogere respons wordt onder andere verklaard door:

- De wijze waarop respondenten door het panel geworven zijn. Een actieve benadering van respondenten (telefonisch of via traditioneel onderzoek) levert de hoogste response.

Voorts was het opvallend dat enkele panels een substantieel gedeelte van de uitnodigingen verstuurd hebben naar panelleden die al meer dan een jaar niet meer gerespondeerd hebben. Sommige panels maken duidelijk niet gebruik van panelhistorische gegevens bij hun steekproefselectie.

Ook bij de verdeling van de steekproef zagen we dit gebrekkige steekproefbeleid bij sommige panels terug. De panels is gevraagd een bruto steekproef aan te leveren die uiteindelijk tot een zo goed mogelijke afspiegeling van de Nederlandse samenleving moest leiden (binnen het leeftijdsbereik 18 t/m 65 jaar). In tegenstelling tot wat er bij het dagelijkse veldwerk praktijk is, mocht er tijdens het veldwerk niet gequoteerd worden op kenmerken en mocht er geen reminder worden uitgestuurd. Op basis van interviewhistorie van de panelleden en responskengetallen van de diverse achtergrondkenmerken moet het mogelijk zijn een steekproef samen te stellen die als uiteindelijk resultaat nauwelijks afwijkingen vertoont van de zogenaamde Gouden Standaard (GS) verdeling. De werkelijkheid is echter anders: steekproeven worden lang niet altijd optimaal aangestuurd. Slechts zes panels slaagden erin een netto steekproef te realiseren die geringe afwijkingen vertoont ten opzichte van het ideaal beeld.

Afwijkingen van achtergrondkenmerken ten opzichte van de Gouden Standaard verdeling op de sociaal economische klasse zijn beperkt. Een regelmatig geuite vrees dat het merendeel van de panelleden studenten en werkelozen zouden zijn blijkt (gelukkig) niet te kloppen.

Tabel 1 laat zien dat bijna tweederde (62%) van de responderende panelleden lid is van meer dan één panel. Ongeveer 3% is lid van meer dan 10 verschillende panels. Gemiddeld is men lid van 2,7 panels. Er zijn zelfs respondenten die lid zijn van meer dan 20 panels. Er zijn panels die elkaar voor meer dan 40% overlappen. De vraag is in hoeverre een weloverwogen uitnodigingsbeleid dan nog zin heeft bij deze mate van overlap. De zorg die aan respondenten wordt besteed, wordt doorkruist door de activiteiten van andere panels!

Op basis van de opgave van de deelnemende panels aan het NOPVO zijn er zo’n 1.350.000 panelleden. In het overzicht ontbreken een paar commerciële panels die naar schatting goed zijn voor nog eens 150.000 panelleden. Naast de panels van marktonderzoekbureaus zijn er nog diverse panels van omroepverenigingen, universiteiten en hogescholen, vakbonden en klantenpanels van bedrijven. Ook die zijn goed voor ca. 150.000 leden. Bij elkaar gaat het dus om 1.650.000 respondenten. Het aantal unieke panelleden is echter beduidend lager.

Gerelateerd aan het gemiddelde van 2.73 lidmaatschappen houdt dat in dat er ca. 600.000 unieke panelleden zijn. Op een populatie van 10,5 miljoen volwassenen is dit een aandeel van minder dan 6%. Zouden deze mensen in gelijke mate vragenlijsten invullen, dan valt het percentage nog wel mee. Echter in het licht van het feit dat een klein gedeelte van hen een relatief groot deel van de vragenlijsten beantwoord, komt de representativiteitsassumptie serieus onder druk te staan.

De panelleden die wel aan onderzoek meedoen, doen dit in bijzondere intensieve mate. Additioneel rekenwerk op variabelen zoals aantallen uitnodigingen, aantallen ingevulde vragenlijsten, paneloverlap en panelomvang leidt tot een schatting van het jaarlijks via online panels aantal ingevulde vragenlijsten van ca. 25.000.000 in Nederland. Gemiddeld vullen panelleden één keer per week een vragenlijst in. Echter een groot deel van de vragenlijsten wordt ingevuld door respondenten die elke werkdag aan marktonderzoek meedoen.

Figuur 2 laat zie dat er aanzienlijke verschillen in de uitkomsten voorkomen. Overigens moet wel vermeld worden dat zelfs bij identieke omstandigheden enige fluctuatie ten gevolge van steekproeftrekking te verwachten valt. Verschillen zijn aanzienlijk kleiner wanneer de panels met het hoogste en laagste percentage op een bepaald resultaat worden verwijderd. Door de extremen te beschouwen als ‘uitbijter’ ontstaat een realistischer beeld van de werkelijke bandbreedte in de markt. Ondanks dat een aantal panels sterk overeenkomstige resultaten opleveren, kan de conclusie getrokken worden dat het overstappen naar een ander panel een grote kans op trendbreuken geeft en derhalve sterk af te raden valt.

Ten tijde van het schrijven van deze bijdrage waren we nog druk bezig met het analyseren van de data. De resultaten zijn veel omvangrijker en substantiëler dan we dachten. Vanaf oktober zullen thema gewijs de resultaten in de media gepubliceerd worden. De thema’s betreffen onder andere: effecten van panelmanagement, respons- en leereffecten en typologie van panelleden. Het is in ieder geval nu al duidelijk dat we met een situatie te maken hebben waarin de representativiteit van marktonderzoeksgegevens uit online panelonderzoek onder druk staat. Zolang het om relatieve veranderingen van merk- of reclamebekendheid gaat en continue van hetzelfde panel gebruik wordt gemaakt, zullen er niet zo snel misleidende conclusies worden getrokken. Maar een uitspraak doen over absolute cijfers in de populatie of doelgroep, vraagt om andere afwegingen dan tot nu toe vaak gemaakt worden. De komende tijd kunt u hiervoor meer concrete input van ons verwachten.

Opzet NOPVO

Het NOPVO is een vergelijkingsstudie met als belangrijkste doel de online panelmarkt in Nederland in kaart te brengen. Het onderzoek bestaat uit twee delen. Het eerste deel is een inventarisatie van de kenmerken van panels zoals die in de markt worden gecommuniceerd. De zogenaamde ’25 vragen van ESOMAR’ vormden hiervan het uitgangspunt. De resultaten zijn in deze CLOU in gecomprimeerde vorm terug te vinden. Het complete overzicht is binnenkort te vinden op www.moaweb.nl. Het tweede deel van de studie is een empirisch onderzoek, waarbij alle deelnemende panels dezelfde vragenlijst afnemen. De doelpopulatie heeft de volgende omschrijving: 'De Nederlandse consument tussen de 18 en 65 jaar’. Elk panel heeft zijn eigen bruto steekproef samengesteld met als doel een zo representatief mogelijke netto steekproef te realiseren zonder te quoteren tijdens het veldwerk. Er werden verder geen eisen gesteld aan de verdeling van achtergrondkenmerken in de bruto steekproef. Hoe de representativiteit van deze steekproef gegarandeerd wordt was dus aan de panels zelf. Panels hebben uitgemaild naar een bruto steekproef van 1000 panelleden. De resultaten van het empirische deel worden geanonimiseerd gerapporteerd.

Maaike Vonk heeft als projectmanager gefungeerd. Zij heet de contacten met de panels onderhouden en voor de verwerking van de data gezorgd.

NEBU heeft als onafhankelijke partij de vragenlijst geheel kosteloos gescript volgens de huidige standaarden voor online dataverzameling. Elk panel heeft een opmaakdefinitie aangeleverd zodat de vragenlijst er voor de panelleden precies zo uitziet als zij gewend zijn. Het veldwerk verliep in een afgebakende periode van 7 dagen (27 april tot en met 4 mei). Er zijn geen eisen gesteld aan het aantal te leveren ingevulde vragenlijsten. De gerealiseerde netto steekproef is dus een resultante van het onderzoek. De netto steekproef is uiteindelijk gewogen op basis van leeftijd, opleiding, geslacht en Nielsenregio, naar landelijke cijfers volgens de Gouden Standaard. De resultaten van dit onderzoek zijn 14 september gepresenteerd op de MOA themamiddag ‘Online panels, goed bekeken! Voor vragen en reacties over dit project kunt u mailen naar NOPVO@moaweb.nl

Voorbeelden van verschillen tussen panels uitgedrukt in deviatie van totaalscore

NB n=19: alle panels; n=17: laagste en hoogste score verwijderd; n=15: 2 laagste en 2 hoogste scores verwijderd

Een van de meest spectaculaire missers van opiniepeilers was de voorspelling van de uitslag van de Amerikaanse presidentsverkiezing in 1948. Op grond van die voorspelling waren de kranten al gedrukt: ‘Dewey verslaat Truman’. De volgende dag kon Truman triomfantelijk die krant omhooghouden, want hij was degeen die een ruime overwinning had behaald.

De fout die de opiniepelers hadden gemaakt, was dat ze slechts telefonische interviews hadden afgenomen en in 1948 waren mensen met een telefoon nog heel anders dan mensen zonder telefoon.

Soortgelijke blunders, die wat minder vaak de kranten halen, worden stellig gemaakt bij internet-enquêtes. Hoewel tegenwoordig vrij veel mensen internet hebben, hebben zij niet allemaal zin en tijd mee te doen aan ‘online-panelonderzoek’. En de mensen die meedoen, zitten wellicht anders in elkaar dan de mensen die niet meedoen.

De vraag is natuurlijk: hoe erg is dat? Kunnen we geen enkele internet-enquête van welk gerenommeerd bureau ook meer vertrouwen? Hoe belangrijk is representativiteit voor de uitkomsten van panelonderzoek? En wat valt eraan te verbeteren?

Afgelopen donderdag werden op een bijeenkomst in Utrecht de eerste resultaten bekendgemaakt van een onderzoek dat juist deze vragen wilde beantwoorden. Een drietal gedreven marktonderzoekers had de koppen bij elkaar gestoken, en 19 onderzoeksbureaus bereid gevonden mee te doen aan een groot experiment om de sterke en zwakke kanten van het internetonderzoek eens op een rij te zetten. Omdat ook de klanten van de onderzoeksbureaus in de zaal zaten werden de conclusies wat gedempt gebracht, maar verrassend waren ze zeker. Het idee dat internetonderzoek een representatief beeld van de Nederlander geeft, moeten we voorlopig maar laten varen.

In Nederland wordt uitzonderlijk veel gepaneld, waarschijnlijk het meest in de hele wereld. Als alle panelleden van alle bureaus worden opgeteld, houden meer dan 1,7 miljoen mensen zich beschikbaar voor onderzoek.

De eerste kanttekening is, dat dit niet 1,7 miljoen verschillende mensen zijn. Integendeel: mensen die aan één onderzoek meedoen, doen niet zelden aan twee of drie mee, en soms aan meer dan tien er zijn heel wat mensen die elke dag op het werk even een vragenlijstje doen. Uiteindelijk blijken er niet meer dan 600 duizend verschillende panelleden te zijn, maar dan nog vult een deel van hen trouw elke voorgelegde vragenlijst in, een ander deel doet maar heel zelden mee. De onderzoeksbureaus vissen allemaal in dezelfde, kleine vijver met makkelijk te vangen vissen.

En dan zijn het nog bijna allemaal goudvissen ook. Iemand die bereid is panellid te zijn, zo blijkt uit het onderzoek van Robert van Ossenbruggen, Ted Vonk en Pieter Willems, is alleen al daardoor sterk voorgeselecteerd, en geeft andere antwoorden dan de rest van de bevolking. Zelfs mensen die routineus meedoen, geven al anders antwoord dan mensen die een enkele keer zijn overgehaald mee te doen. De goudvissen in de vijver geven antwoord, maar wat de snoeken en de stekelbaarsjes elders in het land vinden, blijft onduidelijk. ‘De representativiteitsassumptie komt serieus onder druk te staan,’ noemen de onderzoekers dat.

Het betekent ook, en dat is belangrijk voor klanten en krantenlezers, dat het niet zozeer de grootte of de samenstelling van de panels is die de kwaliteit van een onderzoeksbureau bepaalt, maar de mate waarin het zich de moeite heeft getroost naar die andere vissen te zoeken.

Want niet alle onderzoeksbureaus zijn even goed. Ze hebben allemaal meegedaan op basis van anonimiteit, waardoor het niet mogelijk is slechte en goede aan te wijzen, maar zeker is wel dat het er hier en daar nog flink aan schort. De bedoeling was dat elk bureau duizend mensen zou benaderen. Dat moest leiden tot een steekproef die een redelijke afspiegeling van de Nederlandse bevolking zouden moeten vormen op basis van persoonskenmerken, maar dat lukte niet iedereen. Zes van de negentien, om precies te zijn. ‘Steekproeven worden lang niet altijd optimaal aangestuurd,‘ zeggen de onderzoekers.

Daarnaast verschilde de medewerking per panel aanzienlijk. Twee bureaus haalden nog geen twintig procent respons, niemand kwam boven de tachtig. Nu zegt respons in internetonderzoek niet alles meer (er wordt vaak geworven tot er wel een redelijke afspiegeling van de bevolking bereikt is of men selecteert panelleden waarvan men weet dat ze altijd meewerken), maar 170 antwoorden op 1000 uitgezette vragenlijsten is hoe dan ook wel heel weinig.

De aanbeveling van de drie onderzoekers aan de afnemers van internet-enquêtes liet dan ook weinig aan duidelijkheid te wensen over: ‘Bezint eer ge begint.’ Om er direct aan toe te voegen dat de keuze voor het ene of het andere panel uiteindelijk weinig uitmaakt, omdat ze toch allemaal dezelfde respondenten hebben...

[ONDERZOEK] De Markt Onderzoek Associatie (MOA) heeft zijn achterban opgeschrikt met een onderzoek dat uitermate kritisch is over de kwaliteit van onderzoek via internetpanels. De samenstelling van de panels is vaak niet evenwichtig, veel respondenten zitten in meerdere panels tegelijk en geld is een belangrijke drijfveer om aan de onderzoeken mee te doen.

Dit blijkt uit het Nederlands Online Panel Vergelijkingsonderzoek (NOPVO), dat afgelopen week in Utrecht werd gepresenteerd. Het onderzoek is een initiatief van Pieter Willems (Millward Brown), Robert van Ossenbruggen (ProCression) en Ted Vonk (Onderzoekpaleis). De onderzoekers concluderen dat er bij online panels sprake is van een 'selecte, afwijkende respondentengroep'. Door de overlap tussen panels treedt een leereffect op, waarbij ervaren respondenten anders reageren op bijvoorbeeld reclame- en merkbekendheid, Ruim 40 procent zegt voor het geld mee te doen. Panelleden blijken gemiddeld van 5,3 panels lid te zijn. Als gevolg daarvan wordt online onderzoek vaak afgeraffeld, waarbij respondenten gemakshalve 'weet niet' of het eerste antwoord aanvinken. MOA-voorzitter Pieter Paul Verheggen zegt dat buitenlandse zusterorganisaties op het Esomar-congres hun waardering uitspreken over dit 'transparante' onderzoek.

Met het Nederlands Online Panel Vergelijkingsonderzoek (NOPVO) oogst brancheclub MOA internationale waardering. Logisch, want dit eerste onderzoek naar Internet panels ter wereld bevestigt dat Nederland op dit vlak een koploper is. Toch zijn er ook serieuze leermomenten.

Tijdens het recente Esomar-congres in Londen kreeg de Markt Onderzoek Associatie (MOA) veel buitenlandse lof toegezwaaid vanwege het onderzoek dat de Nederlandse brancheorganisatie had laten verrichten naar internetpanels. Hoewel er zeker ook tekortkomingen van online onderzoek aan het licht komen in dit zogenaamde Nederlands Online Panel Vergelijkingsonderzoek (NOPVO), is het in de eerste plaats een niet eerder uitgevoerde nationale inventarisatie van dit onderzoekssegment. 'Nederland loopt wereldwijd voorop in online onderzoek', zegt MOA-voorzitter Pieter Paul Verheggen. 'Er is geen ander land ter wereld dat naar rato van de eigen populatie zo veel online panelonderzoek toepast. Ook Amerika niet. Ook met dit onderzoek naar online panels zijn we de eersten.'

Terug in Nederland werd de MOA onaangenaam verrast door de insteek die enkele media, waaronder Adformatie, hadden gekozen. Zo zou de samenstelling van de panels niet altijd even evenwichtig zijn, zaten veel respondenten in meerdere panels tegelijk en blijkt geld een belangrijke drijfveer om aan dit soort onderzoek mee te doen. Adformatie kopte zelfs: 'MOA kritisch over online panels'.

'Dat klopt niet', verklaart Verheggen. 'We hebben met dit onderzoek niet beoogd om het panel onderzoek te beoordelen. Er wordt ook geen vergelijking gelegd met andersoortig onderzoek. Daar komt bij dat dit de allereerste studie naar online panels is, dus valt er ook niks te vergelijken.'

Het bijzondere aan de Nopvo-uitkomsten is dat er 'nu een situatie is waarin we verschillen in uitkomsten tussen verschillende internetpanels kunnen verklaren'. Dat zegt Ted Vonk van Onderzoekpaleis, die de studie uitvoerde in samenwerking met Robert van Ossenbruggen (ProCression) en Pieter Willems van Millward Brown. 'De aspecten die daarbij een rol spelen, hebben wij in kaart gebracht door de bureaus in kwestie te ondervragen', vertelt Vonk.

Zowel leden als niet-leden van MOA werden uitgenodigd en het merendeel deed mee. Van de deelnemende bureaus is bekend hoe ze hun panelleden werven, hoe vaak die aan onderzoeken meedoen, hoe vaak hun achtergrondgegevens worden ververst, hoeveel geld ze krijgen per ingevulde vragenlijst en voor welk type onderzoek ze nog meer worden ingezet.

Het onderzoek heeft niet alleen learnings opgeleverd voor de MOA, maar ook voor de ondervraagde onderzoeksbureaus. Volgens Vonk hebben verschillende bureaus nadere gegevens ingewonnen bij hun respondenten, ondermeer over het lidmaatschap van andere online panels.

Uit het onderzoek blijkt namelijk dat er een kleine groep van 'beroepsrespondenten' bestaat, die lid zijn van soms wel negentien verschillende panels. Deze overexposure kan makkelijk leiden tot een 'leereffect', constateren de onderzoekers. Verheggen benadrukt echter dat daarmee geen waardeoordeel wordt uitgesproken: 'We zeggen daarmee niet dat het slecht is als respondenten lid zijn van meerdere panels. Dat hoeft namelijk helemaal niet zo te zijn.'

'De insteek van dit onderzoek was om te verklaren hoe verschillen tussen online panels worden veroorzaakt', licht MOA-directeur Wim van Slooten toe. Daarbij wordt internationaal nagedacht over een' lso-standaard om panelgedrag te normeren. 'Ons onderzoek draagt daaraan bij, al zal het in grotere landen zoals de VS heel moeilijk zijn om vergelijkbaar onderzoek op te zetten. Niet alleen vanwege de omvang, maar ook vanwege de argwaan tussen bureaus. In Nederland gaan we heel amicaal met elkaar om.' De MOA heeft alvast enkele suggesties voor 'panelnormering': eenjaarlijkse update van de panellijst, voldoende gegevens over de panelleden en (uiteraard) altijd 'opt-in' werken.Voorzitter Verheggen benadrukt nog maar eens dat de MOA geen oordeel uitspreekt over de ondervraagde bureaus. Dat geldt dus ook voor de beloning van respondenten. 'Wie zegt dat dat verkeerd is? Bij schriftelijk onderzoek krijgen deelnemers ook cadeautjes.' Het is ook niet per se de 'beroepsrespondent' die zijn vragenlijsten afraffelt. 'Dat is veeleer de slordige respondent, of het is het enthousiasme van mensen die vragenlijsten gewoon leuk vinden om in te vullen.'

Online Panels: Nederland koploper

Nederland loopt voorop in online panelonderzoek. Landen als Duitsland, Frankrijk en Groot Brittanie lopen volgens NOPVO onderzoeker Ted Vonk twee jaar op ons land achter. Wereldwijd wordt 20 procent van de omzet van onderzoekbureaus online gerealiseerd. volgens de MOA kan die omzet doorgroeien naar 30 procent, al schat Vonk op persoonlijke titel dat er zelfs nog veel meer mogelijk is. Hij verwijst daarbij naar Japan, waar de daar nog veel meer ingeburgerde mobiele telefoon steeds meer mogelijkheden biedt, ook voor onderzoek. "Via gps weet je dan precies waar de consument is".

Van ‘de Nederlandse marketeers’ heeft 64% grote behoefte aan onorthodox, creatief, inventief en intuïtief onderzoek stond in de vorige editie van Tijdschrift voor Marketing. En uit recent onderzoek van Experian blijkt dat maar liefst 95 procent van ‘de Nederlanders’ tevreden is met zijn of haar leven. En oh ja, van Men’s Health hebben we geleerd dat het voorspel van ‘de Nederlandse man’ gemiddeld 16,34 minuten duurt. Dagelijks zien we dit soort cijfers in tijdschriften en op TV. We horen echter zelden dat deze cijfers gebaseerd zijn op een specifieke informatiebron.

Meer dan 50% van het vragenlijstonderzoek in Nederland wordt tegenwoordig uitgevoerd middels online access panels: grote databases van personen die bereid zijn om met enige regelmaat vragenlijsten in te vullen. Deze ontwikkeling is heel snel verlopen, als je nagaat dat nog geen 10 jaar geleden Internet voor bijna iedereen een onbekend fenomeen was. Begon enkele jaren terug nog sceptici over de generaliseerbaarheid van enquêtegegevens die zijn verkregen via Internet, nu zien we een bijna blinde acceptatie van deze zeer snelle en kostenefficiënte manier om data te verzamelen. Ondertussen is de concurrentie tussen panelaanbieders enorm, staan de prijzen onder druk en zijn er onvoldoende richtlijnen over hoe je een online panel runt, met als gevolg een toenemende bezorgdheid over de kwaliteit van online panels. Om te inventariseren in hoeverre deze bezorgdheid ook terecht is, is recentelijk een uniek onderzoek uitgevoerd: het Nederlandse Online Panel Vergelijkings Onderzoek (NOPVO). Maar liefst 19 online panels hebben meegedaan aan een experiment waarbij deelnemers uit elk van deze panels gevraagd werd een gestandaardiseerde vragenlijst in te vullen. Deze 19 panels vertegenwoordigen samen meer dan 90% van de Nederlandse online panelmarkt. Dit is een unicum omdat op deze manier de kwaliteit van vrijwel het gehele online panelaanbod in kaart gebracht kon worden.

Om panels zo goed mogelijk met elkaar te vergelijken is één vragenlijst samengesteld, met typische marktonderzoek- en opinie vragen zoals bijvoorbeeld de spontane en geholpen merk- en reclame bekendheid, politieke voorkeur, levensstijl etc. Uit elk panel is aan 1000 mensen gevraagd om deze vragenlijst in te vullen. De panels hebben hun best gedaan om deze steekproef zo representatief mogelijk samen te stellen. De mate waarin panelleden aan de oproep tot deelname gevolg hebben gegeven, zou al direct een betekenisvolle uitkomst van het onderzoek zijn.

Het NOPVO-onderzoek heeft een bijzonder goed beeld gegeven van wie er wel en niet achter de cijfers zitten, en waar marketeers hun beslissingen vandaag de dag op baseren.

Select gezelschap

De meeste panels waren redelijk goed in staat om de bruto steekproef van 1000 mensen zodanig samen te stellen dat er, na uitval als gevolg van non-respons, een evenwichtige netto steekproef overbleef in termen van algemene, sociaal-demografische achtergrondkenmerken. Met zaken als leeftijd, geslacht, opleiding en regio zat het qua verdeling dus wel goed. Ook kunnen we op basis van dit onderzoek de hardnekkige gedachte dat er in zoveel ‘werklozen, huisvrouwen en studenten’ aan panelonderzoek meedoen onderuit halen. We constateren echter ook enige hiaten. Zo zien we binnen de panels bijvoorbeeld een consequent overschot aan heavy users van Internet, SP-stemmers en autochtonen, om maar eens een paar afwijkingen te noemen.

De 65-plus categorie is op voorhand al buiten het onderzoek gelaten omdat de meeste panels moeite hebben om genoeg respondenten in deze groep te werven. Nu kan er voor een ondervertegenwoordiging van individuele kenmerken zoals politieke voorkeur nog wel gecompenseerd worden in marktonderzoek, maar als er bepaalde doelgroepen wezenlijk zijn ondervertegenwoordigd wordt het lastig. Een voorbeeld van zo’n ondervertegenwoordigde doelgroep is de groep niet-westerse allochtonen. In de NOPVO studie maakt deze groep nog geen 1% uit van de steekproef terwijl dit volgens CBS cijfers 9% behoord te zijn. In de grote steden behoort meer dan 30% tot deze groep maar in het NOPVO vinden we daar maar 2%. Hierbij moeten we echter wel benadrukken dat dit bij traditionele vormen van onderzoek een minstens zo lastige groep is om te bereiken. We hebben bij online panelonderzoek echter een groot voordeel: we maken gebruik van databases waarin een heleboel achtergrondgegevens en responsgedrag van de panelleden staan geregistreerd.

Dit betekent dat er juist bij panelonderzoek de technische mogelijkheid bestaat om gedetailleerd inzicht te krijgen welke groepen juist zo lastig in de steekproef te krijgen zijn. Concreet leidt dit tot kansen om deze ‘lastige’ groepen doelgericht te werven en uit te nodigen voor panelonderzoek. Dus: dankzij de technologische ontwikkelingen ontstaat de mogelijkheid om de grootste bedreiging van marktonderzoek—non-respons—om te vormen tot een belangrijke kans om survey onderzoek verder te ontwikkelen.

Variatie in panelmanagement leidt tot ander gedrag, niet tot andere antwoorden

Aanbieders van online marktonderzoekpanels gebruiken verschillende methodes om panelleden te werven, variërend van online benaderen, het aankopen van adressen, telefonisch benadering of werving via traditioneel onderzoek. Ook gaat men verschillend om met beloning. Er worden prijzen verloot, spaarpunten uitgedeeld of namens de panelleden schenkingen gedaan aan goede doelen. Dit alles om deelnemers verbonden te houden aan de panels.

Deze kenmerken hebben effect op het gedrag van de panelleden. Zo zien we dat telefonisch geworven panelleden beter responderen dan online geworven panelleden. In het algemeen reageren respondenten beter op uitnodigingen tot deelname wanneer deze respondenten actief door panels geworven zijn dan wanneer ze zichzelf hebben ingeschreven voor deelname in een onderzoekspanel. Bovendien zien we dat actieve werving middels telefonische of schriftelijk benadering resulteert in meer unieke leden die geen lid zijn van andere panels, in vergelijking met werving via online campagnes en zelfaanmelding. Vervolgens was het opvallend dat een vaste beloning resulteert in een hogere respons in vergelijking met incentives zoals prijsverloting of namens de respondent een bedrag aan een goed doel overmaken.

Interessant is dat de verschillen die we vinden tussen panels in beantwoording niet verklaard konden worden door bovenbeschreven kenmerken. Indicatoren zoals responsepercentage of meervoudig panellidmaatschap die in marktonderzoek als belangrijke aanwijzingen werden gezien voor de kwaliteit van onderzoek, blijken geen effect te hebben op de beantwoording van online vragenlijsten. Dit is als zodanig een opvallende uitkomst. De vraag is dan vervolgens: wat bepaalt dan wél de verschillen?

Verschillende typen respondenten belangrijkste oorzaak van verschillen in uitkomsten

Het onderscheid in respondenttypen blijkt ons verder helpen. Er wordt binnen marketing en markonderzoek veel gesproken over de zogenaamde professionele respondent: Personen die aan de lopende band vragenlijsten invullen en van veel panels lid zijn. En die respondenten blijken inderdaad te bestaan. Verrassend genoeg laat dit type respondent nauwelijks afwijkende antwoorden zien op de vragenlijsten. Waar we veel alerter op moeten zijn is het type dat wij de gemakzuchtige respondent hebben genoemd. Dit zijn personen die zo snel mogelijk de vragenlijst invullen en niet of nauwelijks de moeite nemen om open vragen te beantwoorden. Dit type respondent vertoont vaak zogenaamd ‘doorklik’ gedrag: een reeks stellingen wordt allemaal van dezelfde antwoorden voorzien, ongeacht de inhoud van de vragen. Het serieus invullen van een vragenlijst is er niet bij. Tegenover de gemakzuchtige respondent staat de loyale respondent. Deze neemt de tijd voor het invullen van de vragenlijst en beantwoordt open vragen uitgebreid. Figuur 1 laat zien tot hoe de verschillende respondenttypen reageren op de vraag naar de reclamebekendheid van een aantal merken. We zien duidelijk dat loyale respondenten zich meer reclames herinneren dan de andere respondenttypen en dat met name gemakzuchtige respondenten zeer slecht reageren op reclameherinnering.

Verschillen in marketing KPI’s zoals merk- en reclamebekendheid blijken goed te verklaren te zijn vanuit het respondenttype. Panels met veel gemakzuchtige respondenten leveren een relatief lage merk- en reclamebekendheid op, panels met relatief weinig van dit type respondenten een relatief hoge.

Hoewel er talloze voordelen aan online onderzoek zitten, is dit van zelfsprekend één van de meest kwetsbare onderdelen van deze vorm van ondervragen: er is geen controle over wie wat en hoe invult. Bovendien zet de combinatie van beloning en double opt-in registratie (respondenten moeten 2 keer zelf bevestigen dat ze deel willen nemen) de deur open naar de instroom van gemakzuchtige respondenten. Het is een uitdaging voor panelbureaus om de verschillende respondent typen in hun panelbestanden te traceren en tenminste de samenstelling van respondenttypen in steekproeven op dit soort eigenschappen vergelijkbaar te maken.

Werk aan de winkel

De uitkomsten van NOPVO kunnen we beschouwen als een belangrijke gelegenheid om de methode van online dataverzameling verder te professionaliseren. Want één ding is zeker: aan de traditionele manier van enquêteren hangen zeker zo veel bezwaren. Telefonisch kunnen we onvoldoende mensen bereiken en straatinterviews zijn te tijdrovend om in veel gevallen nog effectief in gezet worden.Nederland loopt in de wereld voorop met het gebruik van online panels voor het verzamelen van opinie- en marktgegevens. Met het NOPVO hebben we beoogd handreikingen te bieden om de kwaliteit van online panelonderzoek verder te verhogen. De deelname van 19 panels aan dit onderzoek bewijst dat de aanbieders van online onderzoek veel waarde hechten aan innovatie en ontwikkeling. Er wordt op dit moment bijvoorbeeld al gewerkt aan de inzet van creatieve wervingsmethoden om de samenstelling van online panels te verbreden. Andere bureaus zijn bezig met de ontwikkeling van analysetechnieken om real time de gemakzuchtige respondenten uit het onderzoek te kunnen filteren.Kortom, er is in deze industrie zonder meer werk aan de winkel, waar tegenover staat dat dit ook, as we speak, gebeurt: deze relatief jonge markt is zich razendsnel aan het ontwikkelen en continu op zoek naar aanscherping. Enige bezorgdheid en een kritische blik zijn altijd op zijn plaats, maar Het NOPVO-onderzoek laat zien dat er genoeg reden is om met dit onderzoeksinstrument de toekomst met vertrouwen tegemoet te zien.

Het NOPVO is een initiatief van Robert van Ossenbruggen (ProCression), Ted Vonk (Onderzoekpaleis) en Pieter Willems (Millward Brown) en is uitgevoerd onder de auspiciën van de MarktOnderzoekAssociatie (MOA). NEBU heeft geheel belangeloos het scripten en datamanagement op zich genomen. Naast een empirisch onderzoek bestond het NOPVO ook uit een overzicht van alle panelbureaus in Nederland. Dit overzicht en de resultaten van dit onderzoek zoals ze op 14 september zijn gepresenteerd zijn integraal te vinden op www.moaweb.nl/nopvo. Een aantal highlights:

· De meeste respondenten doen mee met panelonderzoek omdat ze het leuk vinden om vragenlijsten in te vullen of graag hun mening kwijt willen; de beloning komt op de derde plek

· In hoe meer panels men zit, hoe vaker en sneller men respondeert

· De responspercentages varieerden van 18% tot en met 77%

· Het responspercentage zegt niets over de kwaliteit van de steekproef

· Het merendeel van de gevonden verschillen tussen de panels zijn niet zo groot

· Als er grote verschillen zijn, komt dit in de meeste gevallen door 1 of 2 panels met een uitzonderlijke uitkomst

· Professionele respondenten bestaan; ze vormen echter nauwelijks een bedreiging voor de kwaliteit van onderzoek

· Het hardnekkige gerucht dat panels voornamelijk uit werklozen en studenten bestaan blijkt totaal ongegrond

Belangrijke adviezen voor inkopers van online panelonderzoek:

· Gebruik online panels vooral voor trendmetingen en concepttesting

· Wees voorzichtig met het gebruik van online panels voor penetratiemeting

· Wissel niet van panel in continu onderzoek: net als bij face-to-face en telefonisch onderzoek bestaat er bij wisseling een reële kans op een trendbreuk

Figuur 1: Verschillen tussen type respondenten in reclame bekendheid (weergegeven als deviatie van het gemiddelde)

‘Als je met een panel van vrijwilligers werkt, kijk dan of zo’n panel wel de goede weg is om je onderzoeksvragen te beantwoorden’. Dat zegt Ineke Stoop, hoofd van de afdeling Informatievoorziening en Automatisering van het Sociaal-Cultureel Planbureau

Stoop geeft daarmee de belangrijkste uitkomst weer van het symposium Access panels en Online Onderzoek over internetpanels, op 16 september op initiatief van DANS gehouden in Amsterdam. Het moment van de bijeenkomst was goed getimed. Een maand eerder waren de resultaten gepresenteerd van het Nederlands Online Panel Vergelijkingsonderzoek (NOPVO) dat, georganiseerd vanuit de marktsector, tot kritische conclusies kwam over de kwaliteit van onderzoek met internetpanels. Ineke Stoop zelf leverde op het symposium een keynote af waarin ze benadrukte dat er veel verschillende soorten marktonderzoek, en daarbinnen panelonderzoek bestaan - ieder met hun eigen voor- en nadelen, ook wat betreft de betrouwbaarheid van de uitkomsten en het mogelijke effect van de non-respons. ‘Voor de kritische conclusies van het NOPVO en van het hele symposium is niet de webbasis van de panels beslissend,’ zegt ze dan ook terugkijkend, ’maar het vrijwillige karakter. Je kan ook panels organiseren met face-to-face interviews of schriftelijke enquêtes. Maar met een steekproef van vrijwilligers krijg je altijd een afwijking doordat het om een specifieke groep gaat. En daarvoor kan je niet controleren omdat je niet precies weet in welk opzicht die groep afwijkt’. Dat was inderdaad een van de belangrijkste conclusies van het NOPVO. In marktonderzoek wordt veel belang gehecht aan de respons, waarmee dan het percentage beantwoorde vragenlijsten wordt bedoeld binnen het panel. De respons heeft echter wel invloed op de efficiency van het onderzoek maar niet op de uitkomsten, concludeerde NOPVO. Die worden sterk gekleurd door de selectie die voorafgaand aan het panelonderzoek heeft plaatsgevonden: wie neemt er wel en niet deel aan het panel. ‘Het grootste deel van de populatie zit niet in de panels’, aldus de NOPVO-presentatie. ‘En die geven die àndere antwoorden’. Wie er wel in zitten zijn bovendien vaak mensen die aan meerdere panels deelnemen, niet zelden vanwege de interessante beloning. ‘Ons vermoeden van een flinke overlap werd bevestigd door het onderzoek,’ zegt achteraf onderzoeker Robert van Ossenbruggen (ProCression), die de NOPVO-presentatie in Amsterdam mede voor zijn rekening nam. Hij voerde ook het onderzoek uit, samen met Ted Vonk (Onderzoekpaleis) en Pieter Willems (Millward Brown).

Lastige conclusies, zo wordt algemeen ingezien in de marktsector, waar uit kostenoogpunt veel met de z.g. volunteer panels wordt gewerkt. Al maakt het natuurlijk verschil of je ‘onderzoek doet naar toetjes en wasmiddelen dan wel naar technische producten zoals digitale camera’s’, relativeert Van Ossenbruggen. Maar het is ook een zelfkritische dus dappere conclusie, benadrukt Stoop die naar eigen zeggen ‘naar adem zat te happen’ toen ze de presentatie van het NOPVO een maand eerder bijwoonde. Zijn er ook oplossingen? NOPVO komt tot een soortgelijke conclusie als Stoop: ‘Vraag je af of je dat wat je wil weten nauwkeurig genoeg kan meten met volunteer panels’. En: ‘Gebruik online panels vooral voor trendmetingen en concept testing’.Van Ossenbruggen pleit desgevraagd ook voor beter panelmanagement: ‘Er moet een standaard komen. Daar wordt internationaal al aan gewerkt, maar onze studie laat weer zien dat het echt nodig is’. Stoop wijst nog eens op het vrijwillige karakter als oorzaak van de problemen: ‘Als je een nette steekproef trekt kan je daarmee via internet hele betrouwbare resultaten bereiken – ook in een panel’. Aan zo’n opzet wordt volgens de methodologe door sommige onderzoekers ook hard gewerkt. De steekproef voor CentERdata van de Universiteit Tilburg bijvoorbeeld, dat ook op het symposium werd gepresenteerd als een ‘voor academische onderzoekers vrij toegankelijk platform’ dat drijft op een panel van vijfduizend huishoudens. Die wordt ‘op traditionele wijze’ getrokken samen met het CBS, met extra aandacht voor moeilijke doelgroepen zoals ouderen en allochtonen die bijvoorbeeld apparatuur in bruikleen krijgen en toegang tot het internet. Een hele vooruitgang ten opzichte van de volunteer opzet, aldus Stoop. Maar toch: ‘Als je ouderen aan de computer gaat zetten wéét je dat dat een bepaald soort ouderen is. En zijn allochtonen thuis op internet, dan zijn het hoog opgeleide allochtonen’.