Betrouwbaarheid en validiteit: welke criteria kies je?

Twee studenten analyseren dezelfde twaalf interviews en komen tot twee verschillende uitkomsten. Welke van die twee analyses de betere is, bepalen kwaliteitscriteria, en voor kwalitatief onderzoek gelden daarbij andere maatstaven dan voor kwantitatief onderzoek.

Kwaliteitscriteria zijn de maatstaven waarmee je beoordeelt of een onderzoek wetenschappelijk bruikbaar is. Nederlandse handboeken noemen voor kwantitatief onderzoek vooral betrouwbaarheid en validiteit. Voor kwalitatief onderzoek bestaat geen vaste lijst, maar concurreren meerdere voorstellen, waarvan de zes criteria van Philipp Mayring het bekendst zijn. Na dit artikel weet je welke lijst bij jouw methode past en hoe je die keuze onderbouwt.

📌 De kern in het kort

• Kwantitatief onderzoek toetst objectiviteit, betrouwbaarheid en validiteit.
• Nederlandse handboeken voeren objectiviteit niet als apart hoofdcriterium.
• Mayring noemt zes algemene criteria voor kwalitatief onderzoek.
• Steinke komt op zeven, Lincoln en Guba op vier.
• Dependability en confirmability hebben geen vaste Nederlandse vertaling.

Wat zijn kwaliteitscriteria? Definitie

Kwaliteitscriteria zijn maatstaven waarmee je de kwaliteit van een wetenschappelijk onderzoek beoordeelt. Ze beantwoorden de vraag of een uitkomst voortkomt uit de gekozen werkwijze of uit de persoon die deze heeft toegepast.

Een alledaagse waarneming en een wetenschappelijke uitspraak verschillen precies op dat punt. ‘Mij viel op dat de sfeer in het team omsloeg’ is een indruk. Pas wanneer navolgbaar wordt hoe die uitspraak tot stand kwam, met welk instrument, bij welke mensen en volgens welke regels, ontstaat er een bevinding waarover vakgenoten kunnen discussiëren. Kwaliteitscriteria zijn de taal voor dat verschil.

Een kwaliteitscriterium is daarbij geen voorschrift, maar een wetenschappelijke afspraak. Geen wet en geen onderwijs- en examenregeling legt vast welke criteria je in een scriptie moet toetsen. Beoordeeld wordt ook niet of je ze allemaal haalt, maar of je kunt benoemen welke je haalt en waar je onderzoek tegen een grens aanloopt. Doorslaggevend is in twijfelgevallen de richtlijn van je opleiding of je begeleider.

Waar de kwaliteitscriteria in je inhoudsopgave thuishoren, ligt evenmin vast. Gebruikelijk zijn twee plaatsen: een aparte paragraaf in het hoofdstuk over je onderzoeksopzet, of een passage in de reflectie op je eigen werkwijze. Beide varianten met hun voordelen en nadelen bespreekt het artikel over objectiviteit, betrouwbaarheid en validiteit.

Kwaliteitscriteria van kwantitatief onderzoek

De kwaliteitscriteria van kwantitatief onderzoek zijn objectiviteit, betrouwbaarheid en validiteit. Ze beantwoorden achter elkaar drie vragen: hangt de uitkomst af van wie meet, hoe groot is de meetfout, en wordt wel het kenmerk gemeten waar het om gaat?

Nederlandse handboeken zetten die drie niet altijd naast elkaar, maar in de meetleer van tests en vragenlijsten horen ze bij elkaar. Hoe je elk criterium afzonderlijk toetst, staat uitgebreid in het artikel over objectiviteit, betrouwbaarheid en validiteit.

Waarom betrouwbaarheid aan validiteit voorafgaat

De volgorde van de drie is geen gewoonte. Een onbetrouwbare meting kan niet geldig zijn, en een onderzoek waarbij iedere beoordelaar op een andere waarde uitkomt, levert nauwelijks betrouwbare waarden op. Omgekeerd geldt dat niet: een weegschaal die constant twee kilo te veel aangeeft, meet betrouwbaar en toch verkeerd. Nel Verhoeven wijdt aan dat verband een eigen paragraaf in haar hoofdstuk over onderzoekskwaliteit.

Waarom elk handboek een andere lijst met nevencriteria voert

Naast de hoofdcriteria kent de testleer aanvullende eisen, meestal nevencriteria genoemd. Welke dat precies zijn, hangt af van het handboek dat je opslaat. Juist dat punt ontbreekt in vrijwel elke samenvatting op internet, en het verklaart waarom je in twee bronnen twee verschillende lijsten aantreft.

✕ betekent: het criterium staat in die bron niet als eigen punt van de lijst. Normering rekenen Moosbrugger en Kelava in 2020 tot de interpretatie-objectiviteit, in plaats van het als zelfstandig criterium te voeren.

Helfried Moosbrugger en Augustin Kelava hebben de indeling van hun lijst met de 3e druk veranderd. Stonden in de 2e druk uit 2012 nog tien kwaliteitscriteria naast elkaar, in hoofdstuk 2 van de 3e druk van ‘Testtheorie und Fragebogenkonstruktion’ (Springer, 2020) onderscheiden ze algemene en speciale, testtheoretisch gefundeerde criteria. Datzelfde hoofdstuk haalt de conventionele lijst van tien nog steeds uitdrukkelijk aan.

Beide manieren van tellen zijn met evenveel recht juist. Wie zich op de 2e druk uit 2012 baseert, komt op tien kwaliteitscriteria, wie de 3e druk uit 2020 neemt, op een anders ingedeelde lijst. Voor jouw scriptie betekent dat vooral één ding: noem de bron en de druk waaruit je lijst komt, in plaats van over ‘de nevencriteria’ te schrijven alsof er maar één bestaat.

Waarom Nederlandse handboeken objectiviteit niet apart noemen

Objectiviteit als derde hoofdcriterium is vooral een gewoonte van de Duitstalige methodenliteratuur. Het meestgebruikte Nederlandse handboek behandelt de kwaliteit van onderzoek langs drie andere begrippen, en objectiviteit staat daar niet bij.

Nel Verhoeven wijdt in ‘Wat is onderzoek?’ (Boom, 7e druk, 2022) een compleet hoofdstuk aan onderzoekskwaliteit. Dat hoofdstuk loopt van betrouwbaarheid via validiteit en de stelling dat betrouwbaarheid een voorwaarde is voor validiteit naar bruikbaarheid, de mate waarin je onderzoek praktisch relevant is. Objectiviteit komt er niet als zelfstandig hoofdcriterium in voor.

Aan de kwalitatieve kant ziet het beeld er hetzelfde uit. Hennie Boeije en Inge Bleijenbergh behandelen in ‘Analyseren in kwalitatief onderzoek’ (Boom, 4e druk, 2023) de kwaliteit van onderzoek in een eigen hoofdstuk over kwaliteitsdenken, kwaliteitsbewaking en het beoordelen van andermans onderzoek. Ook daar staat objectiviteit niet als aparte maatstaf.

Internationaal loopt de indeling met de Nederlandse gelijk op. De ‘Standards for Educational and Psychological Testing’ uit 2014, uitgegeven door AERA, APA en NCME, delen hun eerste deel in validity, reliability en fairness in testing. Voor jouw scriptie betekent dat vooral één ding: mis je in Nederlands- of Engelstalige literatuur een passage over objectiviteit, dan is dat geen omissie van de bron maar een verschil in systematiek.

Kwaliteitscriteria van kwalitatief onderzoek: de zes van Mayring

De bekendste kwaliteitscriteria voor kwalitatief onderzoek komen van Philipp Mayring en zijn er zes: documentatie van de werkwijze, argumentatieve onderbouwing van interpretaties, een regelgeleide analyse, nabijheid tot het onderwerp, communicatieve validering en triangulatie. Ze vervangen de kwantitatieve maatstaven niet, maar beschrijven wat er in de plaats van een meting komt wanneer er niet gemeten wordt.

Mayring publiceerde zijn lijst in het Duits, en dat verklaart waarom je de begrippen in Nederlandse handboeken niet letterlijk terugvindt. Het boek ‘Einführung in die qualitative Sozialforschung’ verscheen voor het eerst in 1990 en staat inmiddels in de 7e druk uit 2023 (Beltz), met de zes criteria in hoofdstuk 6.3. Wie ernaar verwijst, vermeldt de druk die hij ook echt heeft gebruikt.

Wat de zes criteria in de praktijk van je vragen

Elk van de zes criteria vraagt iets anders van je onderzoek, en pas in die concrete vorm zijn ze bruikbaar. De lijst hieronder zet per criterium neer waar het om draait en wat je erover in je methodenhoofdstuk kunt opschrijven. Je hoeft ze niet alle zes te halen, maar je moet per criterium wel kunnen uitleggen waarom je het wel of niet hebt toegepast.

• Documentatie van de werkwijze: je legt je aanpak zo nauwkeurig vast dat buitenstaanders hem kunnen volgen, inclusief voorkennis, dataverzameling en analyseregels.
• Argumentatieve onderbouwing van interpretaties: duidingen van interviewmateriaal laten zich niet narekenen. Ze worden daarom beargumenteerd, en wel aan het materiaal zelf.
• Regelgeleide analyse: de analyse volgt een vooraf vastgelegd stappenplan. Afwijken mag, mits je de afwijking documenteert en toelicht.
• Nabijheid tot het onderwerp: de dataverzameling vindt plaats in de leefwereld van de onderzochte personen. Een vertrouwensband hoort bij de methode en is geen storende factor.
• Communicatieve validering: je legt uitkomsten en duidingen nog eens aan de respondenten voor. Instemming is een argument voor je duiding, geen bewijs.
• Triangulatie: je bekijkt het onderwerp vanuit meer dan één perspectief, via twee methoden, twee databronnen, twee theorieën of twee onderzoekers.

Codeerovereenstemming, het enige getal in de lijst

Bij interpretatief werk vindt Mayring de overeenstemming tussen beoordelaars bijzonder belangrijk, dus de vraag of twee mensen hetzelfde materiaal gelijk coderen. Op dat ene punt van zijn lijst staat een getal, want de mate van overeenstemming laat zich als percentage of als coëfficiënt uitdrukken. De vijf andere criteria beoordeel je met een argument in plaats van met een waarde.

💡 Tip

Laat iemand anders onafhankelijk van jou vijf fragmenten uit je interviews coderen en vergelijk de uitkomst. Al zo’n kleine steekproef laat zien of je codeboom houdt, en levert je een houdbare zin voor je methodenhoofdstuk op. Zonder die vergelijking blijft de documentatie van je werkwijze een bewering.

Welke andere lijsten met kwaliteitscriteria er zijn

Naast Mayring circuleren er drie lijsten die in scripties regelmatig opduiken: de zeven kerncriteria van Ines Steinke, de vier criteria van Yvonna Lincoln en Egon Guba, en de vijf criteria van Jörg Strübing en collega’s uit 2018.

Welke je kiest, is geen kwestie van smaak maar van werkwijze. Werk je met kwalitatieve inhoudsanalyse, dan ligt Mayring voor de hand, want beide komen uit hetzelfde atelier. Gaat het om de beoordeling van een heel onderzoeksproces, dan biedt Steinke het bredere kader. En wie overwegend Engelstalige literatuur citeert, komt sowieso bij Lincoln en Guba uit.

De zeven kerncriteria van Steinke

Ines Steinke onderscheidt zeven kerncriteria: intersubjectieve navolgbaarheid, indicatie van het onderzoeksproces, empirische verankering, limitatie, coherentie, relevantie en gereflecteerde subjectiviteit. Terug te vinden zijn ze onder meer in het Dorsch Lexikon der Psychologie (Hogrefe), dat de lijst op Steinke (1999) dateert. Intersubjectieve navolgbaarheid draagt bij haar de hele lijst: een buitenstaander moet alleen aan de hand van jouw documentatie kunnen beoordelen hoe je tot je uitkomsten bent gekomen.

De vier criteria van Lincoln en Guba

Yvonna Lincoln en Egon Guba stellen in ‘Naturalistic Inquiry’ (Sage, 1985) vier criteria voor die ze samenvatten onder de noemer trustworthiness. Vier jaar later voegden ze in ‘Fourth Generation Evaluation’ (Sage, 1989) nog vijf criteria toe onder de kop authenticity, die in Nederland nauwelijks zijn opgepakt.

De koppeling in de rechterkolom komt van Lincoln en Guba zelf, die hun vier criteria uitdrukkelijk presenteren als globale tegenhangers van interne validiteit, externe validiteit, betrouwbaarheid en objectiviteit. Bedoeld is een vertaalhulp, geen gelijkstelling: credibility vraagt of je duiding bij het materiaal past, interne validiteit of een causale conclusie standhoudt. Voor Nederlandse lezers is de onderste rij de interessantste, want objectiviteit leeft in het Nederlands vooral als tegenhanger van confirmability en niet als apart hoofdstuk in de handboeken.

Dependability en confirmability: het vertaalprobleem

Voor de begrippen dependability en confirmability van Lincoln en Guba bestaat geen gevestigde Nederlandse vertaling. Ze worden op dit moment op verschillende manieren vertaald, en juist daardoor is het lastig om in je scriptie één term consequent aan te houden.

Minne Bakker en Fijgje de Boer stelden dat probleem in 2021 aan de orde in het Nederlandse vaktijdschrift KWALON (26(2), 88 tot 96). Ze betogen dat kwalitatief onderzoekers bij voorkeur criteria gebruiken die binnen het interpretatieve paradigma zijn ontwikkeld, constateren dat een adequate Nederlandse vertaling van dependability en confirmability ontbreekt, en sluiten hun artikel af met een eigen voorstel voor alle vier de begrippen.

Een reactie liet niet lang op zich wachten. In hetzelfde nummer verscheen het antwoord van Inge Bleijenbergh van de Radboud Universiteit onder de titel ‘Nederlandse kwaliteitscriteria voor kwalitatief onderzoek zijn een stap vooruit: houd ruimte voor verschillende interpretaties’ (26(2), 101 tot 104). Een vaste Nederlandse lijst is er ook na dat debat dus niet.

Duitstalige vakgenoten voeren een vergelijkbare discussie. Jörg Strübing, Stefan Hirschauer, Ruth Ayaß, Uwe Krähnke en Thomas Scheffer stelden in 2018 in de Zeitschrift für Soziologie vijf criteria voor: passendheid bij het onderwerp, empirische verzadiging, theoretische doordringing, originaliteit en tekstuele zeggingskracht. Hun bijdrage draagt de ondertitel ‘Ein Diskussionsanstoß’, en precies dat werd het, want in hetzelfde tijdschrift verschenen replieken.

Wie één lijst kiest, de bron erbij noemt en die consequent toepast, werkt zorgvuldiger dan wie alle vier opsomt.

Veelgemaakte fouten met kwaliteitscriteria in je scriptie

De meeste puntenaftrek in het methodenhoofdstuk komt niet door zwakke waarden, maar door uitspraken die meer beweren dan de gegevens toelaten. Drie fouten komen daarbij bijzonder vaak voor.

Gemeenschappelijk hebben ze dat een kwaliteitscriterium wordt ingezet voor iets waarvoor het niet gemaakt is. Wie de lijsten netjes uit elkaar houdt, ontloopt alle drie bijna vanzelf, en je methodenhoofdstuk wordt er korter van in plaats van langer.

Objectiviteit verwarren met de afnamesituatie

Objectiviteit betekent onafhankelijkheid van de onderzoeker, niet onafhankelijkheid van de omgeving. Vaak lees je dat een meting objectief was omdat ze in een neutrale ruimte plaatsvond. Een neutrale ruimte is echter een kwestie van afnamecondities. Objectief wordt een meting doordat instructie, verwerkingsregels en interpretatieregels vooraf vastliggen en voor alle respondenten gelijk zijn.

Duitstalige lijsten met het verkeerde jaartal citeren

Mayrings ‘Einführung in die qualitative Sozialforschung’ verscheen voor het eerst in 1990 en staat sinds 2023 in de 7e druk. De kerncriteria van Steinke bestaan als monografie uit 1999 en als handboekbijdrage die naargelang de gebruikte druk op 2000, 2008 of 2010 wordt gedateerd. Citeer altijd de druk die je zelf in handen had. Twee verschillende jaartallen voor dezelfde bron in één literatuurlijst vallen meteen op.

Een lijst opsommen zonder die op je eigen onderzoek te betrekken

Een opsomming van de zes criteria van Mayring is nog geen toetsing van je eigen kwaliteit. Beoordeeld wordt of je per criterium kunt zeggen hoe je het hebt ingelost en waar je tegen een grens aanliep. Een zin als ‘Communicatieve validering was door tijdgebrek niet mogelijk, waardoor de interpretaties uitsluitend argumentatief zijn onderbouwd’ is meer waard dan een volledige opsomming zonder verband.

Conclusie

Voor kwantitatief onderzoek is de vraag naar de kwaliteitscriteria beantwoord, voor kwalitatief onderzoek niet, en dat is geen gebrek maar de uitkomst van een lopend vakdebat. Kies één lijst, noem de bron waaruit die komt, en werk hem door op je eigen dataverzameling. Daarmee heb je het methodenhoofdstuk waar het om gaat.

Voor een Nederlandse scriptie komt daar nog een praktisch punt bij. Houd de termen die je kiest je hele afstudeeronderzoek lang gelijk en leg in één zin uit welke vertaling je aanhoudt, dan kan je begeleider je keuze volgen tot en met de mondelinge verdediging.

Hoe verder

• Wil je de drie kwantitatieve criteria in detail? Objectiviteit, betrouwbaarheid en validiteit in je scriptie
• Twijfel je welke aanpak bij je vraag past? Kwalitatief vs. kwantitatief: definitie en verschillen
• Voer je interviews in plaats van een enquête? Kwalitatief interview: vormen, topiclijst en analyse
• Zoek je de passende analysemethode? Analysemethoden kiezen: welke past bij jouw gegevens?
• Wil je het hele proces overzien? Grondslagen van empirisch onderzoek

Onze literatuurtip: Verhoeven, Nel (2022): Wat is onderzoek? 7e druk. Boom: Amsterdam. Hoofdstuk 9 behandelt onderzoekskwaliteit compact en is voor een Nederlandse scriptie het kortste serieuze startpunt. Voor de kwalitatieve kant: Boeije, Hennie en Bleijenbergh, Inge (2023): Analyseren in kwalitatief onderzoek. 4e druk. Boom: Amsterdam.

Wil je dat je vragenlijst voor iedere respondent hetzelfde verloopt?

Met empirio.ai, een online enquêtetool uit Duitsland, krijgen alle deelnemers dezelfde vragen in dezelfde volgorde en komen de antwoorden meteen gestructureerd binnen. De afnameobjectiviteit is daarmee grotendeels geborgd. Voor de verwerkings- en interpretatieregels blijf je zelf verantwoordelijk.

Gratis enquête maken