Startpagina / Samenvattingen / Meten en observeren: een open leerpakket / overeenkomst-observatoren-beoordelaars0

Observeren - Interbeoordelaarsbetrouwbaarheid nagaan

4 belangrijke vragen over Observeren - Interbeoordelaarsbetrouwbaarheid nagaan

Geef een overzicht voor de keuze in formule van de berekening van de interbeoordeelaarsbetrouwbaarheid

Categorische variabele
2 beoordeelaars -> cohen's kappa
meer dan 2 -> fleiss kappa

Variabele van interval of ratio-niveau
2 beoordeelaars -> ICC
meer dan 2 -> ICC

Welke stappen zet je om tot de interbetrouwbaarheid te bekomen>

Ga na wat het type variabele is
Ga na welke analysetechniek je dient te gebruiken
Structureer de data op de juiste manier (nadenken over opzet dataframe)
Analyse maken
Rapportage over gemaakte keuzes

Wat is de vuistregel voor de interpretatie van Cohens Kappa

κ < 0.20 Weinig tot geen overeenkomst tussen beoordelaars

0.20 < κ < 0.40 Beperkte overeenkomst tussen beoordelaars
0.40 < κ < 0.60 Matige overeenkomst tussen beoordelaars
0.60 < κ < 0.80 Sterke overeenkomst tussen beoordelaars
κ > 0.80 Zeer sterke tot volledige overeenkomst tussen beoordelaars

Welke vragen staan centraal voordat je begint met het berekenen van de interbeoordeelaarbetrouwbaarheid

• Hoeveel observatoren laat je eenzelfde gedrag beoordelen (twee of meer dan twee)?
En, laat je alle observatoren allemaal dezelfde gedragingen beoordelen? Of, laat je een deel van het gedrag door telkens twee (of meer) andere observatoren beoordelen?