Empirische Forschung mit audiovisuellen Medien

Probecodierung

Nach Abschluss der Entwicklungsphase solltest du sinnvollerweise, wenn du dein Codebuch erstellt hast, die Planung für das Projekt überprüfen und gegebenenfalls überarbeiten. Gleiches gilt für dein Kategorienschema, falls hier Aspekte korrigiert, ausgebaut oder ergänzt werden müssen.

Überarbeitungsbedürftige Aspekte des Projekts und des Codebuchs findest du durch Probecodierungen, so genannte “Pretests” heraus, da viele Fehler erst in der konkreten Anwendung sichtbar werden.

Reliabilität und Validität

Zentral im Rahmen der Probecodierung sind die Prüfung von Reliabilität und Validität.

• Prüfung der Reliabilität: Reliabilität bestimmt die Zuverlässigkeit der Messung bzw. des Messinstruments, der Codierer oder des Codebuchs. Die Überprüfung der Reliabilität erfolgt durch eine Wiederholung der Messungen zu verschiedenen Zeitpunkten mit einem Forscher (Intracoderreliabilität). Bei der Wiederholung sollte das gleiche Ergebnis erzielt werden. Relevant ist außerdem, ob mehrere Forscher die gleichen Ergebnisse liefern (Intercoderreliabilität).
• Validität: Validität bestimmt die Gültigkeit der Messung. Wurde das gemessen, was gemessen werden sollte? Deine Überprüfung des Forschungsdesigns muss ergeben, dass die Forschungsfrage exakte Ergebnisse über den Problembereich liefert. Wenn du nach der Popularität eines Politikers fragst, ist es beispielsweise nicht sinnvoll, die Anzahl der Bezüge auf seine Person in Tageszeitungen zu erfassen. Die Anzahl der Bezugnahmen liefert dagegen valide Messungen über den Grad der Publizität dieses Politikers in dem untersuchten Medium.

Intercoderreliabilität

Wenn du zusammen mit weiteren Codierern arbeitest, solltest du eure Ergebnissen nach den Pretests vergleichen und deine Codierer so lange weiter schulen, bis sie die Anweisungen beherrschen und bis sie reliable Ergebnisse liefern. Das Instrument für diesen Vergleich nennt sich “Intercoderreliabilitätstest”. Die Intercoderreliabilität wird folgendermaßen berechnet:

Ist das Ergebnis ein Wert über 0.7, so ist es meist eine akzeptable Intercoderreliabilität.

Intracoderreliabilität

Wenn nur ein Codierer am Werk ist, kann man durch den Intracoderreliabiliätstest überprüfen, ob der Codierer über die Zeit hinweg reliabel codiert hat. Dazu codiert der Codierer einen Artikel ganz zu Beginn der Inhaltsanalyse, den er nach Abschluss der Inhaltsanalyse erneut codiert. Die Formel für die Berechnung der Intracoderreliabilität ist demnach eine Abwandlung des Intercoderreliabilitätstests:

Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.