Implementierung eines Web-basierten Datenerhebungsmodus in einem bestehenden Panel der Allgemeinbevölkerung: Eine Analyse der Selektions- & Messeffekte

Beschreibung

"Dieser Methodenreport untersucht die Selektions- und Messeffekte des ersten Websurveys des Panels Arbeitsmarkt und soziale Sicherung (PASS). Die Modellierung der Selektionseffekte ist Grundlage für die Gewichtung des Websurveys und kann als ergänzende ausführliche Dokumentation hierzu aufgefasst werden. Die Untersuchung der Messeffekte gibt Aufschluss darüber, bei welchen Fragen womöglich nur eine eingeschränkte Vergleichbarkeit zwischen den intervieweradministrierten Modi der Haupterhebung von PASS und dem PASS-Websurvey vorliegt. Web-Befragungen werden immer beliebter. Neben den Vorteilen wie schnellere Verfügbarkeit von Daten und geringeren Kosten gibt es allerdings auch Nachteile. So können Web- Befragungen im Vergleich zu Modi mit Interviewenden oftmals weniger Menschen erreichen (geringere Responserate) und werden dabei bestimmte Gruppen (z.B. Ältere, gering Gebildete) unterrepräsentiert (Nonresponse-Bias). Befragte müssen ein gewisses Maß an Internetaffinität mitbringen und können nicht durch Interviewende zur Teilnahme motiviert werden. Oftmals wird der Web-Modus daher nicht als Ersatz, sondern als Ergänzung zu bestehenden Modi verwendet. Dabei wird darauf abgezielt, dass sich die Selektionseffekte der verwendeten Modi gegenseitig ausgleichen. Gleichzeitig besteht ein Risiko, dass sich die unterschiedlichen Modi zu Unterschieden in der Messung führen. In diesem Methodenreport wird untersucht, welche Selektionseffekte die Einführung eines Web-Modus in einem bestehenden Panel, dem Panel Arbeitsmarkt und Soziale Sicherung (PASS), mit sich bringt. Zudem wird die Möglichkeit, vorhandenen Nonresponse-Bias mittels Gewichtung auszugleichen, geprüft. Dabei wird überprüft, ob die vergleichsweise neue Methode des Random Forests geeigneter ist als die klassisch verwendete Methode der logistischen Regression. Schließlich werden die Messfehler zwischen dem Web- Modus und den bestehenden Modi des PASS (CAPI und CATI) verglichen. Konkret wird dabei auf Item-Nonresponse, Akquieszenz, Recency sowie sozial erwünschtes Antworten eingegangen. Es zeigt sich, dass der Web-Modus Randgruppen systematisch ausschließt. Vor allem ökonomisch Schwächere, Menschen mit Migrationshintergrund sowie Personen mit niedrigem Bildungsniveau sind im Web-Survey unterrepräsentiert. Das Ausgleichen dieses Bias mittels Gewichtung funktioniert insgesamt gesehen mit der Methode der logistischen Regression besser als mit jener des Random Forests. Es können teilweise große Unterschiede bei den Messfehlern in den verschiedenen Modi gefunden werden, wobei diese nicht immer in die erwartete Richtung gehen." (Autorenreferat, IAB-Doku)

Zitationshinweis

Mühlbacher, Vanessa & Mark Trappmann (2024): Implementierung eines Web-basierten Datenerhebungsmodus in einem bestehenden Panel der Allgemeinbevölkerung: Eine Analyse der Selektions- & Messeffekte. (FDZ-Methodenreport 01/2024 (de)), Nürnberg, 74 S. DOI:10.5164/IAB.FDZM.2401.de.v1