Quartz 4

week8-overcoming-nonresponse-bias-basic-question-approach

4 min read

Up: survey-nonresponse Prev: week7-survey-skipped-class Next: week9-overcoming-nonresponse-bias-adaptive-design

Reading Notes:

  • Wichtige Punkte zum Thema
  • Was ist Nicht-Antwort-Verzerrung?
    • Eine Verzerrung (distortion) passiert, wenn manche Leute in einer Umfrage (survey) nicht antworten. Dadurch spiegelt die Stichprobe (random sample) nicht die gesamte Zielgruppe wider. — widerspiegeln = reflect/mirror
    • Das kann die Ergebnisse (results) falsch machen.
  • Warum antworten manche Leute nicht?
    • Sie haben kein Interesse oder keine Zeit.
    • Die Umfrage ist zu lang oder kompliziert.
    • Es gibt sensible Fragen (z.B. über Einkommen oder Gesundheit).
    • Manche Gruppen (z.B. junge oder ältere Menschen) antworten seltener.
  • Was ist der grundlegende Fragen-Ansatz?
    • Dieser Ansatz hilft, mehr Antworten zu bekommen und Verzerrungen zu reduzieren, indem man die Fragen besser gestaltet. Wichtige Regeln sind:
      • Einfach und klar: Fragen sollen kurz und leicht verständlich sein. Keine schwierigen Wörter benutzen.
      • Interessant: Fragen sollen für die Teilnehmer wichtig oder relevant sein.
      • Sensible Fragen vermeiden (avoid): Fragen über persönliche Themen vorsichtig stellen, z.B. “Was denken die meisten Menschen über …?“.
      • Motivation: Am Anfang der Umfrage erklären, warum die Antworten wichtig sind.
      • Flexibilität: Teilnehmer dürfen Fragen überspringen oder “Ich weiß nicht” sagen.
  • Praktische Tipps:
    • Reihenfolge (order) der Fragen: Mit einfachen Fragen anfangen, dann schwierigere oder persönliche Fragen stellen.
    • Sprache und Ton: Freundlich und respektvoll schreiben, nicht wie ein Richter (judge) klingen.
    • Design: Bei Online-Umfragen eine klare Oberfläche (interface) nutzen, bei papier-Umfragen gut lesbar (readable) machen.
    • Testen: Die Umfrage mit einer kleinen Gruppe ausprobieren, um Probleme zu finden.
    • Erinnerungen (reminders): Leute, die nicht antworten, höflich (politely) erinnern, aber nicht nerven.
  • Andere Wege, Verzerrungen zu reduzieren
    • Stichprobe verbessern: Verschiedene Gruppen in der Zielgruppe erreichen, z.B. per Telefon, E-Mail oder persönlich.
    • Gewichtung (Weighting): Antworten von Gruppen, die wenig antworten, stärker zählen lassen.
    • Belohnungen (rewards): Kleine Geschenke anbieten, um mehr Leute zu motivieren (aber das kann die Qualität der Antworten ändern).

matsuo2010 - measurement and adjustment of non-response bias

  • Non-response surveys:
    • Belgium (DQS): A short questionnaire (7 questions) was offered to refusals at the doorstep during the main ESS survey, achieving a 44.7% response rate among refusers.
    • Norway (NRS): A longer questionnaire (15 questions) was mailed to both respondents and non-respondents after the main survey, with response rates of 60.8% (respondents) and 30.3% (non-respondents).
  • Methodology:
    • The study compares cooperative respondents (those who participated in the main ESS) with non-respondents who answered the DQS/NRS.
    • Logistic regression models estimate response propensity, and propensity score weighting is applied to adjust for bias.
    • Key variables include demographics (age, education, work status) and attitudinal/behavioral factors (political interest, social participation, trust in democracy).
  • Findings:
    • Significant differences exist between respondents and non-respondents. In Belgium, non-respondents are older, less educated, less socially active, and less interested in politics. In Norway, non-respondents have lower education, are more likely unemployed, watch more TV, and have less trust in democracy and politicians.
    • Propensity score weighting effectively reduces bias for most demographic variables in both countries but in less successful for some attitudinal variables (e.g., political interest).
    • Weighting does not significantly alter regression parameters in explanatory models (e.g., acceptance of immigrants, trust in politics), suggesting minimal impact on substantive conclusions.
  • Conclusions:
    • The NRS is more effective than the DQS due to its broader target group and longer questionnaire, but it is costlier and more time-consuming.
    • The DQS could be improved by including more questions and targeting a wider range of non-respondents.
    • Propensity score weighting is a promising method for adjusting non-response bias, though its effectiveness depends on sample size and response rates.
    • Further research is needed to standardize non-response surveys across countries and explore additional predictors.

Lecture Notes:

  • Basic question is also known as the exit question
    • when the person decide to not respond, we ask a basic exit question to know more about who is not responding our questionnaire
  • It is mostly used in face-to-face or telephone because it is hard to

Graph View

Backlinks