Δειγματοληπτικό σφάλμα και μεροληψία: η διαφορά και πώς τα μειώνετε

Το δειγματοληπτικό σφάλμα και η μεροληψία απομακρύνουν το αποτέλεσμα μιας έρευνας από την πραγματικότητα με διαφορετικό τρόπο. Το δειγματοληπτικό σφάλμα, ή σφάλμα δειγματοληψίας, είναι τυχαίο σφάλμα: η διαφορά που προκύπτει επειδή ρωτήσατε ένα δείγμα και όχι όλους. Μικραίνει όσο μεγαλώνει το δείγμα και, σε τυχαίο δείγμα, μπορεί να εκτιμηθεί. Η μεροληψία είναι συστηματικό σφάλμα: σπρώχνει τα αποτελέσματα προς μία κατεύθυνση, οφείλεται στο ποιοι είναι στη λίστα σας, ποιοι απαντούν και πώς διατυπώνονται οι ερωτήσεις. Το πρώτο το διορθώνουν περισσότερες απαντήσεις, το δεύτερο μόνο καλύτερος σχεδιασμός. Ο οδηγός απευθύνεται σε όποιον κάνει ή διαβάζει έρευνες.

Τα βασικά σημεία

• Το δειγματοληπτικό σφάλμα είναι τυχαίο και μικραίνει όσο μεγαλώνει το δείγμα: τετραπλάσιες απαντήσεις το κόβουν στο μισό.
• Η μεροληψία σπρώχνει τα αποτελέσματα προς μία κατεύθυνση, και ένα μεγαλύτερο δείγμα δεν τη μικραίνει.
• Το περιθώριο σφάλματος καλύπτει μόνο το δειγματοληπτικό σφάλμα, και μόνο σε τυχαίο δείγμα.
• Το δειγματοληπτικό σφάλμα το μειώνετε με περισσότερες απαντήσεις από τυχαίο δείγμα· τη μεροληψία με καλύτερη λίστα, δεύτερο email σε όσους δεν απάντησαν και καλύτερες ερωτήσεις.

Τι είναι το δειγματοληπτικό σφάλμα (τυχαίο σφάλμα)

Δειγματοληπτικό σφάλμα είναι η διαφορά ανάμεσα σε έναν αριθμό από ένα δείγμα και στον αριθμό που θα βγάζατε ρωτώντας όλη την ομάδα. Υπάρχει μόνο επειδή ρωτήσατε δείγμα· μια απογραφική έρευνα, που ρωτά όλους, δεν έχει κανένα.

Οφείλεται στην τύχη, στο ποιοι έτυχε να επιλεγούν. Δύο τυχαία δείγματα των 200 ατόμων από τη λίστα πελατών ενός ηλεκτρονικού καταστήματος μπορεί να βρουν «πολύ ικανοποιημένο» το 41% και το 45% αντίστοιχα. Κανένα δεν είναι λάθος: το καθένα έχει λίγο διαφορετικούς ανθρώπους, και αυτή η διακύμανση είναι το δειγματοληπτικό σφάλμα. Σε ένα δείγμα ανεβάζει το αποτέλεσμα, σε άλλο το κατεβάζει, και κατά μέσο όρο οι αποκλίσεις αλληλοαναιρούνται.

Σε ένα πιθανοτικό δείγμα, όπου κάθε μέλος της λίστας είχε γνωστή πιθανότητα να επιλεγεί, εκτιμάται ως τυπικό σφάλμα, διάστημα εμπιστοσύνης ή περιθώριο σφάλματος.

Τι είναι η μεροληψία (συστηματικό σφάλμα)

Μεροληψία, ή συστηματικό σφάλμα, είναι το σφάλμα που σπρώχνει τα αποτελέσματα μιας έρευνας προς μία κατεύθυνση. Αν ρωτήσετε μόνο γυναίκες για ένα προϊόν που αγοράζουν και οι άνδρες, κάθε εκτίμηση γέρνει προς την ίδια πλευρά, όσες γυναίκες κι αν απαντήσουν. Είναι το συστηματικό μέρος του μη δειγματοληπτικού σφάλματος, δηλαδή κάθε σφάλματος που δεν οφείλεται στην επιλογή δείγματος. Όταν αφορά το ποιοι απαντούν, λέγεται συχνά μεροληψία επιλογής, αλλά δεν είναι δειγματοληπτικό σφάλμα.

Οι τυχαίες αποκλίσεις αλληλοαναιρούνται κατά μέσο όρο, η μεροληψία όχι. Όπως σημειώνει η Statistics Canada, η στατιστική υπηρεσία του Καναδά, η μεροληψία από συστηματικά σφάλματα δεν μειώνεται με μεγαλύτερο δείγμα. Η δημοσκόπηση του περιοδικού Literary Digest για τις αμερικανικές προεδρικές εκλογές του 1936 είχε τεράστιο δείγμα και όμως έπεσε πολύ έξω, γιατί μεροληπτικά ήταν και η λίστα της και το ποιοι έστειλαν πίσω τα ψηφοδέλτια (Squire, Public Opinion Quarterly, 1988).

Για τη μεροληψία δεν μπορεί να υπολογιστεί περιθώριο σφάλματος. Το περιθώριο μιας δημοσκόπησης καλύπτει μόνο το δειγματοληπτικό σφάλμα, όπως τονίζει η AAPOR, η αμερικανική ένωση ερευνητών κοινής γνώμης· η διατύπωση των ερωτήσεων, τα κενά της λίστας και οι αναληθείς απαντήσεις μετριούνται δύσκολα και σπάνια αναφέρονται (Pew Research Center). Η μεροληψία διαφέρει επίσης από ερώτηση σε ερώτηση (Pew Research Center, 2017). Στόχος είναι να τη μειώσετε και να δηλώνετε προς τα πού πιθανότατα σπρώχνει τα αποτελέσματα.

Δειγματοληπτικό σφάλμα και μεροληψία: η διαφορά σε έναν πίνακα

Η διαφορά βρίσκεται στην κατεύθυνση και στη λύση: το δειγματοληπτικό σφάλμα σκορπίζει τα αποτελέσματα γύρω από την πραγματική τιμή, η μεροληψία τα απομακρύνει από αυτήν.

Στο πλαίσιο του συνολικού σφάλματος της έρευνας (total survey error· Groves και Lyberg, Public Opinion Quarterly, 2010), το σφάλμα ενός αριθμού μετριέται συνήθως ως η διακύμανσή του συν το τετράγωνο της μεροληψίας (το μέσο τετραγωνικό σφάλμα). Το μεγαλύτερο δείγμα μικραίνει μόνο τον πρώτο όρο: ένα μεγάλο αλλά μεροληπτικό δείγμα δίνει πάλι λάθος αποτέλεσμα, και κάθε σχεδιασμός βάζει στη ζυγαριά το σφάλμα και το κόστος.

Πόσο βοηθούν περισσότερες απαντήσεις

Το περιθώριο σφάλματος εκφράζεται σε ποσοστιαίες μονάδες, συνήθως σε επίπεδο εμπιστοσύνης 95%, και είναι μεγαλύτερο όταν οι απαντήσεις μοιράζονται 50/50. Η σημείωση της AAPOR για το περιθώριο δειγματοληπτικού σφάλματος δίνει τις εξής τιμές:

Απλό τυχαίο δείγμα από μεγάλη ομάδα, απαντούν όλοι όσοι προσκλήθηκαν, επίπεδο εμπιστοσύνης 95%, απαντήσεις μοιρασμένες 50/50 (AAPOR).

Ο πίνακας υποθέτει ότι η ομάδα είναι πολύ μεγαλύτερη από το δείγμα. Σε μια μικρή ομάδα, όπως μια εταιρεία με 80 εργαζόμενους ή ένα τμήμα 30 φοιτητών, το περιθώριο μικραίνει όταν έχετε ρωτήσει ένα μεγάλο μέρος της. Αν προσκαλέσατε όλους, δειγματοληπτικό σφάλμα δεν υπάρχει καθόλου: το αποτέλεσμα είναι καταμέτρηση, και όποια διαφορά μένει οφείλεται σε όσους δεν απάντησαν ή δεν απάντησαν με ακρίβεια.

Με τετραπλάσιο δείγμα το περιθώριο πέφτει στο μισό (±9,8 μονάδες με 100 απαντήσεις, ±4,9 με 400), ενώ από 1.000 σε 2.000 απαντήσεις κερδίζετε μόλις μία μονάδα περίπου. Μια υποομάδα 200 ατόμων σε δείγμα 1.000 έχει περίπου ±6,9 μονάδες.

Το περιθώριο σφάλματος όμως ισχύει μόνο για πιθανοτικά δείγματα, όπου κάθε μέλος της ομάδας είχε γνωστή πιθανότητα επιλογής, μεγαλύτερη από μηδέν. Δεν ισχύει όταν οι ερωτώμενοι αποφασίζουν μόνοι τους αν θα συμμετάσχουν, όπως στις απαντήσεις σε έναν σύνδεσμο στα μέσα κοινωνικής δικτύωσης ή σε μια ιστοσελίδα. Για τέτοια δείγματα δεν μπορεί να υπολογιστεί περιθώριο σφάλματος, και οι ίδιες οι απαντήσεις δεν δείχνουν πόσο απέχουν από την πραγματικότητα. Τη μεροληψία την κρίνετε μόνο με κάτι που ξέρετε έξω από την έρευνα: τη σύνθεση όλης της ομάδας (ηλικία, περιοχή, τμήμα, κατηγορία πελατών) σε σύγκριση με τη σύνθεση όσων απάντησαν.

Από πού μπαίνει η μεροληψία σε μια online έρευνα

Η μεροληψία μπαίνει από πέντε σημεία: τα τρία πρώτα αφορούν το ποιοι απαντούν, τα δύο τελευταία τις ίδιες τις απαντήσεις (μεροληψία στις απαντήσεις και άλλα σφάλματα μέτρησης).

Κάλυψη: ποιοι λείπουν από τη λίστα σας

Το σφάλμα κάλυψης προκύπτει όταν η λίστα ή το κανάλι σας αφήνει έξω μέρος της ομάδας (υποκάλυψη). Μια έρευνα εργαζομένων μέσω εταιρικού email δεν φτάνει σε όσους δεν έχουν εταιρική διεύθυνση, όπως η καμαριέρα ή ο μάγειρας ενός ξενοδοχείου. Πριν από την αποστολή, δείτε ποιοι λείπουν και πώς θα τους φτάσετε αλλιώς.

Αυτοεπιλογή: ποιοι επιλέγουν να απαντήσουν

Με έναν σύνδεσμο σε ιστοσελίδα ή στα μέσα κοινωνικής δικτύωσης ο καθένας αποφασίζει αν θα απαντήσει, και απαντούν κυρίως όσοι έχουν έντονη άποψη· προτιμήστε μια συγκεκριμένη λίστα. Για να μείνουν έξω όσοι δεν προσκλήθηκαν, ενεργοποιήστε την επιλογή «Περιορισμός συμμετοχής στην έρευνα σε προσκεκλημένους μέσω email», που κλείνει τον άμεσο σύνδεσμο και κάθε άλλο τρόπο διανομής. Οι προσκεκλημένοι απαντούν με ή χωρίς παρακολούθηση συμμετοχών· η παρακολούθηση, απενεργοποιημένη από προεπιλογή, συνδέει κάθε απάντηση με τον παραλήπτη της, και η πρόσκληση το αναφέρει. Ο περιορισμός όμως δεν κάνει το δείγμα τυχαίο.

Μη απόκριση: ποιοι δεν απάντησαν

Η μεροληψία μη απόκρισης εξαρτάται από δύο πράγματα μαζί: πόσοι προσκεκλημένοι δεν απάντησαν και πόσο διαφέρουν από όσους απάντησαν. Χαμηλό ποσοστό απόκρισης με μικρή διαφορά κάνει μικρή ζημιά· υψηλό ποσοστό, όταν όσοι λείπουν διαφέρουν πολύ, μπορεί και πάλι να σας παραπλανήσει.

Μη απόκριση υπάρχει και μέσα στην έρευνα. Κοιτάξτε πόσες απαντήσεις πήρε κάθε ερώτηση, όχι μόνο πόσα ερωτηματολόγια συμπληρώθηκαν: μια ευαίσθητη ερώτηση που την παρέλειψαν οι μισοί ερωτώμενοι έχει μεροληψία μη απόκρισης, ακόμη κι αν η έρευνα είχε συνολικά καλό ποσοστό απόκρισης.

Κρατήστε την έρευνα σύντομη, δοκιμάστε αυτούς τους τρόπους να απαντήσουν περισσότεροι προσκεκλημένοι και δείτε πώς στέλνετε την πρόσκληση και ένα δεύτερο email. Το δεύτερο email το στέλνετε εσείς: με ενεργή την παρακολούθηση συμμετοχών, η επιλογή παραληπτών «Δεν έχουν ανταποκριθεί στην πρόσκληση μέσω email» το στέλνει μόνο σε όσους δεν έχουν ανοίξει την έρευνα από τη δική τους πρόσκληση· χωρίς παρακολούθηση, σε όλους. Ύστερα συγκρίνετε τη σύνθεση όσων απάντησαν με εκείνη της ομάδας. Η σύγκριση όσων απάντησαν νωρίς με όσους απάντησαν αργά είναι ένδειξη, όχι απόδειξη: όσοι απάντησαν μετά το δεύτερο email σας απάντησαν κι αυτοί.

Διατύπωση και σειρά των ερωτήσεων

Οι καθοδηγητικές και οι φορτισμένες ερωτήσεις σπρώχνουν τις απαντήσεις προς μία πλευρά, οι διπλές τις θολώνουν, και μία λέξη μπορεί να αλλάξει το αποτέλεσμα. Το Pew Research Center αναφέρει ότι στις Ηνωμένες Πολιτείες η «βοήθεια στους φτωχούς» συγκεντρώνει περισσότερη υποστήριξη από το «welfare», όπως λέγονται εκεί τα κρατικά επιδόματα πρόνοιας. Αποφύγετε τις καθοδηγητικές και φορτισμένες ερωτήσεις, χωρίστε κάθε διπλή ερώτηση στα δύο και κάντε πιλοτική δοκιμή με λίγα άτομα της ομάδας σας.

Κρατήστε σε σταθερή σειρά τις ερωτήσεις που στηρίζονται η μία στην άλλη: από το γενικό στο ειδικό, η ερώτηση φίλτρου πριν από όσες ακολουθούν. Τα παράλληλα στοιχεία, όπως μάρκες, τμήματα ή δηλώσεις, δείξτε τα σε τυχαία σειρά, για να μην εμφανίζεται κανένα πάντα πρώτο. Έτσι η επίδραση της σειράς μοιράζεται ομοιόμορφα, δεν εξαφανίζεται. Σε μια ερώτηση «Πίνακας» διαλέξτε στο πεδίο «Σειρά» τις «Γραμμές σε τυχαία σειρά»· τις «Στήλες σε τυχαία σειρά» μόνο όταν οι στήλες είναι κατηγορίες χωρίς σειρά, ποτέ σε κλίμακα αξιολόγησης. Η ρύθμιση «Τυχαία σειρά ερωτήσεων» ανακατεύει τις ερωτήσεις μέσα σε κάθε σελίδα όλης της έρευνας: ενεργοποιήστε τη μόνο αν κάθε σελίδα έχει αποκλειστικά παράλληλες ερωτήσεις. Οι επιλογές απάντησης μιας ερώτησης κλειστού τύπου δεν ανακατεύονται.

Κοινωνικά επιθυμητές απαντήσεις

Ό,τι αποδοκιμάζεται οι άνθρωποι το δηλώνουν λιγότερο από όσο ισχύει, και ό,τι επιδοκιμάζεται περισσότερο: αυτή είναι η κοινωνική επιθυμητότητα, μια μορφή μεροληψίας στις απαντήσεις. Η ερώτηση «Είστε βαρύς καπνιστής;» κάνει κάποιους βαριούς καπνιστές να απαντήσουν «Όχι». Ρωτήστε ουδέτερα και δώστε εύρη αντί για χαρακτηρισμούς: «Πόσα τσιγάρα καπνίζετε σε μια συνηθισμένη μέρα;» με «Κανένα», «1–5», «6–10» κ.ο.κ. Χωρίς συνεντευξιαστή, όπως στο online ερωτηματολόγιο, η επίδραση εξασθενεί αλλά δεν εξαφανίζεται· στο τηλέφωνο ή διά ζώσης προστίθεται και η μεροληψία του συνεντευξιαστή.

Τύχη ή μεροληψία; Πώς διαβάζετε ένα απροσδόκητο αποτέλεσμα

Όταν ένα αποτέλεσμα σας εκπλήσσει, συγκρίνετε την απόστασή του από ό,τι περιμένατε με το περιθώριο σφάλματος· αν είναι πολύ μεγαλύτερη, ή αν το δείγμα δεν ήταν τυχαίο, αναζητήστε μεροληψία και την κατεύθυνσή της.

Ας πούμε ότι 100 ερωτώμενοι, που τους θεωρείτε τυχαίο δείγμα των πελατών σας, δείχνουν ότι το 20% προτιμά μια νέα γεύση παγωτού, και μια αξιόπιστη καταμέτρηση σε όλους βγάζει αργότερα περίπου 33%. Η διαφορά είναι 13 ποσοστιαίες μονάδες, όχι 13%. Το περιθώριο για 100 απαντήσεις είναι περίπου ±10 μονάδες· περίπου 1 στα 20 τυχαία δείγματα πέφτει έξω από αυτό και σχεδόν κανένα τόσο μακριά, άρα η τύχη από μόνη της είναι απίθανη εξήγηση. Ρωτήστε ποιοι προσκλήθηκαν και ποιοι απάντησαν· αν οι 100 ήρθαν από κοινοποιημένο σύνδεσμο, αφήστε το περιθώριο και ξεκινήστε από εκεί.

Η σύγκριση δύο ομάδων θέλει μεγαλύτερο περιθώριο. Δύο τμήματα με 200 απαντήσεις το καθένα έχουν περίπου ±7 μονάδες, η διαφορά τους όμως περίπου ±10. Διαφορά 6 μονάδων χωρά στην τύχη· διαφορά 15 μονάδων όχι. Το ίδιο ισχύει όταν συγκρίνετε φέτος με πέρσι.

Ένας σύνδεσμος στο newsletter σας με 500 συμπληρωμένα ερωτηματολόγια δεν δικαιούται τις ±4,4 μονάδες του πίνακα: οι ερωτώμενοι επέλεξαν μόνοι τους, και ακόμη και 500 τυχαίοι συνδρομητές θα περιέγραφαν μόνο τους συνδρομητές, όχι όλους τους πελάτες. Αναφέρετε το πλήθος των απαντήσεων, το κανάλι και ποιες ομάδες πιθανότατα λείπουν.

Περισσότερες απαντήσεις ή καλύτερος σχεδιασμός: ποια λύση για ποιο σφάλμα

Ελέγξτε τα παρακάτω πριν από την αποστολή και πριν από την παρουσίαση των αποτελεσμάτων.

1. Τυχαίο δείγμα από μεγάλη ομάδα, αλλά περιθώριο πολύ μεγάλο για την απόφαση: συγκεντρώστε περισσότερες απαντήσεις, αλλά μην περιμένετε πολλά πέρα από τις 1.000 περίπου.
2. Ομάδες που λείπουν ή υποεκπροσωπούνται: περισσότερες απαντήσεις από το ίδιο κανάλι δεν βοηθούν· αλλάξτε τη λίστα ή το κανάλι. Αν η σύνθεση των ερωτώμενων διαφέρει από της ομάδας σε κάτι που ξέρετε για όλους (περιοχή, τμήμα, ηλικιακή ομάδα), δείξτε τα αποτελέσματα ανά ομάδα ή σταθμίστε τα μετά την «Εξαγωγή σε Excel»· το εργαλείο δεν κάνει στάθμιση. Αποτελέσματα ανά ομάδα δείχνετε μόνο για ομάδες με τουλάχιστον 10 ερωτώμενους, ώστε να μην ξεχωρίζει κανείς· το εργαλείο δεν επιβάλλει όριο, το πλήθος το ελέγχετε εσείς. Μια ομάδα 10 έως 30 ατόμων έχει περιθώριο πολύ μεγαλύτερο από τις γραμμές του πίνακα: περιγράψτε τα αποτελέσματά της, μην τα συγκρίνετε. Η στάθμιση διορθώνει μόνο ό,τι σταθμίζετε, όχι τις απόψεις όσων δεν απάντησαν, και μεγαλώνει το περιθώριο.
3. Προσκαλέσατε όλη την ομάδα: για περισσότερες απαντήσεις ξαναγράφετε σε όσους δεν έχουν απαντήσει, δεν μεγαλώνετε το δείγμα.
4. Αμφιβολίες για τις ερωτήσεις: κάντε πιλοτική δοκιμή και ξαναγράψτε τις με αυτές τις συμβουλές για σαφείς και ουδέτερες ερωτήσεις. Τυχαία σειρά μόνο στα παράλληλα στοιχεία, ποτέ στις ερωτήσεις που στηρίζονται η μία στην άλλη.
5. Παρουσίαση: δώστε το πλήθος των απαντήσεων και πώς προσκλήθηκαν οι ερωτώμενοι, περιθώριο σφάλματος μόνο για τυχαίο δείγμα, και προς τα πού θα έσπρωχνε τα αποτελέσματα μια πιθανή μεροληψία.

Το τυχαίο σφάλμα μικραίνει με κάθε νέα απάντηση, και σε τυχαίο δείγμα το περιθώριο σφάλματος δείχνει πόσο έμεινε. Η μεροληψία μένει όσες απαντήσεις κι αν συγκεντρώσετε· υποχωρεί μόνο με λίστα που καλύπτει όλη την ομάδα, δεύτερο email σε όσους δεν απάντησαν και ουδέτερες, δοκιμασμένες ερωτήσεις.

Για να το εφαρμόσετε, ξεκινήστε από το πρότυπο ερωτηματολογίου έρευνας αγοράς παρακάτω και στείλτε το σε συγκεκριμένη λίστα, όχι με δημόσιο σύνδεσμο.

Διαβάστε ακόμα

• Δείγμα για ερωτηματολόγιο: πώς θα βρείτε τους σωστούς συμμετέχοντες
• Gamification σε ερωτηματολόγια: πότε βοηθά και πότε βλάπτει τα δεδομένα
• Σχεδιασμός ερωτηματολογίου για κινητά: τι δείχνουν οι έρευνες