Η μεροληψία μη απόκρισης είναι το συστηματικό σφάλμα που εμφανίζεται όταν όσοι δεν απαντούν σε μια έρευνα διαφέρουν από όσους απαντούν σε αυτό ακριβώς που μετρά η έρευνα. Ο μικρός αριθμός απαντήσεων δεν την προκαλεί από μόνος του. Ένα χαμηλό ποσοστό απόκρισης την κάνει πιθανότερη, αλλά δεν αποδεικνύει ότι τα αποτελέσματά σας είναι στρεβλά, και ένα υψηλό ποσοστό δεν την αποκλείει. Ο οδηγός απευθύνεται σε όποιον στέλνει ερωτηματολόγιο σε μια λίστα εργαζομένων, πελατών, μελών ή φοιτητών και πρέπει να κρίνει τι αξίζουν τα αποτελέσματα. Εξηγεί γιατί κάποιοι δεν απαντούν, δίνει πέντε ελέγχους που κάνετε με τη δική σας λίστα και τα δικά σας αποτελέσματα και δείχνει τι μπορείτε να κάνετε πριν, κατά τη διάρκεια και μετά την έρευνα.
Τα βασικά σημεία
- Η μεροληψία μη απόκρισης οφείλεται στις διαφορές ανάμεσα σε όσους απαντούν και σε όσους δεν απαντούν, όχι στον μικρό αριθμό απαντήσεων.
- Ένα χαμηλό ποσοστό απόκρισης είναι προειδοποίηση, όχι απόδειξη. Περισσότερες απαντήσεις από τους ίδιους πρόθυμους ανθρώπους μικραίνουν το περιθώριο σφάλματος, αλλά η μεροληψία μένει.
- Η μεροληψία ελέγχεται: συγκρίνετε όσους απάντησαν με όσους προσκαλέσατε, τις πρώτες απαντήσεις με τις καθυστερημένες, και ρωτήστε λίγους από όσους δεν απάντησαν.
- Για να τη μειώσετε, κρατήστε την έρευνα σύντομη και κοντά στα ενδιαφέροντα όσων τη λαμβάνουν, στείλτε υπενθύμιση μόνο σε όσους δεν έχουν απαντήσει και αναφέρετε το ποσοστό απόκρισης μαζί με τα όριά του.
Τι είναι η μεροληψία μη απόκρισης
Μεροληψία μη απόκρισης είναι το συστηματικό σφάλμα που προκύπτει όταν όσοι δεν απαντούν διαφέρουν από όσους απαντούν σε αυτό που μετρά η έρευνα, με αποτέλεσμα τα συμπεράσματα που βασίζονται μόνο στις απαντήσεις να γέρνουν προς μία πλευρά. Σε πανεπιστημιακά κείμενα θα τη συναντήσετε και ως «σφάλμα μη απόκρισης».
Το μέγεθός της εξαρτάται από δύο πράγματα: πόσοι λείπουν και πόσο διαφέρουν. Αν όσοι δεν απάντησαν μοιάζουν με όσους απάντησαν, τα αποτελέσματα δεν έχουν μεροληψία, όσοι κι αν λείπουν. Αν διαφέρουν, ακόμη και ένα μικρό ποσοστό απόντων μετακινεί το αποτέλεσμα.
Πάρτε για παράδειγμα μια έρευνα εργαζομένων. Αν οι μεγαλύτεροι σε ηλικία απαντούν σπανιότερα, τα αποτελέσματα γέρνουν προς τις απόψεις των νεότερων. Αυτό το βλέπετε, γιατί ξέρετε την ηλικιακή ομάδα όλων, και μπορείτε να το διορθώσετε. Η δύσκολη περίπτωση είναι όταν κάποιοι δεν απαντούν εξαιτίας της απάντησης που θα έδιναν: αν οι εργαζόμενοι που είναι δυσαρεστημένοι με τον άμεσο προϊστάμενό τους αγνοούν την έρευνα, η ικανοποίηση φαίνεται υψηλότερη από ό,τι είναι, και τίποτα στα δεδομένα σας δεν το δείχνει.
Η μεροληψία μη απόκρισης αφορά το ποιος απαντά. Η μεροληψία στις απαντήσεις αφορά το αν όσα απαντά κανείς ανταποκρίνονται στην πραγματικότητα. Τη δεύτερη θα τη δείτε γραμμένη και ως «μεροληψία απόκρισης», όρο που μπερδεύεται εύκολα με τη μεροληψία μη απόκρισης.
| Μεροληψία μη απόκρισης | Μεροληψία στις απαντήσεις (και άλλα σφάλματα μέτρησης) | |
|---|---|---|
| Τι πάει στραβά | Όσοι απαντούν δεν μοιάζουν με όσους δεν απαντούν | Οι απαντήσεις που δίνονται αποκλίνουν συστηματικά από την πραγματικότητα |
| Συνήθεις αιτίες | Η πρόσκληση δεν τους έφτασε, αρνήθηκαν, δεν μπορούσαν να απαντήσουν | Κοινωνική επιθυμητότητα, τάση να συμφωνεί κανείς από συνήθεια, λάθη μνήμης, η διατύπωση μιας ερώτησης ή ο τρόπος που τη θέτει ο συνεντευξιαστής |
| Πώς τη διαπιστώνετε | Συγκρίνετε όσους απάντησαν με τη λίστα των προσκεκλημένων· ρωτήστε λίγους από όσους δεν απάντησαν | Πιλοτική δοκιμή των ερωτήσεων· σύγκριση διαφορετικών διατυπώσεων |
Στη δεύτερη στήλη ανήκει και η μεροληψία του συνεντευξιαστή, όταν το πρόσωπο που κάνει τις ερωτήσεις επηρεάζει τις απαντήσεις· τη συζητάμε στο άρθρο για τις προκαταλήψεις των συνεντευξιαστών και τα πλεονεκτήματα των διαδικτυακών ερευνών.
Ολική και μερική μη απόκριση
Ολική μη απόκριση (στην ορολογία της ΕΛΣΤΑΤ, «μη απάντηση σε επίπεδο μονάδας») σημαίνει ότι ένα άτομο που προσκλήθηκε δεν δίνει καμία απάντηση. Μερική μη απόκριση («μη απάντηση σε επίπεδο ερώτησης») σημαίνει ότι ο ερωτώμενος παραλείπει κάποιες ερωτήσεις.
Στο διαδικτυακό πάνελ του Pew Research Center, περίπου το 1–2% των ερωτώμενων παραλείπει μια τυπική ερώτηση κλειστού τύπου, ενώ στις ανοιχτές ερωτήσεις το ποσοστό φτάνει κατά μέσο όρο περίπου το 18%, από 3% έως λίγο πάνω από 50% ανάλογα με την ερώτηση (Pew Research Center, 2021). Οι παραλείψεις είναι συχνότερες στο κινητό και στις ερωτήσεις που ζητούν περισσότερη σκέψη. Τα μέλη του πάνελ απαντούν τακτικά σε έρευνες, οπότε για μια έρευνα που κάνετε μία φορά θεωρήστε αυτά τα ποσοστά κατώτατο όριο.
Μια υποχρεωτική ερώτηση δεν μπορεί να παραλειφθεί, οπότε η μη απόκριση σε αυτήν εμφανίζεται αλλιώς: ο ερωτώμενος εγκαταλείπει την έρευνα ή διαλέγει μια οποιαδήποτε απάντηση. Βάλτε ό,τι θέλετε οπωσδήποτε να μετρήσετε σε ερωτήσεις κλειστού τύπου και κρατήστε τις ανοιχτές λίγες και προαιρετικές (δείτε τα πλεονεκτήματα και μειονεκτήματα των ανοιχτών και κλειστών ερωτήσεων).
Χαμηλό ποσοστό απόκρισης: προειδοποίηση, όχι απόδειξη μεροληψίας
Το ποσοστό απόκρισης από μόνο του δεν σας λέει αν τα αποτελέσματα έχουν μεροληψία. Η μελέτη του Pew Research Center του 2017, μαζί με παλαιότερες έρευνες, δείχνει ότι το ποσοστό απόκρισης είναι αναξιόπιστος δείκτης της μεροληψίας (Pew Research Center, 2017).
Στις Ηνωμένες Πολιτείες, το ποσοστό απόκρισης στις τηλεφωνικές έρευνες του Pew έπεσε από 36% το 1997 σε 9% το 2012. Η έρευνα του 2012 συμφωνούσε παρ' όλα αυτά με τα κρατικά στοιχεία αναφοράς στις περισσότερες μετρήσεις, και μια παράλληλη έρευνα με πολύ μεγαλύτερη προσπάθεια επικοινωνίας, που έφτασε σε ποσοστό απόκρισης 22%, διέφερε κατά δύο ποσοστιαίες μονάδες ή λιγότερο σε 28 από τις 40 μετρήσεις (Pew Research Center, 2012). Όπου όμως το ίδιο το θέμα επηρεάζει την προθυμία να απαντήσει κανείς, η μεροληψία ήταν μεγάλη. Το 2012, το 55% των ερωτώμενων δήλωσε ότι είχε κάνει εθελοντική εργασία, έναντι 27% στην κρατική έρευνα Current Population Survey. Το 2017, το 46% δήλωσε ότι είχε συνεργαστεί με γείτονές του για κάποιο ζήτημα της γειτονιάς, έναντι 8% στην ίδια κρατική έρευνα. Όποιος κάνει εθελοντική εργασία είναι και πιο πρόθυμος να απαντά σε έρευνες.
Υπάρχει όμως μια προϋπόθεση. Το Pew σταθμίζει τις έρευνές του ώστε η ηλικία, το φύλο, η εκπαίδευση, η φυλή και η περιοχή να αντιστοιχούν στον πληθυσμό, και το εύρημα ισχύει μετά από αυτή τη διόρθωση. Μια έρευνα που στέλνετε σε λίστα εργαζομένων ή πελατών συνήθως δεν σταθμίζεται, οπότε αυτή τη σύγκριση πρέπει να την κάνετε εσείς (έλεγχος 1 παρακάτω).
Ένα παράδειγμα δείχνει γιατί ο αριθμός των απαντήσεων δεν είναι το κριτήριο. Προσκαλείτε 200 άτομα από μια ομάδα 20.000, ας πούμε τους πελάτες μιας αλυσίδας καταστημάτων, και παίρνετε 50 έως 60 απαντήσεις. Αν αυτές οι απαντήσεις ήταν τυχαίο δείγμα, το περιθώριο σφάλματος θα ήταν περίπου ±13 ποσοστιαίες μονάδες σε επίπεδο εμπιστοσύνης 95% (για ερώτηση όπου οι απαντήσεις μοιράζονται 50/50): μεγάλο, αλλά αρκετό για να φανούν οι μεγάλες διαφορές. Το μέγεθος της ομάδας παίζει ελάχιστο ρόλο από τη στιγμή που φτάνει τις χιλιάδες: 377 απαντήσεις δίνουν περίπου ±5 μονάδες είτε για 20.000 άτομα είτε για 2 εκατομμύρια. Το πραγματικό ερώτημα είναι αν οι 50 έως 60 που απάντησαν μοιάζουν με τους 140 περίπου που δεν απάντησαν. Αν στείλετε 600 προσκλήσεις και πάρετε 180 απαντήσεις από τον ίδιο τύπο ανθρώπων, μικραίνει το περιθώριο σφάλματος, όχι η μεροληψία.
Γιατί δεν απαντούν οι ερωτώμενοι
Όσοι δεν απαντούν χωρίζονται σε τρεις ομάδες, και κάθε ομάδα χρειάζεται διαφορετική λύση.
| Ομάδα | Συνήθεις λόγοι | Τι κάνετε |
|---|---|---|
| Η πρόσκληση δεν τους έφτασε | Πήγε στα ανεπιθύμητα, η διεύθυνση δεν ισχύει πια, το άτομο δεν την είδε ποτέ | Ελέγξτε και καθαρίστε τη λίστα πριν από την αποστολή |
| Την έλαβαν, αλλά δεν απάντησαν | Δεν είχαν χρόνο, το ξέχασαν, θεωρούν ότι το θέμα δεν τους αφορά, η έρευνα μοιάζει μεγάλη, δεν εμπιστεύονται το πώς θα χρησιμοποιηθούν οι απαντήσεις, οι ερωτήσεις είναι ευαίσθητες | Σύντομη έρευνα που τους αφορά, ξεκάθαρο ποιος βλέπει τις απαντήσεις, υπενθύμιση σε όσους δεν απάντησαν |
| Δεν μπορούσαν να απαντήσουν | Γλώσσα, αναπηρία, πρόβλημα με τη συσκευή ή τη σύνδεση, ασαφείς οδηγίες | Απλή διατύπωση, σαφείς οδηγίες, δοκιμή της έρευνας σε κινητό |
Μία περίπτωση δεν είναι καν μη απόκριση. Αν η λίστα σας είναι ελλιπής ή παλιά, κάποιοι που ανήκουν στην ομάδα που θέλετε να ρωτήσετε δεν παίρνουν ποτέ πρόσκληση. Αυτό είναι πρόβλημα κάλυψης (υποκάλυψη) και δεν λύνεται με υπενθυμίσεις· λύνεται με μια σωστή λίστα.
Πώς ελέγχετε αν τα αποτελέσματά σας έχουν μεροληψία
Συγκρίνετε όσους απάντησαν με όσους προσκαλέσατε. Αν η σύνθεση συμπίπτει σε ό,τι γνωρίζετε, αυτό είναι καθησυχαστικό, όχι όμως απόδειξη. Τέσσερις από τους πέντε ελέγχους γίνονται με δεδομένα που ήδη έχετε· ο έλεγχος 4 ρωτά απευθείας λίγους από όσους δεν απάντησαν.
1. Συγκρίνετε όσους απάντησαν με όλους όσους προσκαλέσατε
Χρησιμοποιήστε ό,τι γνωρίζετε για όλους όσους είναι στη λίστα: τμήμα, περιοχή, κατηγορία πελάτη ή ηλικιακή ομάδα. Μια ομάδα που απάντησε με το μισό ποσοστό από τις άλλες υποεκπροσωπείται στα αποτελέσματά σας. Στο Survey.gr, αν έχετε ενεργοποιήσει την παρακολούθηση συμμετοχών (επιλογή «Ενεργοποίηση παρακολούθησης συμμετοχών», που από προεπιλογή είναι απενεργοποιημένη) και η λίστα email σας έχει μια τιμή (στο εργαλείο «αξία») για κάθε διεύθυνση, π.χ. το τμήμα, φιλτράρετε τα αποτελέσματα με το «Η αξία του email ισούται». Διαφορετικά, προσθέστε μία δημογραφική ερώτηση και δείτε στην καρτέλα «Cross tabulation» (πίνακας διασταύρωσης) αν οι κύριες απαντήσεις διαφέρουν ανά ομάδα.
2. Συγκρίνετε το ποσοστό απόκρισης ανά ομάδα
Ένα χαμηλό ποσοστό σε μία ομάδα μετράει περισσότερο από ένα χαμηλό συνολικό ποσοστό. Όσο η έρευνα είναι ανοιχτή και η παρακολούθηση συμμετοχών ενεργή, το φίλτρο «Όσους δεν ανταποκρίθηκαν» στη λίστα παραληπτών δείχνει ποιοι λείπουν ακόμη. Ξανακοιτάξτε τη λίστα μετά από κάθε υπενθύμιση.
3. Συγκρίνετε τις πρώτες απαντήσεις με τις καθυστερημένες
Σε μια έρευνα με email, «καθυστερημένες» είναι οι απαντήσεις που ήρθαν μετά την υπενθύμιση. Όσοι απαντούν μόνο μετά από υπενθύμιση μοιάζουν συχνά, όχι πάντα, με όσους δεν απαντούν ποτέ. Χωρίστε τις απαντήσεις με βάση την ημερομηνία της υπενθύμισης, με το φίλτρο αποτελεσμάτων «Έρευνα συμπληρωμένη μεταξύ» (λαμβάνει υπόψη την ημερομηνία κατά την οποία ξεκίνησε κάθε απάντηση). Αν οι δύο ομάδες διαφέρουν στις κύριες ερωτήσεις, υποψιαστείτε μεροληψία· είναι ένδειξη, όχι απόδειξη.
4. Ρωτήστε λίγους από όσους δεν απάντησαν
Κάντε σε λίγους από όσους δεν απάντησαν μία ή δύο από τις κύριες ερωτήσεις, τηλεφωνικά ή από κοντά, με ουδέτερη διατύπωση. Μόνο έτσι μαθαίνετε τι σκέφτονται: όπως σημειώνει η Αυστραλιανή Στατιστική Υπηρεσία (ABS), το ζήτημα λύνεται πλήρως μόνο με στοιχεία από όσους δεν απάντησαν. Όσοι δέχονται να σας απαντήσουν σε αυτό το δεύτερο βήμα είναι οι πιο πρόθυμοι από τους απόντες, οπότε διαβάστε το αποτέλεσμα ως ένδειξη κατεύθυνσης, όχι ως αριθμό.
5. Δείτε ποιες ερωτήσεις παραλείφθηκαν και πού σταμάτησαν οι ερωτώμενοι
Μια ερώτηση που την παραλείπουν πολλοί είναι μερική μη απόκριση· μια σελίδα όπου σταματούν οι ημιτελείς απαντήσεις δείχνει πού τα παρατάνε οι ερωτώμενοι. Το φίλτρο «Να συμπεριλαμβάνονται οι ημιτελείς απαντήσεις» και η συνθήκη «Δεν έχει απαντηθεί» σας δείχνουν πού συμβαίνει αυτό.
Πώς μειώνετε τη μεροληψία μη απόκρισης πριν και κατά τη διάρκεια της έρευνας
Στρέψτε την προσπάθειά σας στις ομάδες που λείπουν, όχι στο σύνολο. Για περισσότερους τρόπους να πείσετε όσους προσκαλείτε να απαντήσουν, δείτε πώς αυξάνετε τον αριθμό των συμμετεχόντων.
Η ανασκόπηση Cochrane των Edwards και συνεργατών (2023· 758 τυχαιοποιημένες δοκιμές, στοιχεία έως τον Δεκέμβριο του 2021) δείχνει τι αύξησε τις απαντήσεις σε διαδικτυακές έρευνες και έρευνες μέσω email:
| Τι δοκιμάστηκε | Λόγος πιθανοτήτων | Πόσο σταθερό είναι το εύρημα |
|---|---|---|
| Σύντομη αντί για αναλυτική πρόσκληση | 3,26 | Μεγάλο εύρος (1,79–5,94) |
| Μια εικόνα μέσα στο email | 3,05 | Μεγάλο εύρος (1,84–5,06) |
| Χρηματικό κίνητρο | 1,88 | Μεγάλες διαφορές από δοκιμή σε δοκιμή |
| Επιλογή τρόπου απάντησης, όχι μόνο email | 1,76 | Στενό εύρος (1,67–1,85) |
| Συντομότερο ερωτηματολόγιο | 1,51 | Μεγάλες διαφορές από δοκιμή σε δοκιμή |
| Η λέξη «survey» («έρευνα») στο θέμα του email (λιγότερες απαντήσεις) | 0,81 | — |
Λόγος πιθανοτήτων (odds ratio) πάνω από 1 σημαίνει περισσότερες απαντήσεις, κάτω από 1 λιγότερες. Για περίπου τις μισές στρατηγικές που δοκιμάστηκαν, τα αποτελέσματα διέφεραν πολύ από δοκιμή σε δοκιμή.
Περισσότερες απαντήσεις δεν σημαίνουν λιγότερη μεροληψία. Ένα κίνητρο φέρνει ανθρώπους που δεν ενδιαφέρονται για το θέμα. Αυτό μειώνει τη μεροληψία όταν αυτοί ακριβώς λείπουν, μπορεί όμως να μεγαλώσει την απόσταση όταν προσελκύει κυρίως ομάδες που απαντούσαν ήδη· γι' αυτό κάντε τον έλεγχο 1 πριν και μετά. Προτιμήστε λύσεις που φτάνουν στις ομάδες που λείπουν: έναν δεύτερο τρόπο απάντησης (σε χαρτί, τηλεφωνικά ή από κοντά), υπενθύμιση από έναν ουδέτερο αποστολέα που εμπιστεύονται (το τμήμα ανθρώπινου δυναμικού ή ένα ανώτερο στέλεχος που στηρίζει την έρευνα, ποτέ τον άμεσο προϊστάμενο της ομάδας που ρωτάτε) και μια ώρα που βολεύει όσους δουλεύουν σε βάρδιες, όπως το προσωπικό ενός ξενοδοχείου μέσα στη σεζόν.
Στείλτε υπενθύμιση μόνο σε όσους δεν έχουν απαντήσει. Στις δοκιμές της ίδιας ανασκόπησης με ταχυδρομικά ερωτηματολόγια, μια υπενθύμιση με email αύξησε τις απαντήσεις (λόγος πιθανοτήτων 1,60). Στο Survey.gr στέλνετε νέο email στους παραλήπτες που «Δεν έχουν ανταποκριθεί στην πρόσκληση μέσω email». Το εργαλείο ξέρει ποιος απάντησε μόνο όταν είναι ενεργή η παρακολούθηση συμμετοχών, που από προεπιλογή δεν είναι (δείτε την επόμενη παράγραφο). Τότε «δεν ανταποκρίθηκε» σημαίνει ότι το άτομο δεν έχει ανοίξει την έρευνα από τον σύνδεσμο της δικής του πρόσκλησης: όποιος ξεκίνησε και σταμάτησε δεν θα λάβει το email, ενώ όποιος απάντησε από άλλον σύνδεσμο θα το λάβει. Με την παρακολούθηση απενεργοποιημένη, η επιλογή αυτή στέλνει σε όλη τη λίστα. Πριν στείλετε, ελέγξτε ποιες ομάδες λείπουν ακόμη. Κάθε email μετράει στις μηνιαίες προσκλήσεις μέσω email του προγράμματός σας.
Πείτε ποιος βλέπει τις απαντήσεις και τι καταγράφεται. Εξηγήστε πώς θα χρησιμοποιηθούν τα αποτελέσματα, ποιος έχει πρόσβαση σε αυτά και ότι παρουσιάζονται μόνο συγκεντρωτικά· στις δοκιμές με ταχυδρομικά ερωτηματολόγια, η διαβεβαίωση εμπιστευτικότητας αύξησε τις απαντήσεις (1,33). Μην υπόσχεστε ανωνυμία. Αν ενεργοποιήσετε την παρακολούθηση συμμετοχών για να στέλνετε υπενθύμιση μόνο σε όσους δεν απάντησαν, πείτε το, γιατί η ίδια ρύθμιση σας δείχνει και τις απαντήσεις κάθε ατόμου: «Καταγράφουμε ποιος άνοιξε την έρευνα από την πρόσκλησή του, ώστε να στείλουμε υπενθύμιση μόνο σε όσους δεν την έχουν ανοίξει. Ο δημιουργός της έρευνας μπορεί να δει τις ατομικές απαντήσεις, και τα αποτελέσματα παρουσιάζονται μόνο συγκεντρωτικά.» Το υποσέλιδο της πρόσκλησης προσθέτει αυτόματα μια σημείωση με το ίδιο νόημα. Το σωστό σημείο για να τα πείτε είναι η εισαγωγή και οι οδηγίες της έρευνας, εκεί όπου εξηγείτε τον σκοπό, τον χρόνο και τη χρήση των απαντήσεων.
Κρατήστε την έρευνα σύντομη και τις ερωτήσεις εύκολες να απαντηθούν. Δηλώστε την πραγματική διάρκεια· οι δοκιμές της Cochrane δεν βρήκαν σταθερό όφελος από το να ανακοινώνεται μικρότερη ή μεγαλύτερη διάρκεια. Κόψτε ό,τι δεν θα χρησιμοποιήσει η ανάλυση, διορθώστε τις περίπλοκες, ασαφείς και μεγάλες ερωτήσεις και προσθέστε «Άλλο» ή «Δεν γνωρίζω» όπου αυτή είναι μια ειλικρινής απάντηση. Ορίστε ως υποχρεωτικές μόνο τις ερωτήσεις που χρειάζεστε: όταν κάθε απάντηση είναι υποχρεωτική, κάποιοι εγκαταλείπουν την έρευνα ή διαλέγουν μια τυχαία απάντηση.
Κάντε πιλοτική δοκιμή και χρονομετρήστε τη. Ζητήστε από δύο ή τρία άτομα της ομάδας που θα ρωτήσετε να συμπληρώσουν την έρευνα και μετρήστε τον χρόνο τους, αντί να βασιστείτε σε κανόνα του τύπου «τόσες ερωτήσεις το λεπτό».
Μετά την έρευνα: στάθμιση και σωστή αναφορά του ποσοστού απόκρισης
Η στάθμιση προσαρμόζει τα αποτελέσματα ώστε κάθε ομάδα να μετράει ανάλογα με το μερίδιό της στους προσκεκλημένους: αν οι μεγαλύτεροι σε ηλικία εργαζόμενοι απάντησαν σε μικρότερο ποσοστό, οι απαντήσεις τους παίρνουν λίγο μεγαλύτερο βάρος. Διορθώνει όμως μόνο ό,τι σταθμίζετε. Αν κάποιοι δεν απάντησαν εξαιτίας της γνώμης τους, η στάθμιση κατά ηλικία ή τμήμα δεν το διορθώνει, ενώ το περιθώριο σφάλματος μεγαλώνει. Ένας πρακτικός κανόνας, όχι καθιερωμένο κριτήριο: σταθμίστε με ένα ή δύο χαρακτηριστικά και με τουλάχιστον 20–30 απαντήσεις ανά ομάδα· αλλιώς δείξτε τη σύνθεση των ερωτώμενων δίπλα στη σύνθεση των προσκεκλημένων. Το Survey.gr δεν κάνει στάθμιση, μπορείτε όμως να την κάνετε σε υπολογιστικό φύλλο μετά την «Εξαγωγή σε Excel».
Αναφέρετε το ποσοστό απόκρισης μαζί με τον ορισμό του. Ο απλούστερος τυποποιημένος ορισμός, ο RR1 στα Standard Definitions της AAPOR (της αμερικανικής ένωσης ερευνητών της κοινής γνώμης), είναι οι ολοκληρωμένες απαντήσεις διά τον αριθμό των προσκεκλημένων. Το εργαλείο δεν καταγράφει τα email που επιστράφηκαν, οπότε οι διευθύνσεις όπου η πρόσκληση δεν παραδόθηκε μένουν στον παρονομαστή και το ποσοστό σας είναι κατώτατο όριο. Μια έρευνα που μοιράζεται με δημόσιο σύνδεσμο δεν έχει γνωστό αριθμό προσκεκλημένων, άρα δεν έχει ποσοστό απόκρισης.
Πείτε τι έδειξαν οι έλεγχοι και προς ποια κατεύθυνση θα έσπρωχνε τα αποτελέσματα η μεροληψία που ίσως έχει μείνει: «Το τμήμα πωλήσεων απάντησε με το μισό ποσοστό από τα άλλα τμήματα και έδωσε χαμηλότερες βαθμολογίες, άρα η συνολική βαθμολογία μπορεί να είναι λίγο υψηλότερη από την πραγματική.»
Με λίγα λόγια
Συγκρίνετε όσους απάντησαν με όσους προσκαλέσατε, βάλτε τις πρώτες απαντήσεις δίπλα στις καθυστερημένες και, όταν διακυβεύονται πολλά, ρωτήστε λίγους από όσους δεν απάντησαν. Στείλτε υπενθύμιση μόνο σε όσους δεν έχουν απαντήσει, στρέψτε την προσπάθεια στις ομάδες που υστερούν και αναφέρετε το ποσοστό απόκρισης με τον ορισμό του και με ό,τι βρήκαν οι έλεγχοί σας.
Η έρευνα εργαζομένων είναι η πιο εύκολη αρχή: ξέρετε ποιους προσκαλέσατε και σε ποιο τμήμα δουλεύει ο καθένας, οπότε με ενεργή την παρακολούθηση συμμετοχών έχετε στη διάθεσή σας όλους τους παραπάνω ελέγχους. Ξεκινήστε από ένα έτοιμο ερωτηματολόγιο ικανοποίησης εργαζομένων και στείλτε το στη λίστα σας με email.
Έτοιμο πρότυπο: ερωτηματολόγιο ικανοποίησης εργαζομένων
Στείλτε το με email, με ενεργή την παρακολούθηση συμμετοχών, σε μια λίστα όπου ξέρετε το τμήμα κάθε εργαζομένου, και θα μπορείτε να κάνετε όλους τους ελέγχους αυτού του οδηγού.
Δείτε το πρότυπο