Πώς να προετοιμαστείτε για μια έρευνα με ερωτηματολόγιο

Η προετοιμασία μιας έρευνας με ερωτηματολόγιο ξεκινά πριν από την πρώτη ερώτηση, με οκτώ αποφάσεις που παίρνετε με αυτή τη σειρά: τι θέλετε να μάθετε και τι θα παρουσιάσετε, αν θα ρωτήσετε όλους ή ένα δείγμα, αν οι συμμετέχοντες μπορούν να απαντήσουν, πώς θα τους προσεγγίσετε, τι θα κερδίσουν από τη συμμετοχή τους, με ποια σειρά θα μπουν οι ερωτήσεις, πόσο θα διαρκεί η έρευνα και πώς θα τη δοκιμάσετε. Κάθε απόφαση προλαμβάνει ένα συνηθισμένο λάθος, και τα περισσότερα από αυτά τα λάθη δεν διορθώνονται όταν οι απαντήσεις έχουν πια συγκεντρωθεί. Ο οδηγός απευθύνεται σε όποιον φτιάχνει μόνος του μια έρευνα: σε μια επιχείρηση, ένα τμήμα ανθρώπινου δυναμικού, ένα σχολείο ή έναν σύλλογο.

Τα βασικά σημεία

  • Πριν από την πρώτη ερώτηση, γράψτε ποια απόφαση θα στηρίξει η έρευνα και ποια πρόταση της αναφοράς θα δώσει κάθε ερώτηση.
  • Το μέγεθος του δείγματος σάς λέει το περιθώριο σφάλματος μόνο σε ένα τυχαίο δείγμα· όσοι απαντούν σε έναν ανοιχτό σύνδεσμο επέλεξαν μόνοι τους να απαντήσουν.
  • Κανένα κανάλι δεν κάνει μια έρευνα ανώνυμη: πείτε ποιος θα δει τις ατομικές απαντήσεις και ότι τα αποτελέσματα παρουσιάζονται μόνο συγκεντρωτικά.
  • Ξεκινήστε με εύκολες ερωτήσεις πάνω στο θέμα και αφήστε τις δημογραφικές ερωτήσεις για το τέλος.
  • Κάντε πιλοτική δοκιμή με λίγα άτομα που μοιάζουν με τους ερωτώμενούς σας και σημειώστε πόση ώρα χρειάστηκαν.

1. Αποφασίστε τι πρέπει να μάθετε και τι θα παρουσιάσετε

Γράψτε μία πρόταση που λέει ποια απόφαση θα στηρίξει η έρευνα και ποιος θα την πάρει. Το «να μάθουμε τι πιστεύουν οι εργαζόμενοι» δεν είναι τέτοια πρόταση· το «να αποφασίσουμε αν από τον Ιανουάριο θα περάσουμε στο νέο ωράριο εργασίας» είναι.

Έπειτα γράψτε ποιες πληροφορίες χρειάζεται αυτή η απόφαση και, δίπλα σε καθεμία, την πρόταση ή τον πίνακα της αναφοράς όπου θα καταλήξει: «Το Χ% των εργαζομένων προτιμά το νέο ωράριο», «ανά τμήμα». Μια ερώτηση που δεν καταλήγει σε καμία γραμμή της αναφοράς κόβεται από τώρα.

Αποφασίστε επίσης ποιες ομάδες θα συγκρίνετε: τμήματα, καταστήματα, ηλικιακές ομάδες. Στο Survey.gr, ο «Πίνακας διασταύρωσης» συνδυάζει μόνο ερωτήσεις επιλογής («Μία απάντηση», «Πολλαπλές απαντήσεις», «Πτυσσόμενα μενού» και τις ερωτήσεις με εικόνες). Ρωτήστε λοιπόν σε ποια ομάδα ανήκει ο ερωτώμενος με μια ερώτηση επιλογής, όχι με πεδίο κειμένου. Για τον τύπο κάθε ερώτησης και το γράφημα που δίνει, δείτε πώς σχεδιάζετε το ερωτηματολόγιο με βάση την ανάλυση.

2. Ποιους θα ρωτήσετε: όλους ή ένα δείγμα

Ορίστε πρώτα την ομάδα που πρέπει να περιγράψουν τα αποτελέσματα, ποιος ανήκει σε αυτήν και ποιος όχι, και μετά διαλέξτε:

Η AAPOR, η αμερικανική ένωση ερευνητών κοινής γνώμης, δίνει αυτά τα περιθώρια σφάλματος, εδώ στρογγυλεμένα, για ένα τυχαίο δείγμα από μεγάλο πληθυσμό, σε επίπεδο εμπιστοσύνης 95% και με τις απαντήσεις μοιρασμένες 50/50:

Πόσοι απάντησαν Περιθώριο σφάλματος, σε ποσοστιαίες μονάδες
100 περίπου ±10
400 περίπου ±5
1.000 περίπου ±3

Όταν ο πληθυσμός είναι πολλές φορές μεγαλύτερος από το δείγμα, όπως ο πληθυσμός μιας χώρας ή μιας πόλης, το μέγεθός του ελάχιστα αλλάζει αυτούς τους αριθμούς· για να μειώσετε το περιθώριο στο μισό, χρειάζεστε περίπου τετραπλάσιους ερωτώμενους. Περισσότερες απαντήσεις όμως δεν μειώνουν τη μεροληψία, δηλαδή το συστηματικό σφάλμα.

Οι περισσότερες έρευνες με σύνδεσμο είναι μια τρίτη περίπτωση: όσοι απαντούν σε έναν σύνδεσμο σε έναν ιστότοπο ή σε ένα κοινωνικό δίκτυο επέλεξαν μόνοι τους να απαντήσουν. Εδώ δεν ισχύει κανένα περιθώριο σφάλματος, και οι απαντήσεις από μόνες τους δεν δείχνουν πόσο απέχουν από την πραγματικότητα. Το πρόβλημα δεν διορθώνεται ούτε αν φροντίσετε μερικές αναλογίες να συμπίπτουν με εκείνες του πληθυσμού, για παράδειγμα το ποσοστό των γυναικών: η Statistics Canada, η στατιστική υπηρεσία του Καναδά, προειδοποιεί ότι έτσι μπορεί να κρυφτεί η μεροληψία επιλογής. Χρησιμοποιήστε τις γνωστές αναλογίες ως έλεγχο: συγκρίνετε όσους απάντησαν με όσους ανήκουν στην ομάδα.

3. Ελέγξτε αν οι συμμετέχοντες μπορούν και θέλουν να απαντήσουν

Μπορούν να απαντήσουν; Ρωτήστε ανθρώπους που έχουν την πληροφορία: αν ρωτήσετε το προσωπικό για τους όρους της σύμβασης με έναν προμηθευτή, θα συγκεντρώσετε εικασίες. Η Statistics Canada προσθέτει ότι οι πρώτες ερωτήσεις πρέπει να κάνουν τους ερωτώμενους να νιώθουν σίγουροι ότι μπορούν να απαντήσουν και στις υπόλοιπες.

Θα απαντήσουν ειλικρινά; Ένα ευαίσθητο θέμα, όπως οι αποδοχές, η υγεία ή η συμπεριφορά ενός προϊσταμένου, δεν είναι λόγος να εγκαταλείψετε την έρευνα. Χωρίς συνεντευξιαστή, οι ερωτώμενοι δίνουν λιγότερες απαντήσεις που απλώς τους δείχνουν σε καλό φως (κοινωνική επιθυμητότητα), και για τα υπόλοιπα φροντίζουν η προσεκτική διατύπωση και μια σαφής δήλωση για το ποιος βλέπει τις απαντήσεις· δείτε πώς θέτετε μια ευαίσθητη ερώτηση. Μόνο όταν μια ομάδα είναι τόσο μικρή ώστε μια απάντηση θα έδειχνε ποιος την έδωσε, χρησιμοποιήστε άλλο κανάλι αντί για την έρευνα.

4. Πώς θα τους προσεγγίσετε και τι σας λέει κάθε κανάλι

Αν έχετε δική σας λίστα διευθύνσεων, χρησιμοποιήστε την, και προσθέστε ανοιχτά κανάλια μόνο για όσους δεν περιλαμβάνει: το κανάλι κρίνει ποιοι απαντούν. Στο Survey.gr, τα κανάλια βρίσκονται στην καρτέλα «Διανομή» της έρευνας:

Κανένα κανάλι δεν κάνει τις απαντήσεις ανώνυμες. Ένας γενικός σύνδεσμος δεν φέρει όνομα, όμως μια μικρή ομάδα, ένα γραπτό σχόλιο, ένα πεδίο με στοιχεία επικοινωνίας ή ένας συνδυασμός απαντήσεων (τμήμα και ηλικιακή ομάδα) μπορεί να δείξει ποιος απάντησε. Επιπλέον, το Survey.gr αποθηκεύει με κάθε απάντηση τη διάρκεια της συμπλήρωσης, τη συσκευή, τον browser, τη χώρα (όπου μπορεί να προσδιοριστεί) και τον ιστότοπο από τον οποίο άνοιξε ο σύνδεσμος.

Μην υπόσχεστε λοιπόν ανωνυμία. Πείτε στους ερωτώμενους ποιος θα δει τις ατομικές απαντήσεις και ότι τα αποτελέσματα παρουσιάζονται μόνο συγκεντρωτικά, για ομάδες τουλάχιστον 10 ατόμων. Το Survey.gr δεν επιβάλλει κανένα ελάχιστο όριο: ελέγξτε εσείς το πλήθος κάθε ομάδας πριν δείξετε μια ανάλυση.

5. Πείτε στους συμμετέχοντες τι κερδίζουν

Πείτε με μία συγκεκριμένη πρόταση, στην πρόσκληση και στην εισαγωγή, τι θα αποφασίσετε με τις απαντήσεις: «αν από τον Ιανουάριο θα περάσουμε στο νέο ωράριο», όχι «για να βελτιώσουμε τις υπηρεσίες μας». Πείτε σε τι χρησιμεύουν οι απαντήσεις, ποτέ ποια απάντηση ελπίζετε να πάρετε.

Σε μια ανασκόπηση Cochrane τυχαιοποιημένων δοκιμών (Edwards και συνεργάτες, 2023), τα χρηματικά κίνητρα και τα μικρά δώρα αύξησαν τις απαντήσεις στα διαδικτυακά ερωτηματολόγια, αν και τα αποτελέσματα διέφεραν πολύ από δοκιμή σε δοκιμή. Περισσότερες απαντήσεις όμως δεν σημαίνουν απαραίτητα πιο αντιπροσωπευτικές. Αν προσφέρετε κίνητρο, πείτε τι είναι, ποιος το παίρνει και πότε· οι κληρώσεις με δώρα μπορεί να υπόκεινται σε κανόνες, οπότε ελέγξτε ποιοι ισχύουν για εσάς.

Το Survey.gr δεν στέλνει κανένα μήνυμα στον ερωτώμενο όταν ολοκληρώνει την έρευνα και δεν κάνει κληρώσεις, άρα το κίνητρο το δίνετε εσείς. Ζητήστε μια διεύθυνση email σε μια προαιρετική ερώτηση στην τελευταία σελίδα, ώστε να μπορεί κανείς να απαντήσει χωρίς να διεκδικήσει το κίνητρο, και πείτε ότι η διεύθυνση αποθηκεύεται μαζί με τις απαντήσεις και χρησιμοποιείται μόνο γι’ αυτό. Δείτε και περισσότερους τρόπους να απαντήσουν οι προσκεκλημένοι.

6. Η σειρά των ερωτήσεων

Ξεκινήστε με απλές ερωτήσεις πάνω στο θέμα της έρευνας, που οι ερωτώμενοι βρίσκουν εύκολες και ενδιαφέρουσες, πηγαίνετε από το γενικό στο ειδικό και αφήστε τις δημογραφικές ερωτήσεις (ηλικία, φύλο, τόπος κατοικίας) προς το τέλος, εκτός αν κάποια από αυτές είναι ερώτηση φίλτρου που κρίνει ποιος συνεχίζει. Το ίδιο συστήνουν το Pew Research Center και η Statistics Canada.

Ο λόγος: μια ερώτηση που προηγείται δίνει πλαίσιο στις επόμενες και μπορεί να αλλάξει τις απαντήσεις τους. Γι’ αυτό, μια ερώτηση που επαναλαμβάνετε σε κάθε γύρο της έρευνας, για να βλέπετε πώς αλλάζουν οι απαντήσεις, μένει πάντα στην ίδια θέση.

Ανοίξτε την έρευνα με ένα σύντομο εισαγωγικό σημείωμα στην πρώτη οθόνη, που λέει ποιος ρωτά, σε τι θα χρησιμεύσουν οι απαντήσεις, πόση ώρα χρειάζεται η συμπλήρωση και ποιος θα δει τις απαντήσεις, και κλείστε την με ένα ευχαριστώ. Για τη διατύπωση, δείτε το εισαγωγικό σημείωμα του ερωτηματολογίου.

7. Σύντομο ερωτηματολόγιο και μετρημένος χρόνος

Κόψτε ό,τι δεν καταλήγει σε καμία γραμμή της αναφοράς σας: στις διαδικτυακές δοκιμές της ανασκόπησης Cochrane, τα συντομότερα ερωτηματολόγια πήραν περισσότερες απαντήσεις, αν και τα αποτελέσματα διέφεραν πολύ.

Η διάρκεια κοστίζει διπλά. Όσο μεγαλύτερος είναι ο χρόνος που αναγράφεται, τόσο λιγότεροι ξεκινούν και ολοκληρώνουν την έρευνα, και οι απαντήσεις προς το τέλος ενός μεγάλου ερωτηματολογίου γίνονται πιο γρήγορες, πιο σύντομες και πιο ομοιόμορφες (Galesic και Bosnjak, 2009). Οι ανοιχτές ερωτήσεις κοστίζουν περισσότερο από όλες. Σε περισσότερες από 40 έρευνες του American Trends Panel του Pew Research Center, ενός διαδικτυακού πάνελ με πιθανοτικό δείγμα, από τον Σεπτέμβριο του 2018 έως τον Ιούλιο του 2021, κατά μέσο όρο περίπου το 18% των ερωτώμενων άφηνε αναπάντητη μια ανοιχτή ερώτηση, έναντι 1–2% στις κλειστές. Κρατήστε μόνο τις ανοιχτές ερωτήσεις των οποίων τις απαντήσεις θα διαβάσετε.

Κανένας αξιόπιστος κανόνας δεν λέει πόσες ερωτήσεις χωρούν σε ένα λεπτό. Μετρήστε τον χρόνο στην πιλοτική δοκιμή, γράψτε τον στην πρόσκληση και στην εισαγωγή και, αν φαίνεται μεγάλος, συντομεύστε την έρευνα, όχι τον χρόνο που αναγράφετε.

8. Πιλοτική δοκιμή του ερωτηματολογίου πριν από την αποστολή

Πριν στείλετε την έρευνα, ζητήστε από λίγα άτομα που μοιάζουν με τους ερωτώμενούς σας να τη συμπληρώσουν: πελάτες για μια έρευνα πελατών, όχι μόνο συναδέλφους, που θα βρουν τα τυπογραφικά λάθη αλλά όχι όσα θα παρανοήσει ένας πελάτης. Η AAPOR, το Pew Research Center και η Statistics Canada θεωρούν αυτή τη δοκιμή απαραίτητο βήμα του σχεδιασμού ενός ερωτηματολογίου.

Προσέξτε πού διστάζουν, τι τους φαίνεται ασαφές ή άβολο, ποια ερώτηση τους κάνει να σταματήσουν και να σκεφτούν, αν καταλαβαίνουν τι περιμένετε από αυτούς και αν η άποψή τους χωράει σε κάποια από τις απαντήσεις που προσφέρετε.

Στο Survey.gr, η «Προεπισκόπηση» δείχνει την έρευνα όπως θα τη δουν οι ερωτώμενοι, αλλά δεν δέχεται απαντήσεις. Για μια δοκιμή με χρονομέτρηση, κάντε την έρευνα «Ενεργή», στείλτε τον σύνδεσμο στους δοκιμαστές και δείτε στις «Ατομικές απαντήσεις» την ένδειξη «Χρόνος ανταπόκρισης» κάθε δοκιμής.

Έπειτα ανοίξτε τα αποτελέσματα και προσπαθήστε να γράψετε τις προτάσεις της αναφοράς που σχεδιάσατε· μια πρόταση που δεν γράφεται δείχνει μια ερώτηση που πρέπει να αλλάξει. Πριν από την κανονική αποστολή, διαγράψτε τις δοκιμαστικές απαντήσεις στις «Ατομικές απαντήσεις»: μέχρι τότε προσμετρώνται στα αποτελέσματα μαζί με τις πραγματικές, και στο όριο απαντήσεων της έρευνας. Η διαγραφή είναι οριστική. Ελέγξτε την έρευνα και σε κινητό.

Με λίγα λόγια

Για να προετοιμάσετε μια έρευνα, παίρνετε οκτώ αποφάσεις, από το σχέδιο της αναφοράς έως την πιλοτική δοκιμή. Οι δύο που κοστίζουν περισσότερο όταν τις παραλείπετε είναι το σχέδιο της αναφοράς και η πιλοτική δοκιμή: το πρώτο δίνει σε κάθε ερώτηση τον σκοπό της, η δεύτερη δείχνει ό,τι δεν βλέπετε στο δικό σας προσχέδιο. Όποιο κανάλι κι αν διαλέξετε, μην υπόσχεστε ανωνυμία: πείτε ποιος θα δει τις απαντήσεις.

Για να ξεκινήσετε, δείτε τα παραδείγματα ερωτηματολογίων και τα έτοιμα πρότυπα ανά θέμα.

Παραδείγματα ερωτηματολογίων και έτοιμα πρότυπα ανά θέμα

Διαλέξτε τον τομέα της έρευνάς σας, ανοίξτε ένα πρότυπο και προσαρμόστε τις ερωτήσεις του στη λίστα πληροφοριών που γράψατε.

Δείτε τα πρότυπα

Διαβάστε ακόμα