Καθοδηγητικές και μεροληπτικές ερωτήσεις σε έρευνες: πώς να τις αποφύγετε

Καθοδηγητική ερώτηση είναι η ερώτηση ερωτηματολογίου που με τη διατύπωσή της σπρώχνει τον ερωτώμενο προς μία απάντηση, όπως το «Δεν συμφωνείτε ότι…;» Η φορτισμένη ερώτηση πάει πιο πέρα: κρύβει μια προϋπόθεση ή φορτισμένες λέξεις που ο ερωτώμενος δεν αποφεύγει, ό,τι κι αν απαντήσει. Στο «Γιατί σταματήσατε να…;» όποιος δεν ξεκίνησε ποτέ δεν έχει αληθινή απάντηση. Και τα δύο είδη δίνουν αποτελέσματα που μοιάζουν φυσιολογικά αλλά είναι λάθος, και τίποτα στα δεδομένα δεν σας προειδοποιεί. Ο οδηγός είναι για όποιον γράφει μόνος του ερωτηματολόγιο: πώς τα εντοπίζετε στη διατύπωση και στις επιλογές, γιατί το «Συμφωνείτε ότι…;» φέρνει «ναι», πώς ξαναγράφετε κάθε ερώτηση και τι ελέγχετε πριν από την αποστολή.

Τα βασικά σημεία

  • Η καθοδηγητική ερώτηση δείχνει ποια απάντηση ελπίζετε· η φορτισμένη ερώτηση επιβάλλει μια προϋπόθεση σε όποιον απαντά.
  • Η διατύπωση μετακινεί τα αποτελέσματα κατά πολλές ποσοστιαίες μονάδες, χωρίς να φαίνεται πουθενά.
  • Ελέγξτε και τις επιλογές: δύο πλευρές, ίσα βήματα, διέξοδος για όσους δεν αφορά η ερώτηση.
  • Αντί για «Συμφωνείτε ότι…;», μια ευθεία ερώτηση ή μια επιλογή ανάμεσα σε δύο δηλώσεις.
  • Πριν από ερώτηση που προϋποθέτει κάτι, μια ερώτηση φίλτρου· και δοκιμή του σχεδίου σε λίγα άτομα.

Τι είναι οι καθοδηγητικές και οι φορτισμένες ερωτήσεις

Κατά τον ορισμό της Στατιστικής Υπηρεσίας της Αυστραλίας (ABS), καθοδηγητική είναι η ερώτηση που κατευθύνει τους ερωτώμενους προς μια συγκεκριμένη απάντηση ή κάνει κάποιες απαντήσεις να φαίνονται πιο επιθυμητές από άλλες. Η φορτισμένη ερώτηση περιέχει κάτι που ο ερωτώμενος δεν είπε: είτε μια προϋπόθεση που την επιβεβαιώνει κάθε απάντηση είτε φορτισμένες λέξεις, στις οποίες αντιδρά κανείς περισσότερο απ' όσο στο ίδιο το θέμα. Και τα δύο είδη είναι μεροληπτικές ερωτήσεις: σπρώχνουν τις απαντήσεις συστηματικά προς μία πλευρά.

Το κλασικό παράδειγμα έρχεται από τη λογική: «Σταματήσατε να κλέβετε αυτοκίνητα;» Με το «ναι» παραδέχεστε ότι κλέβατε, με το «όχι» ότι συνεχίζετε. Όσοι γράφουν ερωτηματολόγια στήνουν την ίδια ερώτηση-παγίδα χωρίς να το καταλάβουν. Το «Σταματήσατε να χρησιμοποιείτε ξυραφάκια μονής λεπίδας λόγω της τιμής;» προϋποθέτει ότι ο ερωτώμενος ξυρίζεται, ότι χρησιμοποιούσε τέτοια ξυραφάκια και ότι σταμάτησε. Ένας άντρας με γένια δεν έχει αληθινή απάντηση.

Είδος Τι κάνει Παράδειγμα
Καθοδηγητική: υπόδειξη στη διατύπωση Δείχνει ποια απάντηση περιμένετε «Το νέο μενού είναι καλύτερο, έτσι δεν είναι;»
Φορτισμένη: κρυφή προϋπόθεση Θεωρεί δεδομένο κάτι που ίσως δεν ισχύει «Γιατί σταματήσατε να χρησιμοποιείτε την εφαρμογή μας;»
Φορτισμένη: φορτισμένες λέξεις Προκαλεί αντίδραση στη λέξη, όχι στο θέμα «Πόσο χρόνο χάνετε κάθε εβδομάδα σε συσκέψεις;»
Καθοδηγητική: επίκληση αυθεντίας Κάνει τη διαφωνία να μοιάζει με άγνοια «Οι ειδικοί συμφωνούν ότι ο νέος σχεδιασμός είναι πιο εύχρηστος. Πόσο εύχρηστος σας φαίνεται;»

Γιατί έχουν σημασία: οι απαντήσεις αλλάζουν χωρίς να φαίνεται

Λίγες λέξεις αλλάζουν τα ποσοστά κατά πολλές μονάδες. Η Statistics Canada παρουσιάζει δύο διατυπώσεις της ίδιας ερώτησης από την Toronto Area Survey του 1991. Στην ερώτηση αν τα καταστήματα που το θέλουν πρέπει να μπορούν να ανοίγουν την Κυριακή, το 73% απάντησε υπέρ και το 25% κατά. Όταν η Κυριακή παρουσιάστηκε ως κοινή ημέρα ανάπαυσης, που οι περισσότεροι δεν χρειάζεται να δουλεύουν, το 44% ήταν υπέρ της αργίας και το 50% κατά, δηλαδή υπέρ των ανοιχτών καταστημάτων. Η πλειονότητα υπέρ του ανοίγματος έμεινε, αλλά έπεσε από 73% σε 50%, και όσοι ήθελαν κλειστά καταστήματα ανέβηκαν από 25% σε 44%.

Σε μια έρευνα με μία μόνο διατύπωση αυτό δεν φαίνεται. Το περιθώριο σφάλματος δεν το καλύπτει και περισσότερες απαντήσεις δεν το μειώνουν: είναι μεροληψία, δηλαδή συστηματικό σφάλμα. Μετριέται μόνο αν δοκιμάσετε δύο διατυπώσεις σε συγκρίσιμες ομάδες, και μόνο μια καλύτερη ερώτηση το προλαμβάνει. Μια υποχρεωτική φορτισμένη ερώτηση αναγκάζει σε ψευδή απάντηση όποιον δεν αφορά.

Συχνά μια έρευνα γίνεται για να ελεγχθεί μια υπόθεση. Το λάθος είναι να γράψετε την ερώτηση από την πλευρά που προτιμάτε. Η AAPOR, η αμερικανική ένωση ερευνητών κοινής γνώμης, συνιστά να αποφεύγεται η διατύπωση που παρουσιάζει μόνο τη μία πλευρά ενός ζητήματος.

Προειδοποιητικά σημάδια στη διατύπωση

Ελέγξτε κάθε ερώτηση του σχεδίου για πέντε σημάδια.

Γραμμένο ως «Έχετε κλέψει ποτέ αυτοκίνητο;», το κλασικό παράδειγμα χάνει την παγίδα αλλά όχι τη δυσκολία: όπως σημειώνει το Pew Research Center, οι άνθρωποι παραδέχονται σπανιότερα απ' όσο ισχύει τις συμπεριφορές για τις οποίες ντρέπονται. Είναι πια ευαίσθητη ερώτηση· πώς τη θέτετε, και γιατί η «επιεικής» εισαγωγή («Πολλοί δυσκολεύονται να…») δεν είναι σίγουρη λύση, εξηγεί ο οδηγός για τις ευαίσθητες ερωτήσεις σε ερωτηματολόγιο. Άλλο λάθος, με δικά του σημάδια, είναι οι δύο ερωτήσεις σε μία.

Μεροληπτικές επιλογές απάντησης: και η κλίμακα καθοδηγεί

Μια ουδέτερη ερώτηση με μονόπλευρες επιλογές εξακολουθεί να καθοδηγεί. Σε μια ισορροπημένη κλίμακα οι δύο πλευρές είναι ακριβή αντίθετα ίδιας έντασης, όπως «Πολύ δύσκολο» και «Πολύ εύκολο», με ίσο αριθμό σημείων. Στην κλίμακα «Πολύ ικανοποιημένος/η / Ικανοποιημένος/η / Ουδέτερος/η / Όχι πολύ ικανοποιημένος/η / Δυσαρεστημένος/η» η αρνητική πλευρά είναι πιο αδύναμη: το «Όχι πολύ ικανοποιημένος/η» δεν είναι το αντίθετο του «Ικανοποιημένος/η». Αν φτιάξετε σκόπιμα κλίμακα με περισσότερα θετικά σημεία, μην την παρουσιάσετε ως ισορροπημένη: μια φράση όπως «Το 80% μάς βαθμολόγησε με “καλό” ή καλύτερα» τότε λέει ελάχιστα.

Η λίστα πρέπει επίσης να χωρά όλους: προσθέστε «Άλλο» με πεδίο κειμένου και «Δεν ισχύει για μένα» όπου κάποιοι μένουν απέξω. Στο Survey.gr μια ερώτηση είναι προαιρετική μέχρι να επιλέξετε «Υποχρεωτική απάντηση»· κάντε το μόνο αν όλοι μπορούν πραγματικά να απαντήσουν. Η ερώτηση με τα αριθμημένα σημεία έχει λέξεις μόνο στο πρώτο και στο τελευταίο, και αυτές τις γράφετε εσείς, όπως και κάθε στήλη ενός πίνακα: κάντε τις αληθινά αντίθετες. Για τον αριθμό των σημείων και το μεσαίο σημείο, δείτε τον σχεδιασμό ερωτηματολογίου για ανάλυση δεδομένων.

«Συμφωνείτε ότι…;»: οι δηλώσεις ευνοούν τη συμφωνία

Πολλοί ερωτώμενοι τείνουν να συμφωνούν με μια δήλωση, ό,τι κι αν λέει. Το Pew Research Center το ονομάζει τάση συγκατάθεσης (acquiescence), και η ABS σημειώνει ότι κάποιοι απλώς απαντούν «ναι» σε όλες τις ερωτήσεις. Η λύση είναι μια ευθεία ερώτηση με απαντήσεις που ονομάζουν αυτό που μετράτε, όπως «Πόσο γρήγορη ή αργή ήταν η παράδοση;» (από «Πολύ γρήγορη» έως «Πολύ αργή»), ή μια επιλογή ανάμεσα σε δύο δηλώσεις: «Ποια άποψη είναι πιο κοντά στη δική σας, η Α ή η Β;»

Πριν και μετά: παραδείγματα καθοδηγητικών ερωτήσεων και διορθώσεις

Κρατήστε το μοτίβο αυτών των παραδειγμάτων, όχι τα θέματά τους.

Πριν Τι φταίει Μετά
«Πρέπει να ξοδεύονται χρήματα των φορολογουμένων για τη διαφήμιση αμφιλεγόμενων πολιτικών κομμάτων;» Φορτισμένες λέξεις, μόνο η μία πλευρά «Είστε υπέρ ή κατά της χρηματοδότησης της διαφήμισης των πολιτικών κομμάτων από δημόσιο χρήμα;»
«Σταματήσατε να χρησιμοποιείτε ξυραφάκια μονής λεπίδας λόγω της τιμής;» Προϋποθέτει ότι ο ερωτώμενος ξυρίζεται, χρησιμοποιούσε τέτοια ξυραφάκια και σταμάτησε Ερώτηση φίλτρου: «Έχετε χρησιμοποιήσει ποτέ ξυραφάκι μονής λεπίδας;» («Ναι, και εξακολουθώ» / «Ναι, αλλά όχι πια» / «Όχι, ποτέ» / «Δεν ξυρίζομαι»). Μετά, μόνο για το «Ναι, αλλά όχι πια»: «Ποιος ήταν ο κύριος λόγος που σταματήσατε;» (με την τιμή ανάμεσα στις επιλογές και «Άλλο»)
«Επηρεάζει η έλλειψη σεβασμού των μαθητών προς τους εκπαιδευτικούς τη διδασκαλία στο σχολείο σας;» Προϋποθέτει ότι οι μαθητές δεν σέβονται τους εκπαιδευτικούς «Πώς θα περιγράφατε τη συμπεριφορά των μαθητών προς τους εκπαιδευτικούς στο σχολείο σας;» (από «Με μεγάλο σεβασμό» έως «Με μεγάλη ασέβεια») και μετά ερωτήσεις για τις συνέπειες
«Οι ειδικοί λένε ότι πρέπει να αγοράζουμε μόνο αφού ενημερωθούμε καλά. Συμφωνείτε;» Επίκληση αυθεντίας και μορφή συμφωνίας «Ποια άποψη είναι πιο κοντά στη δική σας; (Α) Πριν αγοράσει κανείς μια ηλεκτρική συσκευή, αξίζει να συγκρίνει προσεκτικά τα μοντέλα. (Β) Η σύγκριση των μοντέλων συνήθως δεν αξίζει τον κόπο.»
«Συμφωνείτε ότι στο ΚΕΠ σάς εξυπηρετούν γρήγορα;» Μορφή συμφωνίας, μόνο η μία πλευρά «Πόσο γρήγορα ή αργά σάς εξυπηρέτησαν στο ΚΕΠ;» (από «Πολύ γρήγορα» έως «Πολύ αργά»)
«Πόσο ικανοποιημένος/η μείνατε από το εξαιρετικό μας σεμινάριο;» («Εξαιρετικά ικανοποιημένος/η / Πολύ ικανοποιημένος/η / Ικανοποιημένος/η / Δυσαρεστημένος/η») Φορτισμένη λέξη, μη ισορροπημένες επιλογές «Πώς αξιολογείτε το σεμινάριο;» («Πολύ καλό / Καλό / Ούτε καλό ούτε κακό / Κακό / Πολύ κακό»)

Η γραμμή με τα ξυραφάκια δείχνει τη γενική λύση: πρώτα η ερώτηση φίλτρου, και κάθε συμπληρωματική ερώτηση μόνο σε όσους αφορά. Στο Survey.gr δώστε στην ερώτηση φίλτρου έναν κανόνα στην καρτέλα «Κανόνες λογικής της έρευνας»: «Εμφάνιση ερώτησης» στην απάντηση που οδηγεί στη συμπληρωματική, ώστε να τη βλέπουν μόνο όσοι απαντούν έτσι, ή «Απόκρυψη ερώτησης» στις υπόλοιπες απαντήσεις. Κάθε κανόνας αφορά μία ερώτηση, οπότε κάθε συμπληρωματική θέλει τον δικό της κανόνα. Μια ερώτηση που την κρύβει ένας κανόνας δεν σταματά ποτέ τον ερωτώμενο, ακόμη κι αν είναι υποχρεωτική. Περισσότερα στον οδηγό για τη λογική διακλάδωσης σε ερωτηματολόγιο.

Ελέγξτε το ερωτηματολόγιο πριν το στείλετε

Για κάθε ερώτηση γνώμης ή συμπεριφοράς, αναρωτηθείτε: θα καταλάβαινε ο ερωτώμενος ποια απάντηση ελπίζετε; Αν ναι, ξαναγράψτε την. Οι ερωτήσεις γεγονότων ή γνώσεων, αντίθετα, έχουν σωστή απάντηση.

Έπειτα κάντε πιλοτική δοκιμή του ερωτηματολογίου, βήμα που το Pew Research Center θεωρεί απαραίτητο. Στείλτε τον σύνδεσμο σε λίγα άτομα της ομάδας που θα ρωτήσετε, και σε έναν τουλάχιστον που δεν συμμερίζεται την υπόθεσή σας. Ρωτήστε τους ποια απάντηση ένιωσαν ότι περιμένατε και ζητήστε τους να πουν κάθε ερώτηση με δικά τους λόγια. Οι απαντήσεις τους καταγράφονται ως κανονικές συμμετοχές: διαγράψτε τις μετά ή κάντε τη δοκιμή σε αντίγραφο της έρευνας. Τέλος, ελέγξτε ξανά κάθε ερώτηση με τα «Προειδοποιητικά σημάδια στη διατύπωση» και κάθε λίστα επιλογών για ισορροπία.

Με λίγα λόγια

Οι καθοδηγητικές και οι φορτισμένες ερωτήσεις γράφονται εύκολα και δεν φαίνονται στα αποτελέσματα. Τις περισσότερες τις προλαμβάνουν τρεις συνήθειες: ουδέτερη διατύπωση με τις δύο πλευρές, ισορροπημένες επιλογές με διέξοδο, και ερώτηση φίλτρου πριν από κάθε ερώτηση που προϋποθέτει κάτι. Δώστε έπειτα το σχέδιο σε λίγους που δεν συμμερίζονται τις ελπίδες σας. Ερώτηση φίλτρου είναι και η πρώτη ερώτηση του προτύπου αξιολόγησης προϊόντος, που ρωτά αν ο πελάτης έχει χρησιμοποιήσει το προϊόν.

Έτοιμο πρότυπο: ερωτηματολόγιο αξιολόγησης προϊόντος ή υπηρεσίας

Η πρώτη ερώτηση του προτύπου είναι ερώτηση φίλτρου: έχει χρησιμοποιήσει ο πελάτης το προϊόν; Τις υπόλοιπες ελέγξτε τις με τα σημάδια αυτού του οδηγού πριν το στείλετε.

Δείτε το πρότυπο

Διαβάστε ακόμα