Μοντέλο Kirkpatrick: πώς να αξιολογήσετε ένα πρόγραμμα κατάρτισης

Για να αξιολογήσετε ένα πρόγραμμα κατάρτισης, ξεκινήστε πριν από την ίδια την κατάρτιση: αποφασίστε ποιο αποτέλεσμα πρέπει να αλλάξει. Έπειτα το μοντέλο Kirkpatrick μετρά τέσσερα πράγματα, από το ευκολότερο στο δυσκολότερο: πώς αντέδρασαν οι συμμετέχοντες (ένα σύντομο ερωτηματολόγιο στο τέλος), τι έμαθαν (ένα τεστ ή μια σύγκριση πριν και μετά), αν εφαρμόζουν όσα έμαθαν στη δουλειά (ρωτάτε τους ίδιους και τον προϊστάμενό τους τις επόμενες εβδομάδες) και αν άλλαξε το αποτέλεσμα της επιχείρησης (οι δείκτες του ίδιου του οργανισμού, ιδανικά σε σύγκριση με μια παρόμοια ομάδα που δεν παρακολούθησε την κατάρτιση). Μόνο το πρώτο είναι το γνωστό ερωτηματολόγιο ικανοποίησης. Ο οδηγός, για στελέχη HR, εκπαιδευτές, παρόχους κατάρτισης και προϊσταμένους ομάδων, δίνει σχέδιο για κάθε επίπεδο, χρονοδιάγραμμα, τρόπους σύγκρισης πριν και μετά και κανόνες για τις ερωτήσεις.

Τα βασικά σημεία

• Ορίστε πρώτα το αποτέλεσμα που πρέπει να αλλάξει η κατάρτιση και σχεδιάστε προς τα πίσω: συμπεριφορά, μάθηση, αντίδραση.
• Ένα ερωτηματολόγιο αντίδρασης δείχνει αν οι συμμετέχοντες βρήκαν την κατάρτιση σχετική και χρήσιμη, όχι αν έμαθαν κάτι.
• Τη μάθηση τη μετράτε με τεστ, άσκηση ή σύγκριση πριν και μετά. Η αυτοαξιολόγηση «πριν» και «τώρα» σε ένα ερωτηματολόγιο στο τέλος είναι το φθηνό υποκατάστατο.
• Τη συμπεριφορά την ελέγχετε με τον συμμετέχοντα και με κάποιον που βλέπει τη δουλειά του, συνήθως τον άμεσο προϊστάμενο, από τις πρώτες εβδομάδες και όχι μόνο μετά από μήνες.
• Για να συγκρίνετε τους ίδιους ανθρώπους πριν και μετά χρειάζεστε αναγνωριστικό. Πείτε στους συμμετέχοντες ποιος βλέπει τις ατομικές απαντήσεις, δείξτε μόνο συγκεντρωτικά αποτελέσματα και μην αποκαλείτε μια τέτοια έρευνα ανώνυμη.

Ξεκινήστε από το αποτέλεσμα που πρέπει να αλλάξει η κατάρτιση

Είτε τη λέτε αξιολόγηση εκπαίδευσης εργαζομένων είτε αξιολόγηση προγράμματος κατάρτισης, το ερώτημα είναι ένα: έφερε το πρόγραμμα την αλλαγή για την οποία σχεδιάστηκε, και τι διορθώνετε αν δεν την έφερε; Οι οργανισμοί την κάνουν για να βελτιώσουν τον επόμενο κύκλο, για να αποφασίσουν αν θα συνεχίσουν ή θα σταματήσουν το πρόγραμμα και για να τεκμηριώσουν τον προϋπολογισμό της κατάρτισης.

Το μοντέλο Kirkpatrick, που το δημιούργησε ο Donald Kirkpatrick τη δεκαετία του 1950, αξιολογεί ένα πρόγραμμα σε τέσσερα επίπεδα: αντίδραση, μάθηση, συμπεριφορά και αποτελέσματα. Μετράτε με αυτή τη σειρά, αλλά σχεδιάζετε αντίστροφα: η εταιρεία Kirkpatrick Partners, που διαχειρίζεται σήμερα το μοντέλο, συμβουλεύει να ξεκινάτε από το επίπεδο 4 και τους δείκτες του. Σε ένα τηλεφωνικό κέντρο εξυπηρέτησης πελατών, η αλυσίδα θα μπορούσε να είναι η εξής:

1. Αποτέλεσμα: λιγότερα επαναλαμβανόμενα παράπονα.
2. Συμπεριφορά: οι εκπρόσωποι εξυπηρέτησης επιβεβαιώνουν τη λύση με τον πελάτη πριν κλείσουν την κλήση.
3. Μάθηση: οι εκπρόσωποι ξέρουν τα βήματα της επιβεβαίωσης και μπορούν να τα εφαρμόσουν σε πραγματική κλήση.
4. Αντίδραση: οι εκπρόσωποι βρίσκουν τα βήματα σχετικά με τις κλήσεις που δέχονται.

Αν λείπει ένας κρίκος, η κατάρτιση μπορεί να ήταν ευχάριστη, αλλά δεν μπορείτε να δείξετε τι άλλαξε. Από τους τύπους ερευνών εργαζομένων που κάνουν ήδη οι περισσότεροι οργανισμοί, το ερωτηματολόγιο στο τέλος του σεμιναρίου είναι το πιο συνηθισμένο, και καλύπτει μόνο τον τελευταίο κρίκο της αλυσίδας, την αντίδραση.

Τα τέσσερα επίπεδα του μοντέλου Kirkpatrick: τι μετρά το καθένα και ποιος απαντά

Κάθε επίπεδο θέλει διαφορετικά στοιχεία, από διαφορετικούς ανθρώπους, σε διαφορετική στιγμή:

Μόνο το επίπεδο 1 και μέρος των επιπέδων 2 και 3 είναι ερωτηματολόγια για τους συμμετέχοντες. Τα υπόλοιπα θέλουν τεστ, τους ανθρώπους που βλέπουν τη δουλειά και τα στοιχεία του ίδιου του οργανισμού. Ένα ερωτηματολόγιο που ρωτά τους συμμετέχοντες και για τα τέσσερα επίπεδα απλώς συγκεντρώνει τη γνώμη τους τέσσερις φορές.

Επίπεδο 1, Αντίδραση: ρωτήστε για τη χρησιμότητα, όχι μόνο για την ικανοποίηση

Το πόσο άρεσε ένα σεμινάριο λέει λίγα για το πόσα έμαθαν οι συμμετέχοντες. Οι βαθμολογίες της αντίδρασης αντανακλούν κυρίως την εμπειρία του σεμιναρίου, όπως το ύφος του εκπαιδευτή και την αλληλεπίδραση στην αίθουσα. Οι ερωτήσεις για το πόσο χρήσιμη και σχετική ήταν η κατάρτιση συνδέονται στενότερα με τη μάθηση και με την εφαρμογή στη δουλειά από τις ερωτήσεις για το αν τους άρεσε. Δώστε λοιπόν σε αυτές τις ερωτήσεις το μεγαλύτερο μέρος του ερωτηματολογίου:

• Σχέση με τη δουλειά: «Πόσο σχετικό ήταν το περιεχόμενο με τη δουλειά σας;» («Καθόλου σχετικό», «Λίγο σχετικό», «Μέτρια σχετικό», «Πολύ σχετικό», «Απόλυτα σχετικό».)
• Πρόθεση εφαρμογής: «Πόσο πιθανό είναι να εφαρμόσετε τα βήματα επιβεβαίωσης στις κλήσεις σας τις επόμενες δύο εβδομάδες;»
• Σαφήνεια των στόχων: «Πόσο σαφείς ήταν οι στόχοι του σεμιναρίου;»
• Εκπαιδευτής και υλικό, χωριστά: γραμμές όπως «Οι εξηγήσεις του εκπαιδευτή», «Οι ασκήσεις» και «Το έντυπο υλικό», η καθεμία με πέντε επιλογές από «Κακό» έως «Εξαιρετικό». Μία δήλωση ανά γραμμή σας λέει αν πρέπει να αλλάξει ο εκπαιδευτής ή το υλικό.
• Μία συνολική βαθμολογία, με την ίδια διατύπωση σε κάθε κατάρτιση, ώστε να συγκρίνετε προγράμματα και παρόχους.

Η ερώτηση «Θα προτείνατε αυτό το σεμινάριο σε έναν συνάδελφο;» μπορεί να μείνει ως προαιρετική ερώτηση πρόθεσης. Δεν μετρά τι κάνουν οι άνθρωποι μετά.

Στο Survey.gr, μια ερώτηση «Πίνακας» με «Μία απάντηση / γραμμή» χωρά τις γραμμές του εκπαιδευτή και του υλικού, και τα αποτελέσματα δείχνουν τα ποσοστά κάθε γραμμής. Το πρότυπο «Σχόλια εκδήλωσης» της σελίδας με το ερωτηματολόγιο αξιολόγησης σεμιναρίου έχει 9 ερωτήσεις για την εντύπωση, τον χώρο, το πρόγραμμα και την οργάνωση, αλλά καμία γραμμή για τον εκπαιδευτή· τις ερωτήσεις αυτής της ενότητας τις προσθέτετε εσείς.

Επίπεδο 2, Μάθηση: τεστ πριν και μετά την κατάρτιση

Η ισχυρότερη απόδειξη μάθησης είναι ένα σύντομο τεστ πριν από την κατάρτιση και ξανά στο τέλος. Η Kirkpatrick Partners το χαρακτηρίζει παραδοσιακή μέθοδο και σημειώνει ότι μια άσκηση, ένα παιχνίδι ρόλων ή μια εργασία που δείχνει τη δεξιότητα μπορεί να ταιριάζει καλύτερα στο περιεχόμενο. Κρατήστε το τεστ σύντομο και αλλάξτε τις ερωτήσεις αντί να τις επαναλάβετε αυτολεξεί, γιατί η επανάληψη μπορεί να δείξει μεγαλύτερη βελτίωση από την πραγματική. Αν οι περισσότεροι παίρνουν ήδη υψηλή βαθμολογία πριν από την κατάρτιση, το τεστ δεν έχει περιθώριο να δείξει μάθηση· μετρήστε τότε τη συμπεριφορά.

Το τεστ μπορείτε να το φτιάξετε ως έρευνα με κλειστές ερωτήσεις και να βαθμολογήσετε τις απαντήσεις εσείς. Η αυτοαξιολόγηση στην αρχή και στο τέλος είναι ασθενέστερη: όσοι δεν ήξεραν τι δεν ήξεραν βαθμολογούν το αρχικό τους επίπεδο πολύ ψηλά, κι έτσι κρύβεται η πραγματική βελτίωση.

Η Kirkpatrick Partners, που ανανέωσε το μοντέλο τη δεκαετία του 2010 ως «New World Kirkpatrick Model», προσθέτει σε αυτό το επίπεδο δύο ερωτήσεις, κατά τη γνώμη της πρώιμες ενδείξεις για το αν η δεξιότητα θα εφαρμοστεί: τη σιγουριά («Νιώθω σιγουριά ότι μπορώ να εφαρμόσω τα βήματα επιβεβαίωσης σε πραγματική κλήση») και τη δέσμευση («Σκοπεύω να εφαρμόζω τα βήματα επιβεβαίωσης σε κάθε κλήση την επόμενη εβδομάδα»).

Όταν δεν γίνεται τεστ: η αναδρομική αυτοαξιολόγηση «πριν και τώρα»

Η αναδρομική αυτοαξιολόγηση (retrospective pre-test) είναι ένα ερωτηματολόγιο στο τέλος της κατάρτισης που ζητά δύο βαθμολογίες για κάθε δεξιότητα: «πριν από την κατάρτιση» και «τώρα». Ο συμμετέχων κρίνει το αρχικό του επίπεδο αφού έχει πια καταλάβει τι περιλαμβάνει η δεξιότητα, κι έτσι αποφεύγεται η υπερεκτίμηση της αφετηρίας. Στο Survey.gr αρκούν δύο ερωτήσεις «Πίνακας» με τις ίδιες γραμμές, η μία για το «πριν» και η άλλη για το «τώρα».

Η μέθοδος μετρά τη μάθηση όπως την αντιλαμβάνονται οι ίδιοι οι συμμετέχοντες, στηρίζεται στη μνήμη και μπορεί να επηρεαστεί από την προσδοκία ότι βελτιώθηκαν και από την επιθυμία να δείξουν καλή εικόνα. Οι Allen και Nimon (2007) τη συνιστούν όταν ένα πραγματικό τεστ πριν από την κατάρτιση δεν είναι εφικτό, όχι στη θέση του. Το πρακτικό της πλεονέκτημα: και οι δύο βαθμολογίες βρίσκονται στην ίδια απάντηση, οπότε δεν χρειάζεται καμία αντιστοίχιση.

Επίπεδο 3, Συμπεριφορά: ρωτήστε τον συμμετέχοντα και τον άμεσο προϊστάμενο

Η συμπεριφορά φαίνεται στη δουλειά, οπότε η γνώμη του ίδιου του συμμετέχοντα είναι μία πηγή, όχι η απόδειξη. Προσθέστε τον άμεσο προϊστάμενο ή, σε κατάρτιση για προϊσταμένους ή εκπαιδευτές, τους ανθρώπους που βλέπουν τη συμπεριφορά: συναδέλφους, υφισταμένους ή εκπαιδευόμενους. Χρήσιμες πηγές είναι επίσης η παρατήρηση και τα αρχεία της δουλειάς.

Κάντε στον συμμετέχοντα και σε έναν παρατηρητή τις ίδιες δύο ή τρεις σύντομες ερωτήσεις για τις συγκεκριμένες συμπεριφορές, χωριστά· δύο ανεξάρτητες αναφορές για την ίδια συμπεριφορά λένε περισσότερα από την καθεμία μόνη της. Ρωτήστε, για παράδειγμα, τον εκπρόσωπο: «Τις τελευταίες δύο εβδομάδες, πόσο συχνά επιβεβαιώσατε τη λύση με τον πελάτη πριν κλείσετε την κλήση;» Κάντε την ίδια ερώτηση στον προϊστάμενο για τον συγκεκριμένο εκπρόσωπο. Δώστε τις επιλογές «Ποτέ», «Σπάνια», «Μερικές φορές», «Συχνά» και «Πάντα», και στον προϊστάμενο επιπλέον την επιλογή «Δεν είχα την ευκαιρία να το παρατηρήσω».

Ρωτάτε τους προϊσταμένους μόνο για συμπεριφορές που μπορούν να δουν, και τις απαντήσεις «Δεν είχα την ευκαιρία» τις αναφέρετε χωριστά, ποτέ ως μηδέν. Όπου ο προϊστάμενος δεν βλέπει τη δουλειά, όπως στους εξωτερικούς πωλητές ή στις ομάδες που δουλεύουν εξ αποστάσεως, ρωτήστε συναδέλφους ή υφισταμένους ή κοιτάξτε τα αρχεία.

Ξεκινήστε νωρίς. Η Kirkpatrick Partners προειδοποιεί ότι η μέτρηση της συμπεριφοράς δεν μπορεί να αρχίζει 90 ημέρες μετά τη μάθηση: τότε είναι πια αργά για να αρθούν τα εμπόδια. Κάντε σύντομους ελέγχους τις πρώτες εβδομάδες και έναν πληρέστερο γύρο όταν οι άνθρωποι έχουν βρει πραγματική ευκαιρία να χρησιμοποιήσουν τη δεξιότητα: για μια διαδικασία κλήσεων, μετά από λίγες εβδομάδες· για μια δεξιότητα που χρειάζεται μία φορά το τρίμηνο, μετά την επόμενη χρήση της. Ρωτώντας τον προϊστάμενο, εμπλέκετε και τον άνθρωπο που, με τη στήριξή του μετά το σεμινάριο, θα κρίνει αν η δεξιότητα θα χρησιμοποιηθεί.

Κάθε επόμενο γύρο τον αναφέρετε μαζί με τον αριθμό των απαντήσεων, για παράδειγμα «απάντησαν 12 από τους 20 συμμετέχοντες». Όσοι εφάρμοσαν τη δεξιότητα απαντούν πιο πρόθυμα από όσους δεν την εφάρμοσαν, οπότε λίγες απαντήσεις δείχνουν περισσότερη εφαρμογή από όση υπάρχει. Ο αριθμός σας λέει επίσης αν η ομάδα είναι αρκετά μεγάλη για να δείξετε αποτελέσματα: κάτω από 10 απαντήσεις, δώστε πλήθη και όχι ποσοστά, αφήστε τις απαντήσεις μόνο σε όποιον βλέπει ήδη τις ατομικές απαντήσεις (για παράδειγμα στο τμήμα HR) και ενώστε περισσότερα σεμινάρια πριν δείξετε αποτελέσματα στον εκπαιδευτή, στον πάροχο ή στους προϊσταμένους. Μην παραθέτετε αυτολεξεί τις απαντήσεις όταν προέρχονται από λίγους ανθρώπους. Σε όσους δεν έχουν ανοίξει ακόμη την έρευνα από την πρόσκλησή τους μπορείτε να στείλετε εσείς ένα δεύτερο email (δείτε «Πώς το οργανώνετε στο Survey.gr»).

Επίπεδο 4, Αποτελέσματα: δείκτες του οργανισμού και ομάδα σύγκρισης

Τα αποτελέσματα μετριούνται στα αρχεία του ίδιου του οργανισμού, με δείκτες που επιλέγετε πριν από την κατάρτιση. Οι πρόδρομοι δείκτες κινούνται νωρίς, όπως το ποσοστό των αιτημάτων που λύνονται με την πρώτη κλήση· οι υστερούντες κινούνται αργότερα, όπως τα επαναλαμβανόμενα παράπονα ανά τρίμηνο. Το ερωτηματολόγιο των συμμετεχόντων δεν έχει θέση σε αυτό το επίπεδο. Μια υπάρχουσα έρευνα πελατών ή εργαζομένων μπορεί να χρησιμεύσει ως δείκτης, αν έγινε με τον ίδιο τρόπο πριν και μετά. Ρωτώντας τους προϊσταμένους αν άλλαξε ένα αποτέλεσμα, μαθαίνετε τη γνώμη τους γι’ αυτό, όχι το ίδιο το αποτέλεσμα.

Μια αλλαγή ανάμεσα στο πριν και στο μετά δεν αποδεικνύει από μόνη της ότι την έφερε η κατάρτιση: ένα νέο σύστημα, η εποχή του χρόνου ή ένας νέος προϊστάμενος μπορούν να αλλάξουν τους ίδιους αριθμούς. Για να υποστηρίξετε ότι η κατάρτιση είχε αποτέλεσμα, συγκρίνετε με μια ομάδα που δεν την παρακολούθησε (ή όχι ακόμη) και μετρήστε και τις δύο σε περισσότερες από μία χρονικές στιγμές. Η σύγκριση στέκει μόνο αν οι δύο ομάδες ήταν παρόμοιες πριν από την κατάρτιση:

• Συγκρίνετε πρώτα τις αρχικές τους τιμές.
• Μη διαλέγετε την ομάδα που θα παρακολουθήσει την κατάρτιση με βάση τα αποτελέσματά της. Οι εθελοντές είχαν ήδη κίνητρο, και η πιο αδύναμη ομάδα μάλλον θα βελτιωνόταν έτσι κι αλλιώς.
• Σε σταδιακή εφαρμογή (μία ομάδα τώρα, άλλη το επόμενο τρίμηνο), ορίστε τη σειρά με κάτι άσχετο με την απόδοση, όπως η τοποθεσία ή μια κλήρωση.

Ένα δημοσιευμένο παράδειγμα τέτοιου σχεδιασμού είναι ένα ολλανδικό πρόγραμμα κατάρτισης στελεχών που αξιολογήθηκε με ομάδα ελέγχου και επαναλαμβανόμενες μετρήσεις (Steensma και Groeneveld, Journal of Workplace Learning, 2010). Τα στελέχη που παρακολούθησαν την κατάρτιση βελτιώθηκαν σε γνώσεις, συμπεριφορά και μακροπρόθεσμα αποτελέσματα, αλλά τα «αποτελέσματα» αυτά ήταν βαθμολογίες συναδέλφων σε αξιολόγηση 360 μοιρών, όχι αριθμοί από τα αρχεία της εταιρείας.

Χρονοδιάγραμμα: πότε μετράτε κάθε επίπεδο

Ορίστε τις ημερομηνίες πριν ξεκινήσει η κατάρτιση:

Στο τέλος του σεμιναρίου, βάλτε τον σύνδεσμο στην τελευταία διαφάνεια ή δείξτε έναν κωδικό QR που φτιάχνετε από τον σύνδεσμο: στο πρόγραμμα Business του Survey.gr, στη «Διανομή» > «Link έρευνας», στα άλλα προγράμματα με οποιαδήποτε γεννήτρια κωδικών QR. Σε online σεμινάριο, επικολλήστε τον σύνδεσμο στη συνομιλία της βιντεοκλήσης. Ο εκπαιδευτής ανακοινώνει το ερωτηματολόγιο και βγαίνει από την αίθουσα ή από την κλήση. Οι συμμετέχοντες απαντούν από τις δικές τους συσκευές, και κανείς δεν μαζεύει κινητά ούτε κοιτάζει οθόνες: όποιος απαντά χωρίς να τον βλέπουν απαντά πιο ειλικρινά. Οι επόμενοι γύροι φεύγουν με email.

Η Kirkpatrick Partners θεωρεί κλασικό λάθος να περιμένετε το τέλος ενός προγράμματος για να κάνετε μία μόνο έρευνα: τότε είναι πια αργά για διορθώσεις. Λίγα λεπτά που έχετε προβλέψει στο πρόγραμμα της ημέρας δεν κοστίζουν τίποτα στους συμμετέχοντες, και είναι η μόνη στιγμή που είναι όλοι παρόντες και οι λεπτομέρειες νωπές.

Πώς συγκρίνετε τις απαντήσεις πριν και μετά

Μπορείτε να συγκρίνετε ομάδες χωρίς να ξέρετε ποιος απάντησε: τον μέσο όρο πριν με τον μέσο όρο μετά. Για να δείτε την αλλαγή κάθε ανθρώπου, ή για να βάλετε τις απαντήσεις ενός συμμετέχοντα δίπλα σε εκείνες του προϊσταμένου του, χρειάζεστε αναγνωριστικό, και τότε η έρευνα δεν είναι ανώνυμη. Αποφασίστε τι χρειάζεστε πριν σταλεί η πρώτη έρευνα.

Πέντε τρόποι, από τον απλούστερο στον αυστηρότερο

1. Σύγκριση ομάδων, χωρίς αναγνωριστικό. Δύο έρευνες με γενικό σύνδεσμο· συγκρίνετε τους μέσους όρους. Είναι ο φθηνότερος τρόπος. Δείχνει την αλλαγή στην ομάδα, όχι σε κάθε άνθρωπο, και όσοι απαντούν τις δύο φορές μπορεί να μην είναι οι ίδιοι.
2. Αναδρομική αυτοαξιολόγηση, όπως την περιγράφει η ενότητα για το επίπεδο 2: δεν υπάρχει τίποτα να αντιστοιχίσετε.
3. Προσκλήσεις με email και παρακολούθηση συμμετοχών. Η παρακολούθηση συμμετοχών είναι από προεπιλογή απενεργοποιημένη. Όταν την ενεργοποιήσετε, κάθε απάντηση συνδέεται με τη διεύθυνση email του παραλήπτη, η πρόσκληση γράφει στους παραλήπτες ότι ο δημιουργός της έρευνας μπορεί να δει τις απαντήσεις τους, και ανοίγετε τις απαντήσεις κάθε παραλήπτη από τη λίστα των παραληπτών. Οι εξαγωγές σε Excel και CSV δεν περιέχουν τη διεύθυνση, οπότε για να ενώσετε δύο έρευνες άτομο προς άτομο χρειάζεστε και πάλι μια ερώτηση που φέρει αναγνωριστικό.
4. Ερώτηση με κωδικό. Μια προαιρετική ερώτηση «Μονή γραμμή», και στις δύο έρευνες, για έναν κωδικό που δίνετε σε κάθε άνθρωπο (για παράδειγμα σε μια κάρτα στο σεμινάριο) ή για τη διεύθυνση email του, με μία πρόταση που εξηγεί γιατί ρωτάτε και ποιος θα δει την απάντηση. Ενώστε τις δύο εξαγωγές του Excel με βάση τον κωδικό και δεχτείτε ότι λίγες απαντήσεις δεν θα αντιστοιχιστούν. Όποιος έχει τη λίστα των κωδικών μπορεί να αναγνωρίσει τους ανθρώπους.
5. Κωδικός που φτιάχνει ο ίδιος ο συμμετέχων. Οι ίδιες τρεις ή τέσσερις σύντομες ερωτήσεις και στα δύο ερωτηματολόγια, που ζητούν η καθεμία ένα γράμμα ή ένα ψηφίο από στοιχεία που ξέρει μόνο ο συμμετέχων, όπως το πρώτο γράμμα του μικρού ονόματος της μητέρας του ή η ημέρα του μήνα που γεννήθηκε. Ενώστε τις εξαγωγές με βάση τον κωδικό που προκύπτει· κανείς δεν κρατά λίστα που συνδέει κωδικό και πρόσωπο. Μερικοί κωδικοί δεν θα ταιριάξουν, τόσο περισσότεροι όσο μεγαλύτερο είναι το διάστημα, οπότε ο τρόπος αυτός ταιριάζει περισσότερο σε μια σύγκριση αρχής και τέλους παρά σε έναν έλεγχο μήνες αργότερα. Στείλτε την έρευνα με γενικό σύνδεσμο ή με πρόσκληση email με την παρακολούθηση συμμετοχών απενεργοποιημένη, ώστε καμία απάντηση να μη συνδεθεί με διεύθυνση email.

Τι λέτε στους συμμετέχοντες για την εμπιστευτικότητα

Πείτε ποιος βλέπει τις ατομικές απαντήσεις (για παράδειγμα μόνο το τμήμα HR, όχι ο εκπαιδευτής και όχι ο προϊστάμενος), ότι ο εκπαιδευτής ή ο πάροχος παίρνει μια σύνοψη και όχι ατομικές απαντήσεις, και ότι τα αποτελέσματα παρουσιάζονται μόνο συγκεντρωτικά. Γράψτε το στο εισαγωγικό σημείωμα της έρευνας και στην πρόσκληση, για παράδειγμα: «Τις ατομικές απαντήσεις θα τις δει μόνο το τμήμα HR. Ο εκπαιδευτής θα πάρει μόνο συγκεντρωτικά αποτελέσματα, για ομάδες τουλάχιστον 10 ατόμων.» Για τη διατύπωση, δείτε σε τι διαφέρει η ανωνυμία από την εμπιστευτικότητα.

Σε μια πολύ μικρή ομάδα, ακόμη και μια σύνοψη μπορεί να δείχνει ένα πρόσωπο. Περιμένετε να απαντήσουν τουλάχιστον 10 άτομα ή ενώστε περισσότερα σεμινάρια πριν δείξετε αποτελέσματα ανά ομάδα.

Οκτώ κανόνες για το ερωτηματολόγιο της έρευνας

Ισχύουν για κάθε ερωτηματολόγιο του οδηγού:

1. Κρατήστε το σύντομο. Ένα ερωτηματολόγιο για το τέλος του σεμιναρίου πρέπει να συμπληρώνεται σε λίγα λεπτά· το πρότυπο «Σχόλια εκδήλωσης», για παράδειγμα, συμπληρώνεται σε 3–4 λεπτά. Σε ένα πείραμα με online έρευνα, όσο μεγαλύτερη ήταν η διάρκεια που ανακοινωνόταν, τόσο λιγότεροι ξεκινούσαν και ολοκλήρωναν, και οι απαντήσεις προς το τέλος γίνονταν πιο γρήγορες, πιο σύντομες και πιο ομοιόμορφες (Galesic και Bosnjak, 2009).
2. Συνδέστε κάθε ερώτηση με έναν στόχο και ένα επίπεδο. Αν δεν μπορείτε να πείτε ποια απόφαση θα αλλάξει μια απάντηση, βγάλτε την ερώτηση.
3. Ρωτήστε μόνο για όσα μπορείτε να αλλάξετε. Αν η αίθουσα είναι δεδομένη, μη ρωτάτε για την αίθουσα.
4. Κυρίως κλειστές ερωτήσεις. Αναλύονται πιο εύκολα και μένουν αναπάντητες πολύ σπανιότερα: στο πάνελ γενικού πληθυσμού του Pew Research Center, περίπου το 1–2% των ερωτώμενων άφηνε αναπάντητη μια κλειστή ερώτηση, έναντι περίπου 18% κατά μέσο όρο στις ανοιχτές (Pew, 2021). Ένα ερωτηματολόγιο σεμιναρίου θα δείξει άλλους αριθμούς, αλλά την ίδια κατεύθυνση.
5. Κάντε ερώτηση, όχι δήλωση για συμφωνία, και δώστε λεκτική ετικέτα σε κάθε σημείο της κλίμακας. Η ερώτηση «Πόσο σχετικό ήταν το περιεχόμενο με τη δουλειά σας;» με πέντε απαντήσεις, όλες με λεκτική ετικέτα, είναι καλύτερη από μια δήλωση συμφωνίας–διαφωνίας, που ωθεί τους ανθρώπους να συμφωνούν ό,τι κι αν λέει (τάση συγκατάθεσης, acquiescence). Αν κρατήσετε δηλώσεις συμφωνίας–διαφωνίας, οι πέντε βαθμίδες λειτουργούν καλύτερα από τις επτά ή τις έντεκα (Revilla, Saris και Krosnick, 2014). Περιορίστε τις επιλογές απάντησης σε πέντε περίπου, και το «Ναι / Όχι» κρατήστε το για γεγονότα: «Έχετε χρησιμοποιήσει τα βήματα επιβεβαίωσης μετά το σεμινάριο;»
6. Στο τέλος, μία προαιρετική ανοιχτή ερώτηση, όπως «Αν αλλάζαμε ένα μόνο πράγμα στο σεμινάριο, τι θα το έκανε πιο χρήσιμο για τη δουλειά σας;»
7. Κρατήστε τις ίδιες βασικές ερωτήσεις σε κάθε κατάρτιση, ώστε να συγκρίνετε προγράμματα, εκπαιδευτές και παρόχους στον χρόνο.
8. Κάντε πιλοτική δοκιμή σε δύο ή τρία άτομα που δεν έγραψαν το ερωτηματολόγιο, στη γλώσσα στην οποία θα συμπληρωθεί, και διορθώστε ό,τι τους δυσκόλεψε.

Πώς το οργανώνετε στο Survey.gr

1. Φτιάξτε το ερωτηματολόγιο για το τέλος του σεμιναρίου. Ανοίξτε το πρότυπο «Σχόλια εκδήλωσης» από τη σελίδα του προτύπου και προσαρμόστε το στο σεμινάριο, όπως λένε οι σημειώσεις κάτω από τις ερωτήσεις, ή φτιάξτε νέα έρευνα. Σε κάθε περίπτωση, προσθέστε τις ερωτήσεις των επιπέδων 1 και 2 αυτού του οδηγού.
2. Για κάθε επόμενο γύρο, ξεκινήστε από την «Αντιγραφή της έρευνας» και διαλέξτε την έρευνα του προηγούμενου γύρου, ώστε κάθε γύρος να έχει τα δικά του αποτελέσματα. Με τη ρύθμιση που ισχύει από προεπιλογή, «Επιτρέπεται μόνο μία απάντηση ανά συσκευή (PC, tablet ή κινητό)», ένας συμμετέχων που ανοίγει ξανά την ίδια έρευνα μέσα σε έναν χρόνο βλέπει τις απαντήσεις που έδωσε και μπορεί μόνο να τις αλλάξει, όχι να ξεκινήσει μια κενή έρευνα.
3. Για το επίπεδο 3, φτιάξτε μία έρευνα για τους συμμετέχοντες και μία για τους προϊσταμένους και κρατήστε τους παραλήπτες στις «Λίστες email». Μια λίστα δέχεται έως πέντε επιπλέον τιμές για κάθε άνθρωπο, όπως την ομάδα ή «εκπαιδεύτηκε» και «ομάδα σύγκρισης», και με αυτές φιλτράρετε αργότερα τα αποτελέσματα. Ενεργοποιήστε την παρακολούθηση συμμετοχών και μετά στείλτε τις προσκλήσεις. Έτσι μπορείτε να γράψετε εσείς ξανά, με την επιλογή «Δεν έχουν ανταποκριθεί στην πρόσκληση μέσω email», σε όσους δεν έχουν ανοίξει την έρευνα από την πρόσκλησή τους· όποιος την άνοιξε και σταμάτησε πριν την υποβάλει δεν περιλαμβάνεται. Με απενεργοποιημένη την παρακολούθηση, η ίδια επιλογή στέλνει σε όλους. Αυτόματα δεύτερα μηνύματα δεν υπάρχουν. Για να μένει η έρευνα των προϊσταμένων κλειστή στον γενικό σύνδεσμο, ενεργοποιήστε και τον περιορισμό της συμμετοχής σε όσους προσκαλέσατε με email. Τα βήματα αναλυτικά: πώς στέλνετε ερωτηματολόγιο με email.
4. Διαβάστε τα αποτελέσματα ανά ομάδα με το φίλτρο «Η αξία του email ισούται», που κι αυτό θέλει ενεργή την παρακολούθηση συμμετοχών, και πατήστε «Εξαγωγή σε Excel» για να βάλετε δύο γύρους δίπλα δίπλα σε ένα φύλλο. Το εργαλείο δεν συγκρίνει δύο έρευνες για λογαριασμό σας.
5. Προσθέστε ερώτηση με κωδικό (τον τρόπο 4 ή 5 της ενότητας «Πέντε τρόποι, από τον απλούστερο στον αυστηρότερο»), αν θέλετε να αντιστοιχίσετε μεμονωμένους ανθρώπους.

Με λίγα λόγια

Ονομάστε πρώτα το αποτέλεσμα και πηγαίνετε προς τα πίσω, στη συμπεριφορά, στη μάθηση και στην αντίδραση που οδηγούν σε αυτό· μετά μετρήστε με την αντίθετη σειρά. Το ερωτηματολόγιο αντίδρασης είναι η αρχή, όχι η απόδειξη. Ελέγξτε τη μάθηση με τεστ πριν και στο τέλος ή, όταν αυτό δεν γίνεται, με αναδρομική αυτοαξιολόγηση. Ρωτήστε τον συμμετέχοντα και κάποιον που βλέπει τη δουλειά του μέσα σε λίγες εβδομάδες, όχι σε μήνες. Διαβάστε το αποτέλεσμα στους δείκτες του ίδιου του οργανισμού, σε σύγκριση με μια ομάδα που ήταν παρόμοια πριν από την κατάρτιση.

Πριν από την πρώτη έρευνα, αποφασίστε αν χρειάζεται να αντιστοιχίσετε απαντήσεις ανά άτομο και πείτε στους συμμετέχοντες ποιος θα τις δει. Όταν έρθουν τα αποτελέσματα, δουλέψτε τα όπως σε κάθε έρευνα εργαζομένων.

Ξεκινήστε από το ερωτηματολόγιο για το τέλος του σεμιναρίου: τις ερωτήσεις του επιπέδου 1 και το τεστ ή την αναδρομική αυτοαξιολόγηση.

Διαβάστε ακόμα

• Αποτελέσματα έρευνας εργαζομένων: από τα ευρήματα στο σχέδιο δράσης
• Τύποι ερευνών εργαζομένων: ποια να κάνετε και πότε
• Πώς οι διαδικτυακές έρευνες ωφελούν τις συνεντεύξεις αποχώρησης εργαζομένων