L&D Studio

powered by AELIA

Συνεντεύξεις επαγγελματιών HR και L&D

Συνέντευξη με
τη Δρα. Ιωάννα-Ευγενία Μπακούνη

L&D Manager
Maersk Training

«Η επιλογή των κριτηρίων αξιολόγησης ενός προγράμματος L&D πρέπει να εξυπηρετεί το περιβάλλον, τον σκοπό, το εύρος και την πρόθεση συλλογής των δεδομένων. Αλλιώς, μετράμε για να μετρήσουμε...»

Ποια θεωρείς ότι είναι τα σημαντικότερα κριτήρια για την αξιολόγηση της αποτελεσματικότητας ενός προγράμματος L&D; Θα έλεγες ότι τα κριτήρια αυτά διαφοροποιούνται ανάλογα με τον κλάδο (π.χ. για τον κλάδο της ναυτιλίας, όπου έχεις μακρά εμπειρία);

Η αξιολόγηση της αποτελεσματικότητας ενός προγράμματος μάθησης και ανάπτυξης (L&D) είναι πάντα απαιτητική και περίπλοκη διαδικασία. Υπάρχουν αρκετά γνωστά μοντέλα, όπως τα 4 επίπεδα του Kirkpatrick, τα οποία και οφείλουμε να γνωρίζουμε σε αυτό τον κλάδο. Η ουσία όμως δεν βρίσκεται μόνο στο ποιο μοντέλο θα ακολουθήσει ένας φορέας, αλλά στο πώς το προσαρμόζει στο περιβάλλον στο οποίο εφαρμόζει την εκπαίδευση. Δεν αξιολογούμε σε «κενό» και αυτό που μου αρέσει να λέω είναι ότι «we have to meet the learner where they are». Δηλαδή ο εκπαιδευόμενος έχει συγκεκριμένες ανάγκες, εμπειρίες και πλαίσιο λειτουργίας. Πρέπει να ξεκινάμε από εκεί.

Για μένα, 2 είναι τα βασικά ερωτήματα που πρέπει να απαντώνται:

-Πρώτον, πώς βίωσε ο συμμετέχων την εμπειρία; Ήταν ευχάριστη;

-Δεύτερον, μπορεί να χρησιμοποιήσει αυτά που έμαθε με τρόπο που να του είναι χρήσιμος στην εργασία του ή στον τρόπο που σκέφτεται και δρα; Αν η εκπαίδευση δεν προκαλεί καμία αλλαγή, τότε τι πετύχαμε;

Στη ναυτιλία π.χ. ένα από τα ζητήματα που βλέπουμε επαναλαμβανόμενα είναι τα ατυχήματα σε κλειστούς χώρους (enclosed spaces), παρότι υπάρχουν αυστηρές διαδικασίες και κανονισμοί. Η σωστή εκπαίδευση εδώ δεν είναι θεωρητικό ζητούμενο. Αν είχε λειτουργήσει, θα βλέπαμε λιγότερους θανάτους. Κι όμως, οι αριθμοί δεν μειώνονται γιατί πολλές φορές δεν εκπαιδεύουμε σωστά ή και καθόλου. Σε ένα τέτοιο παράδειγμα η αξιολόγηση της αποτελεσματικότητας είναι κάτι πολύ απτό.

Η εμπειρία μου δείχνει ότι συχνά είτε δεν αξιολογούμε καθόλου επειδή «είναι δύσκολο», είτε υπερφορτώνουμε τα συστήματα με δείκτες (KPI) που τελικά χάνουν την ουσία. Αναζητούμε συχνά γραμμικές σχέσεις αιτίου–αιτιατού σε φαινόμενα που είναι πολυπαραγοντικά. Για παράδειγμα, έχω δει να προτείνεται το employee engagement ως δείκτης για την επιτυχία του L&D. Είναι πράγματι ένας σχετικός δείκτης, όμως δεν μπορούμε να τον ερμηνεύουμε απομονωμένα, γιατί επηρεάζεται από πολλούς άλλους παράγοντες. Αντίστοιχα, η συμπεριφορική αλλαγή σπάνια είναι άμεση ή μετρήσιμη σε ένα snapshot. Γι’ αυτό, είμαι πολύ επιφυλακτική με έτοιμες λύσεις ή λίστες “best practices”. Η επιλογή των κριτηρίων αξιολόγησης πρέπει να εξυπηρετεί το περιβάλλον, τον σκοπό, το εύρος και την πρόθεση συλλογής των δεδομένων. Αλλιώς, μετράμε για να μετρήσουμε...

Τι μεθόδους ή εργαλεία χρησιμοποιείς για τη συλλογή δεδομένων αξιολόγησης (ποιοτικών και ποσοτικών);

Δεν υπάρχει μία ενιαία μέθοδος αξιολόγησης που να εφαρμόζεται παντού με αυτή την έννοια. Αυτό που κάνω είναι να διαχωρίζω την αξιολόγηση ανάλογα με τον σκοπό της: αξιολόγηση ως προς την εμπειρία, ως προς τα μαθησιακά αποτελέσματα και ως προς τον οργανωσιακό αντίκτυπο, και έτσι να επιλέγω τα κατάλληλα εργαλεία.

Πρώτα απ’ όλα, σε όλα τα προγράμματα συλλέγουμε δεδομένα ικανοποίησης συμμετεχόντων, όπως πώς βίωσαν την εμπειρία, πόσο σχετικό ένιωσαν το περιεχόμενο, αν θα το πρότειναν κλπ. Αυτά συγκεντρώνονται μέσω τυποποιημένου ηλεκτρονικού ερωτηματολογίου που διαχειριζόμαστε κεντρικά, περιλαμβάνοντας δείκτες όπως το Net Promoter Score και ποιοτικά σχόλια και αντανακλώνται σε ένα PowerBI Dashboard.

Ως προς τα μαθησιακά αποτελέσματα, εξαρτάται από το είδος της μάθησης, τον σκοπό και φυσικά τη διάρκεια ή την περιπλοκότητα του αντικειμένου. Σε πιο σύνθετα προγράμματα μπορεί να χρησιμοποιούμε pre–post assessments ή πρακτικές ασκήσεις. Για παράδειγμα, στην πλοήγηση με προσομοιωτή, αξιολογούμε την απόδοση βάσει συγκεκριμένων κριτηρίων στις ασκήσεις με την χρήση του προσομοιωτή. Σε προγράμματα leadership ή σε team dynamics, μπορεί να εμπλέκεται και εξωτερικός παρατηρητής (ψυχολόγος) ή να ενσωματώνουμε ψυχομετρικά εργαλεία, για να συλλέξουμε δεδομένα που αξιολογούν τον συμμετέχοντα.

Τέλος, σε επίπεδο οργανωσιακού αντικτύπου, κοιτάζουμε πώς ένα πρόγραμμα επηρεάζει πραγματικές ανάγκες είτε μέσω εμπορικών δεικτών από το CRM, είτε εξετάζοντας την οικονομική απόδοση των ίδιων των προγραμμάτων. Επίσης αναλύουμε και τη χρήση πόρων. Ένα πρόγραμμα που απαιτεί πολύ ανθρώπινο δυναμικό αλλά έχει μικρό αποτέλεσμα, μπορεί να αναδιαμορφωθεί σε blended μοντέλο, εφόσον διατηρείται η ποιότητα.

Όλα αυτά γίνονται με επίγνωση ότι η αξιολόγηση δεν είναι απλώς αποτίμηση του «τι πήγε καλά», αλλά ένα εργαλείο για τη βελτίωση, εφόσον χρησιμοποιηθεί με σύνεση.

Καθώς εργάζεσαι σε ένα διεθνές περιβάλλον και συχνά με διαπολιτισμικές ομάδες, πώς προσαρμόζεις την αξιολόγηση που κάνεις ώστε να συναφής (ως προς τους επωφελούμενους) και αξιόπιστη (ως προς τα αποτελέσματα);

Η αξιολόγηση σε διαπολιτισμικά περιβάλλοντα απαιτεί ισορροπία ανάμεσα στη σταθερότητα των εργαλείων και την ευελιξία που χρειάζεται για να αντανακλά τοπικές ιδιαιτερότητες. Αυτό που έχω μάθει είναι πως όσο καλά σχεδιασμένο και να είναι ένα πρόγραμμα, αν δεν μιλά στη γλώσσα ή στην κουλτούρα των συμμετεχόντων, δύσκολα θα πετύχει. Για να διασφαλίσουμε τη συνάφεια, φροντίζουμε καταρχάς η γλώσσα και τα παραδείγματα/σενάρια των εργαλείων αξιολόγησης να είναι κατανοητά και πολιτισμικά οικεία. Εκεί είναι πολύτιμοι οι τοπικοί μας συνεργάτες και τα τοπικά γραφεία, που μας βοηθούν να προσαρμόσουμε περιεχόμενο, γλώσσα, αλλά και τον ίδιο τον τρόπο παράδοσης. Πολλά από τα προγράμματά μας και οι αξιολογήσεις τους προσφέρονται σε γλώσσες πέρα από τα αγγλικά, ενώ τα σενάρια και τα παραδείγματα τροποποιούνται ώστε να αντανακλούν τις τοπικές συνθήκες ή κανονισμούς.

Ως προς την αξιοπιστία, είναι σημαντικό να γνωρίζουμε πώς λειτουργούν τα εργαλεία μας σε διαφορετικά περιβάλλοντα, τόσο από γεωγραφικής άποψης όσο και από οργανωσιακής (ως προς το περιβάλλον του πελάτη π.χ.). Γι’ αυτό σε νέα προγράμματα κάνουμε πιλοτικές εφαρμογές και συγκρίνουμε τις αποκρίσεις, πριν προχωρήσουμε σε full release. Αυτό είναι ενσωματωμένο και στις διαδικασίες του Management System που ακολουθούμε, ώστε το περιεχόμενο να σχετίζεται με την πραγματικότητα κάθε ομάδας και επομένως να μπορούμε να προσαρμόσουμε την αξιολόγηση.

Αυτό που θεωρώ όμως εξίσου σημαντικό στην αξιολόγηση πέρα από την διαπολιτισμικότητα (και συχνά παραβλέπεται) είναι η νευροδιαφορετικότητα. Πολλές φορές βλέπω η αξιολόγηση να «χρεώνει» στον συμμετέχοντα έλλειψη κατανόησης, ενώ στην ουσία πρόκειται για ελλιπή προσβασιμότητα. Δεν είναι όλοι οι άνθρωποι ίδιοι ως προς τον τρόπο που επεξεργάζονται την πληροφορία, ούτε ως προς το πώς απαντούν. Χρειάζεται ευαισθητοποίηση και εκπαίδευση και για τους εκπαιδευτές/αξιολογητές αλλά και για τα ίδια τα εργαλεία αξιολόγησης, ώστε να μην παράγουμε «παραμορφωμένα» αποτελέσματα επειδή βασιστήκαμε σε λάθος μέθοδο. Η συνάφεια και η αξιοπιστία, αν μπορώ να συνοψίσω τα παραπάνω, δεν εξαρτώνται μόνο από το εργαλείο, αλλά και από το κατά πόσο έχουμε ακούσει τους ανθρώπους για τους οποίους το χρησιμοποιούμε.