1. Εισαγωγή

Προϋπόθεση για την αποτελεσματική εφαρμογή ενός νέου προγράμματος σπουδών και την χρήση του συνακόλουθου εκπαιδευτικού υλικού είναι να γνωρίζουν εκείνοι που έχουν την επιστημονική ευθύνη για το πρόγραμμα λεπτομέρειες σχετικά με τις συνθήκες εφαρμογής του: ποιοι θα το εφαρμόσουν, πού και πώς. Τα δεδομένα αυτά μπορούν να αφενός να συμβάλλουν στην ορθότερη εφαρμογή του προγράμματος σε βάθος χρόνου και αφετέρου να αποτελέσουν σημαντική πηγή ανατροφοδότησης για το πρόγραμμα καθαυτό με αποτέλεσμα να οδηγήσουν σε σημαντικές τροποποιήσεις του.

Όταν ξεκίνησε ο σχεδιασμός των επιμέρους προγραμμάτων σπουδών και του ευρύτερου «Προγράμματος Εκμάθησης Αγγλικής στην Πρώιμη Παιδική Ηλικία» γνωστό πλέον ως ΠΕΑΠ (Δενδρινού, Ζουγανέλη & Κοσοβίτσα, 2013), το οποίο η ομάδα έργου είχε την υποχρέωση να εκπονήσει σε πολύ μικρό χρονικό διάστημα ώστε να δοκιμαστεί άμεσα, τα δεδομένα για τις συνθήκες εφαρμογής του ήταν ελάχιστα, αφού ούτε το Υπουργείο Παιδείας, για λογαριασμό του οποίου εκπονείτο το ΠΕΑΠ, δεν διέθετε τα απαραίτητα στοιχεία. Επίσης, όπως διαπιστώθηκε, όταν πλέον είχε αρχίσει να δοκιμάζεται, οι συνθήκες εφαρμογής του άλλαζαν τακτικά και οι αλλαγές, πολλές από τις οποίες ήταν σημαντικές, έπρεπε να αποτυπώνονται συστηματικά όχι μόνο για επιστημονικούς και παιδαγωγικούς λόγους αλλά και για λόγους εντελώς πρακτικούς, όπως π.χ. να γίνει εξαρχής πληροφόρηση και επιμόρφωση στους νέους κάθε χρονιά εκπαιδευτικούς ΠΕΑΠ.

Η συγκέντρωση πληροφοριών από εκείνους που μπορούν να τις παρέχουν –αλλά που δεν είναι πάντα πρόθυμοι να δώσουν τον απαιτούμενο χρόνο για να τις προσφέρουν, αν δεν είναι υποχρεωμένοι να το κάνουν– δεν είναι καθόλου εύκολη ιστορία. Αντίθετα μάλιστα· είναι ιδιαίτερα επίπονη. Είναι τόσο δύσκολο το έργο αυτό όσο δύσκολο είναι να κατασκευαστούν εργαλεία κατάλληλα για την συλλογή των πληροφοριών. Αυτό ακριβώς διαπίστωσε και η Ομάδα Έργου που αναγκάστηκε να αναπτύξει τελικά ένα  «πολυδύναμο» εργαλείο –ένα εκτενές ερωτηματολόγιο (αντί 2-3 σύντομων ερωτηματολογίων) που θα απαντούσαν μόνο μια φορά ετησίως εκείνοι στους οποίους απευθύνονταν, αλλά θα παρείχε στην Ομάδα Έργου πολλές από τις απαραίτητες πληροφορίες.

Το συγκεκριμένο ερωτηματολόγιο, το οποίο απευθυνόταν σε εκπαιδευτικούς αγγλικής που δίδαξαν σύμφωνα με το ΠΕΑΠ τις πρώτες χρονιές εφαρμογής του, δηλαδή 2010-2012,  πέρασε από διάφορα στάδια ελέγχου μέχρι την οριστικοποίησή του· δηλαδή, μέχρι που να είναι κατάλληλο για να συλλέξει με τρόπο έγκυρο και αξιόπιστο τις πληροφορίες εκείνες που οι εκπαιδευτικοί μπορούσαν να παρέχουν, αλλά και άλλες πληροφορίες με τις οποίες διασταυρώνονταν πληροφορίες που είχαν δώσει άλλοι εμπλεκόμενοι στο ΠΕΑΠ, όπως π.χ. οι διευθυντές των σχολείων ΠΕΑΠ, στους οποίους ζητήθηκε να συμπληρώσουν διαφορετικό ερωτηματολόγιο.

Τα δεδομένα που συγκεντρώθηκαν μέσω του ερωτηματολογίου των εκπαιδευτικών ΠΕΑΠ ήταν εξαιρετικά χρήσιμα. Έδωσαν στην Ομάδα Έργου μια ολοκληρωμένη εικόνα των συνθηκών εφαρμογής του προγράμματος σπουδών για την Α’ και Β’ Δημοτικού και του συνακόλουθου εκπαιδευτικού υλικού. Ταυτόχρονα, παρείχαν πληροφορίες που τροφοδότησαν σειρά παράλληλων ενεργειών, όπως τον σχεδιασμό του προγράμματος επιμόρφωσης των εκπαιδευτικών. Τέλος, τα δεδομένα που συλλέχτηκαν μέσω του Ερωτηματολογίου του Εκπαιδευτικού ΠΕΑΠ, η στατιστική ανάλυση και η γενικότερη επεξεργασία τους, τροφοδότησε άμεσα την αποτίμηση και εσωτερική αξιολόγηση του έργου.

Στο άρθρο αυτό παρουσιάζεται το ερωτηματολόγιο καθαυτό και όχι τα δεδομένα που προέκυψαν από το ερωτηματολόγιο που έγινε αφορμή για μια σειρά από μελέτες για το ΠΕΑΠ. Συζητιούνται τα  στάδια ανάπτυξης του ερωτηματολογίου που έπρεπε να αποτελέσει ένα έγκυρο μεθοδολογικό εργαλείο κατάλληλο για τους στόχους μιας έρευνας που προσελκύει τη συμμετοχή (Brace 2008; Lietz 2010; MRS, 2010, 2011; Oppenheim 1992; Siniscalco, 2009; Statistics Cananda 2003, 2009; Taylor-Powell 1998).

Η ανάπτυξη ενός ερωτηματολογίου συχνά φαντάζει μια εύκολη υπόθεση, ιδιαίτερα σε μη έμπειρους ερευνητές, κάτι που οποιοσδήποτε θα μπορούσε λίγο-πολύ να σχεδιάσει. Φυσικά αυτό δεν είναι αλήθεια. Απαιτεί πολύ καλή γνώση των υπό μελέτη φαινομένων, αλλά και εξειδικευμένη γνώση και εμπειρία στο σχεδιασμό ερευνητικών εργαλείων. Λέγεται χαρακτηριστικά ότι «καμία στατιστική έρευνα δεν μπορεί να είναι καλύτερη από το ερωτηματολόγιο που χρησιμοποιήθηκε σε αυτή» (Moser & Kalton, 1985). Με τη φράση αυτή τονίζεται το γεγονός ότι σε μια έρευνα ακόμη και αν εφαρμοστεί αποτελεσματικό σχέδιο δειγματοληψίας ή η πλέον ενδεδειγμένη ανάλυση των στοιχείων δεν είναι δυνατόν να εξαχθούν σωστά συμπεράσματα αν λάβουμε απαντήσεις από ένα ακατάλληλο ερωτηματολόγιο, από ασαφείς ερωτήσεις, κτλ. Είναι εξαιρετικά εύκολο να γράψει κανείς ερωτήσεις και να τις βάλει σε μια τυχαία σειρά, ωστόσο, αν οι ερωτήσεις είναι άστοχες, κακοδιατυπωμένες ή σε λανθασμένη σειρά, τότε οι συλλεγόμενες πληροφορίες μπορεί να έχουν μικρή αξία ή να είναι ακόμη και παραπλανητικές. Επιπλέον, το ερωτηματολόγιο, καθώς είναι το μέσο επικοινωνίας του ερευνητή με τον ερωτώμενο έχει μεγάλη επίδραση όχι μόνο στην ποιότητα των στοιχείων που θα συλλεχθούν, αλλά και στην εντύπωση που θα δοθεί στον ερωτώμενο για την ποιότητα της διεξαγόμενης έρευνας επηρεάζοντας έτσι την απόφασή του να λάβει ή όχι μέρος σε αυτή.

2. Η επιλογή του Ερωτηματολογίου του Εκπαιδευτικού ΠΕΑΠ ως ερευνητικού εργαλείου

Η επιλογή της τεχνικής συλλογής πληροφοριών γίνεται με γνώμονα τη φύση των διερευνούμενων ερωτημάτων, το απαιτούμενο εύρος και βάθος των πληροφοριών που συλλέγονται, τη χρονική στιγμή της έρευνας, το κόστος υλοποίησης, τους διαθέσιμους πόρους και τους χρονικούς περιορισμούς που ενδεχομένως υπάρχουν (Westat, 2010). Η τεχνική της έρευνας με ερωτηματολόγιο επιλέχθηκε στην προκειμένη περίπτωση επειδή είναι κατάλληλη για τη συγκέντρωση περιγραφικών δεδομένων και για την καταγραφή στοιχείων που καλύπτουν πολλά θέματα. Η τεχνική αυτή έχει το πλεονέκτημα του σχετικά μικρού κόστους, που γίνεται ακόμη μικρότερο όταν το ερωτηματολόγιο είναι ηλεκτρονικό (αναρτημένο σε διαδικτυακό τόπο του έργου, όπως στην περίπτωσή μας), καθώς οι απαντήσεις των ερωτώμενων στην περίπτωση αυτή αποθηκεύονται αυτόματα σε βάση δεδομένων με την κωδικοποίηση που ορίζει ο ερευνητής.  Έτσι, η επεξεργασία και ανάλυση των δεδομένων μπορεί να ξεκινήσει αμέσως μετά την ολοκλήρωση της συλλογής τους. Από την άλλη, βασικό της μειονέκτημα είναι ότι παρέχει μόνο μία γενική εικόνα, συχνά μη επαρκή, και ενδέχεται να μην αποτυπώνει τις «πραγματικές» στάσεις, συμπεριφορές ή χαρακτηριστικά όσων συμμετέχουν στην έρευνα συμπληρώνοντας το ερωτηματολόγιο (μεροληψία απόκρισης). Το τελευταίο μπορεί να οφείλεται είτε στην παρανόηση των ερωτημάτων από τους συμμετέχοντες είτε στη σκόπιμη από μέρους τους απόκρυψη της πραγματικότητας επειδή ένιωσαν «απειλή». Πρόσθετη μεροληψία ενδέχεται να υπάρξει όταν τα άτομα που δέχονται να συμμετάσχουν διαφέρουν από τα άτομα που αρνούνται (μεροληψία μη απόκρισης). Επιπλέον, όταν η έρευνα διεξάγεται σε δείγμα του υπό μελέτη πληθυσμού, τότε η αποτύπωση που πραγματοποιείται αποκλίνει από την πραγματικότητα (σφάλμα δειγματοληψίας). Τα μειονεκτήματα αυτά λαμβάνονται υπόψη στην αξιολόγηση των ευρημάτων της έρευνας και ουσιαστικά αποτελούν τους εκ των προτέρων γνωστούς περιορισμούς της (Dornyei, 2010; Westat, 2010).

Το συντονισμό των ενεργειών και την ευθύνη για τη δημιουργία του συγκεκριμένου ερωτηματολογίου ανέλαβε η Ομάδα Έργου η οποία αποτελείται από επιστήμονες στο χώρο της εφαρμοσμένης γλωσσολογίας και σχετική εμπειρία στην κατασκευή ερευνητικών εργαλείων, καθώς επίσης από την στατιστικολόγο, επιστημονική συνεργάτιδα του έργου. Παρακάτω παρουσιάζονται συνοπτικά τα στάδια ανάπτυξης του ερωτηματολογίου βήμα-βήμα και συζητιούνται οι εγγενείς δυσκολίες στην κατασκευή του.

2.1 Βήμα 1ο: Προσδιορισμός και εξειδίκευση των στόχων του ερευνητικού εργαλείου

Το πρώτο και εξαιρετικά σημαντικό βήμα στην ανάπτυξη οποιουδήποτε ερωτηματολογίου είναι ο σαφής προσδιορισμός του στόχου ή των στόχων του. Το βήμα αυτό είναι καθοριστικό γιατί θα επηρεάσει τον προσδιορισμό των αναγκών πληροφόρησης και την επιλογή, το εύρος ακόμα και τη διατύπωση των ερωτημάτων. Μετά από συστηματική συζήτηση και προβληματισμό και λαμβάνοντας υπόψη τα αποτελέσματα προηγούμενων μελετών στο έργο και τα κενά πληροφόρησης που είχε η Ομάδα ‘Εργου συναποφασίστηκαν οι ακόλουθοι στόχοι:

• Η αποτύπωση του προφίλ των εκπαιδευτικών που εφαρμόζουν το ΠΕΑΠ
• Η ανίχνευση του βαθμού κάλυψης των αναγκών ενημέρωσης και επιμόρφωσης των εκπαιδευτικών και ο εντοπισμός αναγκών που δεν έχουν καλυφθεί
• Η αποτύπωση της γνώμης των εκπαιδευτικών για την εισαγωγή της αγγλικής γλώσσας στη Α' και Β' Δημοτικού, για τη φιλοσοφία και τους στόχους του ΠΕΑΠ
• Η συγκέντρωση στοιχείων για τον τρόπο εφαρμογής του ΠΕΑΠ στα σχολεία ΕΑΕΠ
• Η σκιαγράφηση του σχολικού περιβάλλοντος εφαρμογής του ΠΕΑΠ (υλικοτεχνικές υποδομές, υποστηρικτικές δομές του εκπαιδευτικού έργου, κουλτούρα συνεργασίας κ.ά. ) και της επίδρασής του στην εφαρμογή του ΠΕΑΠ
• Η καταγραφή του υλικού που χρησιμοποιείται από τους εκπαιδευτικούς στην τάξη, καθώς και της ανατροφοδότησής τους για τις αναμορφωμένες δραστηριότητες του ΠΕΑΠ
• Η διερεύνηση των παραγόντων που επιδρούν στις επιμορφωτικές ανάγκες και στη γνώμη των εκπαιδευτικών για το ΠΕΑΠ

2.2 Βήμα 2ο: Προσδιορισμός των αναγκών πληροφόρησης

Μετά το καθορισμό των στόχων του ερωτηματολογίου, θα πρέπει να προσδιοριστούν οι πληροφορίες που χρειάζονται προκειμένου να επιτευχθούν αυτοί οι στόχοι. Η ομάδα έργου με βάση τους προκαθορισμένους στόχους ανέλυσε τον κάθε στόχο σε επιμέρους ερωτήματα και επέλεξε τα αντίστοιχα μετρήσιμα μεγέθη (παράμετροι), τα οποία με την μορφή ερωτήσεων ή δηλώσεων προς αξιολόγηση συμπεριλήφθηκαν στο ερωτηματολόγιο. Έτσι, για την αποτύπωση, λόγου χάρη, του προφίλ των εκπαιδευτικών ΠΕΑΠ καθορίστηκε ότι χρειάζεται να καταγραφούν οι εξής παράμετροι: το φύλο, η ηλικία, η κατάρτιση, η διδακτική εμπειρία και η σχέση εργασίας των εκπαιδευτικών με το δημόσιο.

Κάποια από τα στοιχεία αυτά δεν επιλέχθηκαν μόνο για τη σκιαγράφηση του προφίλ των συνεργαζόμενων εκπαιδευτικών, αλλά για να εξυπηρετηθούν και άλλοι στόχοι. Συγκεκριμένα, στοιχεία σχετικά με την κατάρτιση και τη διδακτική εμπειρία των εκπαιδευτικών δίνουν την ευκαιρία για συσχετισμούς με τις στάσεις και απόψεις τους απέναντι στο πρόγραμμα καθώς και για εξαγωγή πολύτιμων συμπερασμάτων αναφορικά με τις επιμορφωτικές τους ανάγκες.

Στο στάδιο αυτό αξιοποιήθηκαν επίσης η εμπειρία και οι γνώσεις από προηγούμενες σχετικές έρευνες. Συγκεκριμένα, από την ανάλυση των απαντήσεων των εκπαιδευτικών ΠΕΑΠ σε έρευνα με ερωτηματολόγιο που πραγματοποιήθηκε την προηγουμένη σχολική χρονιά και είχε παρόμοιους στόχους, αναδείχθηκαν νέα θέματα που φαίνεται να προβληματίζουν ή να δυσκολεύουν το έργο των εκπαιδευτικών, όπως η μη χρήση βιβλίου. Επιπλέον, κάποια ερωτήματα του προηγούμενου ερωτηματολογίου κρίθηκε ότι συλλέγουν διαφορετική ή λιγότερη πληροφόρηση από αυτή που χρειάζεται η ομάδα Έργου. Σχετικά με το σχολικό περιβάλλον λόγου χάρη τα ερωτήματα για τις υλικοτεχνικές υποδομές (ειδικές αίθουσες διδασκαλίες, οπτικοακουστικά μέσα διδασκαλίας, φωτοτυπικό μηχάνημα, πρόσβαση στο διαδίκτυο) κατέγραφαν αν η υποδομή υπάρχει ή όχι στο σχολείο, αλλά όχι αν αυτές αξιοποιούνται για τις ανάγκες του ΠΕΑΠ. Αποφασίστηκε λοιπόν στη νέα έρευνα να καταγραφεί όχι μόνο ποιες υποδομές υπάρχουν, αλλά και αν χρησιμοποιούνται ή όχι για τις ανάγκες του ΠΕΑΠ.

2.3 Βήμα 3ο: Η επιλογή των τύπων των ερωτημάτων

Σε επόμενο βήμα της ανάπτυξης του ερωτηματολογίου έπρεπε να αποφασιστεί ποιος τύπος ερωτημάτων (ερωτήματα ανοιχτού/κλειστού τύπου) είναι κατάλληλος για κάθε μετρήσιμο μέγεθος που επιλέχθηκε να συμπεριληφθεί στην έρευνα.

Για τα ερωτήματα κλειστού τύπου επιλέχθηκαν επιπλέον οι προτεινόμενες απαντήσεις φροντίζοντας να καλύπτουν ένα μεγάλο φάσμα πιθανών απαντήσεων και να μην επικαλύπτονται, ενώ σε περιπτώσεις που κάποια παράμετρος είχε καταγραφεί σε προηγούμενες χρονικές στιγμές, διατηρήθηκαν οι ίδιες επιλογές απάντησης, ώστε να είναι εφικτή η σύγκριση με παλιότερες έρευνες. Σχετικά με το μέγεθος των τμημάτων που διδάσκουν οι εκπαιδευτικοί, λόγου χάρη, ζητείται ο μέσος όρος των μαθητών, αλλά επειδή μία ακριβής απάντηση (ερώτημα ανοιχτού τύπου) από τη μια θα πρόσθετε γνωστικό βάρος στους συμμετέχοντες για να την προσδιορίσουν, από την άλλη δεν θα αξιοποιούνταν στην ανάλυση, το ερώτημα τέθηκε ως κλειστού τύπου με 5 επιλογές ανάμεσα στις οποίες κλήθηκαν να επιλέξουν οι εκπαιδευτικοί.

Για τα ερωτήματα που αποτελούν δηλώσεις του βαθμού συμφωνίας ή σημαντικότητας αποφασίστηκε η κλίμακα της αξιολόγησης. Επιλέχθηκε η συνήθης κλίμακα 1 ως 5 για όλες τις ερωτήσεις αυτού του τύπου, όπου το 1 δηλώνει χαμηλή αξία/ σημαντικότητα/ συχνότητα ή αρνητική στάση, το 5 δηλώνει υψηλή αξία/ σημαντικότητα/ συχνότητα ή θετική στάση, ενώ το 3 να είναι το μεσαίο ουδέτερο σημείο της κλίμακας. Επιλέχθηκε κλίμακα με περιττό αριθμό σημείων, ώστε να μην πιέζονται οι ερωτώμενοι να πάρουν απαραίτητα μία θέση (αρνητική ή θετική), ακριβώς επειδή η έρευνα ενδιαφέρεται να καταγράψει και τις ουδέτερες στάσεις.

Τελικά καταρτίστηκε κατάλογος με τα ερωτήματα και τα μετρήσιμα μεγέθη που αποφασίστηκε να συμπεριληφθούν στο ερωτηματολόγιο, ελέγχθηκε ότι τα ερωτήματα συλλέγουν πληροφορίες που καλύπτουν τους στόχους της έρευνας και είναι σχετικές με αυτούς, όπως επίσης ότι οι συλλεγόμενες πληροφορίες είναι αξιοποιήσιμες -και με ποιο τρόπο- για τον σκοπό της έρευνας. Η λίστα, αφού εγκρίθηκε από τα μέλη της Ομάδας Έργου, αποτέλεσε τη βάση για τη διατύπωση των ερωτημάτων και τη σύνταξη της πρώτης εκδοχής του ερωτηματολογίου.

2.4 Βήμα 4ο: Σύνταξη της πρώτης εκδοχής του ερωτηματολογίου

Για τις παραμέτρους που προσδιορίστηκαν στο πρώτο στάδιο δημιουργήθηκαν ερωτήματα και συντάχθηκε η πρώτη εκδοχή του ερωτηματολογίου. Δόθηκε προσοχή στο λεξιλόγιο και τη σύνταξη των ερωτημάτων, αλλά και των προτεινόμενων απαντήσεων στην περίπτωση των ερωτημάτων κλειστού τύπου, επιδιώκοντας να είναι ακριβή, σαφή και κατανοητά από τους ερωτώμενους. Επιλέχθηκε κατά το δυνατό ουδέτερο λεξιλόγιο, ενώ αποφεύχθηκαν μακροσκελή, σύνθετα ή υποθετικά ερωτήματα, όπως και ερωτήματα με διπλές αρνήσεις.

Στη συνέχεια τα ερωτήματα οργανώθηκαν σε μικρές ομάδες παρόμοιας θεματικής και αποφασίστηκε η σειρά υποβολής τους με στόχο να μοιάζει εύλογη και προφανής στους συμμετέχοντες, να τους ενθαρρύνει να συνεχίσουν τη συμπλήρωση του ερωτηματολογίου και να τους διευκολύνει στην απάντηση των ερωτημάτων, υποβοηθώντας την ανάκτηση της απαιτούμενης πληροφορίας. Επιπρόσθετα, επειδή η τελική εκδοχή του ερωτηματολόγιου δεν θα ήταν έντυπη αλλά ηλεκτρονική, ελέγχθηκε αν οι απαιτήσεις στον τρόπο παρουσίασης είναι εφικτές στην ηλεκτρονική πλατφόρμα στην οποία θα μεταφερθεί.

Η συντακτική ομάδα επανεξέτασε προσεκτικά το λεξιλόγιο και τη δομή του ερωτηματολογίου, πρόσθεσε επεξηγήσεις σε όρους που κρίθηκε ότι δεν είναι απαραίτητα γνωστοί στους ερωτώμενους, όπως οι όροι κοινωνικός και σχολικός γραμματισμός. Οι αλλαγές και προσθήκες ενσωματώθηκαν στο ερωτηματολόγιο και ακολούθησε η φάση του πρώτου ελέγχου.

2.5 Βήμα 5ο: Εσωτερική αξιολόγηση του ερωτηματολογίου

Η πρώτη εκδοχή του ερωτηματολογίου δόθηκε για έλεγχο στην επιστημονική υπεύθυνη  του έργου, που είναι έμπειρη τόσο στα θέματα της έρευνας όσο και στο σχεδιασμό ερωτηματολογίου και σε δύο εκπαιδευτικούς αγγλικής, συνεργάτες του έργου για την εσωτερική του αξιολόγηση. Τα άτομα αυτά δεν είχαν συμμετάσχει στη σύνταξη του ερωτηματολογίου. Ο εσωτερικός έλεγχος προηγήθηκε του ελέγχου από τους τελικούς χρήστες (μονάδες του υπό μελέτη πληθυσμού) με το σκεπτικό ότι τα προφανή προβλήματα μπορούν να εντοπιστούν γρηγορότερα και καλύτερα από τους ειδικούς.

Η κριτική που ασκήθηκε σε αυτό το στάδιο ήταν λεπτομερής και αυστηρή. Κάθε ερώτημα ελέγχθηκε για την καταλληλότητα και την αποτελεσματικότητά του, δηλαδή αν ρωτάει κάτι που χρειάζεται στην έρευνα και αν η πληροφορία που ανακτά μπορεί να αξιοποιηθεί. Επιπλέον, αξιολογήθηκε η σαφήνεια και η συνοχή τόσο των ερωτημάτων και των προτεινόμενων επιλογών απάντησης όσο και του συνόλου του ερωτηματολογίου. Τέλος, εξετάστηκε αν οι πληροφορίες που ζητούνται είναι γνωστές στους ερωτώμενους και αν οι ερωτώμενοι είναι διαθέσιμοι να τις παρέχουν, όπως επίσης αν υπάρχουν σημεία που μπορεί να θίξουν ευαισθησίες των ερωτώμενων και αν τα ερωτήματα καλύπτουν τις ανάγκες των ερωτώμενων.

Τα σχόλια και οι παρατηρήσεις των «ελεγκτών» δόθηκαν γραπτώς, ενώ ακολούθησε συνάντησή τους με την Ομάδα Έργου όπου προτάθηκαν βελτιωτικές αλλαγές, ώστε τελικά να δημιουργηθεί μία νέα εκδοχή του ερωτηματολογίου. Οι αλλαγές που έγιναν περιελάμβαναν την αφαίρεση ερωτημάτων που αφορούσαν πληροφορίες που δεν θα ήταν χρήσιμες για το έργο και την προσθήκη άλλων ερωτημάτων που δεν είχε σκεφτεί η Ομάδα Έργου, όπως π.χ. η προσθήκη ενός ερωτήματος σχετικά με τις δεξιότητες πληροφορικής των εκπαιδευτικών, οι οποίες ήταν απαραίτητες για την πρόσβαση στο εκπαιδευτικό υλικό του ΠΕΑΠ που ήταν διαθέσιμο μόνο σε ηλεκτρονική μορφή στο διαδίκτυο. Το ερώτημα αυτό κρίθηκε ότι από τη μία καλύπτει τις ανάγκες των ερωτώμενων, καθώς κάποιοι εκπαιδευτικοί είχαν σημειώσει σε προηγούμενες έρευνες ότι δυσκολεύονται στην πρόσβαση του υλικού ή στη μεταφορά του στην τάξη, και από την άλλη θα μπορούσε να συμβάλει στην αποτίμηση του τρόπου εφαρμογής του ΠΕΑΠ. Οι περισσότερες άλλες αλλαγές αφορούσαν κυρίως στη διατύπωση των ερωτημάτων και των προτεινόμενων επιλογών.

2.6 Βήμα 6ο: Εμπλουτισμός των αναγκών πληροφόρησης

Κατά τη διάρκεια της ανάπτυξης του ερωτηματολογίου άλλες μελέτες των συνεργατών του ΠΕΑΠ που ήταν σε εξέλιξη ανέδειξαν νέα θέματα προς διερεύνηση, τα οποία εξετάστηκε αν θα μπορούσαν να συμπεριληφθούν στην μεγάλης κλίμακας έρευνα με το Ερωτηματολόγιο του Εκπαιδευτικού ΠΕΑΠ. Αυτά τα «νέα» θέματα αφορούσαν κυρίως την στάση των εκπαιδευτικών π.χ. απέναντι στη γλωσσομάθεια σε πολύ νεαρή ηλικία και τις απόψεις τους για νέες δράσεις και προϊόντα του Έργου, όπως π.χ. την ιστοσελίδα που εξελίχθηκε στην διαδικτυακή πύλη ΠΕΑΠ και τη λειτουργία Κοινοτήτων Πρακτικής. Αφορούσαν επίσης αιτήματα σημαντικού ποσοστού των αρχικά ερωτηθέντων εκπαιδευτικών ΠΕΑΠ, όπως το ενδεχόμενο έναρξης διδασκαλίας γραφής και ανάγνωσης στα αγγλικά στη Β’ Δημοτικού. Τέλος αφορούσαν τις στάσεις των εκπαιδευτικών σε μια σειρά από ζητήματα που αναδείκνυαν παράλληλες μελέτες για το ΠΕΑΠ.

Αξιολογήθηκαν οι νέες ανάγκες πληροφόρησης που προέκυψαν όπως και οι επιπτώσεις και τα οφέλη που θα είχε η προσθήκη νέων ερωτημάτων στο ήδη μεγάλο σε έκταση ερωτηματολόγιο. Πράγματι, με τις νέες προσθήκες το ερωτηματολόγιο θα γινόταν μεγαλύτερο και πιο απαιτητικό σε χρόνο και κόπο από τους ερωτώμενους, αλλά τα οφέλη που εκτιμήθηκε ότι θα αποκομιστούν ήταν σημαντικά και κρίσιμα για την περαιτέρω ανάπτυξη του προγράμματος. Αποφασίστηκε, συνεπώς, να γίνουν όλες οι απαραίτητες νέες προσθήκες ερωτημάτων στο ερωτηματολόγιο σε σημεία που δεν επηρεάζουν τη συνολική συνοχή του.

2.7 Βήμα 7ο: Η πιλοτική εφαρμογή του ερωτηματολογίου

Η πιλοτική εφαρμογή του μεθοδολογικού εργαλείου υλοποιήθηκε σε μια μικρή ομάδα του πληθυσμού στόχου, δηλαδή σε εκπαιδευτικούς αγγλικής που διδάσκουν στις δύο πρώτες τάξεις του δημοτικού σχολείου σε σχολεία με ΕΑΕΠ.

Η πιλοτική εφαρμογή είναι απαραίτητη γιατί ακόμα και ο πιο πεπειραμένος σχεδιαστής ερωτηματολογίου δεν μπορεί να είναι σίγουρος για τη σαφήνεια και για τη λειτουργία των ερωτημάτων πριν αυτά δοκιμαστούν στην πράξη. Ο σχεδιαστής του ερωτηματολογίου ξέρει πάρα πολλά για τις ερωτήσεις (βλέπει/ διαβάζει ίσως και πράγματα τα οποία υπονοούνται, αν και δεν σημειώνονται), δεν έχει την ιδιότητα όμως και τις εμπειρίες των ερωτώμενων και επομένως δεν μπορεί να είναι βέβαιος ότι τα ερωτήματα γίνονται με τον ίδιο τρόπο αντιληπτά από τους ερωτώμενους ή ότι λαμβάνουν υπόψη τις ευαισθησίες και τις ανάγκες τους.

Συνηθίζεται στην περίπτωση της πιλοτικής εφαρμογής να γίνεται παρατήρηση της συμπλήρωσης του ερωτηματολογίου, όπου ο συμμετέχων παροτρύνεται να σκεφτεί δυνατά πώς αντιλαμβάνεται τις ερωτήσεις και πώς καταλήγει στην απάντησή τους, ενώ ο παρατηρητής κρατά σημειώσεις και κάνει ερωτήσεις για τα προβλήματα που πιθανόν ανακύπτουν. Καθώς όμως δεν υπήρχε αυτή η δυνατότητα λόγω της εργασίας των εκπαιδευτικών σε σχολεία, τους ζητήθηκε να καταγράψουν οι ίδιοι τα προβλήματα που αντιμετώπισαν, λάθη που επισήμαναν, τι αλλαγές πιστεύουν ότι πρέπει να γίνουν και πόσος χρόνος ήταν απαραίτητος για τη συμπλήρωση του ερωτηματολογίου. Ας σημειωθεί ότι παρόλο που η τελική εκδοχή του ερωτηματολογίου είχε αποφασιστεί ότι θα είναι διαδικτυακή, η πιλοτική εφαρμογή έγινε για πρακτικούς λόγους με χρήση του ερωτηματολογίου σε έντυπη μορφή.

Ακολούθησε συνάντηση της ομάδας σύνταξης με τους συμμετέχοντες στην πιλοτική έρευνα. Στη συνάντηση αυτή τα μέλη της ομάδας είχαν την ευκαιρία να συζητήσουν με τους συμμετέχοντες, να ζητήσουν περαιτέρω διευκρινίσεις ή προτάσεις για βελτίωση των σημείων που δυσκόλεψαν ή δεν ήταν σαφή.

Η πιο κριτική παρατήρηση που έγινε σε αυτό το στάδιο ήταν η επισήμανση πως οι εκπαιδευτικοί που διδάσκουν σε τάξεις ΠΕΑΠ σε περισσότερα από ένα σχολεία θα δυσκολευτούν ίσως να απαντήσουν σε πολλά ερωτήματα του ερωτηματολογίου που αφορούσαν στο σχολικό περιβάλλον, αφού οι εκπαιδευτικοί αγγλικής που εργάζονται σε δημοτικό σχολείο είναι υποχρεωμένοι να διδάσκουν ταυτόχρονα σε 2-3, μερικές φορές μέχρι και σε 4-5 σχολεία! Η λύση που δόθηκε ήταν να ζητηθεί από τους εκπαιδευτικούς αυτούς να απαντήσουν στο ερωτηματολόγιο λαμβάνοντας υπόψη μόνο το ένα σχολείο, αυτό για το οποίο έχουν σχηματίσει καλύτερη εικόνα. Οι υπόλοιπες αλλαγές που προτάθηκαν σε αυτό το στάδιο αφορούσαν κυρίως σε τυπογραφικά λάθη, στην επεξήγηση όρων και στη διατύπωση των ερωτήσεων.

2.8 Βήμα 8ο: Η τελική εκδοχή του ερωτηματολογίου και η μεταφορά του σε η-πλατφόρμα

Με βάση τις παρατηρήσεις του προηγούμενου σταδίου συντάχθηκε η τελική εκδοχή του ερωτηματολογίου (βλ. Παράρτημα), και μεταφέρθηκε στην ηλεκτρονική πλατφόρμα LimeSurvey, φροντίζοντας η εμφάνιση να είναι απλή, χωρίς σχήματα ή χρώματα που μπορεί να αποσπούν την προσοχή των συμμετεχόντων.

Στην πρώτη οθόνη της τελικής ηλεκτρονικής εκδοχής εμφανίζεται ο χρηματοδότης της έρευνας (ΕΣΠΑ), ο φορέας υλοποίησης της έρευνας (ΕΚΠΑ), ο τίτλος του ερωτηματολογίου, ένα σύντομο κείμενο που απευθύνεται στους εκπαιδευτικούς, παρουσιάζει τον σκοπό της έρευνας και τους παροτρύνει να συμμετέχουν. Επιπλέον, σημειώνεται ότι θα δημοσιευτούν μόνο συγκεντρωτικά στοιχεία της έρευνας που δεν θα αποκαλύπτουν την ταυτότητα των συμμετεχόντων.

Στην πρώτη οθόνη υπάρχει, επίσης, το ερώτημα επιλογής για τη συμμετοχή στην έρευνα. Το ερώτημα επιλογής είναι σε ποιες τάξεις διδάσκουν οι εκπαιδευτικοί αγγλικά, ώστε να αποκλείει όσους δεν διδάσκουν στην Α΄ και Β΄ Δημοτικού που είναι ο πληθυσμός-στόχος της έρευνας. Το ερώτημα επιλογής είναι το μόνο υποχρεωτικό ερώτημα, που σημαίνει ότι δεν μπορεί κάποιος να συνεχίσει αν δεν το απαντήσει. Ανάλογα με τις τάξεις στις οποίες διδάσκουν, εμφανίζονται οι αντίστοιχες ερωτήσεις. Με τον τρόπο αυτό, το ερωτηματολόγιο είναι πιο σύντομο και, επομένως, με λιγότερο γνωστικό βάρος για αυτούς που διδάσκουν μόνο μία τάξη, καθώς δεν βλέπουν τα ερωτήματα που αφορούν στην άλλη τάξη.

Όπως αναφέρθηκε παραπάνω, εκτός από το ερώτημα επιλογής δεν υπάρχει κανένα άλλο υποχρεωτικό ερώτημα προκειμένου να έχει ο ερωτώμενος την ελευθερία να προσπεράσει ερωτήματα που δεν θέλει ή δεν μπορεί να απαντήσει. Στην περίπτωση που η απάντηση είναι υποχρεωτική ενδέχεται να προκληθεί άγχος ή δυσαρέσκεια στον ερωτώμενο, και τελικά η απάντηση να είναι στην τύχη ή αυτή που ο ερωτώμενος κρίνει ότι είναι η αναμενόμενη, εκτός αν υπάρχει επιλογή "Δεν ξέρω/ Δεν απαντώ" που μπορεί να επιλέξει αντί απάντησης.

Στην τελευταία οθόνη εμφανίζεται ευχαριστήριο μήνυμα για τη συμμετοχή στην έρευνα.

Το ερωτηματολόγιο ελέγχθηκε ακόμη μία φορά για πιθανά λάθη κατά τη μεταφορά ή σχετικά με τις συνθήκες εμφάνισης των ερωτημάτων. Στην συνέχεια ζητήθηκε από συνεργάτες του ΠΕΑΠ, οι οποίοι έχουν διδακτική εμπειρία και δεν ήταν εμπλεκόμενοι στη δημιουργία του εργαλείου, να το συμπληρώσουν και να εκτιμήσουν εκ νέου τον χρόνο που απαιτείται. Η τελική εκτίμηση για τον μέσο απαιτούμενο χρόνο απάντησης συμπληρώθηκε στο εισαγωγικό κείμενο, ώστε να γνωρίζουν εκ των προτέρων οι συμμετέχοντες πόσο περίπου χρόνο αναμένεται να χρειαστεί να αφιερώσουν στη συμπλήρωσή του.

3. Επεξεργασία και ανάλυση των στοιχείων και τελική αξιολόγηση του εργαλείου

Για τη διεξαγωγή της έρευνας εξασφαλίστηκε η απαραίτητη άδεια από το Υπουργείο Παιδείας και στη συνέχεια ενημερώθηκαν όλοι οι εκπαιδευτικοί αγγλικής που εφαρμόζουν το ΠΕΑΠ με προσωπική επιστολή της επιστημονικής υπεύθυνης του Έργου που τους καλούσε να λάβουν μέρος στην έρευνα. Τρεις βδομάδες μετά, στάλθηκε ηλεκτρονικό μήνυμα στους διευθυντές των σχολείων που υπενθύμιζε το κάλεσμα για συμμετοχή των εκπαιδευτικών αγγλικής του ΠΕΑΠ στην έρευνα.

Συμμετείχαν τελικά 577 εκπαιδευτικοί σε σύνολο 1600 κατ' εκτίμηση. Το ποσοστό συμμετοχής είναι υψηλότερο από το αναμενόμενο σε έρευνες με αυτοσυμπληρούμενο ηλεκτρονικό ερωτηματολόγιο, γεγονός που πιθανότητα οφείλεται σε παράγοντες όπως η άμεση εμπλοκή των συμμετεχόντων στην εφαρμογή του ΠΕΑΠ, στο ενδιαφέρον τους για τα θέματα της έρευνας και στο ότι η έρευνα γινόταν από το Πανεπιστήμιο και όχι έναν οποιονδήποτε δημόσιο οργανισμό και από τη συγκεκριμένη επιστημονική ομάδα που εκτιμούν οι εκπαιδευτικοί αγγλικής.

Ακολούθησε η επεξεργασία των στοιχείων και η πρώτη στατιστική ανάλυση των ερωτημάτων κλειστού τύπου σύμφωνα με το σχέδιο που είχε καταρτιστεί εξ αρχής. Τα αποτελέσματα αυτής της πρώτης ανάλυσης δημιούργησαν νέα ερωτήματα και ακολούθησε περαιτέρω στατιστική ανάλυση για την απάντησή τους.

Οι απαντήσεις των εκπαιδευτικών στις ερωτήσεις ανοιχτού τύπου μελετήθηκαν χωριστά και σε βάθος από συνεργάτες του έργου. Για λόγους αποτύπωσης μιας γενικής εικόνας έγινε ωστόσο και ομαδοποίηση των απαντήσεων, ώστε να υπολογιστούν περιγραφικά στατιστικά (συχνότητες) των απαντήσεων που δόθηκαν.

Τα αποτελέσματα της έρευνας, όπως προέκυψαν από την ανάλυση των δεδομένων, συγκεντρώθηκαν σε έκθεση αποτελεσμάτων και κοινοποιήθηκαν στους ενδιαφερόμενους. Στη συνέχεια πραγματοποιήθηκαν συναντήσεις των εμπλεκόμενων συνεργατών του Έργου για την αξιολόγηση, συζήτηση και ερμηνεία των αποτελεσμάτων σε συνδυασμό με στοιχεία άλλων μελετών και των γενικότερων στόχων του Προγράμματος. Τελικά εξήχθησαν συμπεράσματα και ελήφθησαν αποφάσεις για βελτιωτικές δράσεις στις ενέργειες και τα αποτελέσματα του Έργου.

Τα ευρήματα της συγκεκριμένης έρευνας συνέβαλαν σε μία σειρά πολύ κρίσιμων αποφάσεων ως προς το πρόγραμμα σπουδών, την εκπόνηση a-posteriori αναλυτικών προγραμμάτων για την Α’ και Β’ Δημοτικού, την ανάπτυξη πρόσθετου εκπαιδευτικού υλικού για διαφοροποιημένη διδασκαλία στην Α΄ και Β’ Δημοτικού, την έναρξη ενασχόλησης με τον πρώιμο σχολικό γραμματισμό (γραφή και ανάγνωση) στη Β΄ δημοτικού, την παραγωγή εκπαιδευτικών πακέτων για την Α’ και Β΄ Δημοτικού και την παραγωγή δύο εγχειριδίων για την Γ’ Δημοτικού, ένα για τους αρχάριους μαθητές και ένα για εκείνους που θα έχουν διδαχτεί με το ΠΕΑΠ τα δυο πρώτα χρόνια του Δημοτικού. Επίσης, συνέβαλαν στην εισαγωγή νέων μορφών επιμόρφωσης των εκπαιδευτικών ΠΕΑΠ (μέσω τηλεδιάσκεψης και με ηλεκτρονικά μαθήματα), στην ανάπτυξη διαφοροποιημένου υλικού επιμόρφωσης (με την χρήση εκπαιδευτικού υλικού στην πράξη), στην υιοθέτηση νέων μορφών υποστήριξης των εκπαιδευτικών κατά την εφαρμογή του ΠΕΑΠ (μέσω ηλεκτρονικού ταχυδρομείου και τηλεφωνικής επικοινωνίας) και, τέλος, στην απόφαση να υποστηριχθούν νέες μορφές επικοινωνίας και συνεργασίας των εκπαιδευτικών μέσα από Κοινότητες Πρακτικής. Κάποιες από τις αλλαγές αυτές υλοποιήθηκαν άμεσα χρονικά, ενώ για άλλες δρομολογήθηκε ο σχεδιασμός τους και η υλοποίησή τους σε βάθος χρόνου.

Μετά την ολοκλήρωση της αξιοποίησης των ευρημάτων της έρευνας και για σκοπούς εσωτερικής αξιολόγησης του ΠΕΑΠ, ακολούθησε η αποτίμηση και αξιολόγηση του συνόλου των επιλογών που έγιναν σε όλα τα στάδια της έρευνας ως προς την ευστοχία και την αποτελεσματικότητά τους. Ειδικά για το μεθοδολογικό εργαλείο, εξετάστηκε ο βαθμός που τα συλλεγόμενα στοιχεία εξυπηρέτησαν τους στόχους της έρευνας. Επιπλέον, εξετάστηκαν ξανά όλα τα ερωτήματα  σε συνδυασμό με τις απαντήσεις των εκπαιδευτικών σε αυτά, ώστε να εντοπιστούν προβληματικά σημεία. Τα συμπεράσματα της τελικής αυτής αποτίμησης του ερωτηματολογίου αξιοποιήθηκαν σε επόμενες έρευνες.

Βιβλιογραφία

Brace, I. (2008) Questionnaire Design - How to Plan, Structure and Write Survey for Effective Market Research. London: Kogan Page.

Δενδρινού, Β., Ζουγανέλη Κ. & Κοσοβίτσα, Κ. (2013) Το Πρόγραμμα Εκμάθησης Αγγλικής στην Πρώιμη Παιδική Ηλικία. http://rcel.enl.uoa.gr/peap/articles/programma-0

Dornyei, Z. (2010) : Construction, Administration, and Processing

Lietz, P. (2010) Research into questionnaire design: a summary of the literature. International Journal of Market Research 52(2): 249-272.

Moser, C. & Kalton, G. (1985) Survey Methods in Social Investigation, (2nd ed.). Dartmouth: Dartmouth Publishing.

MRS (2011) Guidelines for Questionnaire Design. London: MRS.

MRS (2012) Guidelines for Online Research. London: MRS.

Oppenheim, A. N. (1992) Questionnaire Design, Interviewing and Attitude Measurement. New York: Continuum.

Siniscalco, M. T. & Auriat, N. (2009) Questionnaire design. In Κ. Ν. Ross (Series ed.) Quantitative Research Methods in Educational Planning, Module 8. Paris: UNESCO International Institute for Educational Planning.

Statistics Canada (2003) Survey Methods and Practices. Ottawa, Ontario: Statistics Canada.

Statistics Canada (2009) Quality Guidelines. Ottawa, Ontario: Statistics Canada.

Taylor-Powell, E. (1998) Questionnaire Design: Asking Questions with a Purpose.  Winsconsin: Cooperative Extension Publications (University of Wisconsin).

Τσοπάνογλου, A. (2010) Μεθοδολογία της Επιστημονικής Έρευνας και Εφαρμογές της στην Αξιολόγηση της Γλωσσικής Κατάρτισης. Θεσσαλονίκη: Εκδόσεις Ζήτη.

Westat, J. F. (2010) The 2010 User-Friendly Handbook for Project Evaluation. Arlington, VA: National Science Foundation.