Δεκέμβριος 2010

Η παραπάνω λίστα ερωτημάτων μπορεί να επιμηκυνθεί ανάλογα με τον πλούτο ή την έκταση των προδιαγραφών που το σύστημα πιστοποίησης έχει ετοιμάσει.

2.3. Εγκυρότητα περίστασης

Οι πρώτες δύο διαστάσεις της εγκυρότητας έχουν εδώ πιο περιορισμένο αναφερόμενο από αυτό που βρίσκει κανείς στην αγγλόγλωσση βιβλιογραφία, αφού όπως έχει ήδη δηλωθεί, η εγκυρότητα δομής, κατά την άποψη πολλών ειδικών, περιλαμβάνει όλα τα είδη εγκυρότητας. Η εγκυρότητα περιεχομένου, επίσης, την οποία ο Weir μετονομάζει σε context validity (2005: 19), περιλαμβάνει συχνά, εκτός της αντιπροσωπευτiκότητας, και την ιδιότητα της καταλληλότητας του τεστ για το κοινό για το οποίο σχεδιάστηκε.

Αξιοποιώντας τις αναλυτικά διατυπωμένες απόψεις του Weir (2005: 56-83) για τον έλεγχο της εγκυρότητας περιεχομένου, προτείνω τη χρήση του όρου εγκυρότητα περίστασης, με τον οποίο θα γίνεται εδώ αναφορά στο βαθμό που τα επί μέρους χαρακτηριστικά ενός τεστ και οι συνθήκες διεξαγωγής του ταιριάζουν στα χαρακτηριστικά των εξεταζομένων. Όπως είναι προφανές, εάν ένα όργανο μέτρησης έχει χαρακτηριστικά και χρησιμοποιείται με τρόπο που να προκαλούν αρνητική αντίδραση –ή την αδράνεια– των υποκειμένων της έρευνας, δηλαδή των εξεταζομένων, τα αποτελέσματα της όλης διαδικασίας δε θα απεικονίζουν το βαθμό γλωσσομάθειάς τους και η όποια ερμηνεία τους θα είναι επισφαλής.

Σύμφωνα με την οπτική εξέτασης της εγκυρότητας που αναπτύσσεται εδώ, η εγκυρότητα δομής και η εγκυρότητα περιεχομένου είναι ιδιότητες που υπάρχουν και που μπορούν να ελεγχθούν πριν από την υλοποίηση της μέτρησης, δηλαδή πριν από τη διεξαγωγή εξετάσεων. Τα στοιχεία ή αντικείμενα, πράγματι, στα οποία μπορεί να στηριχτεί κανείς για να ελέγξει τα πρώτα δύο είδη εγκυρότητας (σαφής προσδιορισμός της δομής, μετάφρασή της σε μεταβλητές βάσει συγκεκριμένης θεωρίας, μετουσίωσή της σε όργανο μέτρησης που να περιλαμβάνει αντιπροσωπευτικό δείγμα των μεταβλητών και των άλλων περιεχομένων των προδιαγραφών) δεν απαιτούν δεδομένα από την ίδια την εξέταση. Η τρίτη, αντίθετα, αυτή διάσταση της εγκυρότητας, όπως και η τέταρτη, ελέγχονται με βάση στοιχεία που προκύπτουν κατά τη διάρκεια ή αμέσως μετά από τη διεξαγωγή της εξέτασης.

Με την ευκαιρία της συσχέτισης των διαστάσεων της εγκυρότητας με το χρόνο συλλογής των δεδομένων για τον έλεγχό τους, είναι σκόπιμο να αναφερθούμε και σε όλες τις άλλες. Πρέπει να σημειώσουμε ότι, ενώ οι δύο πρώτες επιτρέπουν έλεγχο πριν τη διεξαγωγή της μέτρησης, οι διαστάσεις 3 και 4 απαιτούν τη διεξαγωγή της μέτρησης και οι διαστάσεις 5, 6 και 7 χρειάζονται συλλογή πρόσθετων δεδομένων μετά τη διεξαγωγή της μέτρησης, τα οποία αντιπαραβάλλονται ή συσχετίζονται τόσο με ό,τι υπάρχει πριν από τη μέτρηση όσο και, κυρίως, με τα ίδια αποτελέσματα της μέτρησης. Το θέμα αυτό θα γίνει σαφέστερο στο κεφάλαιο 3.

Μερικά σημαντικά ερωτήματα, η απάντηση των οποίων δίνει το μέτρο της εγκυρότητας περίστασης, είναι:

1. Πόσο εύκολα κατανοητές και αποδεκτές από τους εξεταζόμενους είναι οι οδηγίες εκτέλεσης των δοκιμασιών; Δηλαδή καταλαβαίνουν αμέσως τι πρέπει να κάνουν και βρίσκουν λογικό και σκόπιμο ό,τι πρέπει να κάνουν;

2. Πόσο φιλική προς τους συγκεκριμένους εξεταζόμενους, δηλαδή προς το κοινό για το οποίο κατασκευάστηκε το τεστ, είναι η σελιδοποίηση (μέγεθος χαρακτήρων, χρησιμοποιούμενες γραμματοσειρές, αριθμός ερωτημάτων σε κάθε σελίδα, στοιχεία διάκρισης της αρχής και του τέλους κάθε δοκιμασίας, κτλ.);

3. Πόσο ενδιαφέρουσες βρίσκουν οι εξεταζόμενοι τις δοκιμασίες, δεδομένου του τύπου και του αριθμού τους; Υπάρχουν δοκιμασίες που προκάλεσαν κάποιο κίνητρο και μεγαλύτερο ενδιαφέρον από άλλες;

4. Η σειρά εμφάνισης των δοκιμασιών συνέβαλε στην ομαλή διεξαγωγή της εξέτασης ή μήπως, για το συγκεκριμένο κοινό εξεταζομένων, θα έπρεπε να είναι διαφορετική;

5. Υπάρχουν ενδείξεις ανεπάρκειας ή υπερεπάρκειας του χρόνου για τη διεξαγωγή συγκεκριμένων δοκιμασιών ή τμημάτων/ενοτήτων του τεστ; Μήπως, δηλαδή, για το συγκεκριμένο κοινό (ηλικία, σχολικές συνήθειες, επίπεδο εκπαίδευσης, κτλ.) ο χρόνος δε φτάνει (προκαλώντας άγχος) ή είναι χωρίς λόγο πλεονάζων;

6. Μήπως κάποιο χαρακτηριστικό του τεστ και της περίστασης (έκταση κειμένων, θεματολογία, στάση και συμπεριφορά εξεταστών του προφορικού λόγου, χαρακτήρας φωτογραφιών που χρησιμοποιούνται ως ερέθισμα, κτλ.) προκαλεί αντιδράσεις λόγω του πολιτισμικού υπόβαθρου του κοινού;

Όπως είναι προφανές η κατάσταση αυτή θα μπορούσε να επεκταθεί, αφού ήδη το τελευταίο ερώτημα είναι συνεκτικό και θα μπορούσε να υποδιαιρεθεί σε τέσσερα τουλάχιστον ερωτήματα.

2.4. Εγκυρότητα βαθμολόγησης

Με τον όρο αυτό, που προτείνεται ως αντίστοιχος του scoring validity του Weir (2005: 177-206), θα κάνουμε αναφορά στο βαθμό που η βαθμολογία που προκύπτει από μία μέτρηση απεικονίζει ή αποδίδει τη γλωσσομάθεια κάθε εξεταζόμενου και αυτή η βαθμολογία θα ήταν (σχεδόν) η ίδια αν η μέτρηση επαναλαμβανόταν χωρίς να μεσολαβήσει μάθηση.

Όπως είναι φανερό, η εγκυρότητα βαθμολόγησης δεν είναι άλλο από αυτό που συνήθως καλείται αξιοπιστία του τεστ. Έναν άλλο ορισμό της εγκυρότητας βαθμολόγησης που θα μπορούσε να δώσει κανείς, τολμώντας να διαφοροποιηθεί από τα καθιερωμένα, είναι ο εξής: εγκυρότητα βαθμολόγησης –στην αξιολόγηση/μέτρηση της γλωσσομάθειας με στόχο την πιστοποίηση– είναι η συνέπεια με την οποία γίνεται μετατροπή των ποιοτικών δεδομένων σε ποσοτικά. Για να γίνει αυτό κατανοητό θα ξεκινήσουμε από προγενέστερη στιγμή της ερευνητικής δραστηριότητας.

Στις επιστημονικές έρευνες, όταν γίνεται μία μέτρηση, άλλοτε συλλέγουμε ποιοτική και άλλοτε ποσοτική πληροφορία. Ποιοτική πληροφορία έχουμε όταν η μέτρηση γίνεται χρησιμοποιώντας ονοματική κλίμακα (nominal scale). Πάνω σε αυτή την πληροφορία δεν μπορούμε να κάνουμε στατιστική ανάλυση, ούτε καν τις βασικές αριθμητικές πράξεις. Ποσοτική, από την αρχή, πληροφορία παίρνουμε όταν χρησιμοποιούμε, κατά τη μέτρηση, (ισο)διαστημική κλίμακα (interval scale) ή αναλογική κλίμακα (ratio scale). Πάνω σε αυτή την πληροφορία μπορούμε αμέσως να κάνουμε αριθμητικές πράξεις.

Ένα τέταρτο είδος κλίμακας που έχει επινοηθεί λέγεται τακτική κλίμακα (ordinal scale) και, κατά την άποψη των περισσότερων ειδικών, δίνει επίσης πληροφορία ποιοτικής φύσης. Εδώ, ωστόσο, υπάρχει και αντίλογος. Δε θα ασχοληθούμε με αυτό γιατί δεν είναι σκόπιμο να χαθούμε σε επιστημολογικής φύσης θέματα. Εδώ θα θεωρήσουμε –συμβατικά ή για ευκολία μας, κάνοντας απλοποίηση– ότι η πληροφορία είναι ποσοτική, στο βαθμό που εκφράζεται με ένα νούμερο που μας επιτρέπει να κάνουμε αριθμητικές πράξεις, έστω και καταχρηστικά. Επομένως, θα θεωρήσουμε ότι η διάκριση ποιοτικής και ποσοτικής πληροφορίας θα γίνεται εδώ με βάση τη δυνατότητα εκτέλεσης αριθμητικών πράξεων.

Στην περίπτωση της μέτρησης της γλωσσομάθειας όλες οι πληροφορίες που παίρνουμε κατά την εξέταση από κάθε εξεταζόμενο είναι καταρχήν ποιοτικές. Δηλαδή ο λόγος τον οποίο παράγει ο εξεταζόμενος (είτε γραπτός είτε προφορικός) έχει κυρίως ποιοτικά χαρακτηριστικά και πάντως σε αυτά εστιάζουμε. Αλλά και όταν δεν παράγει λόγο αλλά απλά επιλέγει την απάντηση «b» από ένα σύνολο τεσσάρων δυνατών επιλογών («a», «b», «c», «d»), αυτό που μας δίνει είναι μία ποιοτική πληροφορία πάνω στην οποία δεν μπορούμε να κάνουμε καμία αριθμητική πράξη.

Η βαθμολόγηση είναι η μετατροπή της ποιοτικής πληροφορίας σε ποσοτική. Αυτή η μετατροπή ταυτίζεται με τη μετατροπή της πληροφορίας σε δεδομένα (data). Όταν η πληροφορία πάρει ποσοτικά χαρακτηριστικά μπορούμε να την επεξεργαστούμε στατιστικά[25].

Οι διαδικασίες μετατροπής της ποιοτικής πληροφορίας σε ποσοτικά δεδομένα είναι δύο.

Η πρώτη είναι η χρήση τακτικής κλίμακας, που μας επιτρέπει να κατατάξουμε μία απάντηση (για παράδειγμα κάτι που είπε ένας εξεταζόμενος με βάση κάποιο ερέθισμα –π.χ. φωτογραφία– και την οδηγία μίας δοκιμασίας) σε μία από τις ιεραρχημένες βαθμίδες μιας τακτικής κλίμακας. Πιο συγκεκριμένα ακόμη, ο εξεταζόμενος λέει κάτι και ο εξεταστής του προφορικού αποφασίζει αν αυτό που ειπώθηκε, ως προς την καταλληλότητα της επιλογής του λεξιλογίου (ή ως προς κάποιαν άλλη μεταβλητή, όπως η συνοχή του λόγου ή η γραμματική ορθότητα, κτλ.), εντάσσεται στη βαθμίδα 0 ή 1 ή 2 ή 3. Τον αριθμό των βαθμίδων τον έχουν αποφασίσει άλλοι, αυτοί που οφείλουν επίσης να δώσουν όσο γίνεται πιο σαφείς οδηγίες στον εξεταστή/βαθμολογητή για το πότε να επιλέγει καθεμία από αυτές τις τέσσερις βαθμίδες. Αυτή η διαδικασία είναι ένα από τα τέσσερα είδη μέτρησης που έχει επινοήσει ο άνθρωπος. Αυτή η διαδικασία ενέχει πάντα κάποιο βαθμό υποκειμενικότητας.

Η δεύτερη διαδικασία μετατροπής ποιοτικής πληροφορίας σε ποσοτικά δεδομένα λέγεται αρίθμηση (counting) και συνίσταται στην καταγραφή του αριθμού φορών εμφάνισης κάποιου στοιχείου. Για παράδειγμα, σε μία δοκιμασία πολλαπλής επιλογής με δέκα ερωτήματα (items) ένας εξεταζόμενος απάντησε στα εννέα και άφησε ένα αναπάντητο. Ο ηλεκτρονικός υπολογιστής ή ένας βαθμολογητής σε πρώτη φάση θα ελέγξει, μηχανιστικά, αν η κάθε απάντηση ταυτίζεται με τη σωστή/αναμενόμενη και σε δεύτερη φάση θα αριθμήσει ή καταμετρήσει τις φορές που η απάντηση που δόθηκε ταυτίζεται με την αναμενόμενη[26]. Αυτή η αρίθμηση θα δώσει μία ποσότητα πάνω στην οποία θα γίνει αμέσως ένας πολλαπλασιασμός με ένα συντελεστή για να προκύψει ο βαθμός που απέσπασε ο εξεταζόμενος. Αυτή η διαδικασία δεν ενέχει υποκειμενικότητα. Χωρίς αυτό να σημαίνει ότι δεν μπορούν να γίνουν λάθη.

Με όσο περισσότερη συνέπεια έχει γίνει η βαθμολόγηση, τόσο μεγαλύτερη βαθμολογική εγκυρότητα διαθέτει η όλη ερευνητική δραστηριότητα. Μια δεύτερη, ωστόσο, ιδιότητα της βαθμολόγησης που επηρεάζει την εγκυρότητα είναι η λογική, δηλαδή το βάσιμο της βαθμολόγησης, αφού η επιλογή του συντελεστή με τον οποίο πολλαπλασιάζουμε κάθε σωστή απάντηση[27] καθώς και ο αριθμός βαθμίδων που έχει η επιμέρους κλίμακα με την οποία βαθμολογούμε κάθε χαρακτηριστικό του λόγου του εξεταζόμενου, πρέπει να υπακούουν σε κάποια λογική και να εξασφαλίζουν ισορροπία στην τελική βαθμολογία.

Συμπερασματικά, τα βασικά ερωτήματα που επιτρέπουν να εκτιμήσουμε το βαθμό εγκυρότητας βαθμολόγησης που διαθέτει ένα σύστημα πιστοποίησης της γλωσσομάθειας είναι:

1. Έχει η επιλογή των δοκιμασιών γίνει με τέτοιο τρόπο ώστε δύο παρόμοια τεστ να δίνουν το ίδιο περίπου αποτέλεσμα αν δοθούν στους ίδιους εξεταζόμενους την ίδια περίπου χρονική στιγμή;

2. Αν το τεστ αποτελείται από κλειστά ερωτήματα (επιλογή ή συμπλήρωση στοιχείων, όπου η σωστή απάντηση είναι μία μόνο ή λίγες και συγκεκριμένες), η βαθμολογία στο μισό τεστ είναι περίπου ίδια με αυτήν στο άλλο μισό;

3. Αν το ίδιο τεστ δοθεί περισσότερες από μία φορές στους ίδιους εξεταζόμενους ή σε άλλους, που να διαθέτουν αποδεδειγμένα, κατά μέσον όρο, τον ίδιο βαθμό γλωσσομάθειας, δίνει περίπου το ίδιο αποτέλεσμα κάθε φορά που χρησιμοποιείται;

4. Αν το τεστ αποτελείται από ανοικτά ερωτήματα ή δοκιμασίες (ελεύθερη ή σχεδόν ελεύθερη παραγωγή λόγου, όπου η σωστή απάντηση δεν είναι μία αλλά πάρα πολλές, θεωρητικά μη πεπερασμένες σε αριθμό), η βαθμολόγηση του τεστ περισσότερες από μία φορές, από τον ίδιο βαθμολογητή σε διαφορετικές στιγμές, δίνει περίπου το ίδιο αποτέλεσμα;

5. Στην περίπτωση, και πάλι, των ανοικτών δοκιμασιών, η βαθμολόγηση της απάντησης των εξεταζομένων από διαφορετικούς βαθμολογητές, αδιάφορα με το αν είναι ταυτόχρονη ή ετερόχρονη, δίνει περίπου το ίδιο αποτέλεσμα; Κι αν το αποτέλεσμα είναι διαφορετικό, η διαφορά εμπίπτει σε ένα αποδεκτό εύρος διακύμανσης;

6. Πόσο βάσιμη και σωστά υπολογισμένη είναι η αναλογία μονάδων της τελικής βαθμολογίας που προκύπτουν από ανοικτά και κλειστά ερωτήματα ή που προέρχονται από καθεμία από τις μακροδεξιότητες (skills ή macro-skills) που ελέγχονται με το τεστ και τις ενότητες στις οποίες αυτό υποδιαιρείται;

2.5. Εγκυρότητα πρόβλεψης

Με τον όρο εγκυρότητα πρόβλεψης ή πρόγνωσης (predictive validity) γίνεται αναφορά στο βαθμό που τα αποτελέσματα της μέτρησης επιτρέπουν να προβλέψουμε αυτό που θα συμβεί στην πραγματική ζωή και συσχετίζονται θετικά με τα αποτελέσματα άλλων μετρήσεων, π.χ. στον εργασιακό ή κοινωνικό χώρο. Αυτές οι άλλες μετρήσεις ονομάζονται κριτήρια, γι’ αυτό και η εγκυρότητα πρόβλεψης θεωρείται μία από τις διαστάσεις της εγκυρότητας που ελέγχονται βάσει κριτηρίων (criteria-related validity). Κατά τον έλεγχο της εγκυρότητας κριτήρια θεωρούνται οι μετρήσεις που αποτελούν σημείο αναφοράς και σύγκρισης.

Για να γίνει σαφέστερη η εγκυρότητα πρόβλεψης θα πάρουμε το παράδειγμα της πιστοποίησης της γλωσσομάθειας για ακαδημαϊκή χρήση. Όταν ένα πιστοποιητικό δηλώνει ότι ο κάτοχός του διαθέτει, για παράδειγμα, ικανοποιητική αγγλομάθεια ώστε να μπορεί να κάνει μεταπτυχιακές σπουδές σε κάποιο επιστημονικό κλάδο, περιμένουμε ο κάτοχός του να μπορεί να αντεπεξέλθει στις απαιτήσεις των σπουδών σε χρήση της αγγλικής γλώσσας. Έτσι μετράμε, πάνω σε ένα δείγμα κατόχων του πιστοποιητικού, την επιτυχία στις σπουδές, έτσι όπως αυτή απεικονίζεται ή αντιπροσωπεύεται στους βαθμούς που οι μεταπτυχιακοί φοιτητές απέσπασαν σε μεταπτυχιακά μαθήματα που απαιτούν τη χρήση της αγγλικής, π.χ. για βιβλιογραφική ενημέρωση. Η εγκυρότητα πρόβλεψης που διαθέτει το σύστημα πιστοποίησης που χορήγησε τα πιστοποιητικά προσδιορίζεται υπολογίζοντας το δείκτη ή συντελεστή συσχέτισης ή συνάφειας (coefficient of correlation) που προκύπτει από τη σύγκριση των αποτελεσμάτων του τεστ που χρησιμοποιεί το σύστημα και του μέσου όρου των αποτελεσμάτων σε συγκεκριμένα μαθήματα.

Είναι αυτονόητο ότι στην πιστοποίηση της γλωσσομάθειας γενικώς, δηλαδή για γενική χρήση, ο εντοπισμός και ο υπολογισμός κριτηρίου ή κριτηρίων, και της συνάφειάς τους με τη βαθμολογία στο τεστ, είναι ιδιαίτερα προβληματική. Όσο πιο περιορισμένη είναι η δομή, τόσο ευκολότερο είναι να ελέγξει κανείς την εγκυρότητα πρόβλεψης.

Τα σημαντικότερα ερωτήματα που τίθενται κατά τον έλεγχο της εγκυρότητας πρόβλεψης σχετίζονται με το κριτήριο. Ακολουθούν μερικά ερωτήματα:

1. Πόσο λογικά έγινε η επιλογή του κριτηρίου; Δηλαδή, υπάρχει πραγματικά σχέση της δομής και της επίδοσης ή δραστηριότητας, κτλ. την οποία το σύστημα πιστοποίησης χαρακτηρίζει κριτήριο για να ελέγξει την εγκυρότητα πρόβλεψης;

2. Μεσολάβησε αρκετός χρόνος μεταξύ της πρώτης μέτρησης (αξιολόγηση για την απόκτηση του πιστοποιητικού) και της δεύτερης μέτρησης (μέτρηση της ιδιότητας που θεωρείται κριτήριο), έτσι ώστε η μία (ετοιμασία για αντιμετώπιση του γλωσσικού τεστ και συμπλήρωσή του) να μην επηρεάσουν τη δεύτερη;

3. Πόσο αντιπροσωπευτική του πληθυσμού (δηλαδή του συνόλου των ατόμων που εξετάστηκαν από το σύστημα πιστοποίησης) είναι η ομάδα ατόμων επί της οποίας γίνεται η δεύτερη μέτρηση για εξασφάλιση του κριτηρίου;[28]

4. Έγινε ο έλεγχος της συσχέτισης της επίδοσης στο γλωσσικό τεστ και του κριτηρίου με τρόπο στατιστικά θεμιτό; Δηλαδή υπολογίστηκε ο κατάλληλος δείκτης, δεδομένης της κλίμακας μέτρησης που χρησιμοποιήθηκε για την πιστοποίηση και για τη μέτρηση του κριτηρίου;[29]

5. Μήπως το μη ικανοποιητικό αποτέλεσμα της συσχέτισης, μετά τον έλεγχο των παραπάνω ερωτημάτων, δεν οφείλεται στην έλλειψη εγκυρότητας πρόβλεψης, αλλά στην ανεπάρκεια ή την ακαταλληλότητα του κριτηρίου; Δηλαδή μήπως πρέπει να ξαναγίνει ο έλεγχος με άλλο κριτήριο ή, καλύτερα, με ένα συνδυασμό κριτηρίων;

2.6. Εγκυρότητα όψης

Η εγκυρότητα όψης ή επιφάνειας (face validity) είναι ο βαθμός στον οποίο οι «χρήστες» του συστήματος πιστοποίησης (βασικά οι εξεταζόμενοι ή υποψήφιοι, οι εκπαιδευτικοί που τους ετοιμάζουν και οι εργοδότες, οι ακαδημαϊκοί δάσκαλοι, κτλ. στους οποίους οι κάτοχοι των πιστοποιητικών τα καταθέτουν) θεωρούν, «εκ πρώτης όψεως», ότι το σύστημα είναι έγκυρο, δηλαδή μετράει αξιόπιστα, σταθερά, δίκαια τη γλωσσομάθεια και όχι κάτι άλλο. Στην πραγματικότητα η εγκυρότητα όψης είναι ένας συνδυασμός όλων των προηγούμενων διαστάσεων έτσι όπως τις κρίνουν, κατά προσέγγιση, μη ειδικοί στον έλεγχο της εγκυρότητας.

Αυτή η διάσταση της εγκυρότητας έχει δεχτεί κριτική από πολλούς ειδικούς ή και έχει γίνει αντικείμενο απόρριψης, ως μη επιστημονικό κριτήριο αξιολόγησης ενός συστήματος πιστοποίησης.

Συμφωνώντας με την Anastasi (1988: 144), θα θεωρήσω ότι η εγκυρότητα όψης είναι κεφαλαιώδους σημασίας για τα συστήματα πιστοποίησης, αφού χωρίς αυτήν οι εξεταζόμενοι δε θα αφιερώσουν το χρόνο και δε θα κάνουν την προσπάθεια που απαιτούνται για τη διεξαγωγή των δοκιμασιών του τεστ, με αποτέλεσμα να αλλοιώνονται τα αποτελέσματα, παρά τον ενδεχόμενα υψηλό βαθμό εγκυρότητας δομής, περιεχομένου, περίστασης, βαθμολόγησης και πρόβλεψης του συστήματος.

Επίσης, ένα σύστημα πιστοποίησης δε διεξάγει ακαδημαϊκή έρευνα, δηλαδή έρευνα που οφείλει να υπακούει μόνο στις νόρμες επιστημονικού ήθους και της μεθοδολογίας της έρευνας, αλλά εφαρμοσμένη έρευνα προσανατολισμένη στη λήψη αποφάσεων, που οφείλει να λαμβάνει υπόψη εξωτερικά τιθέμενες δεσμεύσεις (constrains). O H. Braun χαρακτηρίζει, σωστά, την ετοιμασία ενός τεστ και το σχεδιασμό μιας έρευνας του είδους που μας απασχολεί εδώ ως επιδίωξη του «καλύτερου δυνατού σχεδίου, δεδομένων των δεσμεύσεων»[30] (Braun, 2000: 263), κάνοντας τον παραλληλισμό αυτής της εργασίας με τον αρχιτεκτονικό σχεδιασμό, κατά τον οποίο ο αρχιτέκτονας είναι υποχρεωμένος να λάβει υπόψη τις επιθυμίες αυτού που του ανέθεσε τη δουλειά, τις απόψεις του πολιτικού μηχανικού για το πόσο υλοποιήσιμο είναι ένα σχέδιο, δεδομένων των υλικών που υπάρχουν στην αγορά και της τεχνογνωσίας που διαθέτουν αυτοί που θα κάνουν την κατασκευή, κτλ. Αν αρνηθεί να προσαρμόσει τη σχεδιαστική του έμπνευση στις εξωτερικές δεσμεύσεις, διατρέχει τον κίνδυνο να μείνει το σχέδιό του στα χαρτιά. Αντίστοιχα, αν ένα σύστημα πιστοποίησης αδιαφορήσει για την εγκυρότητα όψης, διατρέχει τον κίνδυνο να μην έχει ενδιαφερόμενους να εξεταστούν, δηλαδή να οδηγηθεί σε αυτοκατάργηση.

Τα ερωτήματα που δίνουν το μέτρο εγκυρότητας όψης ενός συστήματος πιστοποίησης της γλωσσομάθειας είναι πολλά, μερικά εκ των οποίων καταγράφονται παρακάτω:

1. Τι σκέφτονται όσοι εξετάστηκαν και οι υποψήφιοι για την απόκτηση του πιστοποιητικού αναφορικά με το επίπεδο δυσκολίας της εξέτασης σε σχέση με τα άλλα συστήματα που είναι στη διάθεσή τους;

2. Τι σκέφτονται αναφορικά με τη σοβαρότητα της εξέτασης, δηλαδή με το πόσο σχετικές είναι οι εξετάσεις με αυτό που πιστοποιείται;

3. Τι σκέφτονται για το δίκαιο και το ακριβές της βαθμολογίας;

4. Κατά πόσο θεωρούν ότι το πιστοποιητικό έχει αναγνώριση στη χώρα τους και στο εξωτερικό για συνέχιση σπουδών ή για εξασφάλιση θέσης εργασίας, κτλ.;

5. Όσοι εξετάστηκαν, θα επεδίωκαν και πάλι να πάρουν μέρος στις εξετάσεις αν απορρίφθηκαν ή αν χρειάζονταν πιστοποιητικό υψηλότερου επιπέδου από αυτό που απέκτησαν, με βάση τα παραπάνω;

2.7. Εγκυρότητα συνεπειών

Τα ίδια τα αποτελέσματα μιας αξιολογικής διαδικασίας, οι μέθοδοι που εφαρμόστηκαν και η ερμηνεία των αποτελεσμάτων από τρίτους συχνά έχουν συνέπειες για τους ίδιους τους εξεταζόμενους ή άλλα άτομα, για το σχολείο ή άλλους θεσμούς και ιδρύματα και για την κοινωνία στο σύνολό της. Οι συνέπειες αυτές, στην περίπτωση των συστημάτων πιστοποίησης της γλωσσομάθειας επιβάλλεται να είναι θετικές, ή τουλάχιστον ουδέτερες. Οι αρνητικές συνέπειες, στις οποίες συνήθως γίνεται αναφορά με τον όρο washback ή backwash effect, δηλαδή η αρνητική επίδραση ή επίπτωση (impact) της εξέτασης στην καθημερινή σχολική πρακτική (βλ. και το άρθρο της Τσαγγαρή σε αυτόν εδώ τον ιστότοπο), μπορεί να αφαιρέσουν βαθμούς από την εγκυρότητα ως ενιαία δομή/ιδιότητα των ερευνών αυτού του είδους.

Το πόσο θετικές/επιθυμητές ή αρνητικές/ανεπιθύμητες είναι οι συνέπειες προσδιορίζει το βαθμό εγκυρότητας συνεπειών (consequential validity).

Την προσοχή της διεθνούς επιστημονικής κοινότητας σε αυτή τη διάσταση της εγκυρότητας τράβηξαν, όπως ήδη αναφέρθηκε, οι Messick και Bachman. Ορισμένοι αρνούνται να αποδεχτούν πως οι συνέπειες, ιδιαίτερα όταν οφείλονται σε διαφοροποιημένη ερμηνεία που τρίτοι κάνουν, είναι επιτρεπτό να προσδιορίσουν το βαθμό εγκυρότητας του συστήματος πιστοποίησης.

Υιοθετώντας για λίγο τη θέση τους, θα δώσω ένα παράδειγμα. Το Κρατικό Πιστοποιητικό Γλωσσομάθειας (ΚΠΓ) ελέγχει την ικανότητα διαμεσολάβησης (mediation). Διαμεσολάβηση, σύμφωνα με το ΚΕΠΑ (2001: 14), έχουμε όταν «τόσο ως προς την αντίληψη όσο και ως προς την παραγωγή, οι γραπτές ή/και προφορικές δραστηριότητες διαμεσολάβησης καθιστούν δυνατή την επικοινωνία μεταξύ ανθρώπων που για κάποιο λόγο δεν είναι δυνατόν να επικοινωνήσουν απευθείας μεταξύ τους. Η μετάφραση ή η διερμηνεία, μια παράφραση, μια περίληψη ή αναφορά, παρέχουν σε τρίτους μια (ανα)διατύπωση ενός πρωτότυπου κειμένου στο οποίο δεν έχουν οι ίδιοι άμεση πρόσβαση.»[31]. Από αυτά τα είδη διαμεσολάβησης –που άλλωστε είναι μόνο παραδείγματα και υπάρχουν κι άλλα– το ΚΠΓ αποφάσισε, στις προδιαγραφές του, να αποκλείσει τη μετάφραση και τη διερμηνεία. Παρά το σαφή αποκλεισμό αυτών των μορφών διαμεσολάβησης, υπάρχουν πληροφορίες ότι σε αρκετά Κέντρα Ξένων Γλωσσών οι καθηγητές ασκούν τους υποψήφιους στη μετάφραση. Αυτό μπορεί να χαρακτηριστεί αρνητική επίδραση του ΚΠΓ πάνω στην καθημερινή σχολική πράξη αυτών των Κέντρων.

Κατά την άποψη των ειδικών που δε «χρεώνουν» το εκάστοτε σύστημα πιστοποίησης για τις λανθασμένες ερμηνείες που κάνουν τρίτοι, το ΚΠΓ δεν έχει καμία ευθύνη, και αυτό δεν πρέπει να θεωρηθεί πως μειώνει την εγκυρότητα του συστήματος.

Ένα δεύτερο απτό παράδειγμα. Το επίπεδο Γ2 ορισμένων συστημάτων πιστοποίησης αναγνωρίζεται από το Υπουργείο Παιδείας ΔΒΜΘ ως τίτλος που εξασφαλίζει το δικαίωμα διδασκαλίας της ξένης γλώσσας. Έτσι, με την επίδειξη του πιστοποιητικού γλωσσομάθειας ή γλωσσικής επάρκειας, το Υπουργείο Παιδείας χορηγεί ένα πιστοποιητικό «διδακτικής επάρκειας». Αυτό αποτελεί λανθασμένη «ερμηνεία» του αποτελέσματος της όλης διαδικασίας πιστοποίησης της γλωσσομάθειας.

Κατά την άποψη των ίδιων ειδικών, τα συστήματα που είναι στην κατάσταση του Υπουργείου Παιδείας για τη χορήγηση της επάρκειας διδασκαλίας δεν έχουν ευθύνη για τις αποφάσεις του Υπουργείου.

Αλλάζοντας πλευρά ή θέση –και υιοθετώντας την άποψη του Bachman (1990: 279) ότι «...τα τεστ δεν ετοιμάζονται και δε χρησιμοποιούνται σε έναν ψυχομετρικό δοκιμαστικό σωλήνα χωρίς αξίες, αλλά ιδεατά σχεδόν πάντα προορίζονται για να ικανοποιήσουν τις ανάγκες ενός εκπαιδευτικού συστήματος ή μιας κοινωνίας γενικότερα»[32]– θα ισχυριστώ ότι το ΚΠΓ, στην πρώτη περίπτωση, έχει ευθύνη και πρέπει να δράσει με κάποιον ή κάποιους από τους παρακάτω τρόπους: α) να κάνει σεμινάρια στους καθηγητές, β) να κάνει ακόμη σαφέστερες τις προδιαγραφές, γ) να αλλάξει τις δοκιμασίες έτσι ώστε να είναι αδύνατο ή ανεπίτρεπτο να μεταφράσει ο εξεταζόμενος, ή, αν τα παραπάνω μέτρα δεν αποδώσουν και το πρόβλημα έχει μεγάλη έκταση, δ) να καταργήσει τις δοκιμασίες γραπτής και προφορικής διαμεσολάβησης. Η τελευταία επιλογή θα αύξανε την εγκυρότητα συνεπειών και θα μείωνε την εγκυρότητα δομής του συστήματος. Το θέμα αυτό, δηλαδή το θέμα της αλληλεξάρτησης των διαστάσεων της εγκυρότητας, εξετάζεται και στην αρχή του επόμενου κεφαλαίου.

Επίσης, τα συστήματα των οποίων τα πιστοποιητικά εξασφαλίζουν επάρκεια διδασκαλίας έχουν ευθύνη και πρέπει να κάνουν επίσημα γνωστό στο ΥΠΕΠΘ ότι γίνεται στρεβλή ερμηνεία του αποτελέσματος της μέτρησης που αυτά έκαναν.

Ανακεφαλαιώνοντας, μπορεί να πει κανείς ότι μερικά βασικά ερωτήματα που πρέπει να βρουν απάντηση κατά τον έλεγχο της εγκυρότητας συνεπειών είναι:

1. Μήπως το περιεχόμενο του τεστ ή οι τύποι δοκιμασιών που χρησιμοποιεί ή κάποιο άλλο χαρακτηριστικό του επηρεάζουν –αρνητικά ή θετικά– τη συμπεριφορά των διδασκόντων, επιβάλλοντάς τους, έμμεσα, στρεβλές ή επιθυμητές σχολικές πρακτικές;

2. Μήπως όσοι ετοιμάζονται για συμμετοχή στις εξετάσεις του συστήματος πιστοποίησης υποχρεώνονται έμμεσα από αυτό σε ανάπτυξη στρεβλών (για παράδειγμα επινόηση «κόλπων» για εξασφάλιση επιτυχίας στην εξέταση) ή επιθυμητών μαθησιακών στρατηγικών;

3. Μήπως υπάρχουν περιπτώσεις ομάδων εξεταζομένων ή μεμονωμένων ατόμων που για κάποιο λόγο (πολιτισμικό υπόβαθρο, ενδυμασία, ηλικία, χρώμα του δέρματος, κτλ.) βρέθηκαν σε μειονεκτική θέση και αδικήθηκαν, με αποτέλεσμα να έχουν συνέπειες (ψυχολογικές, στην εργασία τους, στις σπουδές τους, κτλ.); Και αν ναι, πόσο συστηματικό ή πόσο περιστασιακό είναι αυτό το φαινόμενο;

4. Τα χαρακτηριστικά του τεστ και του συστήματος πιστοποίησης γενικότερα έχουν θετικές (ή μήπως αρνητικές) συνέπειες πάνω στη βιομηχανία παραγωγής διδακτικών και μαθησιακών υλικών, σε συμβατική ή/και σε ηλεκτρονική μορφή;

5. Η λειτουργία του συστήματος πιστοποίησης έχει θετική, αρνητική ή δεν έχει καμία συνέπεια στον τρόπο λήψης αποφάσεων εκ μέρους των αρμόδιων γι’ αυτό οργανισμών ή φορέων (π.χ., στην περίπτωση της Ελλάδας, Υπουργείο Παιδείας, συνδικαλιστικοί φορείς, κτλ.);

6. Τι είδους συνέπειες προκαλεί το σύστημα πιστοποίησης πάνω στα άλλα συστήματα πιστοποίησης που είναι στη διάθεση των ίδιων εξεταζομένων, δηλαδή που «μοιράζονται την ίδια αγορά»;

3. Έλεγχος της εγκυρότητας

Όπως πρέπει να έχει ήδη γίνει κατανοητό, δεδομένου ότι η εγκυρότητα έχει διάφορες πτυχές ή διαστάσεις, ο έλεγχος της εγκυρότητας δεν μπορεί παρά να καταλήγει σε αποτύπωση του βαθμού (degree) της εγκυρότητας. Δηλαδή η εγκυρότητα δεν είναι άσπρο-μαύρο. Μια έρευνα μπορεί να διαθέτει υψηλό βαθμό εγκυρότητας όψης και χαμηλό βαθμό εγκυρότητας δομής. Επίσης, μπορεί να συμβεί, στην προσπάθεια αύξησης της εγκυρότητας βαθμολόγησης, ένα σύστημα πιστοποίησης γλωσσομάθειας να χάσει σε εγκυρότητα δομής και αντίστροφα.

Για να γίνει αυτό σαφέστερο θα πάρουμε το παράδειγμα ενός συστήματος που διαπιστώνει ότι στις ενότητες της εξέτασης όπου οι εξεταζόμενοι μπορούν να απαντήσουν σχετικά ελεύθερα (ερωτήματα «ανοικτά» ή «αποκλίνουσας παραγωγής λόγου») οι βαθμολογητές επηρεάζονται από τη νόρμα και τις προσωπικές προσδοκίες τους, με συνέπεια τη διατήρηση χαμηλού βαθμού εγκυρότητας βαθμολόγησης (δηλαδή, βασικά, ενδο- και δια-βαθμολογικής αξιοπιστίας). Έτσι μειώνει ή καταργεί αυτού του είδους τα ερωτήματα. Αυτό θα οδηγήσει αναπόφευκτα σε αύξηση του βαθμού εγκυρότητας βαθμολόγησης και σε μείωση της εγκυρότητας δομής, αφού η γλωσσομάθεια δεν προϋποθέτει ή δεν έχει ως εξωτερική εκδήλωση (μόνο) την ικανότητα επιλογής μεταξύ λίγων γλωσσικών στοιχείων (ερωτήματα πολλαπλής επιλογής, ναι/όχι, κτλ.).

Το πολυδιάστατο της εγκυρότητας, σε συνδυασμό με το γεγονός ότι κάθε μία από τις διαστάσεις της δεν έχει σε κάθε περίπτωση γλωσσικής αξιολόγησης την ίδια σημασία ή το ίδιο ειδικό βάρος, κάνει τον έλεγχο της ολικής/σφαιρικής εγκυρότητας αφενός θέμα βαθμού και αφετέρου θέμα προσωπικής εκτίμησης. Από όσο είμαι σε θέση να γνωρίζω δεν έχει ακόμη επινοηθεί και γίνει κοινά αποδεκτό ένα σύστημα ελέγχου της εγκυρότητας που να καταλήγει σε σαφές και ποσοτικά εκφρασμένο αποτέλεσμα. Το γεγονός αυτό κάνει πολύ δύσκολο το εγχείρημα έγκυρης αξιολόγησης των συστημάτων πιστοποίησης της γλωσσομάθειας με προοπτική τη διαπίστευσή τους (accreditation).

Η θέση που διατυπώνεται στην προηγούμενη παράγραφο, ότι δηλαδή κάθε μία από τις διαστάσεις της εγκυρότητας δεν έχει το ίδιο βάρος με τις άλλες, δε φαίνεται να βρίσκει σύμφωνους όλους τους ειδικούς. Αντίθετα οι περισσότεροι ισχυρίζονται ότι όλοι οι τύποι εγκυρότητας έχουν την ίδια αξία. Για παράδειγμα ο Weir (2005: 13) γράφει: «Κανένα είδος εγκυρότητας δεν πρέπει να θεωρείται ανώτερο από ένα άλλο»[33]. Θεωρώ πως μια τέτοια άποψη έρχεται σε αντίθεση με την γενικά αποδεκτή ιδέα ότι για τον έλεγχο της εγκυρότητας πρέπει να λαμβάνεται υπόψη ο λόγος για τον οποίο γίνεται η γλωσσική αξιολόγηση ή, διαφορετικά, ποια είναι η λειτουργία (function) της αξιολόγησης, καθώς και το περιβάλλον στο οποίο εντάσσεται. Μερικές από τις λειτουργίες της αξιολόγησης και κάποιες τοπικές ιδιαιτερότητες μπορεί να προσδίδουν μεγαλύτερο βάρος σε μία διάσταση της εγκυρότητας από ό,τι σε κάποιαν άλλη. Για παράδειγμα, για ένα σύστημα πιστοποίησης της γλωσσομάθειας του οποίου τα πιστοποιητικά αναγνωρίζονται από το ελληνικό κράτος και επιτρέπουν απόκτηση «επάρκειας διδασκαλίας», η εγκυρότητα βαθμολόγησης, για παράδειγμα, και η εγκυρότητα συνεπειών αποκτούν μεγαλύτερη σημασία στην Ελλάδα από την αξία που οι ίδιες διαστάσεις έχουν σε άλλη χώρα, αν εκεί τα πιστοποιητικά του ίδιου συστήματος δεν αναγνωρίζονται. Και αυτό δε σημαίνει πως ταυτόχρονα αποκτά, στον ίδιο βαθμό, μεγαλύτερη αξία και η εγκυρότητα περιεχομένου. Συνεπώς, η κάθε διάσταση έχει λίγο διαφορετικό βάρος, ανάλογα με την περίσταση ή και ανάλογα με το επίπεδο γλωσσομάθειας που πιστοποιείται, στην ίδια περίσταση. Κι αυτό είναι θέμα εκτίμησης αυτού που κάνει τον έλεγχο.

3.1. Η φύση του ελέγχου εγκυρότητας

Στην αρχή αυτού του άρθρου διατυπώθηκε η άποψη πως η αξιολόγηση της γλωσσομάθειας με στόχο την πιστοποίηση είναι μία μορφή επιστημονικής έρευνας. Είναι αυτονόητο ότι και ο έλεγχος της εγκυρότητας των συστημάτων πιστοποίησης είναι ερευνητική δραστηριότητα. Πρόκειται για έρευνα που απαιτεί διάφορες μετρήσεις, οι οποίες επιτρέπουν να ελεγχθεί μία σειρά από υποθέσεις, από τις οποίες οι τρεις κεντρικότερες είναι πως: α) «η γλωσσική συμπεριφορά του εξεταζόμενου –δηλαδή οι απαντήσεις του στις δοκιμασίες στις οποίες υποβλήθηκε– αποτελούν εξωτερική εκδήλωση ή (εν)δείκτη (indicator) της δομής που μετράται»[34], β) «η γλωσσική αυτή συμπεριφορά ποσοτικοποιείται, δηλαδή μεταφράζεται σε βαθμούς, ή βαθμολογία, με τρόπο αξιόπιστο και δίκαιο»[35] και γ) «το αποτέλεσμα της όλης διαδικασίας ερμηνεύεται σωστά και έχει τις πρέπουσες συνέπειες πάνω στα άτομα και στην κοινωνία»[36].

Ο έλεγχος της εγκυρότητας είναι η διαρκής προσπάθεια ελέγχου των ερευνητικών υποθέσεων και της εξασφάλισης των πειστηρίων που αποδεικνύουν το βαθμό αλήθειας αυτών των υποθέσεων[37]. Ο έλεγχος ουσιαστικά –και συχνά υποσυνείδητα– αρχίζει με τον ίδιο το σχεδιασμό του συστήματος, πριν αυτό λειτουργήσει.

3.2. Οι φορείς που οφείλουν να ελέγχουν την εγκυρότητα

Ο έλεγχος της εγκυρότητας πρέπει να γίνεται από τα ίδια τα συστήματα πιστοποίησης. Είναι ένας αυτοέλεγχος που τους επιτρέπει να βελτιώνονται ή να διατηρούν έναν υψηλό βαθμό εγκυρότητας, που, όπως ήδη έχει αναφερθεί, είναι η βασική συνισταμένη της ποιότητας της ερευνητικής δραστηριότητας, και επομένως του κάθε συστήματος.

Τα σοβαρά συστήματα έχουν προβλέψει και υλοποιούν τέτοιον έλεγχο. Τέτοια συστήματα, όμως, υπάρχουν λίγα. Τα περισσότερα συστήματα –αν κρίνει κανείς από στοιχεία που τα ίδια δημοσιοποιούν– κάνουν μερικό μόνο ή και καθόλου έλεγχο.

Αν ο ανεπαρκής έλεγχος οφείλεται σε αδυναμία του συστήματος να αυτοελεγχθεί, τότε το σύστημα πρέπει αυτονόητα να απευθυνθεί σε εξωτερικό αξιολογητή, που μπορεί να είναι άτομο/-α ή, καλύτερα, φορέας.

Επειδή η κοινωνία και η πολιτεία, ιδιαίτερα στην Ελλάδα, αποδίδουν σημαντική αξία στην πιστοποίηση της γλωσσομάθειας, δε θεωρώ επιτρεπτό ο έλεγχος της εγκυρότητας να επαφίεται στη βούληση των ίδιων των συστημάτων πιστοποίησης. Συνεπώς κρίνεται απαραίτητο ο έλεγχος αυτός να γίνεται και από επίσημο κρατικό φορέα. Ακόμη καλύτερα θα ήταν αν τον έλεγχο αναλάμβανε διεθνής επίσημος φορέας, τουλάχιστον σε επίπεδο Ευρωπαϊκής Ένωσης, αφού τα περισσότερα συστήματα πιστοποίησης από αυτά που είναι στη διάθεση των ελλήνων πολιτών έχουν διεθνή χαρακτήρα.

3.3. Οι μέθοδοι ελέγχου της εγκυρότητας

Κατά τον έλεγχο της εγκυρότητας υπάρχουν δύο βασικοί τρόποι εργασίας. Ο ένας συνίσταται στην επεξεργασία ποιοτικών και ποσοτικών δεδομένων που προκύπτουν από την ίδια τη λειτουργία του συστήματος: προδιαγραφές, γλωσσική παραγωγή των εξεταζομένων, βαθμολογία σε κάθε δοκιμασία, κτλ. Ο έλεγχος που στηρίζεται σε τέτοιου είδους στοιχεία μπορεί να ονομαστεί εσωτερικός έλεγχος (internal validation).

Εξωτερικός έλεγχος (external validation) θεωρείται εδώ ο έλεγχος που απαιτεί νέα δεδομένα, ποιοτικά ή/και ποσοτικά που πρέπει να εξασφαλιστούν από αυτόν που κάνει τον έλεγχο αναζητώντας τα έξω από το σύστημα πιστοποίησης.

Ο εσωτερικός έλεγχος επιτυγχάνεται μέσω δύο κυρίως μεθόδων: α) την εφαρμογή λογικού συμπερασμού, που μόνο ειδήμονες διαφόρων κλάδων σχετικών με τη γλωσσομάθεια μπορούν να κάνουν (θεωρητικός ή ποιοτικός έλεγχος) και β) την εφαρμογή στατιστικών μεθόδων, δηλαδή ανάλυσης ποσοτικών δεδομένων που προέκυψαν από μετρήσεις (στατιστικός ή ποσοτικός έλεγχος).

Στην προσπάθεια εξασφάλισης συμμετρίας που διευκολύνει την απομνημόνευση, και απλοποιώντας κάπως τα πράγματα, θα θεωρήσουμε ότι και ο εξωτερικός έλεγχος επιτυγχάνεται, επίσης, μέσω δύο μεθόδων: α) τη διεξαγωγή δειγματοληπτικών ερευνών που εξασφαλίζουν ποιοτικά δεδομένα από έξω από το σύστημα και β) την εξασφάλιση ποσοτικών δεδομένων που επιτρέπουν συσχέτιση με τα ποσοτικά δεδομένα που παρέχει το ίδιο το σύστημα πιστοποίησης.

Για τον έλεγχο καθεμίας από τις διαστάσεις της εγκυρότητας είναι πιθανό να χρειαστεί να εφαρμόσει κανείς περισσότερες από μία μεθόδους. Κάθε διάσταση, ωστόσο, από τη φύση της, αξιοποιεί περισσότερο κάποια από τις μεθόδους από ό,τι τις άλλες.

Το σχήμα που ακολουθεί κάνει εποπτική και ευκολότερα κατανοητή τη θέση που διατυπώνεται στις πέντε προηγούμενες παραγράφους.

Η εξέταση καθεμίας από τις παραπάνω διαδικασίες με λεπτομέρεια και δίνοντας συγκεκριμένα παραδείγματα θα απαιτούσε πολλές σελίδες κειμένου. Υπάρχουν συγγράμματα αφιερωμένα ολόκληρα σε κάθε μία από τις διαδικασίες[38]. Θα περιοριστούμε, συνεπώς, σε μία συνοπτική και εν πολλοίς επιφανειακή εξέταση των διαδικασιών.

Η πρώτη από τις παραπάνω διαδικασίες βρίσκει εφαρμογή κατά τον έλεγχο, κυρίως, της εγκυρότητας δομής και περιεχομένου. Αυτό ισχύει φυσικά για τη διάσταση της εγκυρότητας έτσι όπως την ορίσαμε παραπάνω, αφού η εγκυρότητα δομής, κατά την άποψη των περισσότερων σύγχρονων δοκιμασιολόγων, έχει πολύ ευρύτερο αναφερόμενο και απαιτεί έλεγχο και μέσω της τέταρτης διαδικασίας.

Ως παράδειγμα εφαρμογής της πρώτης διαδικασίας θα πάρουμε την περίπτωση που κάποιος, για να απαντήσει στο ερώτημα «ποιο θεωρητικό πλαίσιο υιοθετείται από το σύστημα και πόσο ομοιογενές είναι αυτό», χρειάζεται να μελετήσει τεκμήρια που το σύστημα δίνει και να εκτιμήσει αν τα δηλούμενα έχουν σαφήνεια και ομοιογένεια, δεδομένης της επιστημονικής γνώσης και των επικρατουσών θεωριών, τη στιγμή του ελέγχου, στις επιστήμες που μελετούν τις φυσικές γλώσσες, τη γλωσσική επικοινωνία και την εκμάθηση (learning) ή πρόσκτηση (acquisition) ενός γλωσσικού κώδικα.

Το βάσιμο του τρόπου μετατροπής της δομής σε έναν πεπερασμένο αριθμό μεταβλητών που (θα) ελέγχονται με τις δοκιμασίες, απαιτεί επίσης ανάλυση ποιοτικών δεδομένων σε συνεργασία και με ειδικούς στη μετρολογία και στη γλωσσική δοκιμασιολογία. Και σε αυτή την περίπτωση το πόρισμα αναφορικά με το βαθμό εγκυρότητας εξαρτάται από τις επικρατούσες θεωρίες στις επιστήμες αυτές.

Η δεύτερη από τις διαδικασίες είναι χρήσιμη κυρίως για να απαντηθούν ερωτήματα (ή ερευνητικές υποθέσεις) που σχετίζονται με την εγκυρότητα περιεχομένου και την εγκυρότητα βαθμολόγησης.

Για παράδειγμα, αν θελήσει να ελέγξει κανείς «πόση αντιπροσωπευτικότητα υπάρχει στους τύπους δοκιμασιών που αξιοποιήθηκαν σε ένα συγκεκριμένο τεστ ή σε όλα τα τεστ που έχει χρησιμοποιήσει ένα σύστημα πιστοποίησης σε σχέση με την τυπολογία δοκιμασιών που ορίζεται στις προδιαγραφές», θα χρειαστεί να κάνει κατηγοριοποίηση των δοκιμασιών που συναντά στα τεστ, καταμέτρηση των εμφανίσεων του κάθε τύπου και μετατροπή του αριθμού σε εκατοστιαία αναλογία. Έτσι θα καταλήξει σε έναν απλό πίνακα μονής εισόδου (single entry table), που φανερώνει αμέσως την αντιπροσωπευτικότητα των χρησιμοποιηθέντων τύπων, θεωρώντας τους δείγμα του συνόλου των τύπων δοκιμασιών που υιοθετεί το σύστημα. Στον πίνακα αυτό, μέτρο κεντρικής τάσης (measure of central tendency) θα θεωρηθεί η επικρατούσα τιμή (mode), η οποία δεν είναι τίποτε άλλο από τον τύπο που εμφανίστηκε περισσότερες φορές από κάθε άλλον και που, επομένως, υπερεκπροσωπείται. Οι μηδενικές εμφανίσεις χρειάζεται να τραβήξουν περισσότερο την προσοχή αυτού που κάνει τον έλεγχο, γιατί μπορεί να οφείλονται σε διάφορους παράγοντες και ίσως να οδηγήσουν το σύστημα στην απόφαση αφαίρεσης των συγκεκριμένων τύπων από τις προδιαγραφές, αν η μη χρησιμοποίησή τους είναι εσκεμμένη και βάσιμη.

Κατά τον έλεγχο της εγκυρότητας βαθμολόγησης, τα δεδομένα που συλλέγονται είναι από την αρχή ποσοτικά –τουλάχιστον με βάση τον ορισμό των ποιοτικών και ποσοτικών δεδομένων που έχουμε δώσει σε αυτό το άρθρο.

Η τρίτη διαδικασία χρειάζεται περισσότερο κατά τον έλεγχο της εγκυρότητας περίστασης, όψης και συνεπειών.

Ένα παράδειγμα, σχετικό με την εγκυρότητα περίστασης, είναι η διερεύνηση του ερωτήματος «πόσο ενδιαφέρουσες βρίσκουν οι εξεταζόμενοι τις δοκιμασίες, δεδομένου του τύπου και του αριθμού τους;». Στην περίπτωση αυτή χρειάζεται συλλογή πληροφορίας, μέσω ερωτηματολογίου ή συνέντευξης, επί δείγματος εξεταζομένων, τη στιγμή που τα άτομα αποχωρούν από το χώρο των εξετάσεων ή και αργότερα.

Στο παραπάνω παράδειγμα, όπως είναι φανερό, η πληροφορία που συλλέγεται είναι ποιοτική, αλλά μετατρέπεται σε ποσότητες μέσω της αρίθμησης για να υποστεί στη συνέχεια στατιστική ανάλυση περιγραφικού τύπου, δηλαδή υπολογισμό της κεντρικής τάσης και της διασποράς (variation). Η συσχέτιση (correlation)[39] δεδομένων από την ίδια ομάδα (για παράδειγμα για να δούμε αν ένας τύπος δοκιμασίας αρέσει περισσότερο στους άντρες από ό,τι στις γυναίκες, ή αντίστροφα), ή και από διαφορετικές ομάδες υποκειμένων, εντάσσεται επίσης σε αυτή την τρίτη διαδικασία ελέγχου. Μόνο που εδώ η συσχέτιση δεν επιτρέπεται να ερμηνευτεί ως σχέση αιτίου αιτιατού, ούτε επιτρέπει να θεωρήσουμε ότι τα αποτελέσματα της συσχέτισης θα ήταν τα ίδια αν τα δεδομένα αφορούσαν στον/στους πληθυσμό/-ούς και όχι σε δείγμα/-ατα. Τέτοια ερμηνεία, αντίθετα, είναι επιτρεπτή στην τέταρτη διαδικασία που ορίσαμε.

Η τελευταία διαδικασία εφαρμόζεται κυρίως για τον έλεγχο της εγκυρότητας πρόβλεψης. Η εγκυρότητα πρόβλεψης, –μαζί με την συντρέχουσα ή συνυπάρχουσα εγκυρότητα (concurrent validity) που δεν περιλάβαμε στις βασικές διαστάσεις της εγκυρότητας– παρουσιάζει την ιδιαιτερότητα ότι απαιτεί την ύπαρξη ή τη συλλογή δεδομένων που δεν προέρχονται από το σύστημα πιστοποίησης. Αυτά τα άλλα δεδομένα θεωρούνται «κριτήριο», δηλαδή σημείο σύγκρισης.

Όπως έχει αναφερθεί, η βαθμολογία που προκύπτει από το γλωσσικό τεστ υποθέτουμε πως αποτελεί αξιόπιστη και δίκαιη ποσοτική έκφραση της γλωσσικής παραγωγής του εξεταζόμενου. Και η γλωσσική παραγωγή υποθέτουμε πως είναι εκδήλωση κυρίως των ικανοτήτων και των γνώσεων που ο εξεταζόμενος διαθέτει, αλλά και των στάσεών του ως επικοινωνητής (communicator). Αν οι παραπάνω δύο υποθέσεις είναι αληθείς ή βάσιμες, τότε η επίδοσή του ως επικοινωνητής ή χρήστης (user) της γλώσσας στην οποία πιστοποιήθηκε –δηλαδή η επιτυχία με την οποία χρησιμοποιεί τη γλώσσα μετά από την εξέταση, σε φυσικές περιστάσεις επικοινωνίας (εργασιακός χώρος, ακαδημαϊκό περιβάλλον, περιήγηση σε χώρα όπου μιλιέται η γλώσσα, κοινωνικές συναναστροφές οπουδήποτε)– περιμένουμε να είναι αντίστοιχη του επιπέδου για το οποίο πιστοποιήθηκε και της βαθμολογίας που απέσπασε.

Το κριτήριο είναι ακριβώς το μέτρο της μελλοντικής επιτυχίας στη χρήση της γλώσσας εκτός εξετάσεων. Το πρόβλημα έγκειται στην εξασφάλιση αυτού του κριτηρίου, που μπορεί να αλλάζει κάθε φορά: άλλο κριτήριο θα πάρουμε αν θέλουμε να ελέγξουμε την εγκυρότητα πρόβλεψης ενός συστήματος που χορηγεί πιστοποιητικά για ακαδημαϊκή χρήση, άλλο για ένα σύστημα που πιστοποιεί τη γλωσσομάθεια ενηλίκων που βρίσκονται στην αγορά εργασίας, κτλ.

Η εγκυρότητα πρόβλεψης και η συντρέχουσα εγκυρότητα (που απαιτεί την ύπαρξη ενός κριτηρίου που είναι ταυτόχρονο: για παράδειγμα ένα σταθμισμένο και αποδεκτό ως έγκυρο τεστ χρησιμοποιείται την ίδια χρονική περίοδο για να συσχετίσουμε τα αποτελέσματά του με τα αποτελέσματα του υπό έλεγχο συστήματος πιστοποίησης), επειδή επιτρέπουν εξαγωγή συμπερασμάτων βάσει δεικτών συνάφειας, με όση ακρίβεια θέλουμε, θεωρούνται οι περισσότερο αντικειμενικά ελεγχόμενοι τύποι εγκυρότητας και συναντούν ιδιαίτερη προτίμηση στην Αμερική. Την τελευταία δεκαετία, ωστόσο, όλο και περισσότερο αμφισβητείται η ακρίβεια και η αντικειμενικότητα του ελέγχου τους, επειδή είναι δύσκολο να αποφασίσει κανείς τι ακριβώς θα θεωρηθεί κριτήριο και πώς ακριβώς θα κάνει μέτρηση του κριτηρίου αν τα δεδομένα δεν υπάρχουν ήδη.

Εν είδη επιλόγου πρέπει να σημειωθεί ότι η σύντομη αυτή εξέταση της εγκυρότητας και των τρόπων ελέγχου της δεν εξαντλεί καθόλου το θέμα. Στόχος ήταν αφενός η ανάδειξη της συνθετότητας της έννοιας εγκυρότητα και αφετέρου η εστίαση σε κάποια χαρακτηριστικά της και η σκίαση άλλων προς διευκόλυνση των ερευνητών-αναγνωστών που ασχολούνται ή πρόκειται να ασχοληθούν με το θέμα της εγκυρότητας συστημάτων πιστοποίησης της γλωσσομάθειας.

Βιβλιογραφικές παραπομπές

Anastasi, A. (1986). Evolving Concepts of Test Validation. In Annual Review of Psychology, 37: 1-15.

Anastasi, A. (1988⁶). Psychological Testing. New York: Macmillan.

Bachman L. F. (1990). Fundamental Considerations in Language Testing. Oxford: Oxford University Press.

Bachman L. F. (2004). Statistical Analyses for Language Assessment. Cambridge: Cambridge University Press.

Berthier N. (2006³). Les techniques d’enquête en sciences sociales. Paris: Armand Colin.

Blalock H. M. (1984). Statistica per la ricerca sociale. Bologna: Il Mulino (Μετάφραση του V.Mortara από την αγγλική, όπου δημοσιεύτηκε το 1979 από τον οίκο ΜcGraw-Hill, N.Y.).

Braun H. (2000). A Post-modern View of the Problem of Language Assessment. In Kunnan A. J. (Ed.). Fairness and Validation in Language Assessment. Cambridge: Cambridge University Press.

Chapelle C. A. (1999). Validity in Language Assessment. In Annual Review of Applied Linguistics 19: 254-272. Cambridge: Cambridge University Press.

Common European Framework of Reference for Languages: Learning, teaching, assessment(2001). Cambridge: Cambridge University Press (Το βιβλίο είναι διαθέσιμο στο http://www.coe.int/T/DG4/Linguistic/Source/Framework_EN.pdf. Η απόδοση του κειμένου στη γαλλική γλώσσα είναι προσβάσιμη στη διεύθυνση http://www.coe.int/T/DG4/Linguistic/Source/Framework_FR.pdf Τέλος, για την απόδοση στην ελληνική ο αναγνώστης παραπέμπεται στη διεύθυνση http://www.komvos.edu.gr/Common European Framework.pdf).

Cronbach L. J., Meehl P. E. (1955). Construct validity in psychological tests. In Psychological Bulletin, 52: 281-302 (Όλο το άρθρο είναι διαθέσιμο και στη διεύθυνση http://psychclassics.yorku.ca/Cronbach/construct.htm).

Davies A., Brown A., Elder C., Hill K., Lumley T., McNamara T. (1999). Dictionary of Language Testing. Cambridge: Cambridge University Press.

De Ketele J.-M., Roegiers X. (1991). Méthodologie du recueil d’informations. Bruxelles: De Boeck Université.

De Landsheere G. (1979). Dictionnaire de l’évaluation et de la recherche en éducation. Paris: Presses Universitaires de France.

Dorvil H. (sous la direction de) (2007). Problèmes sociaux, Tome III: Théories et méthodologies de la recherche. Québec: Presses de l’Université du Québec.

Lado R. (1961). Language Testing: The Construction and Use of Foreign Language Tests. New York: McGraw-Hill.

Langouet G., Porlier J.-C. (1991⁴). Mesure et statistique en milieu éducatif. Paris: ESF.

Messick S. (1989). Validity. In R. L. Linn (Ed.) Educational Measurement, 3rd edition (13-103). New York: Macmillan.

Quivy R., Van Campenhoudt L. (1988). Manuel de recherché en sciences sociales. Paris: Bordas.

Trochim W. M. K. (2006). Introduction to Validity. Social Research Methods.

Van der Linden W., Hambleton R. K. (1997). Handbook of Modern Item Response Theory.New York: Springer.

Van der Maren J.-M. (1996). Méthodes de recherché pour l’éducation. Montréal: Presses de l’Université de Montréal & Paris-Bruxelles: De Boeck Université.

Verma G. K., Mallick K. (2004). Εκπαιδευτική Έρευνα: Θεωρητικές προσεγγίσεις και τεχνικές. Αθήνα: Τυπωθήτω - Γ. Δαρδάνος (Μετάφραση της Ε. Γρίβα από την αγγλική, στην οποία δημοσιεύτηκε το 1999).

Weir C. J. (2005). Language Testing and Validation: An Evidence-based Approach. Houndmills, Hampshire: Palgrave Macmillan.

Γεωργούσης Π. (1999). Η μέτρηση και η αξιολόγηση της επίδοσης των μαθητών. Αθήνα.

Τσαγγαρή Ντ. (2011). Επιπτώσεις στην εκπαίδευση και τη μάθηση από τις εξετάσεις πιστοποίησης. RCeL-Research centre for english language.

Τσάντας Ν., Μωυσιάδης Χ., Μπαγιάτης Ν., Χατζηπαντελής Θ. (1999). Ανάλυση δεδομένων με τη βοήθεια στατιστικών πακέτων. Θεσσαλονίκη: Ζήτη.

Τσομπάνογλου Μ. (2007). Πρότυπο αξιολόγησης της εγκυρότητας δομής συστημάτων πιστοποίησης γλωσσομάθειας. Εφαρμογή του στο Κρατικό Πιστοποιητικό Γλωσσομάθειας του επιπέδου Β2 της αγγλικής γλώσσας. Αδημοσίευτη διδακτορική διατριβή, Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης.

Τσοπάνογλου Α. (2010²). Μεθοδολογία της επιστημονικής έρευνας και εφαρμογές της στην αξιολόγηση της γλωσσικής κατάρτισης. Θεσσαλονίκη: Ζήτη.

-----

[Επιστροφή στα προηγούμενα άρθρα]