Μάρτιος 2011

Επιπτώσεις στην εκπαίδευση και τη μάθηση από τις εξετάσεις πιστοποίησης γλωσσομάθειας 
της Ντίνας Τσαγγαρή, Πανεπιστήμιο Κύπρου
[περίληψη] [html] [pdf]

Εισαγωγή

Το παρόν άρθρο ασχολείται με τις επιπτώσεις της αξιολόγησης της γλωσσικής επάρκειας (proficiency language testing) στην εκπαιδευτική διαδικασία. Στο άρθρο αυτό θα συζητήσω τη φύση των επιπτώσεων των εξετάσεων αυτού του είδους, θα κάνω μια σύντομη ιστορική αναδρομή του φαινομένου αυτού, θα παρουσιάσω τα μοντέλα που έχουν προταθεί στο χώρο και τις ερευνητικές μελέτες και τα αποτελέσματά τους και θα προτείνω ερευνητικές κατευθύνσεις στους μελλοντικούς ερευνητές στο χώρο.

1. Η φύση και ορισμοί των συνεπειών των εξετάσεων γλωσσομάθειας

Η συζήτηση των συνεπειών της αξιολόγησης της επίδοσης των μαθητών, ιδιαίτερα τωνεξετάσεων υψηλού διακυβεύματος (high-stakes exams), έχει μακρά ιστορία. Η παλαιότερη ίσως αναφορά στην επίδραση των εξετάσεων αυτού του τύπου ανάγεται στον Latham (1877), ο οποίος αναφερόμενος σε ένα ήδη υπάρχον εξεταστικό σύστημα της εποχής, κάνει λόγο για «κατάχρηση εξουσίας» από τις εξετάσεις τονίζοντας ότι αυτές

επηρεάζουν τη ζωή και την εργασία των νέων ... τους γονείς, τους εκπαιδευτικούς, τους συγγραφείς των εκπαιδευτικών βιβλίων, και την έννοια του κοινού σχετικά με την εκπαίδευση  (σελ. 2).

Τα τελευταία χρόνια οι συνέπειες των εξετάσεων γλωσσομάθειας υψηλού διακυβεύματος έχουν προσελκύσει το ενδιαφέρον των ερευνητών, των εκπαιδευτικών, των εξεταστικών φορέων και του κοινού γενικότερα. Διάφοροι όροι συνδέονται με την έννοια της επιρροής των εξετάσεων αυτού του είδους στο χώρο της γλωσσικής δοκιμασιολογίας (language testing) και διδασκαλίας. Ωστόσο, ο όρος «washback effect», αναδραστική επίδραση,[1] απαντάται πιο συχνά στην αγγλόφωνη βιβλιογραφία (Cheng & Curtis, 2004: 5). Ο όρος αυτός συζητήθηκε με λεπτομέρεια από τους Alderson & Wall (1993) σύμφωνα με τους οποίους η ‘αναδραστική επίδραση’ ορίζεται ως η επιρροή των γλωσσικών δοκιμασιών (language tests) στη διδασκαλία και τη μάθηση των γλωσσών. Ο όρος ‘αναδραστική επίδραση’ θα χρησιμοποιηθεί σε αυτό άρθρο με αυτή την σημασία (βλ. επίσης Bachman, 1990; Bailey 1999; Davies et al. 1999; Taylor, 2000;  Alderson 2004).

Η αναδραστική επίδραση θεωρείται ότι

• είναι συνέπεια της συμμετοχής σε εξετάσεις υψηλού διακυβεύματος (Alderson & Wall, 1993; Hamp-Lyons 1997),

• είναι ο συνδετικός κρίκος ανάμεσα στη γλωσσική δοκιμασία, τη διδασκαλία και τη μάθηση (Shohamy et al. 1996;  Hamp-Lyons, 1997),

• είναι ένα πιθανό μέσο για να επιφέρει κανείς εκπαιδευτική μεταρρύθμιση (Pearson, 1988; Shohamy, 1992), και

• επηρεάζει όχι μόνο τη διδασκαλία και μάθηση (Buck, 1988; Alderson & Wall, 1993; Prodromou, 1995; Messick, 1996) αλλά και τους ίδιους τους εκπαιδευτικούς και τους μαθητές (Alderson & Wall, 1993; Bailey, 1999).

Η αναδραστική επίδραση επίσης

• θεωρείται δυνητικά θετική (ευεργετική), αρνητική (επιβλαβής) ή ουδέτερη (Buck, 1988;  Heaton, 1990; Bachman & Palmer, 1996; Bailey, 1996; Messick, 1996;  Shohamy et al., 1996; Davies et al. 1999), και

• μπορεί να είναι εκούσια και ακούσια (Andrews, 2004; Qi, 2004).

Τέλος υπάρχει άμεση σχέση ανάμεσα στο διακύβευμα μιας γλωσσικής δοκιμασίας και στη δύναμη της αναδραστικής επίδρασης, δηλ. όσο μεγαλύτερο είναι το διακύβευμα μιας γλωσσικής δοκιμασίας τόσο πιο ισχυρή είναι η αναδραστική του επίδραση (Alderson & Wall 1993; Alderson & Hamp-Lyons, 1996; Shohamy et al., 1996).

2. Ιστορική αναδρομή

Η αναδραστική επίδραση των γλωσσικών δοκιμασιών έχει προσελκύσει το ενδιαφέρον των ερευνητών από τις αρχές της δεκαετίας του 1990. Ωστόσο, η περίοδος πριν από την δεκαετία του 1990, η επονομαζόμενη «η περίοδος του μύθου» (‘myth phase’, Tsagari, 2007a), είναι η περίοδος κατά την οποία οι συγγραφείς ισχυρίστηκαν την ύπαρξη της αναδραστικής επίδρασης, χωρίς όμως να μπορούν να επεξηγήσουν περαιτέρω το φαινόμενο αυτό. Οι συζητήσεις αυτή την περίοδο επικεντρώνονταν κυρίως σε σύντομες επεξηγήσεις γύρω από την φύση της αναδραστικής επίδρασης και τις ανησυχίες για τις επιπτώσεις των γλωσσικών δοκιμασιών που χρησιμοποιούνταν την εποχή εκείνη. Η αναδραστική επίδραση αυτή την περίοδο αντιμετωπίστηκε με το εξής σκεπτικό: «Αν μια εξέταση είναι καλή, θα έχει θετικά αποτέλεσματα για τη διδασκαλία. Εάν είναι κακή, τότε αυτή θα έχει καταστροφικές συνέπειες για τη διδασκαλία» (Heaton, 1990: 16). Οι λίγες εμπειρικές μελέτες που δημοσιεύθηκαν αυτή την περίοδο (Wesdorp, 1982; Hughes, 1988; Khaniya, 1990) επικαλούνταν είτε την απουσία είτε την παρουσία της αναδραστικής επίδρασης βασιζόμενες σε μεθόδους όπως συνεντεύξεις, ερωτηματολόγια ή αποτελέσματα των ίδιων των γλωσσικών δοκιμασιών.

Το επόμενο στάδιο, η «μεταβατική περίοδος» (‘metaphor phase’, Tsagari, 2007a), ξεκίνησε το 1993 με τη δημοσίευση του άρθρου των Alderson και Wall (1993), οι οποίοι πρώτοι αμφισβήτησαν τη φύση της αναδραστικής επίδρασης των γλωσσικών δοκιμασιών που ίσχυε μέχρι τότε και πρόσφεραν ένα νέο ορισμό του φαινομένου.

Από το 1993 και μετά, η αναδραστική επίδραση μπήκε στο τελικό της στάδιο, «την περίοδο της πραγματικότητας» (‘the reality phase’, Tsagari, 2007a). Αυτό που ιδιαίτερα χαρακτηρίζει αυτήν την εποχή είναι η εμπειρική έρευνα και η προσπάθεια να εξηγηθεί και να προσδιοριστεί η φύση της αναδραστικής επίδρασης με περισσότερη λεπτομέρεια

3. Τα θεωρητικά μοντέλα της αναδραστικής επίδρασης

Η έναρξη της εμπειρικής έρευνας στο χώρο της αναδραστικής επίδρασης σηματοδοτήθηκε με τη δημοσίευση του άρθρου των Alderson και Wall (1993) με τίτλο ‘Does Washback Exist?’. Οι συγγραφείς, σε αντίθεση με τη θεώρηση της αναδραστικής επίδρασης που ίσχυε μέχρι τότε, έθεσαν δεκαπέντε υποθέσεις σχετικά με τη φύση της αναδραστικής επίδρασης σε σχέση με τις διάφορες συνέπειες που μπορεί να επιφέρουν οι γλωσσικές δοκιμασίες ως εξής:

1)   Μια γλωσσική δοκιμασία θα επηρεάσει τη διδασκαλία,

2)   Μια γλωσσική δοκιμασία θα επηρεάσει τη μάθηση,

3)   Μια γλωσσική δοκιμασία θα επηρεάσει το περιεχόμενο της διδασκαλίας,

4)   Μια γλωσσική δοκιμασία θα επηρεάσει τις μεθόδους της διδασκαλίας,

5)   Μια γλωσσική δοκιμασία θα επηρεάσει το περιεχόμενο της μάθησης,

6)   Μια γλωσσική δοκιμασία θα επηρεάσει τις μεθόδους της μάθησης,

7)   Μια γλωσσική δοκιμασία θα επηρεάσει το ρυθμό (rate) και την αλληλουχία (sequence) της διδασκαλίας,

8)   Μια γλωσσική δοκιμασία θα επηρεάσει το ρυθμό και την αλληλουχία  της μάθησης,

9)   Μια γλωσσική δοκιμασία θα επηρεάσει το βαθμό (degree) και την βαθύτητα  (depth) της διδασκαλίας,

10)  Μια γλωσσική δοκιμασία θα επηρεάσει το βαθμό και την βαθύτητα της μάθησης,

11)  Μια γλωσσική δοκιμασία θα επηρεάσει τις υπάρχουσες απόψεις ως προς το περιεχόμενο, τη μέθοδο, κ.λπ. της διδασκαλίας και μάθησης,

12)  Οι γλωσσικές δοκιμασίες που έχουν υψηλό διακύβευμα ασκούν αναδραστική επίδραση,

13)  Οι γλωσσικές δοκιμασίες που δεν έχουν υψηλό διακύβευμα δεν ασκούν αναδραστική επίδραση,

14)  Οι γλωσσικές δοκιμασίες ασκούν αναδραστική επίδραση σε όλους τους μαθητές και τους εκπαιδευτικούς,

15)  Οι γλωσσικές δοκιμασίες ασκούν αναδραστική επίδραση σε ορισμένους καθηγητές και μαθητές, και όχι σε όλους.                                                                                                                  (1993: 120-121)

Η πρόθεση των Alderson & Wall δεν ήταν να επιχειρηματολογήσουν υπέρ ή κατά των υποθέσεων αυτών. Στόχος τους ήταν να προσδιορίσουν τη φύση του φαινομένου της αναδραστικής επίδρασης έτσι ώστε να βοηθήσουν τους ερευνητές που σκοπεύουν να ασχοληθούν με το φαινόμενο αυτό στο μέλλον.

Εκτός από τον προσδιορισμό του φαινομένου, οι συγγραφείς συζήτησαν το ενδεχόμενο να υπάρχουν και άλλοι παράγοντες που πιθανόν συμβάλλουν στην ύπαρξη της αναδραστικής επίδρασης, εκτός από το σχεδιασμό των γλωσσικών δοκιμασιών, π.χ. η έλλειψη κατανόησης των προδιαγραφών των εξετάσεων, η ανεπαρκής κατάρτιση των εκπαιδευτικών, τα προβλήματα της εσωτερικής διαχείρισης των σχολείων, κ.λπ. Οι Alderson & Wall αναφέρθηκαν επίσης στη μεθοδολογία που θα πρέπει να χρησιμοποιείται κατά τη διερεύνηση της αναδραστικής επίδρασης προτείνοντας «μια περισσότερο εθνογραφική προσέγγιση του θέματος» (1993: 127) από ό,τι ίσχυε μέχρι τότε, π.χ. συλλογή των δεδομένων από τους ίδιους τους μαθητές και διδάσκοντες, την άμεση παρατήρηση στην τάξη, κ.λπ. Τέλος, τόνισαν ότι όσοι ερευνητές επιθυμούν να διερευνήσουν την αναδραστική επίδραση μιας γλωσσικής δοκιμασίας θα πρέπει να λάβουν υπόψη όχι μόνο τη φύση της γλωσσικής δοκιμασίας αλλά και το εκπαιδευτικό σύστημα, καθώς και τις ερευνητικές μελέτες σε τομείς που σχετίζονται με τα μαθησιακά κίνητρα και με την εισαγωγή καινοτόμων πρακτικών σε προγράμματα σπουδών και εκπαιδευτικά περιβάλλοντα.

Λίγα χρόνια αργότερα, οι Alderson & Hamp-Lyons (1996) επανεξέτασαν την φύση των δεκαπέντε υποθέσεων των Alderson & Wall (1993) και διατύπωσαν πρόσθετες υποθέσεις, όπως:

Οι γλωσσικές δοκιμασίες θα έχουν διαφορετικά ποσά (amounts) και είδη (types) αναδραστικής επίδρασης για κάποιους καθηγητές και μαθητές από ό,τι για άλλους. Το ποσό και το είδος αναδραστικής επίδρασης θα ποικίλλει ανάλογα με

1)   το κύρος ή το επίπεδο του διακυβεύματος της γλωσσικής δοκιμασίας,

2)   το βαθμό με τον οποίο ο σχεδιασμός μιας γλωσσικής δοκιμασίας είναι αντίθετος με την τρέχουσα πρακτική,

3)   το τρόπο με τον οποίο οι εκπαιδευτικοί και οι συγγραφείς εγχειριδίων σκέφτονται και σχεδιάζουν κατάλληλα διδακτικά υλικά και εγχειρίδια για την προετοιμασία των υποψηφίων στις γλωσσικές δοκιμασίες, και

4)   το βαθμό με τον οποίο οι εκπαιδευτικοί και οι συγγραφείς υλικών και εγχειριδίων είναι πρόθυμοι και ικανοί να εισαγάγουν καινοτόμες ιδέες και πρακτικές και να επιφέρουν αλλαγές.                                       (Alderson & Hamp-Lyons, 1996: 296)

Στο δικό του μοντέλο ο Hughes (1994) θεώρησε ότι η αναδραστική επίδραση ενός εξεταστικού συστήματος ασκείται πάνω σε τρεις παράγοντες, δηλ. στους «συμμετέχοντες», στις «διαδικασίες» και στα «προϊόντα», τους οποίους θεωρεί ότι είναι βασικά χαρακτηριστικά κάθε εκπαιδευτικού συστήματος (βλ. Σχήμα 1).

Με τον όρο «συμμετέχοντες» ο Hughes ορίζει «το σύνολο αυτών των οποίων οι αντιλήψεις και στάσεις μπορεί να επηρεαστούν από μια γλωσσική δοκιμασία (π.χ. μαθητές, εκπαιδευτικοί, εξεταστικοί οργανισμοί, συγγραφείς εγχειριδίων και εκδότες)»  (1994: 2). Με τον όρο «διαδικασίες» αναφέρεται σε «τυχόν ενέργειες που έγιναν από τους συμμετέχοντες, οι οποίες μπορεί να συμβάλουν στη διαδικασία της μάθησης (π.χ. σχεδιασμό διδακτικών εγχειριδίων, προγράμματα σπουδών, αλλαγές στη διδακτική μεθοδολογία, χρήση εξεταστικών στρατηγικών, κ.λπ.)» (1994: 2). Τέλος, με τον όρο «προϊόν» αναφέρεται σε «αυτό που έχει γίνει γνώση (π.χ. γεγονότα, δεξιότητες, κ.λπ.), καθώς και την ποιότητα της μάθησης (π.χ. ευχέρεια λόγου, κ.λπ.)» (1994: 2).

Ο Hughes επίσης τόνισε ότι για να παρατηρηθεί μια οποιαδήποτε μορφή αναδραστικής επίδρασης μιας γλωσσικής δοκιμασίας, πρέπει να πληρούνται οι ακόλουθες  πέντε προϋποθέσεις:

• Η επιτυχία στη γλωσσική δοκιμασία πρέπει να είναι σημαντική για τους μαθητές,

• Οι εκπαιδευτικοί πρέπει να θέλουν οι μαθητές τους να επιτύχουν,

• Οι συμμετέχοντες πρέπει να είναι εξοικειωμένοι με τη γλωσσική δοκιμασία και να κατανοούν τις επιπτώσεις της φύσης και περιεχομένου της,

• Οι συμμετέχοντες πρέπει να έχουν εξειδικευμένη γνώση της φύσης της γλωσσικής δοκιμασίας (συμπεριλαμβανομένης της διδασκαλίας, των μεθόδων, του σχεδιασμού των προγραμμάτων σπουδών και των διδακτικών υλικών), και

• Οι αναγκαίοι πόροι για την επιτυχή προετοιμασία της γλωσσικής δοκιμασίας πρέπει να είναι διαθέσιμοι (1994: 2-3)

Μερικά χρόνια αργότερα, η Bailey (1996: 264) παραθέτει το δικό της μοντέλο συνδυάζοντας τις συζητήσεις και τα ερευνητικά αποτελέσματα της εποχής καθώς και τα μοντέλα των Alderson & Wall (1993) και Hughes (1994). Στο μοντέλο της η Bailey ορίζει ένα αριθμό συμμετεχόντων, συμπεριλαμβανομένων των μαθητών, των εκπαιδευτικών, των συγγραφέων, των σχεδιαστών προγραμμάτων σπουδών, και των ερευνητών και των προϊόντων που θα μπορούσαν να επηρεαστούν από την εξέταση, όπως η μάθηση, η διδασκαλία, τα διδακτικά υλικά και τα προγράμματα σπουδών (βλ. Σχήμα 2).

Στο άρθρο της η Bailey συζήτησε επίσης τις δυσκολίες της διερεύνησης της αναδραστικής επίδρασης, προτείνοντας την παρατήρηση και συλλογή δεδομένων στην τάξη, τη συλλογή δεδομένων πριν από την εισαγωγή νέων γλωσσικών δοκιμασιών, την έρευνα σε «φυσικά περιβάλλοντα» (natural settings), την τριγωνοποίηση δεδομένων (triangulation of data), κ.λπ. Όπως οι Alderson & Wall (1993) και, αργότερα, o Messick (1996), η Bailey τόνισε ότι όταν οι ερευνητές μελετούν τη φύση της αναδραστικής επίδρασης, χρειάζεται να καθορίζουν πως, για παράδειγμα, η διδακτική ή μάθηση που λαμβάνει χώρα μέσα σε μια τάξη μπορεί να συνδεθεί άμεσα με την εισαγωγή και τη χρήση της γλωσσικής δοκιμασίας και κατ’ επέκταση με την  παρουσία της αναδραστικής επίδρασης της δοκιμασίας αυτής.

Τα τρία μοντέλα της αναδραστικής επίδρασης γλωσσικών δοκιμασιών που σύντομα παρουσιάστηκαν σε αυτό το υποκεφάλαιο έχουν προσφέρει ένα δυναμικό πλαίσιο για τις εμπειρικές επιστημονικές μελέτες που έχουν γίνει μέχρι σήμερα. Ακολουθεί αναφορά στο περιεχόμενο, τη μεθοδολογία και τα αποτελέσματα μιας σειράς εμπειρικών μελετών οι οποίες ερεύνησαν την αναδραστική επίδραση διαφόρων γλωσσικών δοκιμασιών.

4. Οι ερευνητικές μελέτες μικρής κλίμακας

Τα 16 χρόνια περίπου μετά τη δημοσίευση του άρθρου των Alderson & Wall (1993) παρατηρήθηκε ένας ολοένα αυξανόμενος αριθμός εμπειρικών μελετών διερεύνησης της αναδραστικής επίδρασης. Μελέτη της παρούσας βιβλιογραφίας καταδεικνύει ότι υπάρχουν τουλάχιστον δύο είδη μελετών αναδραστικής επίδρασης:

• αυτές που σχετίζονται με τις παραδοσιακές σταθμισμένες δοκιμασίες μεγάλης κλίμακας (standardized large-scale language tests) που χρησιμοποιούν κυρίως πολλαπλή  επιλογή οι οποίες θεωρούνται ότι έχουν κυρίως αρνητική επίδραση στην ποιότητα της διδασκαλίας και της μάθησης και 

• αυτές που μελετούν τις εξετάσεις που έχουν τροποποιηθεί και βελτιωθεί προκειμένου να ασκήσουν θετική επίδραση στη διδασκαλία και τη μάθηση.

Ακολουθεί μια σύνοψη των εμπειρικών ερευνών της αναδραστικής επίδρασης των δοκιμασιών της γλωσσικής εκπαίδευσης σε μορφή πίνακα (βλ. Πίνακα 1)

Πίνακας 1. Σύνοψη ερευνών αναδραστικής επίδρασης

Οι μελέτες που περιλαμβάνονται στον Πίνακα 1 έχουν γίνει σε διάφορες χώρες του κόσμου και έχουν διερευνήσει την αναδραστική επίδραση δοκιμασιών:

• στους εκπαιδευτικούς και τη διδασκαλία (π.χ. Cheng, 2005; Ferman, 2004; Hayes & Read, 2004; Nazari, 2005; Saif, 2006; Wall, 2005),

• στα διδακτικά εγχειρίδια (π.χ. Read & Hayes, 2003; Saville & Hawkey, 2004),

• στους μαθητές (π.χ. Andrews et al., 2002; Chen & He, 2003; Robb & Ercanbrack, 1999; Watabane, 2001),

• στις απόψεις για τη γλωσσική δοκιμασία (π.χ. Cheng, 2005; Jin, 2000; Read & Hayes, 2003), και

• στις συμπεριφορές που καταγράφονται κατά τη διάρκεια της προετοιμασίας της δοκιμασίας (π.χ. Stoneman, 2005)

Στις μελέτες αυτές έχει ερευνηθεί η αναδραστική επίδραση των δοκιμασιών σε

• τοπικό επίπεδο,

• εθνικό επίπεδο και

• διεθνές επίπεδο, π.χ.  IELTS (Green, 2003; Hayes & Read, 2004; Nguyen, 1997), TOEFL (Alderson & Hamp-Lyon, 1996; Robb & Ercanbrack, 1999), FCE (Tsagari, 2007b), Michigan Certificate of Competency (Irvine-Niakaris, 1997)κ.λπ.

Τρεις σημαντικές μελέτες από τους Dianne Wall (2005), Liying Cheng (2005) και Dina Tsagari (2009) έχουν συμβάλει σημαντικά στην κατανόηση της πολυπλοκότητας του φαινομένου της αναδραστικής επίδρασης. Για παράδειγμα, η μελέτη της διαδεδομένης αντίληψης ότι μπορεί να υπάρξει αλλαγή σε ένα εκπαιδευτικό σύστημα με την εισαγωγή μιας εξέτασης υψηλού διακυβεύματος ή από τον εκ νέου σχεδιασμό της καταγράφεται από την Wall (2005). Η μελέτη αναλύει τις επιπτώσεις μιας εξέτασης της Αγγλικής ως Ξένης Γλώσσας σε εθνικό επίπεδο στη Σρι Λάνκα που είχε σκοπό να επιφέρει αλλαγές στο εκπαιδευτικό σύστημα. Μέσα από τη μελέτη της, η Wall κατέδειξε πως το επιδιωκόμενο αποτέλεσμα δεν επηρεάστηκε μόνο από εξεταστικούς παράγοντες αλλά και από παράγοντες του εκπαιδευτικού συστήματος, καθώς επίσης και από τους εκπαιδευτικούς και τους μαθητές τους. Η μελέτη της Wall κάνει διεξοδική επισκόπηση της θεωρίας και έρευνας των επιπτώσεων των εξετάσεων και της καινοτομίας στον τομέα της εκπαίδευσης και παρέχει κατευθυντήριες γραμμές στους εκπαιδευτικούς και ερευνητές οι οποίοι συνεχίζουν να πιστεύουν ότι οι εξετάσεις μπορούν να επιφέρουν αλλαγές στα προγράμματα σπουδών.

Η Cheng (2005) ερεύνησε την επίδραση του Hong Kong Certificate of Education in English (HKCEE), μιας υψηλού διακυβεύματος εξέτασης στη διδασκαλία και εκμάθηση της αγγλικής γλώσσας σε σχολεία της δευτεροβάθμιας εκπαίδευσης στο Χονγκ Κονγκ - μια περίπτωση παρόμοια με αυτή που ανέφερε η Wall (2005) - όπου η εξέταση χρησιμοποιήθηκε ως μέσο αλλαγής. Τα αποτελέσματα έδειξαν ότι παρ’ όλο που η νέα εξέταση ήταν ειδικά σχεδιασμένη για την επίτευξη θετικών αποτελεσμάτων στη διδασκαλία και στη μάθηση, η ισχύς της αναδραστικής επίδρασης της εξέτασης στη διδασκαλία ήταν περιορισμένη, δηλαδή επηρέασε το περιεχόμενο της διδασκαλίας αλλά όχι τις διδακτικές μεθόδους.

Η Tsagari (2009) εξέτασε την επίδραση του First Certificate in English (Cambridge ESOL) στη διδασκαλία και την εκμάθηση της αγγλικής γλώσσας σε ιδιωτικά εκπαιδευτήρια ξένων γλωσσών στην Ελλάδα γνωστά επίσης και ως ‘φροντιστήρια ξένων γλωσσών’. Στην έρευνα συμμετείχαν καθηγητές Αγγλικών (φυσικοί και μη ομιλητές της γλώσσας) μέσω ημι-δομημένων συνεντεύξεων. Η ερευνήτρια επίσης διεξήγαγε λεπτομερή ανάλυση του περιεχομένου των εγχειριδίων που χρησιμοποιούνταν από τους εκπαιδευτικούς για την προετοιμασία των μαθητών τους και των ημερολογίων που διατηρούσαν μαθητές στο τέλος των μαθημάτων τους για διάστημα επτά μηνών.

Η έρευνα κατέδειξε την επιρροή της εξέτασης στις στάσεις των εκπαιδευτικών και μαθητών, στα συναισθήματα των μαθητών, στα κίνητρα που υποκινούν την εκμάθηση της γλώσσας και στα διδακτικά υλικά που χρησιμοποιούν οι εκπαιδευτικοί κατά την προετοιμασία της εξέτασης αυτής. Η μελέτη της Tsagari επίσης έδειξε ότι άλλοι παράγοντες πέρα από την εξέταση φαίνεται πως είχαν μεγαλύτερη επιρροή από ό,τι η ίδια η εξέταση.

Με βάση την έρευνά της, η Tsagari πρότεινε ένα μοντέλο αναδραστικής επίδρασης που απεικονίζει την πολυπλοκότητά της (βλ. Σχήμα 3).

Σχήμα 3. Μοντέλο αναδραστικής επίδρασης της Tsagari (2009)

Το μοντέλο αυτό απεικονίζει τον αριθμό των διαμεσολαβητικών παραγόντων που παίρνουν μέρος στη διαδικασία της αναδραστικής επίδρασης περιγράφοντας παραστατικά τη σχέση μεταξύ τους. Η φύση της αναδραστικής επίδρασης των εξετάσεων απεικονίζεται ως μια διαδραστική διαδικασία και φαίνεται πως ασκείται με έμμεσο τρόπο στη διδασκαλία και τη μάθηση. Σύμφωνα με το μοντέλο, η αναδραστική επίδραση των εξετάσεων επιτυγχάνεται κατ’ αρχήν μέσω της διαμεσολάβησης των διδακτικών υλικών τα οποία με τη σειρά τους έχουν διαμορφωθεί από τις αντιλήψεις των συγγραφέων και των εκδοτών. Με άλλα λόγια τα διδακτικά υλικά που χρησιμοποιούνται κατά την προετοιμασία των εξετάσεων μεσολαβούν μεταξύ των προθέσεων του εξεταστικού οργανισμού και της εξέτασης και της προετοιμασίας που λαμβάνει χώρα μέσα στην τάξη (βλ. επίσης Wall & Horak, 2008b). Ο ρόλος των εκπαιδευτικών είναι επίσης ζωτικής σημασίας, καθώς αυτός μεσολαβεί μεταξύ των διδακτικών υλικών και των μαθητών. Στο πλαίσιο αυτής της διαδικασίας, η αναδραστική επίδραση φαίνεται πως επηρεάζεται και από τη διδακτική φιλοσοφία το σχολείου και ενισχύεται από διάφορους άλλους φορείς που δραστηριοποιούνται στο ευρύτερο κοινωνικό πλαίσιο, όπως οι γονείς, καθώς και από το τοπικό εκπαιδευτικό σύστημα και τις τοπικές αντιλήψεις σχετικά με την ίδια την εξετάση και τη γλώσσα που αξιολογείται.

5. Ερευνητικές μελέτες μεγάλης κλίμακας

Εκτός από έρευνες που έχουν γίνει από μεμονωμένους ερευνητές, πολλές σημαντικές μελέτες από διεθνείς εξεταστικούς οργανισμούς, όπως το Educational Testing Service (ETS), έχουν παίξει σημαντικό ρόλο στο χώρο της έρευνας της αναδραστικής επίδρασης. Οι μελέτες αυτές διεξάγονται ταυτόχρονα σε πολλές χώρες σε όλο τον κόσμο και εστιάζουν στην αναδραστική επίδραση της ίδιας γλωσσικής δοκιμασίας, π.χ. το TOEFL ή το IELTS. Οι μελέτες αυτές τείνουν επίσης να είναι ευρείας κλίμακας, πολυδιάστατες και πολύπλευρες και έχουν συμβάλει σημαντικά στην έρευνα στο χώρο αυτό.

Για παράδειγμα, από τις 65 μελέτες που έχουν γίνει για το IELTS και χρηματοδοτήθηκαν από το IDP Education Australia και το British Council, περίπου είκοσι μελέτες εξέτασαν την ανδραστική επίδραση του  IELTS. Οι μελέτες αυτές, που πραγματοποιήθηκαν σε διάφορα μέρη του κόσμου με υποψηφίους του IELTS, διερεύνησαν τις επιπτώσεις του IELTS σε ένα ευρύ φάσμα παραγόντων αλλά και στη διδασκαλία και μάθηση.

Παρόμοια με το IELTS, είναι και οι έρευνες που έχει γίνει για το TOEFL. Με την εισαγωγή του TOEFL iBT (internet-based TOEFL) το 2005, το ETS έχει χρηματοδοτήσει μια σειρά από μελέτες, δύο εκ των οποίων εξετάζουν την αναδραστική επίδραση του TOEFL.

Πιο συγκεκριμένα, για τη μελέτη που αναφέρεται από τις Hamp-Lyons & Brown (υπό έκδοση) συγκεντρώθηκαν και αναλύθηκαν στοιχεία για την προετοιμασία του TOEFL iBT στις ΗΠΑ, την Κίνα και την Αίγυπτο κατά την περίοδο πριν και μετά την εισαγωγή του το 2005. Στη μελέτη αυτή χρησιμοποιήθηκαν κυρίως ερωτηματολόγια και δεδομένα από εκπαιδευτικούς και μαθητές, η παρατήρηση στην τάξη στις ΗΠΑ, ημερολόγια συμμετεχόντων μαθητών στην Κίνα, και συνεντεύξεις εκπαιδευτικών και μαθητών στις ΗΠΑ και την Κίνα. Τα αρχικά πορίσματα κατέδειξαν διαφορές στις αντιλήψεις και τις συμπεριφορές μεταξύ εκπαιδευτικών και μαθητών όσον αφορά στο TOEFL, αλλά ελάχιστες διαφορές μεταξύ των απόψεων των μαθητών που ετοιμάζονται για το TOEFL και εκείνων που δεν προετοιμάζονταν ενώ υπήρχαν επίσης εμφανείς διαφορές μεταξύ των τριών χωρών.

Κατά τη μελέτη των Wall & Horak (2006, 2008a, 2008b) ερευνήθηκε το κατά πόσον η εισαγωγή του νέου TOEFL, δηλ. του TOEFL iBT, συνέβαλε σε αλλαγές στη διδασκαλία και τη μάθηση μετά από την εισαγωγή του στην Κεντρική και Ανατολική Ευρώπη σε τρεις φάσεις. Η πρώτη φάση ήταν μια αρχική μελέτη η οποία περιγράφει το είδος της διδασκαλίας και της μάθησης σε εκπαιδευτικά κέντρα πριν από την εισαγωγή του νέου TOEFL. Η δεύτερη φάση της έρευνας κατέγραψε τις αντιδράσεις των εκπαιδευτικών και εκπαιδευτικών ιδρυμάτων με την είδηση της εφαρμογής του νέου TOEFL και διερεύνησε τις αλλαγές που γίνονται για την προετοιμασία του περιεχομένου των μαθημάτων. Η τρίτη φάση της έρευνας είχε σκοπό να ερευνήσει εάν τα εγχειρίδια που χρησιμοποιούνται για την προετοιμασία των μαθητών εκπροσωπεύουν με ακρίβεια τη νέα εξέταση και τη χρήση που κάνουν οι εκπαιδευτικοί στην τάξη. Τα δεδομένα συγκεντρώθηκαν από τους συμμετέχοντες εκπαιδευτικούς μέσω συνεντεύξεων, παρατήρηση στην τάξη, και υπολογιστή μέσω του οποίου παρείχαν ερωτήσεις σε εκπαιδευτικούς οι οποίες είχαν σχεδιαστεί για να διερευνήσουν την κατανόησή τους για την κατασκευή και τη μορφή της νέας εξέτασης, τις δραστηριότητες στην τάξη, των εγχειριδίων που χρησιμοποιούσαν και αντιδράσεις τους. Οι ερευνήτριες προέβησαν επίσης στην ανάλυση εξεταστικών εγχειριδίων που χρησιμοποιούνταν από τους εκπαιδευτικούς.

Τα αποτελέσματα κατέδειξαν ότι υπήρχε θετική αναδραστική επίδραση στη διδασκαλία και ότι οι προθέσεις του εξεταστικού φορέα πραγματοποιήθηκαν, αλλά με διαφορετικό τρόπο και ένταση από αυτή που αρχικά προβλέπονταν. Επίσης οι Wall & Horak κατέγραψαν μια σειρά από διαμεσολαβητικούς παράγοντες που επηρέασαν τη φύση της αναδραστικής επίδρασης, π.χ. εξεταστικά εγχειρίδια και άλλα υλικά. Τέλος τόνισαν ότι απαιτείται η άμεση επικοινωνία μεταξύ του εξεταστικού οργανισμού, των εκπαιδευτικών και των μαθητών κατά τη διάρκεια της προετοιμασίας των υποψηφίων.

6. Τελικές παρατηρήσεις

Από την ανωτέρω σύντομη επισκόπηση της βιβλιογραφίας διάφορα ευρήματα προκύπτουν σε σχέση με την αναδραστική επίδραση των γλωσσικών δοκιμασιών και τη μεθοδολογία έρευνας στο χώρο αυτό.

Πρώτα από όλα, μπορούμε τώρα να δούμε με μεγαλύτερη σαφήνεια τόσο από τις μελέτες μικρότερης όσο και μεγαλύτερης κλίμακας ότι η αναδραστική επίδραση των εξετάσεων υψηλού διακυβεύματος είναι ένα πράγματι πολύπλοκο φαινόμενο. Ενώ οι μελέτες κατέδειξαν ότι μπορεί να υπάρξει αναδραστική επίδραση από τις εξετάσεις αυτού του είδους σε διάφορους τομείς της διδασκαλίας και της μάθησης, οι ίδιες μελέτες κατέδειξαν ότι η επίδραση αυτή δεν είναι πάντα παρούσα και, πολύ συχνά, ποικίλλει ως προς τη «μορφή» (form) και την «ένταση» (intensity) που αυτή λαμβάνει (Cheng, 1997b, 2005).

Οι μέχρι τώρα μελέτες έδειξαν επίσης ότι η αναδραστική επίδραση είναι ευρεία και πολύπλευρη και μπορεί να προκληθεί μέσω πολλών ανεξάρτητων μεταβλητών ή παραγόντων που δεν σχετίζονται με την ίδια την εξέταση. Ορισμένοι από τους παράγοντες αυτούς περιλαμβάνουν τους εκπαιδευτικούς (π.χ. τις πεποιθήσεις, τις στάσεις, την πείρα, την εκπαίδευση, την κατάρτιση, την προσωπικότητα και τις μεθόδους διδασκαλίας τους, κ.λπ.), τους συγγραφείς και τους εκδότες των εγχειριδίων προετοιμασίας των εξετάσεων (π.χ. την ερμηνεία των προδιαγραφών των εξετάσεων), τη θεώρηση της ξένης γλώσσας που εξετάζεται μέσα στο εκάστοτε εκπαιδευτικό σύστημα, τις συνθήκες της διδασκαλίας, τη διαχείριση των διδακτικών μεθόδων και πρακτικών που εφαρμόζονται στα σχολεία, την επικοινωνία μεταξύ των εξεταστικών οργανισμών και χρηστών των εξετάσεων και το κοινωνικο-πολιτικό πλαίσιο μέσα στο οποίο χρησιμοποιούνται τα αποτελέσματα της εξέτασης.

Επιπλέον, τα αποτελέσματα των ερευνών κατέδειξαν ότι οι ερευνητές χρησιμοποιούν διάφορες μεθόδους μέτρησης της αναδραστικής επίδρασης. Ουσιαστικά, η έρευνα που έγινε μετά το 1993 προσέφερε μια ποικιλομορφία και διαφοροποίηση μεθόδων, όπως την ανάλυση του εκπαιδευτικού υλικού και διάφορων άλλων εγγράφων, την παρατήρηση και καταγραφή στην τάξη, τις ατομικές και ομαδικές συνεντεύξεις, την ανάλυση του προφορικού λόγου του εκπαιδευτικού (teacher discourse) στις τάξεις προετοιμασίας εξετάσεων, την ανάλυση των ημερολογίων των μαθητών, κ.λπ. Ορισμένοι από τους ερευνητές χρησιμοποίησαν μια μέθοδο συλλογής δεδομένων (π.χ. Andrews, 2004) ενώ άλλοι περισσότερες από μια, χρησιμοποιώντας δηλαδή ‘τριγωνοποίηση δεδομένων’ (‘triangulation of data’, π.χ. Shohamy et al. 1996, Cheng 2005, Tsagari, 2009).  

Τέλος, μια σημαντική τάση στην πιο πρόσφατη έρευνα είναι ότι οι ερευνητές δεν περιορίζονται απλά στην περιγραφή της αναδραστικής επίδρασης αλλά επιχειρούν να καταγράψουν τις αιτίες για τις οποίες  εμφανίστηκε ή όχι η επίδραση ή και τους λόγους για τους οποίους γιατί έλαβε τη συγκεκριμένη μορφή.

Η έρευνα που έχει γίνει μέχρι σήμερα έχει αναμφίβολα προσφέρει σημαντικά στον προσδιορισμό νέων και σημαντικών πεδίων στη μελέτη της αναδραστικής επίδρασης. Ωστόσο, ο χώρος αυτός χρήζει περαιτέρω έρευνας. Οι ερευνητές απαιτείται από εδώ και στο εξής να μελετήσουν το χώρο της αναδραστικής επίδρασης βαθύτερα και πολυδιάστατα, ιδιαίτερα εάν εστιάσουν την προσοχή τους σε λιγότερο παρατηρήσιμους ή ανεξάρτητους παράγοντες που σχετίζονται με τη διαδικασία της αναδραστικής επίδρασης.

Επιπλέον, ακόμη και αν πολλοί από τους παράγοντες που σχετίζονται με την αναδραστική επίδραση των γλωσσικών δοκιμασιών υψηλού διακυβεύματος έχουν μελετηθεί εμπειρικά, υπάρχει μικρή επικάλυψη μεταξύ των μελετών μικρής κλίμακας όσον αφορά στις αρνητικές και θετικές πτυχές της καθώς και σχετικά με το ποιοι παράγοντες την επηρεάζουν. Επομένως παρ’ όλο που η ύπαρξη της αναδραστικής επίδρασης είναι εμφανής, δεν φαίνεται να υπάρχει γενική συμφωνία για το ποιοι παράγοντες επηρεάζουν την ένταση του φαινομένου και ποιοι παράγοντες προωθούν θετικές ή αρνητικές επιρροές.

Επομένως, απαιτείται περαιτέρω έρευνα για να επιβεβαιωθούν τα αποτελέσματα των υπαρχόντων μελετών και σε άλλους πληθυσμούς και εκπαιδευτικά συστήματα, και για να δοθεί συνέχεια σε ζητήματα που έχουν τεθεί. Με αυτό συμφωνεί και η Spratt (2005) η οποία επισημαίνει ότι

Υπάρχει ανάγκη να πραγματοποιηθούν περισσότερες μελέτες σε διάφορα περιβάλλοντα μάθησης. Η χρήση παράλληλων μεθόδων στις μελέτες [αυτές] θα μπορούσε επίσης να δώσει στους ερευνητές την ευκαιρία να διερευνήσουν ορισμένες από τις προφανείς αντιφάσεις στις διαπιστώσεις που έχουν γίνει μέχρι σήμερα (2005: 27)

7. Μελλοντικές κατευθύνσεις

Η διερεύνηση της αναδραστικής­ επίδρασης των γλωσσικών δοκιμασιών αποτελεί δύσκολο εγχείρημα, δεδομένου ότι είναι μια πραγματικά πολύπλοκη σχέση (αιτιώδης ή διερευνητική) η οποία μπορεί να επηρεαστεί από τη διαμεσολάβηση διαφόρων παραγόντων, όπως φαίνεται από τις μελέτες που έχουν γίνει μέχρι σήμερα. Τέτοια πολυπλοκότητα δημιουργεί προβλήματα και δυσκολίες και αποτελεί πρόκληση για κάθε ερευνητή που επιθυμεί να πραγματοποιήσει ή πραγματοποιεί μελέτη στο χώρο της αναδραστικής επίδρασης των γλωσσικών δοκιμασιών.

Ακολουθούν οδηγίες και ερευνητικές προτάσεις για τους ερευνητές που σκοπό έχουν να τους καθοδηγήσουν έτσι ώστε να αποφύγουν προβλήματα που τυχόν προκύπτουν κατά τη διάρκεια της έρευνάς τους.

Οδηγίες για Ερευνητές

• Κατ’ αρχήν είναι σημαντικό οι μελλοντικές μελέτες στο χώρο της αναδραστικής επίδρασης να είναι διαχρονικές και να επιτελούνται σε διαδοχικές φάσεις χρησιμοποιώντας πολλαπλές ερευνητικές μεθόδους. Αυτό προτείνεται επειδή η μελέτη της αναδραστικής επίδρασης απαιτεί χρόνο για να ολοκληρωθεί επιτυχώς. Επομένως είναι απαραίτητο να γίνονται διαχρονικές μελέτες με επανειλημμένες παρατηρήσεις (και τρόπους μέτρησης), οι οποίες να εστιάζουν στους εκπαιδευτικούς και τους μαθητές τους καθώς και στη μελέτη των προδιαγραφών και της τυπολογίας των εξετάσεων, των προγραμμάτων σπουδών και της εκάστοτε εκπαιδευτικής πολιτικής.

• Η φύση τέτοιων μελετών απαιτεί σύγχρονες ερευνητικές μεθόδους και δεξιότητες. Κατ’ αρχήν οι μέθοδοι που χρησιμοποιούνται για τη διεξαγωγή μελετών αναδραστικής επίδρασης χρειάζεται να βελτιωθούν, όπως η χρήση πολλαπλών μεθόδων (multi-method designs) για την αύξηση του κύρους ή εγκυρότητας της έρευνας (validity of research). Επιπλέον, για την πιο ολοκληρωμένη εικόνα αναδραστικής επίδρασης των γλωσσικών δοκιμασιών είναι απαραίτητη η εξέταση διαφορετικών οπτικών και συμμετεχόντων για να διερευνηθεί σε βάθος η επίδραση στη διδασκαλία και στη μάθηση της  εκάστοτε γλωσσικής δοκιμασίας.

• Οι μελλοντικοί ερευνητές θα μπορούσαν επίσης να αναπαραγάγουν ή να τελειοποιήσουν τη μεθοδολογία και τις ερευνητικές διαδικασίες, οι οποίες δεν ήταν δυνατές στο παρελθόν. Η μεθοδολογική αναπαραγωγή μπορεί να δώσει στους ερευνητές την ευκαιρία να βασιστούν πάνω στα ευρήματα των υπαρχόντων μελετών σε εννοιολογικό και μεθοδολογικό επίπεδο έτσι ώστε να κατανοήσουν διεξοδικά την φύση του φαινομένου αυτού.

• Στις μελέτες αναδραστικής επίδρασης, θα πρέπει να χρησιμοποιούνται πιο εξελιγμένες μέθοδοι, π.χ. μέθοδοι που εξετάζουν άμεσα τα χαρακτηριστικά των υποψηφίων, τις διαδικασίες μάθησης, την παρατήρηση μέσα στην τάξη, χρήση ημερολογίων μαθητών, ανάλυση διδακτικών εγχειριδίων, ανάλυση του προφορικού λόγου του εκπαιδευτικού, κ.λπ. που χρησιμοποιούνται ευρέως στις πιο πρόσφατες έρευνες όπως έχει φανεί από τη βιβλιογραφική ανασκόπηση.

• Οι ερευνητές πρέπει να αποκτήσουν ιδιαίτερες ερευνητικές δεξιότητες για να μελετήσουν το εύρος και το βάθος της αναδραστικής επίδρασης έτσι ώστε η έρευνά τους να αποφύγει τον κίνδυνο να βασίζεται σε τυχαίους παράγοντες διερεύνησης της αναδραστικής επίδρασης και της σχέσης της με τη διδασκαλία και τη μάθηση.

• Οι ερευνητές πρέπει να μελετήσουν προσεχτικά την εμφάνιση, ιδιαιτερότητα, την ένταση, τη διάρκεια, την αξία και τις απρόβλεπτες εξελίξεις της αναδραστικής επίδρασης καθώς και το «πώς», «πού» και «πότε» να παρατηρούν τα σημεία της διδασκαλίας και της μάθησης που πιθανόν επηρεάζονται από συγκεκριμένες γλωσσικές δοκιμασίες (βλ. Wall & Horak, 2007).

• Επίσης, πρέπει να αναλύσουν με λεπτομέρεια τις προδιαγραφές και την τυπολογία της γλωσσικής δοκιμασίας και του εκπαιδευτικού πλαισίου που μελετούν και να σχεδιάσουν εκ των προτέρων ερευνητικά ερωτήματα ή υποθέσεις για τη φύση της αναδραστικής επίδρασης πριν από το σχεδιασμό και την υλοποίηση της μελέτης (βλ. επίσης Watanabe 2004). Αυτό συμβαίνει επειδή η μελέτη της αναδραστικής επίδρασης είναι, εξ ορισμού, μελέτη αξιολόγησης. Τέτοιες μελέτες απαιτούν από τους ερευνητές να κατανοήσουν και να αξιολογήσουν το τοπικό εκπαιδευτικό πλαίσιο, καθώς και τους ευρύτερους κοινωνικούς, πολιτικούς και οικονομικούς παράγοντες που διέπουν τη διδασκαλία και τη μάθηση σε σχέση με μια γλωσσική δοκιμασία πριν την υλοποίηση της μελέτης.

• Επιπλέον, οι ερευνητές θα πρέπει να εξετάσουν την εποχικότητα του φαινομένου, επειδή το χρονοδιάγραμμα των παρατηρήσεών τους μπορεί να επηρεάσει το τι θα ανακαλύψουν σχετικά με την αναδραστική επίδραση των γλωσσικών δοκιμασιών που μελετούν (Bailey, 1999; Cheng, 2005; Watanabe, 1996).

• Η μελέτη της αναδραστικής επίδρασης μιας συγκεκριμένης γλωσσικής δοκιμασίας μέσα σε ένα συγκεκριμένο εκπαιδευτικό πλαίσιο από μεμονωμένους ερευνητές μπορεί να προσφέρει πολύτιμες πληροφορίες για το συγκεκριμένο πλαίσιο. Ωστόσο, θα είναι πολύ πιο χρήσιμο εάν ομάδες ερευνητών εργαστούν από κοινού με σκοπό την οργάνωση σειράς μελετών γύρω από την ίδια γλωσσική δοκιμασία μέσα σε κοινά ή διαφορετικά εκπαιδευτικά συστήματα. Με τον τρόπο αυτό, μπορούν να ερευνηθούν πολλές διαφορετικές πτυχές αυτού του φαινομένου. Τα συμπεράσματα των ερευνητών θα μπορούν να διασταυρωθούν και, κατά συνέπεια, να δημιουργήσουν μια πιο ακριβή εικόνα της αναδραστικής επίδρασης των γλωσσικών δοκιμασιών.

• Επιπλέον, είναι επιτακτική ανάγκη οι ερευνητές της αναδραστικής επίδρασης να εργάζονται από κοινού με άλλους ερευνητές στο χώρο της γλωσσικής δοκιμασιολογίας, καθώς και με φορείς χάραξης εκπαιδευτικής πολιτικής και εξεταστικούς οργανισμούς έτσι ώστε να διασφαλίσουν την εγκυρότητα (validity) της έρευνάς τους και να ακολουθούν τις ηθικές αρχές (ethics) που διέπουν το χώρο της γλωσσικής δοκιμασιολογίας.

Μελλοντική έρευνα

Θα ήταν χρήσιμο οι ερευνητές να μελετήσουν τις επιπτώσεις των γλωσσικών δοκιμασιών σε διάφορες πτυχές της διδασκαλίας και μάθησης. Ακολουθούν ενδεικτικές προτάσεις θεμάτων διερεύνησης:

• Ο τομέας που έχει λάβει λιγότερη προσοχή σε προηγούμενες μελέτες είναι η επίδραση των γλωσσικών δοκιμασιών σε αυτούς που βιώνουν πιο άμεσα τις επιπτώσεις των γλωσσικών δοκιμασιών, δηλ. στους μαθητές. Η έρευνα σε αυτό το χώρο θα πρέπει να συμπεριλάβει τις αντιδράσεις των μαθητών σε συναισθηματικό, ψυχολογικό και γνωστικό επίπεδο, όπως τις αντιλήψεις, τα κίνητρα, το άγχος, τα συναισθήματα και τη μάθηση τους, δηλ. το περιεχόμενο και τρόπο με τον οποίο μαθαίνουν καθώς και τον τρόπο με τον οποίο αποδίδουν ή συμπεριφέρονται κατά τη διάρκεια της προετοιμασίας μιας γλωσσικής δοκιμασίας. Αυτού του είδους η έρευνα μπορεί να συνδέσει άμεσα τις συνέπειες της δοκιμασίας με την εγκυρότητά της (test validity).

• Επιπλέον θα ήταν σημαντικό να μελετηθούν οι πρακτικές και οι μέθοδοι που χρησιμοποιούν οι μαθητές στην ιδιωτική τους μελέτη κατά τη διάρκεια της προετοιμασίας τους ερευνώντας το χρόνο που επενδύουν για την προετοιμασία των εξετάσεων έξω από την τάξη καθώς και τους τρόπους με τους οποίους οι ίδιοι επιλέγουν να προετοιμαστούν για την εκάστοτε δοκιμασία. Αποτελέσματα έρευνας στον τομέα αυτό θα παρέχουν γνώσεις σχετικά με τη φύση της αναδραστικής επίδρασης σε επιμορφωτές εκπαιδευτών, εκπαιδευτικούς, εξεταστικούς οργανισμούς, κ.λπ.

• Θα ήταν επίσης χρήσιμο εάν οι μελέτες της αναδραστικής επίδρασης εξέταζαν τον βαθμό με τον οποίο ο αντίκτυπος μιας δοκιμασίας είναι διαφορετικός για τους μαθητές σε μια συγκεκριμένη χώρα από ό,τι σε κάποια άλλη όπου το εκπαιδευτικό σύστημα και παραδόσεις (πεποιθήσεις και αξίες) είναι διαφορετικές. Χωρίς την κατανόηση της καταγωγής και των χαρακτηριστικών των υποψηφίων των δοκιμασιών, απ’ όπου και αν αυτοί προέρχονται, είναι δύσκολο να μπορέσουμε να κατανοήσουμε πλήρως τη φύση της αναδραστικής επίδρασης των γλωσσικών δοκιμασιών ιδιαίτερα σε εξεταστικά περιβάλλοντα υψηλού διακυβεύματος.

• Επίσης η επιρροή των γλωσσικών δοκιμασιών στο διδακτικό υλικό και στο ρόλο των υλικών αυτών σε προγράμματα που προετοιμάζουν τους μαθητές για εξετάσεις χρήζουν περαιτέρω διερεύνησης. Έρευνα σε αυτές τις περιοχές θα μπορούσε να ακολουθήσει διάφορες κατευθύνσεις. Για παράδειγμα μια πραγματικά ενδιαφέρουσα μελέτη θα ήταν η συλλογή των απόψεων συγγραφέων και εκδοτών των εγχειριδίων προετοιμασίας σχετικά με το πώς κατανοούν την φύση της αναδραστικής επίδρασης των εξετάσεων. Εξίσου ενδιαφέρον θα είχε η μελέτη του τρόπου με τον οποίο σχεδιάζουν εξεταστικά υλικά και την προετοιμασία των εκάστοτε δοκιμασιών (βλ. επίσης Alderson, 1995; Alderson & Banerjee, 2001; Tsagari, 2009). Επίσης θα ήταν ενδιαφέρον να εξεταστεί πιο προσεκτικά τι ακριβώς κάνουν ή σκέφτονται οι συγγραφείς υλικού κατά τη διάρκεια του σχεδιασμού των υλικού μέσω της χρήσης προφορικών πρωτοκόλλων (verbal protocols) (βλ. επίσης Johnson, 2000; Johnson, 2003).

• Περαιτέρω μελέτες θα μπορούσαν να καλύψουν τη χρήση των εξεταστικών υλικών στην τάξη, δηλαδή τους τρόπους με τους οποίους έμπειροι και μη έμπειροι εκπαιδευτικοί χρησιμοποιούν τα ειδικά σχεδιασμένα εγχειρίδια προετοιμασίας εξετάσεων ή άλλα διδακτικά υλικά για την προετοιμασία των μαθητών τους. Με αυτό τον τρόπο θα μπορούμε να μάθουμε περισσότερα για τη φύση της αναδραστικής επίδρασης και να παρέχουμε την απαραίτητη βοήθεια στους επιμορφωτές εκπαιδευτικών και τους συγγραφείς διδακτικών υλικών.

• Είναι ιδιαίτερα σημαντικό προκειμένου να προσδιοριστεί η έκταση της αναδραστικής επίδρασης να γίνει έρευνα στις απόψεις και αντιδράσεις των μαθητών έναντι των εξεταστικών εγχειριδίων. Η διερεύνηση των αντιδράσεων των μαθητών θα είναι επωφελής καθώς αυτό μπορεί να βοηθήσει την αμοιβαία κατανόηση μεταξύ των συγγραφέων, των εκδοτών και των χρηστών των υλικών αυτών (π.χ. εκπαιδευτικών και μαθητών).

• Τέλος, με δεδομένη την αύξηση του μεγέθους της προετοιμασίας των εξετάσεων, θα ήταν σημαντικό να καθοριστεί εάν τα εξεταστικά εγχειρίδια ή άλλων ειδών υλικά είναι αποτελεσματικά, αν έχουν δηλαδή πραγματική επίπτωση ή όχι στη βελτίωση της επίδοσης των υποψηφίων στις εξετάσεις γλωσσομάθειας.

Για περαιτέρω συζήτηση πιθανών θεμάτων έρευνας ο αναγνώστης μπορεί να ανατρέξει επίσης και στους Wall & Horak (2008b), Cheng (2008) και Tsagari (2009).

Τελειώνοντας θα ήθελα να επισημάνω ότι η μελέτη της αναδραστικής επίδρασης των γλωσσικών δοκιμασιών ή εξετάσεων είναι μια ιδιαίτερα σημαντική και ευαίσθητη περιοχή έρευνας στο χώρο της αξιολόγησης, διδακτικής και μάθησης των γλωσσών, ιδιαίτερα στις μέρες μας όπου ένας μεγάλος αριθμός γλωσσικών εξετάσεων έχει κάνει την εμφάνισή του όχι μόνο στον Ελλαδικό εκπαιδευτικό χώρο αλλά και σε άλλα εκπαιδευτικά συστήματα. Τα αποτελέσματα ερευνών της αναδραστικής επίδρασης είναι πολύ σημαντικά γιατί θα αποσαφηνίσουν την εγκυρότητα και ίσως την ανάγκη ύπαρξης πολλών εξεταστικών συστημάτων τα αποτελέσματα των οποίων χρησιμοποιούνται πολύ συχνά ως μέσο πρόσληψης, ανέλιξης, οικονομικών απολαβών, εισροής, αποδοχής και ένταξης πολιτών στην Ευρώπη και σε άλλες χώρες του κόσμου.

Βιβλιογραφικές Αναφορές

Alderson, J. C. (1995). Ideas for Research into Impact, Washback and IELTS. Unpublished manuscript, Ingleton, Lancaster, UK.

Alderson, J. C. (2004). Foreword. In L. Cheng, Y. Watanabe & A. Curtis (Eds.), Washback in Language Testing: Research Context and Methods (pp. ix-xii). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Alderson, J. C., & Banerjee, J. (2001). Language Testing and Assessment (Part 1). Language Teaching, 34(4), 213-236.

Alderson, J. C., & Hamp-Lyons, L. (1996). TOEFL Preparation Courses: A Study of Washback. Language Testing, 13(3), 280-297.

Alderson, J. C., & Wall, D. (1992). The Sri Lankan O-Level English Language Evaluation Project Fourth and Final Report. Lancaster: Department of Linguistics and Modern English Language / Institute for English Language Education.

Alderson, J. C., & Wall, D. (1993). Does Washback Exist? Applied Linguistics, 14(2), 115-129.

Andrews, S. (1994a). The Washback Effect of Examinations: Its Impact Upon Curriculum Innovation in English Language Teaching. Curriculum Forum, 4(1), 44-58.

Andrews, S. (1994b). Washback or Washout? The Relationship between Examination Reform and Curriculum Innovation. In D. Nunan & R. Berry (Eds.), Bringing About Change in Language Education (pp. 67-81). Hong Kong: Department of Curriculum Studies. University of Hong Kong.

Andrews, S. (2004). Washback and Curriculum Innovation. In L. Cheng, Y. Watanabe & A. Curtis (Eds.), Washback in Language Testing: Research Context and Methods (pp. 37-52). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Andrews, S., Fullilove, J., & Wong, Y. (2002). Targeting Washback—a Case-Study. System, 30(2), 207–223.

Bachman, L. F. (1990). Fundamental Considerations in Language Testing. Oxford: OUP.

Bachman, L. F., & Palmer, A. (1996). Language Testing in Practice : Designing and Developing Useful Language Tests. Oxford: OUP.

Bailey, K. M. (1996). Working for Washback: A Review of the Washback Concept in Language Testing. Language Testing, 13(3), 257-279.

Bailey, K. M. (1999). Washback in Language Testing. TOEFL Monograph Series. Report Number: RM-99-04, TOEFL-MS-15. Princeton, NJ: Educational Testing Service. Available from http://www.ets.org/Media/Research/pdf/RM-99-04.pdf  

Buck, G. (1988). Testing Listening Comprehension in Japanese University Entrance Exams.JALT Journal, 10, 15-42.

Chen, L.-M. (2002). Washback of a public exam on English teaching. Unpublished Ph.D. Dissertation. The Ohio State University. USA.

Chen, Z. and He, Y. (2003). Influence of CET-4 on college students and some suggestions.Journal of Technology College Education 22, 40-41.

Cheng, L. (1997a). How Does Washback Influence Teaching? Implications for Hong Kong.Language and Education, 11(1), 38-54.

Cheng, L. (1997b). The Washback Effect of Public Examination Change on Classroom Teaching. Unpublished PhD thesis. The University of Hong Kong, Hong Kong.

Cheng, L. (1998). Impact of a Public English Examination Change on Students’ Perceptions and Attitudes toward Their English Learning. Studies in Educational Evaluation, 24(3), 279-301.

Cheng, L. (1999). Changing Assessment: Washback on Teacher Perspectives and Actions.Teaching and Teacher Education, 15(3), 253-271.

Cheng, L. (2005). Changing Language Teaching through Language Testing: A Washback Study. Cambridge: CUP.

Cheng, L. (2008). Washback, Impact and Consequences. In E. Shohamy & N. H. Hornberger (Eds.), Encyclopedia of Language and Education, 2nd Edition, Volume 7: Language Testing and Assessment (pp. 349–364). Springer Science & Business Media LLC.

Cheng, L., & Curtis, A. (2004). Washback or Backwash: A Review of the Impact of Testing on Teaching and Learning. In L. Cheng, Y. Watanabe & A. Curtis (Eds.), Washback in Language Testing: Research Contexts and Methods (pp. 3-17). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Davies, A., Brown, A., Elder, C., Hill, K., Lumley, T., & McNamara, T. (1999). Dictionary of Language Testing. Cambridge: CUP/UCLES.

Ferman, I. (2004). The Washback of an EFL National Oral Matriculation Test to Teaching and Learning. In L. Cheng, Y. Watanabe & A. Curtis (Eds.), Washback in Language Testing: Research Context and Methods (pp. 191-210). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Glover, P. (2006). Examination Influence on How Teachers Teach: A Study of Teacher Talk.Unpublished PhD thesis, Department of Linguistics and Modern English Language, Lancaster University, Lancaster, England.

Gosa, C. M. C. (2004).  Investigating Washback: A Case Study Using Student Diaries.Unpublished PhD thesis, Department of Linguistics and Modern English Language, Lancaster University, Lancaster, England.

Green, A. (2003). Test impact and English for academic purposes: a comparative study in backwash between IELTS preparation and university pre-sessional courses. Unpublished PhD thesis. Centre for Research in Testing, Evaluation and Curriculum in ELT. University of Surrey, Roehampton, UK.

Green, A. (2007). Watching for Washback: Observing the Influence of the International English Language Testing System Academic Writing Test in the Classroom Language Assessment Quarterly, 3(4), 333–368

Hamp-Lyons, L. (1997). Washback, Impact and Validity: Ethical Concerns. Language Testing, 14(3), 295-303.

Hamp-Lyons, L. and Brown, A. (under review). The Effect of Changes in the New TOEFL Format on the Teaching and Learning of EFL/ESL: Report to the development and conduct of a baseline study (2002-2005). Report to the TOEFL Research Committee, Educational Testing Service, Princeton, NJ.

Hawkey, R. (2004a). Cambridge ESOL CPE Textbook Washback Study: Full Report. Cambridge: University of Cambridge ESOL Examinations.

Hawkey, R. (2004b). The CPE Textbook Washback Study. Research Notes, 20, 19-20.

Hawkey, R. (2006). Impact Theory and Practice: Studies of the IELTS Test and Progetto Lingue 2000. Cambridge: CUP.

Hayes, B., & Read, J. (2004). IELTS Test Preparation in New Zealand: Preparing Students for the IELTS Academic Module. In L. Cheng, Y. Watanabe & A. Curtis (Eds.), Washback in Language Testing: Research Context and Methods (pp. 97-112). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Heaton, J. B. (1990). Classroom Testing. Harlow: Longman.

Hughes, A. (1988). Introducing a Needs-Based Test of English Language Proficiency into an English Medium University in Turkey. In A. Hughes (Ed.), Testing English for University Study (ELT Documents #127) (pp. 134-146). London: Modem English Publications in association with the British Council.

Hughes, A. (1994). Backwash and TOEFL 2000. Unpublished manuscript, commissioned by Educational Testing Service (ETS). University of  Reading.

Irvine-Niakaris, C. (1997) Current proficiency testing: A reflection of teaching. Forum, 35, 16-21.

Johnson, K. (2000). What Task Designers Do. Language Teaching Research, 4(3), 301-321.

Jin, Y. (2000). Washback of College English Test-Spoken English Test on teaching. Foreign Language World, 80, 56-61.

Johnson, K. (2003). Designing Language Teaching Tasks. Basingstoke: Palgrave.

Khaniya, T. R. (1990). The Washback Effect of a Textbook-Based Test. Edinburgh Working Papers in Applied Linguistics, I, 48-58.

Kiss-Gulyas, J. (2001). Experiencing the Examination Design, Content, Materials and Procedures. In J. G. Egyud, I. A. Gal & P. Glover (Eds.), English Language Education in Hungary, Part Ili: Training Teachers for New Examinations (pp. 40-58). Budapest: The British Council.

Lam, H. P. (1993). Washback-Can It Be Quantified? A Study on the Impact of English Examinations in Hong Kong., Unpublished MA dissertation. University of Leeds, UK.

Lam, H. P. (1994). Methodology Washback - an Insider's View. In D. Nunan, R. Berry & V. Berry (Eds.), Bringing About Change in Language Education: Proceedings of the International Language in Education Conference 1994 (pp. 83-102). Hong Kong: University of Hong Kong.

Latham, H. (1877). On the action of examinations considered as a means of selection. Cambridge: Deighton, Bell and Company.

Li, X. (1990). How Powerful Can a Language Test Be? The MET in China. Journal of Multilingual and Multicultural Development, 11(5), 393-404.

Lumley, T., & Stoneman, B. (2000). Conflicting Perspectives on the Role of Test Preparation in Relation to Learning. Hong Kong Journal of Applied Linguistics, 5(1), 50-80.

Messick, S. (1996). Validity and Washback in Language Testing. Language Testing, 13, 241-256.

Nazari, A. (2005). Washback effects on TEFL: A case study from Iran. IATEFL Voices, 185, 9-10.

Nemati, M. (2003). The positive washback effect of introducing essay writing tests in EFL Environments. Indian Journal of Applied Linguistics, 29, 49-62.

Nguyen, P. (1997). Washback effects of international English language testing system at the Vietnam National University. Unpublished PhD thesis. University of Melbourne, Australia.

Nikolov, M. (1999). Classroom Observation Project. In H. Fekete, E. Major & M. Nikolov (Eds.), In English Language Education in Hungary: A Baseline Study (pp. 221-246). Budapest: The British Council Hungary.

Pearson, I. (1988). Tests as Levers for Change. In D. Chamberlain & R. J. Baumgardner (Eds.), ESP in the Classroom: Practice and Evaluation. ELT Documents Volume 128(pp. 98-107). London: Modern English Publications.

Perrin, G. C. (2000). The Effect of Multiple Choice Foreign Language Tests of Listening and Reading on Teacher Behaviour and Student Attitudes. Unpublished PhD thesis, Department of Linguistics and Modern English Language, Lancaster University, Lancaster, England.

Prodromou, L. (1995). The Backwash Effect: From Testing to Teaching. ELT Journal, 49(1), 13-25.

Robb, T. N. and Ercanbrack, J. (1999). A study of the effect of direct test preparation on the TOEIC scores of Japanese university students, TESL-EJ 3, Available from  http://tesl-ej.org/ej12/a2.html 

Qi, L. (2004). The Intended Washback Effect of the National Matriculation English Test in China: Intentions and Reality. Beijing: Foreign Language Teaching and Research Press.

Qi, L. (2005). Stakeholders’ Conflicting Aims Undermine the Washback Function of a High-Stakes Test. Language Testing, 22(2), 142–173.

Read, J., & Hayes, B. (2003). The Impact of IELTS on Preparation for Academic Study in New Zealand. IELTS International English Language Testing System Research Reports, 4, 153-206.

Saif, S. (2006). Aiming for Positive Washback: A Case Study of International Teaching Assistants. Language Testing, 23(1), 1–34.

Saville, N., & Hawkey, R. (2004). The IELTS Impact Study: Investigating Washback on Teaching Materials. In L. Cheng, Y. Watanabe & A. Curtis (Eds.), Washback in Language Testing: Research Context and Methods (pp. 73-96). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Scaramucci, M.V.R. (2002). Entrance examinations and TEFL in Brazil: A case study, Revista Brasileira de Linguistica Aplicada, 2, 61-81, Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brazil.

Scott, C. (2005). Washback in the UK primary context with EAL learners: Exploratory case Studies. Unpublished PhD thesis. University of Bristol, UK.

Shih, C-M. (2006). Perceptions of the General English Proficiency Test and its washback: A case study at the two Taiwan technological institutes. Unpublished PhD thesis. University of Toronto, Canada.

Shohamy, E. (1992). Beyond Proficiency Testing: A Diagnostic Feedback Testing Model for Assessing Foreign Language Learning. Modern Language Journal, 76(4), 513-521.

Shohamy, E. (1993). The Power of Test: The Impact of Language Testing on Teaching and Learning. National Foreign Language Center Occasional Papers. Washington, DC: National Foreign Language Center.

Shohamy, E., Donitsa-Schmidt, S., & Ferman, I. (1996). Test Impact Revisited: Washback Effect over Time. Language Testing, 13(3), 298-317.

Spratt, M. (2005). Washback and the Classroom: The Implications for Teaching and Learning of Studies of Washback from Exams. Language Teaching Research, 9(1), 5–29.

Stecher, B., Chun, T., & Barron, S. (2004). The Effects of Assessment-Driven Reform on the Teaching of Writing in Washington State. In L. Cheng, Y. Watanabe & A. Curtis (Eds.),Washback in Language Testing: Research Context and Methods (pp. 53-72). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Stoneman, B. (2005). An impact study of an exit English test for university graduates in Hong Kong: Investigating whether the status of a test affects students’ test preparation activities. Unpublished PhD thesis. Hong Kong Polytechnic University, Hong Kong.

Taylor, L. (2000). Stakeholders in Language Testing. Research Notes, 2, 2-4.

Tsagari, D. (2007a). ‘Myth, Metaphor and Reality of Washback in Greek ELT: Findings From an Empirical Research Study’. In Irvine-Niakaris, C. & A. Nebel (Eds.) ConferenceProceedings of the 2^nd Language Testing and Evaluation Forum, Teaching and Testing: Opportunities for Learning, (pp. 124-131). Hellenic American Union, Athens, Greece.

Tsagari, D. (2007b) ‘Investigating the Washback Effect of a High-Stakes EFL Exam in the Greek context: Participants’ Perceptions, Material Design and Classroom Applications’. Unpublished PhD thesis, Department of Linguistics and Modern English Language. Lancaster University. Lancaster, UK.

Tsagari, D. (2009). The Complexity of Test Washback: An Empirical Study. Language Testing and Evaluation Series, Grotjahn, R. &. G. Sigott (Eds.). Frankfurt: Peter Lang. Vol. 15.

Tsagari, D. (forthcoming) FCE-exam preparation discourses: insights from an ethnographic Study. To appear in Research Notes (special edition, May 2012).

Wall, D. (1999). The Impact of High-Stakes Examinations on Classroom Teaching: A Case Study Using Insights from Testing and Innovation Theory. Unpublished PhD thesis, Department of Linguistics and Modern English Language, Lancaster University, Lancaster, England.

Wall, D. (2005). The Impact of High-Stakes Examinations on Classroom Teaching: A Case Study Using Insights from Testing and Innovation Theory. Cambridge: CUP.

Wall, D., & Alderson, J. C. (1993). Examining Washback: The Sri Lankan Impact Study.Language Testing, 10(1), 41-69.

Wall, D., & Horak, T. (2006). The Impact of Changes in the TOEFL® Examination on Teaching and Learning in Central and Eastern Europe: Phase 1, the Baseline Study. TOEFL Monograph Series. Report Number: RR-06-18, TOEFL-MS-34. Princeton, NJ: Educational Testing Service. Available from:
http://www.etsliteracy.com/Media/Research/pdf/RR-06-18.pdf

Wall, D., & Horak, T. (2007). Using baseline studies in the investigation of test impact.Assessment in Education, 14 (1), 99–116

Wall, D. & T. Horak  (2008a). The Impact of Changes in  the TOEFL Examination on Teaching and Learning in Central and Eastern Europe: Phase 2, Coping With Change TOEFL iBT. Research Report , TOEFLiBT-05, RR-08-37. Available from: 
http://www1.ets.org/Media/Research/pdf/RR-08-37.pdf

Wall, D. & T. Horak  (2008b).  The Impact of Changes in the TOEFL Examinationon Teaching in a Sample of Countries in Europe:  Phase 3, The Role of the Coursebook Phase 4, Describing Change. Unpublished report. Lancaster University

Watanabe, Y. (1992). Washback Effects of College Entrance Examination on Language Learning Strategies. JACET, 175-194.

Watanabe, Y. (1996). Does Grammar-Translation Come from the Entrance Examination? Preliminary Findings from Classroom-Based Research. Language Testing, 13(3), 318-333.

Watanabe, Y. (1997). The Washback Effects of the Japanese University Entrance Examinations of English-Classroom-Based Research. Unpublished PhD thesis, Department of Linguistics and Modern English Language, Lancaster University, Lancaster, England.

Watanabe, Y. (2001). Does the University Entrance Examination Motivate Learners? A Case Study of Learner Interviews. In Akita Association of English Studies (Ed.), Trans-Equator Exchanges: A Collection of Academic Papers in Honour of Professor David Ingram (pp. 100-110).

Watanabe, Y. (2004). Methodology in Washback Studies. In L. Cheng, Y. Watanabe & A. Curtis (Eds.), Washback in Language Testing: Research Context and Methods (pp. 19-36). Mahwah, New Jersey: Lawrence Erlbaum Associates, Inc.

Wesdorp, H. (1982). Backwash Effects of Language-Testing in Primary and Secondary Education. Journal of Applied Language Study, 1(1), 40-55.

Zhao, L. (2003).  College English teaching evaluation system in China: Major problems and corresponding countermeasures, Indian Journal of Applied linguistics, 29, 85-98.

-----

[Επιστροφή στα προηγούμενα άρθρα]