Goethe-Institut Inhalt

Gemeinsamer europäischer Referenzrahmen für Sprachen:
Lernen, lehren, beurteilen
Anhang B   Die Beispielskalen und -deskriptoren

Dieser Anhang enthält eine Beschreibung des Schweizer Projekts, in dem die Beispieldeskriptoren für den Gemeinsamen europäischen Referenzrahmen entwickelt wurden. Außerdem werden die Kategorien, für die es Skalierungen gibt, in einer Liste aufgeführt mit Verweis auf die Seiten im Referenzrahmen, auf denen diese Skalen zu finden sind. Die Deskriptoren aus diesem Projekt wurden skaliert und dazu verwendet, mit Hilfe der am Ende des Anhangs A skizzierten Methode Nr. 12c (Rasch-Modell) die Niveaus des Referenzrahmens herzustellen.

Das Schweizer Forschungsprojekt
Die Deskriptoren im Referenzrahmen
 

DAS SCHWEIZER FORSCHUNGSPROJEKT

Entstehung und Kontext
Die Skalen mit Deskriptoren in den Kapiteln 3, 4 und 5 wurden auf der Basis der Ergebnisse eines Projekts des Schweizerischen Nationalfonds zur Förderung der wissenschaftlichen Forschung (SNF) erstellt, das zwischen 1993 und 1996 durchgeführt wurde. Es handelte sich um ein Folgeprojekt des Symposiums in Rüschlikon von 1991. Sein Ziel bestand darin, transparente Kompetenzbeschreibungen für verschiedene Aspekte des Beschreibungssystems des Referenzrahmens zu entwickeln, die auch zur Entwicklung eines Europäischen Sprachenportfolios beitragen könnten.

Eine erste Untersuchung aus dem Jahr 1994 konzentrierte sich auf Interaktion und Produktion und beschränkte sich auf Englisch als Fremdsprache und auf die Beurteilung durch Lehrende. Eine zweite Untersuchung aus dem Jahr 1995 war eine Wiederholung von Teilen der Untersuchung von 1994, wobei der Bereich der Rezeption hinzugefügt und neben Englisch auch die Kompetenz in Französisch und Deutsch mit erhoben wurde. Ebenso kamen zur Beurteilung durch Lehrende ergänzend noch Selbstbeurteilung und Informationen aus Prüfungen (Cambridge; Goethe-Institut; DELF/DALF) hinzu.

Insgesamt waren an den beiden Untersuchungen fast 300 Lehrende und etwa 2.800 Lernende beteiligt, die ungefähr 500 Klassen repräsentierten. Die Lernenden waren wie folgt auf die Sekundarstufen I und II, die Berufsbildung und die Erwachsenenbildung verteilt:

  Sekundarstufe I Sekundarstufe II Berufsbildung Erwachsenenbildung
1994 35% 19% 15% 31%
1995 24% 31% 17% 28%

Es waren Lehrende aus den deutsch-, französisch-, italienisch- und romanisch-sprachigen Regionen der Schweiz involviert, wobei allerdings die Zahlen aus den italienisch- und romanisch-sprachigen Regionen sehr begrenzt waren. In beiden Untersuchungsjahren unterrichteten ungefähr ein Viertel der beteiligten Lehrenden ihre Muttersprache. Die Lehrenden füllten die Fragebögen jeweils in der Zielsprache aus. Daher wurden 1994 nur Deskriptoren auf Englisch benutzt, 1995 dagegen wurden Deskriptoren auf Englisch, Französisch und Deutsch fertiggestellt.

Methoden
Im Projekt wurden, kurz gesagt, folgende Methoden verwendet:

Intuitive Phase:

  1. Detaillierte Analyse von öffentlich zugänglichen Sprachkompetenzskalen und solchen, die 1993 durch Kontakte des Europarats erhältlich waren; eine Liste folgt am Ende dieser Zusammenfassung.

  2. Auflösung der Skalen in Einzelaussagen in Entsprechung zu den Kategorien, die in den Kapiteln 4 und 5 umrissen sind, mit dem Ziel, einen Ausgangsfundus klassifizierter und bearbeiteter Deskriptoren zu erhalten.

Qualitative Phase:

  1. Analyse von Tonbandaufnahmen im Hinblick auf die Kategorien, welche Lehrende beim Diskutieren und Vergleichen der in Videoaufzeichnungen erkennbaren Sprachkompetenzen von Lernenden verwendet haben, mit dem Ziel zu überprüfen, ob die Metasprache, wie sie Praktiker benutzen, angemessen vertreten war.

  2. 32 Workshops, in denen Lehrende die (a) Deskriptoren in diejenigen Kategorien sortierten, die diese beschreiben wollten, (b) qualitative Urteile abgaben über die Klarheit, Genauigkeit und Relevanz der Beschreibung, (c) die Deskriptoren nach Kompetenzniveau sortierten.

Quantitative Phase:

  1. Beurteilung von repräsentativen Lernenden am Ende eines Schuljahres durch Lehrende, wobei eine Serie von einander überlappenden Fragebögen benutzt wurde, die aus den Deskriptoren erstellt worden waren, welche die Lehrenden in den Workshops als die klarsten, die am genauesten fokussierten und die relevantesten bezeichnet hatten. Im ersten Jahr wurde ein Set von 7 Fragebögen mit je 50 Deskriptoren benutzt, um so die ganze Bandbreite der Kompetenz von Lernenden nach 80 Stunden Englischunterricht bis hin zu fortgeschrittenen Sprechern abzudecken.

  2. Im zweiten Jahr wurde ein anderes Set von 5 Fragebögen benutzt. Die beiden Untersuchungen wurden dadurch verbunden, dass die Deskriptoren für die mündliche Interaktion im zweiten Jahr wieder verwendet wurden. Die Lernenden wurden in Bezug auf jeden Deskriptor mit einer Skala von 0 bis 4 beurteilt, in der beschreiben war, unter welchen Performanzbedingungen man die im Deskriptor beschriebene Leistung von ihnen erwarten konnte. Die Art und Weise, wie die Lehrenden die Deskriptoren interpretierten, wurde mit Hilfe des Rasch-Modells für Beurteilungsskalen analysiert. Diese Analyse hatte zwei Ziele:

    (a) mathematisch einen "Schwierigkeitswert" für jeden einzelnen Deskriptor zu skalieren.

    (b) statistisch signifikante Variation bei der Interpretation des Deskriptors in Bezug auf unterschiedliche Sektoren des Erziehungswesens, unterschiedliche Sprachregionen und Zielsprachen zu identifizieren; dadurch sollten diejenigen Deskriptoren identifiziert werden, die über unterschiedliche Kontexte hinweg eine hohe Stabilität der Werte aufweisen und daher zur Konstruktion der holistischen Skalen verwendet werden konnten, welche die Gemeinsamen Referenzniveaus zusammenfassen.

  3. Beurteilung der auf Video aufgezeichneten Leistungen einiger Lernender aus der Untersuchung durch alle teilnehmenden Lehrenden. Ziel dieser Beurteilung war es, die Unterschiede in der Strenge der beteiligten Lehrenden zu quantifizieren, um eine solche Variation in der Beurteilungsstrenge bei der Ermittlung der Bandbreite von Leistungen im Erziehungssektor der Schweiz berücksichtigen zu können.

Interpretationsphase:

  1. Identifikation der Niveaugrenzen auf der Skala, um das System der Gemeinsamen Referenzniveaus herzustellen, das in Kapitel 3 vorgestellt wird. Die Zusammenfassung dieser Niveaus in einer holistischen Skala (Tabelle 1), ein Raster für die Selbstbeurteilung mit Beschreibungen von Sprachaktivitäten (Tabelle 2) und ein Raster zur Beurteilung von Leistungen, welches verschiedene Aspekte kommunikativer Sprachkompetenz beschreibt (Tabelle 3).

  2. Präsentation von Beispielskalen in den Kapiteln 4 und 5 für diejenigen Kategorien, die sich als skalierbar erwiesen.

  3. Anpassung der Deskriptoren an das Format für Selbstbeurteilung, um die Schweizer Erprobungsversion des Europäischen Sprachenportfolios zu erstellen. Es enthält: (a) ein Raster zur Selbstbeurteilung für Hörverstehen, Sprechen, mündliche Interaktion mündliche Produktion sowie Schreiben (Tabelle 2); (b) eine Checkliste zur Selbstbeurteilung für jedes der Gemeinsamen Referenzniveaus.

  4. Eine Abschlusskonferenz, auf der die Ergebnisse präsentiert, Erfahrungen mit dem Portfolio diskutiert und die Lehrenden in die Gemeinsamen Referenzniveaus eingeführt wurden.

Ergebnisse
Die Skalierung von Deskriptoren für verschiedene Fertigkeiten und für verschiedene Kompetenzarten (linguistische, pragmatische, soziokulturelle) wird erschwert durch die Frage, ob sich die Beurteilung dieser unterschiedlichen Merkmale in einer einzigen Messdimension erfassen lässt. Dies ist kein Problem, das durch das Rasch-Modell verursacht wird oder das ausschließlich mit ihm verbunden ist; es betrifft vielmehr alle statistischen Analysen. Jedoch ist das Rasch-Modell weniger "nachsichtig", wenn ein Problem auftritt. Testdaten, Beurteilungen durch Lehrende und Selbstbeurteilung können sich in dieser Hinsicht ganz unterschiedlich verhalten. In diesem Projekt waren bestimmte Kategorien bei der Beurteilung durch Lehrende weniger erfolgreich und mussten aus der Analyse entfernt werden, um die Genauigkeit der Ergebnisse sicherzustellen. Zu den Kategorien, die aus dem ursprünglichen Fundus von Deskriptoren verloren gingen, gehören:

  1. Soziokulturelle Kompetenz
    Deskriptoren, die ausdrücklich soziokulturelle und soziolinguistische Kompetenz beschreiben. Es ist unklar, inwieweit dieses Problem dadurch verursacht wurde, (a) dass dies ein von der Sprachkompetenz getrenntes Konstrukt ist; (b) dass die in den Workshops als problematisch identifizierten Deskriptoren ziemlich vage waren, oder (c) dass Lehrende inkonsistent reagierten, weil ihnen die nötige Kenntnis ihrer Lernenden fehlte. Dieses Problem erstreckte sich auch auf Deskriptoren der Fähigkeit, fiktionale Texte zu lesen und zu verstehen.

  2. Berufsbezogen
    Deskriptoren, bei denen Lehrende aufgefordert wurden, Vermutungen über Aktivitäten anzustellen (im Allgemeinen berufsbezogene), die sie nicht direkt im Klassenraum beobachten konnten, z.B.: Telefonieren, an Besprechungen teilnehmen, einen Vortrag halten, Berichte und Aufsätze schreiben, formelle Korrespondenz. Dies war der Fall, obgleich die Bereiche Erwachsenenbildung und Berufsbildung gut vertreten waren.

  3. Negative Konzepte
    Deskriptoren in Zusammenhang mit der Notwendigkeit von Vereinfachungen bzw. der Notwendigkeit von Wiederholung oder Klärung, was beides implizit negative Konzepte sind. Solche Aspekte funktionierten besser, wenn sie sich als Einschränkungen bei ansonsten positiv formulierten Aussagen finden, zum Beispiel:

    Kann im Allgemeinen verstehen, wenn mit ihm/ihr in deutlich artikulierter Standardsprache über vertraute Dinge gesprochen wird, vorausgesetzt, er/sie kann ab und zu darum bitten, etwas zu wiederholen oder anders zu formulieren.

Lesen erwies sich bei diesen Lehrenden als eine eigene Messdimension, getrennt von mündlicher Interaktion und Produktion. Das Design für die Datenerhebung ermöglichte es jedoch, Lesen zunächst getrennt zu skalieren und später die Leseskala auf die Hauptskala zu beziehen. Schreiben stand nicht im Mittelpunkt der Untersuchung. Die Deskriptoren für das Schreiben, die sich in Kapitel 4 finden, wurden vor allem aus denen für die mündliche Produktion entwickelt. Die relativ hohe Stabilität der Skalenwerte für die Deskriptoren von Lesen und Schreiben aus dem Referenzrahmen, wie sie sowohl von DIALANG als auch von ALTE bestätigt wird (vgl. Anhänge C bzw. D), legt jedoch nahe, dass , die für Lesen und Schreiben gewählt wurden, hinreichend effektiv waren.

Die Komplikationen bei den oben diskutierten Kategorien stehen alle in Zusammenhang mit dem Skalierungsproblem der Ein- oder Mehrdimensionalität. Mehrdimensionalität zeigt sich auch auf eine weitere Weise in Bezug auf die Population der Lernenden, deren Kompetenz beschrieben wird. Es gab eine Anzahl von Fällen, in denen die Schwierigkeit eines Deskriptors vom betreffenden Sektor des Erziehungswesens abhing. So nehmen Lehrende von erwachsenen Anfängern an, dass Aufgaben aus dem "wirklichen Leben" für sie beträchtlich einfacher sind als für Vierzehnjährige. Das scheint intuitiv vernünftig. Solche Variation kennt man als "Differential Item Funktion (DIF)". Soweit möglich wurden Deskriptoren, bei denen man DIF beobachten konnte, bei der Erstellung der Zusammenfassungen der Gemeinsamen Referenzniveaus - wie in den Tabellen 1 und 2 in Kapitel 3- vermieden. Es gab wenige signifikante Effekte in Bezug auf die Zielsprachen und keine in Bezug auf die Ausgangssprache, außer dass muttersprachliche Lehrende den Begriff "Verstehen" bei fortgeschrittenen Lernenden vielleicht etwas strikter interpretierten, vor allem in Bezug auf Literatur.

Auswertung
Die Beispieldeskriptoren in den Kapiteln 4 und 5 wurden entweder (a) auf dem Niveau platziert, auf dem der ursprüngliche Deskriptor in der Untersuchung empirisch kalibriert worden war, oder (b) geschrieben, indem Elemente von Deskriptoren, die auf diesem Niveau kalibriert worden waren, kombiniert wurden (wie bei einigen Kategorien wie Öffentliche Durchsagen, die in der ursprünglichen Erhebung nicht erfasst waren) oder (c) auf der Basis der Ergebnisse der qualitativen Phase (Workshops) ausgewählt, oder (d) während der Interpretationsphase verfasst, um in einer empirisch kalibrierten Teilskala eine Lücke zu füllen. Dieser letzte Punkt betrifft fast ausschließlich das Niveau C2 (Mastery), für das in der Untersuchung sehr wenige Deskriptoren mit einbezogen worden waren.

Folgeuntersuchung
Ein Projekt der Universität Basel aus den Jahren 1999 - 2000 adaptierte die Deskriptoren des Referenzrahmens für ein Instrument zur Selbstbeurteilung bei Studienbeginn. Es wurden Deskriptoren für soziolinguistische Kompetenz und solche für das Notizen machen in Universitätssituationen hinzugefügt. Die neuen Deskriptoren wurden in Bezug auf die Niveaus im Referenzrahmen skaliert, und zwar mit Hilfe der gleichen Methode, die im ursprünglichen Projekt verwendet worden war; sie sind in diese Ausgabe des Referenzrahmens aufgenommen. Die Korrelation zwischen den Skalenwerten der Originaldeskriptoren im Referenzrahmen und derjenigen in dieser Folgeuntersuchung betrug 0.899.

Literaturhinweise
North, B. 1996/2000: The development of a common framework scale of language proficiency. PhD thesis, Thames Valley University. Reprinted 2000, New York, Peter Lang.

North, B. (erscheint demnächst): Developing descriptor scales of language proficiency for the CEF Common Reference Levels. In J.C. Alderson (ed.) Case studies of the use of the Common European Framework. Council of Europe.

North, B. (erscheint demnächst): A CEF-based self-assessment tool for university entrance. In J.C. Alderson (ed.) Case studies of the use of the Common European Framework. Council of Europe.

North, B. / Schneider, G. 1998: Scaling descriptors for language proficiency scales. Language Testing 15/2: 217-262.

Schneider, G. / North, B. 1999: "In anderen Sprachen kann ich" .Skalen zur Beschreibung, Beurteilung und Selbsteinschätzung der fremdsprachlichen Kommunikationsfähigkeit. Bern/Aarau, NFP 33 / SKBF (Umsetzungsbericht). .

Liste  

DIE DESKRIPTOREN IM REFERENZRAHMEN

Zusätzlich zu den Tabellen, in denen in Kapitel 3 die Gemeinsamen Referenzniveaus zusammengefasst sind, sind Beispieldeskriptoren wie folgt in die Kapitel 4 und 5 eingefügt:
Dokument B1
Beispielskalen in Kapitel 4: Kommunikative Aktivitäten
R
e
z
e
p
t
i
o
n
Mündlich
(Hörverstehen allgemein)
Gespräche zwischen Muttersprachlern verstehen
Als Zuschauer / Zuhörer im Publikum verstehen
Ankündigungen, Durchsagen und Anweisungen verstehen
Radiosendungen und Tonaufnahmen verstehen
Audiovisuell Fernsehsendungen und Filme verstehen
Schriftlich
(Leseverstehen allgemein)
Korrespondenz lesen und verstehen
Zur Orientierung lesen
Information und Argumentation verstehen
Schriftliche Anweisungen verstehen
I
n
t
e
r
a
k
t
i
o
n
Mündlich
(Mündliche Interaktion allgemein)
Muttersprachliche Gesprächspartner verstehen
Konversation
Informelle Diskussion
Formelle Diskussion und Besprechungen
Zielorientierte Kooperation
Transaktionen: Dienstleistungsgespräche
Informationsaustausch
Interviewgespräche
Schriftlich
(Schriftliche Interaktion allgemein)
Korrespondenz
Notizen, Mitteilungen und Formulare
I
n
t
e
r
a
k
t
i
o
n
Mündlich
(Mündliche Produktion allgemein)
Zusammenhängendes monologisches Sprechen: Erfahrungen beschreiben
Zusammenhängendes monologisches Sprechen: Argumentieren (z.B. in einer Diskussion)
Öffentliche Ankündigungen / Durchsagen machen
Vor Publikum sprechen
Schriftlich
(Schriftliche Produktion allgemein)
Kreatives Schreiben
Berichte und Aufsätze schreiben
Dokument B2
Beispielskalen in Kapitel 4: Kommunikative Strategien
Rezeption Hinweise identifizieren und erschließen
Interaktion Sprecherwechsel
Kooperieren
Um Klärung bitten
Produktion Planen
Kompensieren
Kontrolle und Reparaturen
Dokument B3
Beispielskalen in Kapitel 4:Textarbeit
Text Notizen machen (in Vorträgen, Seminaren etc.)
Texte verarbeiten
Dokument B4
Beispielskalen in Kapitel 5: Kommunikative Sprachkompetenz

Linguistisch Spektrum Spektrum sprachlicher Mittel (allgemein)
Wortschatzspektrum
Beherrschung Grammatische Korrektheit
Wortschatzbeherrschung
Beherrschung der Aussprache und Intonation
Beherrschung der Orthographie
Soziolinguistisch Soziolinguistische Angemessenheit
Pragmatisch Flexibilität
Sprecherwechsel
Themenentwicklung
Kohärenz und Kohäsion
Genauigkeit
Flüssigkeit (mündlich)

Dokument B5
Kohärenz bei der Kalibrierung von Deskriptoren

Der Ort, an dem bestimmte Inhalte auf einer Skala erscheinen, ist in hohem Grad kohärent. Als ein Beispiel kann man Themen nehmen. Es wurden keine eigenen Deskriptoren für Themen mit einbezogen, aber die Deskriptoren für verschiedene Kategorien beziehen sich auf Themen. Die drei wichtigsten Kategorien waren Erfahrungen beschreiben, Informationsaustausch und Spektrum sprachlicher Mittel.

Anhand der folgenden Tabelle kann man vergleichen, wie Themen in diesen drei Bereichen behandelt wurden. Obgleich der Inhalt der drei Tabellen nicht identisch ist, zeigt der Vergleich einen beträchtlichen Grad an Kohärenz, der sich im gesamten System der kalibrierten Deskriptoren wiederfindet. Eine Analyse dieser Art diente als Basis für die Konstruktion von Deskriptoren für Kategorien, die nicht in der ursprünglichen Datenerhebung erfasst waren (z.B. Öffentliche Durchsagen), und die durch eine Kombination von Elementen anderer Deskriptoren erfolgte.

Erfahrungen beschreiben
C2  
C1 - klare und detaillierte Darstellung komplexer Sachverhalte
B2  
 
B1 - wichtigste Details unvorhersagbarer Ereignisse, z.B. Unfall
- Handlung eines Buchs oder Films,
- Erfahrungen,
- Reaktionen auf beides,
- Träume, Hoffnungen, Wünsche,
- eine Geschichte erzählen
A2 - Gegenstände, Haustiere, Besitz
- Ereignisse und Aktivitäten
- Vorlieben/ Abneigungen
- Pläne und Vereinbarungen
- Gewohnheiten und Alltagsbeschäftigungen
- persönliche Erfahrung
- Personen, Aussehen
- Ausbildung, Beruf
- Orte und Lebensverhältnisse
A1 - wo man wohnt

Informationsaustausch
C2  
C1  
B2  
 
B1 - größere Mengen von Sachinformationen über vertraute Dinge im eigenen Sachgebiet
- detaillierte Wegbeschreibung
A2 - einfache Wegerklärungen und Anweisungen
- Freizeitbeschäftigungen, Gewohnheiten, Alltagsbeschäftigungen
- vergangene Aktivitäten
- einfach, routinemäßig, direkt
- begrenzt, Arbeit und Freizeit
A1 - wir und andere
- Zuhause
- Zeit

Spektrum: Situationen
C2  
C1  
B2  
 
B1  
- die meisten Themen, die zum Alltagsleben gehören: Familie, Hobbys und Interessen, Arbeit, Reisen, aktuelle Ereignisse
A2 -routinemäßige Alltagstransaktionen
- vertraute Situationen und Themen
- Alltagssituationen mit voraussagbaren Inhalten
- elementare Alltagsbedürfnisse
- einfache / vorhersagbare Grundsituationen
- einfache konkrete Bedürfnisse: Informationen zur Person, Alltagsroutinen, Bitte um Auskunft
A1  

Dokument B4
Sprachkompetenzskalen, die als Quellen benutzt wurden

Holistische Skalen der Mündlichen Kompetenz allgemein

  • Hofmann: Levels of Competence in Oral Communication 1974.
  • University of London School Examination Board: Certificate of Attainment - Graded Tests 1987.
  • Ontario ESL Oral Interaction Assessment Bands 1990.
  • Finnish Nine Level Scale of Language Proficiency 1993.
  • European Certificate of Attainment in Modern Languages 1993.
Skalen für verschiedene kommunikative Aktivitäten
  • Trim: Possible Scale for a Unit/Credit Scheme: Social Skills 1978.
  • North: European Language Portfolio Mock-up: Interaction Scales 1991.
  • Eurocentres/ELTDU Scale of Business English 1991.
  • Association of Language Testers in Europe, Bulletin 3, 1994.
Skalen für die vier Fertigkeiten
  • Foreign Service Institute Absolute Proficiency Ratings 1975.
  • Wilkins: Proposals for Level Definitions for a Unit/Credit Scheme: Speaking 1978.
  • Australian Second Language Proficiency Ratings 1982.
  • American Council on the Teaching of Foreign Languages Proficiency Guidelines 1986.
  • Elviri et al: Oral Expression 1986 (in Van Ek 1986).
  • Interagency Language Roundtable Language Skill Level Descriptors 1991.
  • English Speaking Union (ESU) Framework Project: 1989.
  • Australian Migrant Education Program Scale (Listening only).
Bewertungsskalen für mündliche Prüfungen
  • Dade County ESL Functional Levels 1978.
  • Hebrew Oral Proficiency Rating Grid 1981.
  • Carroll B.J. and Hall P.J Interview Scale 1985.
  • Carroll B.J. Oral Interaction Assessment Scale 1980.
  • International English Testing System (IELTS): Band Descriptors for the Speaking & Writing 1990.
  • Goteborgs Univeritet: Oral Assessment Criteria.
  • Fulcher :The Fluency Rating Scale 1993.
Rahmenpläne für curriculare Inhalte und Beurteilungskriterien für pädagogische Lernerfolgsstufen bzw. Abschlussprüfungen
  • University of Cambridge/Royal Society of Arts Certificates in Communicative Skills in English 1990.
  • Royal Society of Arts Modern Languages Examinations: French 1989.
  • English National Curriculum: Modern Languages 1991.
  • Netherlands New Examinations Programme 1992.
  • Eurocentres Scale of Language Proficiency 1993.
  • British Languages Lead Body: National Language Standards 1993.

Liste


 


 
Goethe-Institut Inhalt