Die WCAG-EM 2.0 (Website / Digital Product Accessibility Conformance Evaluation Methodology) ist das offizielle Verfahren der WAI zur systematischen und vergleichbaren Prüfung der Barrierefreiheit digitaler Angebote, darunter Websites, Apps und andere digitale Produkte, gemäß den Web Content Accessibility Guidelines (WCAG). Die EM ist eine Struktur dafür, wie eine Prüfung durchgeführt werden sollte, also kein Prüfverfahren an sich. Anders als die WCAG ist sie informativ, hat also einen anderen Stellenwert als die normative WCAG.
Schritt 1: Evaluierungsumfang festlegen
Im ersten Schritt der WCAG-EM 2.0 wird der Evaluierungsumfang des digitalen Produkts festgelegt. Ziel ist es, eindeutig zu bestimmen, welche Bereiche des digitalen Angebots geprüft werden und unter welchen Rahmenbedingungen die Evaluation stattfindet.
1.1 Scope des digitalen Produkts definieren
Zunächst wird der zu prüfende Bereich des digitalen Produkts exakt abgegrenzt. Dabei werden beispielsweise relevante Subdomains, Pfade, Apps oder Systemgrenzen festgelegt. Dadurch wird eindeutig bestimmt, welche Bestandteile des digitalen Angebots Gegenstand der Barrierefreiheitsprüfung sind.
1.2 Ziel-Konformitätsstufe festlegen
Anschließend wird das Konformitätsziel definiert. Dazu gehört die Auswahl der zugrunde liegenden WCAG-Version, beispielsweise WCAG 2.1 oder WCAG 2.2, sowie die Festlegung der angestrebten Konformitätsstufe A, AA oder AAA. Die gewählte Konformitätsstufe bestimmt, anhand welcher Anforderungen das digitale Produkt bewertet wird.
1.3 Baseline für Accessibility Support festlegen
Darüber hinaus wird eine Baseline für die Unterstützung der Barrierefreiheit festgelegt. Hierbei wird definiert, welche Kombinationen aus Webbrowsern, Betriebssystemen und assistiven Technologien bei der Evaluation berücksichtigt werden. Zu den assistiven Technologien können beispielsweise Screenreader gehören. Die Baseline schafft damit eine verbindliche Grundlage dafür, in welchen technischen Umgebungen die Barrierefreiheit des digitalen Produkts bewertet wird.
1.4 Zusätzliche Evaluierungsanforderungen definieren
Optional können im Rahmen des Evaluierungsumfangs zusätzliche Anforderungen festgelegt werden. Dazu können beispielsweise ergänzende Nutzertests mit Menschen mit Behinderungen gehören. Solche zusätzlichen Untersuchungen können die technische Prüfung nach WCAG sinnvoll ergänzen und weitere Erkenntnisse über die tatsächliche Nutzbarkeit des digitalen Produkts liefern.
Schritt 2: Das Produkt erkunden
Im zweiten Schritt der WCAG-EM 2.0 wird das digitale Produkt systematisch erkundet. Ziel ist es, einen umfassenden Überblick über die unterschiedlichen Ansichten, Funktionen, Inhaltstypen und eingesetzten Technologien zu erhalten. Diese Bestandsaufnahme bildet die Grundlage für die spätere Auswahl einer repräsentativen Stichprobe.
2.1 Allgemeine Ansichten identifizieren
Zunächst werden die im digitalen Produkt vorhandenen typischen Inhalts- und Layouttypen ermittelt. Dazu können beispielsweise Startseiten, Artikelseiten, Kontaktseiten oder Dashboards gehören. Entscheidend ist, die unterschiedlichen Ansichten und wiederkehrenden Seitentypen zu erfassen, damit diese bei der späteren Evaluation angemessen berücksichtigt werden.
2.2 Essenzielle Funktionalitäten identifizieren
Anschließend werden die essentiellen Funktionalitäten des digitalen Produkts erfasst. Dabei stehen insbesondere die zentralen Aufgaben und Interaktionspunkte der Nutzerinnen und Nutzer im Mittelpunkt. Beispiele hierfür sind der Login, die Suchfunktion, ein Warenkorb mit anschließendem Checkout oder die Eingabe und Übermittlung von Formularen.
2.3 Vielfalt der Stichprobentypen erfassen
Darüber hinaus wird die Vielfalt der enthaltenen Inhaltselemente betrachtet. Dabei sollten unterschiedliche Stichprobentypen erfasst werden, beispielsweise Tabellen, dynamische Widgets, Audio- und Videoinhalte oder PDF-Dokumente. Auf diese Weise wird sichergestellt, dass nicht nur einfache Seiten, sondern auch unterschiedliche und potenziell komplexe Inhaltsformen in die Evaluation einbezogen werden.
2.4 Genutzte Technologien identifizieren
Ein weiterer Bestandteil der Produkterkundung ist die Ermittlung der eingesetzten Technologien, auf die das digitale Angebot angewiesen ist. Dazu können unter anderem HTML, CSS, WAI-ARIA, SVG, JavaScript und PDF gehören. Die Kenntnis der verwendeten Technologien hilft dabei, die relevanten Barrierefreiheitsanforderungen gezielt zu berücksichtigen.
2.5 Weitere relevante Stichproben erfassen
Zusätzlich werden weitere relevante Ansichten und Inhalte identifiziert, die für die Barrierefreiheitsbewertung von Bedeutung sein können. Hierzu zählen beispielsweise eine Barrierefreiheitserklärung, Hilfeseiten oder rechtliche Hinweise. Auch solche besonderen Seiten sollten bei der Zusammenstellung der späteren Stichprobe berücksichtigt werden.
Schritt 3: Repräsentative Stichprobe auswählen
Auf Grundlage der in Schritt 2 gewonnenen Erkenntnisse wird im dritten Schritt eine repräsentative Stichprobe für die eigentliche Evaluation zusammengestellt. Die Stichprobe soll das digitale Produkt möglichst umfassend abbilden und gleichzeitig eine effiziente und nachvollziehbare Prüfung ermöglichen.
3.1 Strukturiertes Sample zusammenstellen
Zunächst wird ein strukturiertes Sample zusammengestellt. Dafür werden gezielt Ansichten ausgewählt, die die zuvor identifizierten Seitentypen, Funktionen, Komponenten, Inhaltselemente und Technologien abdecken. Dadurch soll sichergestellt werden, dass die wesentlichen Charakteristika des digitalen Produkts in der Evaluation vertreten sind.
3.2 Zufallsstichprobe hinzufügen
Ergänzend wird eine zufällig ausgewählte Stichprobe hinzugefügt. Diese umfasst etwa 10 % des gesamten Samples und dient dazu, auch solche Bereiche zu untersuchen, die bei einer ausschließlich strukturierten Auswahl möglicherweise unberücksichtigt bleiben würden. Die Zufallsauswahl kann dazu beitragen, unerwartete oder bislang nicht erkannte Barrierefreiheitsmängel aufzudecken.
3.3 Vollständige Prozesse einschließen
Besondere Aufmerksamkeit gilt vollständigen, mehrschrittigen Prozessen. Interaktionsketten wie eine Registrierung, ein Anmeldevorgang oder ein Kaufprozess sollten von ihrem Anfang bis zu ihrem Abschluss vollständig in der Stichprobe enthalten sein. Dadurch kann überprüft werden, ob die Barrierefreiheit nicht nur einzelner Ansichten, sondern des gesamten Nutzungsvorgangs gewährleistet ist.
Schritt 4: Ausgewählte Stichprobe evaluieren
Im vierten Schritt wird die zuvor festgelegte repräsentative Stichprobe systematisch auf ihre Barrierefreiheit geprüft. Die Evaluation erfolgt anhand der WCAG-Erfolgskriterien der zuvor festgelegten Konformitätsstufe. Dabei werden neben den eigentlichen Anforderungen auch alternative konforme Versionen, die Unterstützung durch assistive Technologien sowie mögliche störende oder ausschließende Inhalte berücksichtigt.
4.1 Alle Erststichproben prüfen
Alle ausgewählten Stichproben werden anhand aller relevanten WCAG-Erfolgskriterien der festgelegten Konformitätsstufe geprüft. Dabei wird zunächst festgestellt, ob die jeweiligen Inhalte und Funktionen die Anforderungen erfüllen. Zusätzlich wird geprüft, ob gegebenenfalls konforme Alternativversionen vorhanden sind und ob diese die Anforderungen an die Barrierefreiheit erfüllen.
Ein weiterer wichtiger Bestandteil ist die Prüfung der Unterstützung durch assistive Technologien. Es wird untersucht, ob die Inhalte und Funktionen mit den zuvor festgelegten Kombinationen aus Browsern, Betriebssystemen und assistiven Technologien tatsächlich nutzbar sind. Darüber hinaus wird die sogenannte Störungsfreiheit (Non-Interference) berücksichtigt. Dabei wird beispielsweise geprüft, ob Inhalte gesundheitliche Risiken verursachen können oder ob Funktionen zu einer Tastaturfalle führen, aus der Nutzerinnen und Nutzer nicht selbstständig herausgelangen können.
4.2 Vollständige Prozesse durchgehend testen
Alle zuvor identifizierten vollständigen Prozesse werden durchgehend getestet. Dabei wird überprüft, ob ein Prozess von Anfang bis Ende ohne Barrieren durchgeführt werden kann. Bei einem mehrstufigen Vorgang reicht es daher nicht aus, nur einzelne Schritte zu betrachten. Vielmehr muss sichergestellt werden, dass beispielsweise eine Registrierung, ein Formularprozess oder ein Kaufvorgang in seiner Gesamtheit barrierefrei nutzbar ist.
4.3 Strukturiertes und Zufalls-Sample vergleichen
Im Anschluss werden die Ergebnisse des strukturierten Samples mit den Ergebnissen der Zufallsstichprobe verglichen. Dieser Abgleich dient dazu, festzustellen, ob die strukturierte Stichprobe das digitale Produkt ausreichend repräsentiert. Werden in der Zufallsstichprobe zusätzliche oder bislang nicht erkannte Barrieren festgestellt, kann dies darauf hinweisen, dass eine Erweiterung der Stichprobe oder weitere Untersuchungen erforderlich sind.
Schritt 5: Evaluierungsergebnisse berichten
Im fünften und letzten Schritt werden die Ergebnisse der Evaluation systematisch dokumentiert und berichtet. Ziel ist es, die durchgeführte Prüfung nachvollziehbar darzustellen und die festgestellten Barrieren eindeutig den jeweiligen WCAG-Anforderungen zuzuordnen.
5.1 Ergebnisse aller Schritte dokumentieren
Zunächst werden die Ergebnisse aus allen vorherigen Schritten dokumentiert. Dazu gehören insbesondere der festgelegte Evaluierungsumfang, die ausgewählte Stichprobe und die verwendeten Testumgebungen. Darüber hinaus werden die konkret festgestellten Barrieren den jeweils betroffenen WCAG-Erfolgskriterien zugeordnet. Dadurch entsteht eine nachvollziehbare Grundlage für die Bewertung und spätere Behebung von Barrierefreiheitsproblemen.
5.2 Details der Evaluierung festhalten
Optional können weitere Details zur Durchführung der Evaluation dokumentiert werden. Dazu gehören beispielsweise die eingesetzten Testwerkzeuge, Angaben zu den beteiligten Testerinnen und Testern sowie konkrete Testszenarien. Eine möglichst detaillierte Dokumentation erleichtert die Nachvollziehbarkeit und Wiederholbarkeit der Untersuchung.
5.3 Konformitätserklärung erstellen
Optional kann eine formale Evaluierungsaussage zur Konformität erstellt werden. Darin wird zusammenfassend dargestellt, in welchem Umfang das digitale Produkt die festgelegten Anforderungen erfüllt. Je nach Ergebnis kann beispielsweise zwischen konform, teilweise konform oder nicht konform unterschieden werden.
5.4 Aggregierten Score bereitstellen
Ebenfalls optional kann ein aggregierter Score bereitgestellt werden. Hierfür wird eine Kennzahl oder ein Prozentsatz berechnet, der den Grad der festgestellten Barrierefreiheit zusammenfassend darstellen soll. Ein solcher Wert kann zur übergeordneten Orientierung dienen, ersetzt jedoch nicht die detaillierte Dokumentation der einzelnen WCAG-Erfolgskriterien und festgestellten Barrieren.
5.5 Maschinenlesbare Berichte bereitstellen
Schließlich besteht die Möglichkeit, die Evaluationsergebnisse in einem maschinenlesbaren Format bereitzustellen. Dadurch können die Ergebnisse automatisiert weiterverarbeitet, ausgewertet oder in andere Systeme übernommen werden. Als mögliche Formate kommen beispielsweise EARL oder JSON-LD infrage.