Nutzertests mit Mobilgeräten: Methodik

Letzte Aktualisierung: 28. Februar 2015

Unsere Methodik für Nutzertests mit Mobilgeräten beschreibt, wie wir in praktischen Tests mit blinden und sehbehinderten Probanden die Zugänglichkeit und Nutzbarkeit von Smartphones und Tablets bewerten.

Die Brauchbarkeit eines Smartphones bzw. eines Tablets für Nutzer mit irgendeiner Art von Seheinschränkung (von altersabhängiger Weitsichtigkeit bis hin zu vollständiger Blindheit) hängt von einer Reihe von Aspekten ab. Während die technische Prüfung eine Reihe von wichtigen Kriterien objektiv messen kann (etwa Textgröße, Kontrast oder das Vorhandensein bestimmter Funktionen), geben Probanden-Tests mit blinden oder sehbehinderten Nutzern Aufschluss über die tatsächliche Brauchbarkeit eines Geräts bzw. einer App in einem realistischen Kontext.

In Nutzertests wird also sowohl der Grad der Barrierefreiheit als auch die Gebrauchstauglichkeit der jeweils genutzten Anwendung oder Systemumgebung bei der Durchführung bestimmter vordefinierter Aufgaben deutlich.

Aufgaben und Prüfinstrument

Bei unseren Nutzertests (Probandentests) definieren wir eine Reihe von praxisnahen Aufgaben in einem Prüfinstrument.

Die Aufgaben orientieren sich an berufsrelevanten Abläufen. Beispiele sind etwa:

  1. das Abrufen von Mails und das Beantworten oder Weiterleiten einer Mail
  2. das Vornehmen eines Kalendereintrags für ein neues Meeting mit Datum und Uhrzeit
  3. die Online-Suche nach einer Verkehrsverbindung, gefolgt von der Online-Buchung einer Fahrkarte
  4. das Erzeugen eines Textdokuments, das Erzeugen von Überschriften, das Kopieren und Einfügen von Text
  5. das Abspeichern von Dateien und Sichern von Dateien in Clouds

Im Prüfinstrument legen wir die gewählten Aufgaben in einzelnen Schritten fest und definieren bestimmte messbare Werte (etwa: gelingt der Aufruf einer bestimmten Funktion oder nicht). Zusätzlich gibt es für alle Schritte Kommentarfelder im Prüfinstument, in denen wir Besonderheiten eintragen. Dies können etwa Angaben zur Durchführung einer Aufgabe sein ("gelingt erst nach vielen Versuchen"), Missverständnisse, die uns auffallen oder vom Probanden artikuliert werden und möglicherweise auf Interface-Probleme deuten, oder Fragen der Probanden - also Punkte, an denen Testleiter konkrete Hinweise geben, die dann erst zum Gelingen der Aufgabe beitragen.

Wenn ein Proband dann die Aufgaben durchführt, achten wir darauf, an welchen Stellen Probleme auftreten und wodurch diese Probleme entstehen. Dies tun wir sowohl, indem wir Probanden bei der Durchführung der Aufgabe beobachten, als auch dadurch, dass wir sie bitten, uns die auftretenden Probleme zu beschreiben.

Abhängig von der Vertrautheit unserer Probanden mit dem Gerät, dem Betriebssystem und der jeweiligen Anwendung oder App kann der Durchführung der Aufgabe auch eine Lernphase vorangehen, in der wir Abläufe oder Interaktionsweisen erklären und Nutzer anschließend Zeit haben, sich mit dem Gerät (dem System, der App) vertraut zu machen.

Probanden

Unsere Probanden finden wir, indem wir über geplante Tests auf den Mailing-Listen der Blinden- und Sehbehindertenverbände berichten und Menschen, die in das Profil der von uns für bestimmte Tests gesuchten Probanden passen, bitten, sich bei Interesse zu melden.

Interessierte Probanden befragen wir dann nach ihrem beruflichen Hintergrund, ihren Kenntnissen hinsichtlich der Geräte und Hilfsmittel und nach der Art ihrer spezifischen Sehbehinderung. Auf diese Art haben wir eine Probanden-Kartei gebildet, deren Mitglieder wir bei geplanten Tests auch gezielt anfragen können.

Aus praktischen Gründen ist die Anzahl sehbehinderter und blinder Probanden, die bei bestimmten Tests die im Prüfinstrument definierten Aufgaben durchführen, meist eher klein. Auch eine Einheitlichkeit hinsichtlich der vorliegenden Sehbehinderung oder hinsichtlich bestehender Vorkenntnisse von Probanden ist nicht zu erreichen. Unterschiede bestehen meist in mehreren Dimensionen:

  • Hilfsmittel-Kenntnisse: Grad der Vertrautheit mit bestimmten Hilfsmitteln / Hilfsmittelversionen, Kenntnisstand hinsichtlich einer Experten-Nutzung, z.B. hinsichtlich verfügbarer Gesten oder spezieller Tastaturbefehle. Unterschiede gibt es auch im Wissen von Hilfsmittel-Alternativen (kennt die Probandin nur JAWS oder mehrere Screenreader)
  • Mobilgeräte-Kompetenz: Grad der Vertrautheit mit mobilen Geräten (Touch-Eingabe) und den dort integrierten Hilfsmitteln, Wissen über andere Geräte / Plattformen mit unterschiedlichen Bedienkonzepten
  • Aufgabenbezogene Kenntnisse: Vertrautheit mit den Sachgebieten, in denen die Aufgaben anfallen (etwa Nutzung von Social-Media-Apps, Navigations-Apps, Textverarbeitung, Spracheingabe, usw.)

Verlässlichkeit und Grenzen der Testergebnisse bei Nutzertests

Die Ergebnisse von Probandentests haben wegen der geringen Anzahl der Probanden und der meist vorliegenden großen Variabilität hinsichtlich der vorliegenden Hilfsmittel-Kenntnisse, der Mobilgeräte-Kompetenz und aufgabenbezogener Kenntnisse keine statistische Relevanz. Die Ergebnisse geben aber wichtige Anhaltspunkte für auftretende Probleme, sowohl im Bereich der Barrierefreiheit als auch hinsichtlich der Gebrauchstauglichkeit eines Geräts, einer Systemumgebung oder einer App - besonders, wenn diese Probleme in einer parallelen technischen Prüfung genauer untersucht und anhand von Messdaten objektiviert werden können.

Wir laden alle Nutzer ein, uns Rückmeldungen zu geben, damit wir die Testmethodik gegebenenfalls anpassen oder erweitern können, um die Zugänglichkeit in zukünftigen Tests besser zu erfassen.