Usability in Augmented Reality

Francisco Hernandez

Die Augmented Reality (AR) oder zu Deutsch erweiterte Realität ist ein unterstützendes technisches Assistenzsystem. Dieses ermöglicht eine Echtzeitinteraktion durch die Kombination von realer Umgebung mit virtuellen Objekten bzw. CAD-Dateien (Computer-Aided-Design).

Im Gegensatz zur Virtuellen Realität (VR) isoliert AR den Anwender nicht von dessen Umgebung, sondern blendet die gewünschte Information ein.

Die Erstellung einer AR-Anwendung ist im Vergleich zur Virtuellen Realität deutlich simpler, da keine vollständigen Szenen oder Umgebungen gestaltet werden müssen. Nur die Objekte oder Informationen, die aus der realen Welt eingeblendet werden sollen, müssen dargestellt werden. AR lässt die Überlagerung von digitalen Objekten mit der realen Welt für die Wahrnehmung von relevanten Informationen zu. Zu den AR-Systemen zählen bspw. Smartglasses bzw. Head-Mounted-Displays (HMDs), Smartphones, Smartwatches, Tablets, Navigationsgeräte.

In dieser Ausgabe unserer »Nachgelesen«-Reihe erfahren Sie:

Was ist Augmented Reality?

AR kann definiert werden als eine computergenerierte Ergänzung der Realität, in der zusätzliche Informationen wie virtuelle Objekte (Texte oder Abbildungen) bzw. CAD-Dateien mittels eines tragbaren Bildschirmes eingeblendet werden können (vgl. Abbildung 1). Sie können Menschen bei der Durchführung von problematischen Aufgaben unterstützen.

Abbildung 1: Grundschema Augmented Reality

Obwohl die Technologie in den letzten Jahrzehnten an Bedeutung gewonnen hat, wurde sie bereits vor mehr als 50 Jahren entwickelt. In den 90er Jahren erfolgten die ersten praktischen Umsetzungen von AR[1]. Die Firma Sportvision Inc. hat im Jahr 1998 ein AR-System entwickelt, das während der Live-Übertragung eines American-Football-Spiels die gelben und roten Hofmarkierungen auf dem Feld eingeblendet hat, sodass die Zuschauer sehen konnten, wohin sich das Team bewegen sollte. Auch werden die Werbeplakate in anderen Sportarten in den meisten Fällen mit derselben Technologie eingeblendet (siehe Abbildung 2). Dieses System ist heutzutage noch im Einsatz[1].

Abbildung 2: AR im Fernsehen – Live-Übertragung[1]

Die NASA entwickelte im gleichen Zeitraum ein AR-System, mit dem unterstützende Navigationsinformationen in das Sichtfeld eines Piloten projiziert werden kann. Dieses System wurde zu dem Head-up-Display (Kopf-oben-Anzeige) weiterentwickelt, das in Flugzeugen als Standardausrüstung eingesetzt und im Automobilbereich als Sonderausstattung angeboten wird.

Im Jahr 2013 präsentierte Volkswagen die MARTA-App (Mobile Augmented Reality Technical Assistance), die dem Techniker vor allem eine Schritt-für-Schritt-Anleitung zur Reparatur innerhalb des Service-Handbuches gab.

Diese innovativen Lösungen haben die Anwendung von AR-Systemen in den industriellen sowie gewerblichen Bereichen vorangetrieben[1].

Pokémon Go, eine der bekanntesten AR-Anwendungen, wurde im Jahr 2016 veröffentlicht. Die Spieler müssen Fantasiewesen (Pokémon) in der realen Welt suchen und können mit diesen interagieren (Abbildung 3). In nur zwei Monaten nach ihrer Veröffentlichung war sie die am meisten heruntergeladene App im Jahr 2016 mit mehr als 500 Millionen weltweiten Nutzern. Im März 2019 wurde die App mehr als 1 Milliarde Mal heruntergeladen. Stand April 2019 beträgt der Umsatz von Pokémon Go fast 200.000 USD pro Tag.[2], [3], [4]

Screenshot Pokémon Go App || © Nintendo
Abbildung 3: Screenshot der Pokémon Go App (Nintendo)

Wie funktioniert eine AR-Anwendung?

Das Funktionsprinzip einer AR-Anwendung besteht aus vier wesentlichen Elementen (Abbildung 4) – dem Hauptnutzer, der realen Umgebung, der virtuellen Information und der Möglichkeit, eine vorprogrammierte Echtzeitinteraktion mit den virtuellen Objekten zu gewährleisten.

wesentliche Elemente einer AR-Anwendung
Abbildung 4: Wesentliche Elemente einer AR-Anwendung

Die Hardware für eine AR-Anwendung besteht aus zwei fundamentalen Elementen, einer Projektionsfläche und einer Kamera. Die Projektionsfläche ist für die Visualisierung der eingeblendeten Objekte zuständig. Diese kann entweder das Display eines Mobilgeräts (Handys oder Tablets) oder der Bildschirm eines Head-Mounted-Displays sein. Beispiele von HMD für AR-Anwendungen sind die Microsoft-HoloLens oder die MagicLeap.

Abbildung 5: Beispiele von Umgebungserkennung durch eine Punktwolke oder eine Markierung

Die Kamera ist mithilfe der Umgebungserkennung die Verbindungsstelle zwischen der digitalen und realen Welt. Für die Umgebungserkennung sind eine oder mehrere Kameras notwendig. Die Umgebungserkennung kann durch die Identifikation von Flächen (mittels Algorithmen) oder Markierungen (wie z. B. QR-Codes) erfolgen.

Idealerweise wird durch das AR-System die reale Umgebung eingescannt bzw. strukturelle oder geometrische Flächen oder Objekte (Tisch, Wand, Boden) identifiziert, damit die digitalen Objekte in der realen Umgebung optimal eingeblendet werden können (Abbildung 5).

Die grundlegende Funktionsweise einer AR-Applikation kann in vier Schritten erklärt werden. Wir werden eine Marketing-App von Mercedes- Benz für diesen Zweck verwenden (Abbildung 6).[5]

  1. Ein vorgefertigtes virtuelles Objekt wird ausgewählt, in unserem Beispiel ein Auto.
  2. Eine reale Szene wird ausgewählt, in diesem Fall ein Schreibtisch, auf dem das virtuelle Auto eingeblendet wird.
  3. Das Auto ist in der Szene eingeblendet, der Nutzer passt die Position und Größe des Fahrzeugs an.
  4. Der Nutzer kann mit dem virtuellen Auto interagieren, Informationen anfordern etc.
Abbildung 6: Beispielhafte Anwendung der Mercedes cAR-App (Mercedes Benz AG, TU Chemnitz – Professur Arbeitswissenschaft und Innovationsmanagement)

Arten von AR-Systemen

Abhängig von der Anwendung und der Hardware- bzw. Softwareleistung eines AR-Systems kann dessen Leistung als niedrig oder hoch eingeordnet werden. Die Unterscheidung ergibt sich aus dem Anwendungsfall.

AR-Systeme mit Niedrigleistung

AR-Systeme mit Niedrigleistung haben in der Regel nur eine Funktion und werden in Mobilgeräten (Smartphones, Tablets, usw.) verwendet. Diese sind in den meisten Fällen einfach und schnell programmierbar und ermöglichen ein breites Einsatzgebiet (Abbildung 7), wie z. B.:

  • Verkehrswesen (easyJet – Handgepäck vermessen),
  • interaktives Lernen (Google Übersetzer – Fremdsprachen ohne Wörterbuch),
  • Marketingzwecke im Einzelhandel (IKEA Place – Einblendung von virtuellen Möbeln).
Abbildung 7: Beispiele von AR-Anwendungen mit Niedrigleistung (links: Verkehrswesen, mitte: interaktives Lernen, rechts: Marketingzwecke im Einzelhandel)

AR-Systeme mit Hochleistung

Im Jahr 2016 hat Microsoft die HoloLens auf den Markt gebracht. Diese wurde als erstes Head-Mounted-Display (HMD) nur für AR-Anwendungen entwickelt. Die AR-Systeme mit Hochleistung haben mehrere Funktionen und finden überwiegend im industriellen Kontext Einsatz. Die Investitionskosten für die Hardware und der Entwicklungsaufwand von Applikationen sind deutlich höher und zeitaufwendiger im Vergleich zu AR-Systemen mit Niedrigleistung.

Die Vorteile von AR-Systemen mit Hochleistung sind:

  • die Hände sind für andere Tätigkeiten frei/ Handsfree Nutzung
  • einfache Bedienung über Handgesten, Kopfbewegungen, Sprachsteuerung oder an dem HMD integrierte Bedienelemente
  • Einsatz von Digitalen Zwillingen in realen Umgebungen (z. B. Betriebsanleitung)
  • Tragbarkeit, die Microsoft-HoloLens wiegt insgesamt 600 Gramm
  • Datenaustausch in oder aus der Cloud
  • Mixed-Reality-Videokonferenzen mit Skype möglich

AR-Systeme mit Hochleistung sind mit eigenen Rechenleistungen und Prozessoren ausgerüstet und können ohne einen zusätzlichen Computer zum Einsatz gebracht werden[6]. Für eine optimale Darstellung der virtuellen Objekte sind mehrere Sensoren, Kameras und Mikrofone in dem HMD integriert. Die Microsoft- HoloLens (Abbildung 8) besitzt vier Umgebungsverständnis- Kameras, eine Tiefenkamera, eine HD-Kamera (für Videoaufnahme), vier Mikrofone und einen Umgebungslichtsensor. Die Umgebungserkennung mittels HMD kann auch durch die Identifikation von Flächen oder Markierungen durchgeführt werden[7].

Das HMD ermöglicht die Bereitstellung von Information am Arbeitsplatz direkt ins Sichtfeld des Anwenders.

Das HMD kann Betriebsanleitungen, Maschinenablauf und -auslastung sowie Sicherheitsanweisungen direkt am realen Objekt einblenden oder auch die Reparatur- oder Wartungsarbeiten aus der Ferne begleiten. Mit den eingeblendeten Informationen können z. B. die Ursachen von Fehlern erkannt und die einzelnen Reparaturschritte angezeigt werden[6].

Abbildung 8: Komponenten der Microsoft-HoloLens (© Microsoft)

AR in der Industrie 4.0

4.0-Technologien sind für die steigende Komplexität von Produktionssystemen und Anlagen in den letzten Jahren verantwortlich und haben eine Vielzahl an Individualisierungsmöglichkeiten von Produkten ermöglicht.

Für die Anwendung von 4.0-Technologien ist die Entwicklung eines kontinuierlichen und zuverlässigen Informationsflusses erforderlich. Dieser Informationsfluss soll für alle Beteiligten als informatorische Unterstützung bereitgestellt werden.

AR ist in der Industrie auch als kognitiv unterstützendes Assistenzsystem bekannt. Dessen Anwendung hat in den letzten Jahren massiv zugenommen. Marktbeobachter haben prognostiziert, dass der weltweite Markt für AR-Anwendungen im Jahr 2025 einen Umsatz von 61 Mrd. USD erreichen wird[3],[8]. Die Rolle von AR in der Digitalisierung von Prozessen ist enorm groß, da die potenziellen Anwendungen von AR beinahe unendlich sind. AR baut eine Verknüpfung zwischen einer Software (Informationsquelle oder Database), den Menschen und dem Arbeitsprozess auf.

Die Vorteile von AR

Die Einblendung von digitaler Information auf realer Umgebung bringt viele Vorteile mit sich:

  • Optimierung der Auftragsausführung im Bereich Instandhaltung, Fehlerdiagnose und -behebung
  • Verbesserung der internen und externen Kommunikation
  • visuelle Unterstützung für neue Arbeitskräfte bzw. Reduzierung der Einarbeitungsphase
  • Reduktion der Fehlerrate bei Arbeitsprozessen durch frühzeitige Erkennung
  • Informationserfassung in Echtzeit
  • Lernen am Arbeitsplatz (Sicherheitsunterweisung)
  • Hilfsmittel in Qualitätssicherungsprozessen
  • mögliche Erhöhung der Zufriedenheit am Arbeitsplatz

Die Zukunft der AR

AR-Anwendungen werden bereits von Endverbrauchern genutzt, auch wenn es ihnen nicht bewusst ist. Die Endverbraucher nehmen ihre Smartphones (unabhängig vom Betriebssystem – OS oder Android) überall mit hin. Smartphones sind damit ein bequemes Mittel, um AR zu beinahe jedem Verbraucher zu bringen. Die Einführung der AR-Technologie in unser tägliches Leben ist bereits erfolgt (Abbildung 9).

AR-Technologie hat ein enormes Anwendungspotenzial, da Smartphones und Tablets schon vorhanden sind, und daher keine neue Hardware notwendig ist.

||© TeamViewer
Abbildung 9: Beispiel einer AR-Anwendung mittels mobilem Endgerät

Anwendungsbeispiele

Der Einsatzbereich von AR-Anwendungen ist fast unbegrenzt, insbesondere für Logistik-, Produktions-, Service- und Schulungszwecke. Im Folgenden werden daher zwei Beispiele aus der Forschung und der Industrie erläutert.

An der Professur Arbeitswissenschaft und Innovationsmanagement der TU Chemnitz wurde eine Applikation für die HoloLens entwickelt, um den Entwicklungsaufwand und die Benutzerschnittstelle zu untersuchen.

Für die Erstellung einer HoloLens-Applikation sind Grundkenntnisse in Unity (Laufzeit- und Entwicklungsumgebung für AR- und VR-Anwendungen) und in der Programmiersprache C# oder C++ notwendig. Innerhalb von zwei Wochen wurde eine Informationsapplikation für einen Motor entwickelt, mit der unterschiedliche Texte, Videos und Audios eingeblendet werden können (Abbildung 10).

Abbildung 10: Beispiel HoloLens-App Sicht auf Motor

Ein aktueller Einsatz von HMD ist das Projekt Work-by-Inclusion. Es wird von zwei Industriepartnern, der CIM GmbH Logistik-Systeme und der Schmaus GmbH sowie dem Lehrstuhl Fördertechnik Materialfluss Logistik der TU München bearbeitet[9]. Die Einbeziehung von schwerbehinderten Menschen in Arbeitsprozesse ermöglicht die vollständige Inklusion von qualifizierten und hoch motivierten Mitarbeitern in den Arbeitsmarkt und gibt Unternehmen die Möglichkeit, dem steigenden Fachkräftemangel in Deutschland zu begegnen.

Es wurde ein System zur Kommissionierung mit Datenbrillen erschaffen, um eine Kommunikationsschnittstelle zwischen Gehörlosen und Hörenden zu schaffen und die Ausführung von Arbeitsaufträgen zu ermöglichen. Die Anwendung führt zu einer Gleichstellung und Systemnutzung von hörenden und nicht hörenden Mitarbeitern (Abbildung 11).

Die Vorteile dieser AR-Anwendung sind:

  • weniger Fehler, da die relevante Information zu dem Kommissionierungsauftrag in das Sichtfeld
  • des Mitarbeiters eingeblendet werden kann
  • Kommunikationsausgleich mit den Kollegen, einfache Bedienung für gehörlose und hörende Mitarbeiter
  • Notfallwarnungen im Alarm- bzw. Brandfall und Rufmeldungen können mitgeteilt werden; eine höhere Arbeitssicherheit wird im laufenden Arbeitsbetrieb erreicht.
Datenbrille im Einsatz bei der Kommisionierung||© Schmaus GmbH
Abbildung 11: Datenbrille im Einsatz bei der Kommisionierung (© Schmaus GmbH)

Anmerkungen

Quellen und weiterführende Literatur

  1. Vox, “How the NFL‘s magic yellow line works,” Observatory, 06.02.2016, https://youtu.be/1Oqm6eO6deU, abgerufen am 21.11.2019.
  2. Nintendo / Creatures Inc. / GAME FREAK inc., “Pokémon Go,” https://www.pokemongo.com/en-us/, abgerufen am 14.04.2020.
  3. Iqbal, M., “Pokémon GO Revenue and Usage Statistics (2019),” https://www.businessofapps.com/data/pokemon-go-statistics/, abgerufen am 21.11.2019.
  4. LeBlanc, A.G. and Chaput, J.-P. (2017), “Pokémon Go: A game changer for the physical inactivity crisis?,” Preventive medicine 101:235–237, doi:10.1016/j.ypmed.2016.11.012.
  5. Mercedes-Benz AG, “Erlebe Mercedes-Benz in AR.: Mercedes cAR App,” https://www.mercedes-benz.de/passengercars/mercedes-benz-cars/carapp/app-store.module.html, abgerufen am 21.11.2019.
  6. Luber, S. and Litzel, N., “Was ist HoloLens?,” https://www.bigdata-insider.de/was-ist-hololens-a-729042/, abgerufen am 22.11.2019.
  7. Microsoft, “HoloLens-Hardware (1. Generation),” https://docs.microsoft.com/de-de/hololens/hololens1-hardware, abgerufen am 14.04.2020.
  8. Segan, S., “Hands On With HoloLens 2: It‘s an AR Game Changer,” https://uk.pcmag.com/microsoft-hololens-development-edition/119862/hands-onwith- hololens-2-its-an-ar-game-changer, abgerufen am 22. November 2019.
  9. Schmaus GmbH, “Work-by-Inclusion Neue Fachkräfte gewinnen: Wie auch hörgeschädigte Menschen voll integriert werden,” http://work-by-inclusion.de/, abgerufen am 08.01.2020.

Download

Dieses Nachgelesen bieten wir Ihnen auch in einer Druckversion an. Nutzen Sie hierfür folgenden Link für den DOWNLOAD

Autor

Francisco Hernandez ist wissenschaftlicher Mitarbeiter an der Professur Arbeitswissenschaft & Innovationsmanagement der Technischen Universität Chemnitz. Im Mittelstand 4.0-Kompetenzzentrum Chemnitz beschäftigt er sich mit den Themen Virtual und Augmented Reality sowie mit kollaborierenden Robotern.
francisco.hernandez@betrieb-machen.de

Weitere Informationen

Das Mittelstand 4.0-Kompetenzzentrum Chemnitz gehört zu Mittelstand-Digital. Mit Mittelstand-Digital unterstützt das Bundesministerium für Wirtschaft und Energie die Digitalisierung in kleinen und mittleren Unternehmen und dem Handwerk.

Was ist Mittelstand-Digital?
Mittelstand-Digital informiert kleine und mittlere Unternehmen über die Chancen und Herausforderungen der Digitalisierung. Die geförderten Kompetenzzentren helfen mit Expertenwissen, Demonstrationszentren, Best-Practice-Beispielen sowie Netzwerken, die dem Erfahrungsaustausch dienen. Das Bundesministerium für Wirtschaft und Energie (BMWi) ermöglicht die kostenfreie Nutzung aller Angebote von Mittelstand-Digital.
Der DLR Projektträger begleitet im Auftrag des BMWi die Kompetenzzentren fachlich und sorgt für eine bedarfs- und mittelstandsgerechte Umsetzung der Angebote. Das Wissenschaftliche Institut für Infrastruktur und Kommunikationsdienste (WIK) unterstützt mit wissenschaftlicher Begleitung, Vernetzung und Öffentlichkeitsarbeit.
Weitere Informationen finden Sie unter www.mittelstand-digital.de