Eine standortbasierte Navigationsapp mit Augmented Reality und Text-to-Speech
für Tourismusmarketing Billerbeck
Implementiert mit:
Laden Sie die App aus den Appstores
Worum geht es in diesem Projekt?
Presseartikel:
1. Münster! magazine, no. 106, 2021/10: https://bit.ly/3DrYXjD
2. Westfälische Nachrichten, 2021/08/20: https://www.wn.de/muensterland/im-gansemarsch-aufentdeckungstour-2412323
Die geobasierte Augmented-Reality-App „Gans Billerbeck“ zeigt ein virtuelles Gänsepaar, das Touristen zu Sehenswürdigkeiten und historischen Attraktionen der Stadt führt. Dabei laufen die Gänse im Display des Mobilgeräts voraus und zeigen den richtigen Weg an. Hält der Benutzer an, tun dies die Gänse nach einigen Sekunden auch und warten, bis der Weg fortgesetzt wird.
Unterwegs erscheinen kleine Sprechblasen, die nach dem Anklicken Informationen über weitere für Touristen interessante Standorte anzeigen, bspw. lokale Bistros, Hotels, Cafés und Restaurants sowie Boutiquen, die Tourismusagentur der Stadt Billerbeck, die Einkaufsmöglichkeiten Center, etc. Außerdem lassen sich die Räumlichkeiten einiger Sehenswürdigkeiten mit mehreren 360°-Panoramen entdecken, falls man vor verschlossenen Türen stehen sollte.
Sehbehinderte können den barrierefreien Modus nutzen. Alle Beschreibungen und Anweisungen werden als Audiodateien in Echtzeit abgespielt.
Überlegungen
In diesem Projekt sind wir für das Konzept, das UI/UX-Design und die Umsetzung der App verantwortlich.
Eine besondere Anforderung unseres Kunden war es, den Google Maps Geolocation Service nicht zur Berechnung der Geopositionierung zu verwenden. Alle geodätischen Berechnungen werden lokal in der App durchgeführt. Die Transformation von Kugelkoordinaten in die im Unity3d verwendeten kartesischen Koordinaten sowie die Kombination mit den Koordinaten der AR-Kamera war zu Beginn etwas herausfordernd.
Design & Development
Prototyping
Persona: Touristen in der Stadt Billerbeck, sehbehinderte Touristen
Bilder unten:
Styleguide, Corporate Identity der Stadt Billerbeck, Karte mit POIs, UI-Konzept in Adobe XD
Details zur Designentwicklung
3D Modelle:
Modellierung, Texturierung, Komprimierung und Export des 3D-Modells "Gans" für Kompatibilität mit mobilen Geräten.
Bilder unten: das Mesh in Low Poly, Textur und Animationsliste.
Test Nr. 1 des allerersten Prototypen
Die Gänse liefen nicht in dem an den Benutzer angepassten Tempo voraus. Schon beim ersten Outdoor-Test blieben die Gänse nicht an einer konstanten Position im Display stehen, sondern „hüpften“ aufgrund von Kompassproblemen zufällig umher. Zudem blieben die Gänse aufgrund von Höhenunterschieden von bis zu 8 Metern auf der Gesamtstrecke nicht am Boden haften.
Screenshots des Prototyps, die während eines Outdoor-Tests in der Nähe unseres Büros aufgenommen wurden
Design & Development
Phase 2
Implementierung eines OrientationProviders, der die eingehenden Kompasswerte sammelt und die Standardabweichung nach der Drei-Sigma-Regel berechnet. Ebenso haben wir keine Höhenwerte verwendet, da diese Werte des Sensors nicht genau genug sind. Stattdessen haben wir horizontale ARPlanes (abgescannte Bodenflächen) verwendet, um die Gänse so weit wie möglich auf dem Boden zu halten.
Aktualisierung der Benutzeroberfläche mit neuem Layout und neuen Grafiken sowohl für iOS als auch für Android.
Test Nr. 2
Weitere Tests verliefen unter unterschiedlichsten Bedingungen zufriedenstellend. Wir konnten den Fehler zufriedenstellend beheben.
Design & Development
Phase 3
Auf Kundenwunsch ergänzten wir 360°-Panoramen für besondere Attraktionen sowie den barrierefreien Modus für sehbehinderte Menschen. Alle Textanweisungen und POI-Beschreibungen werden als Audiodateien abgespielt. Wir haben einen AudioInstructionManager entwickelt, der die wichtigsten Anweisungen zur Navigation des Benutzers priorisiert und in eine Warteschlange einreiht. Wir verwenden den Google Text-To-Speech Cloud-Dienst, der Text in Echtzeit in Audiodateien synthetisiert und redundante Dateien lokal in der App zwischenspeichert, um die Anzahl der Anfragen an den Google-Dienst und somit Kosten zu reduzieren.
Test Nr. 3
Die Navigation zwischen der Augmented-Reality-Navigationsszene mit den Gänsen, der POI-Beschreibung und den 360°-Panoramen funktionierte einwandfrei.
Allerdings mussten wir die Aussprache spezieller Namen und Vokabeln in den synthetisierten Textdateien verbessern.
Design & Development
Phase 4
Nachdem wir letzte kleine Probleme behoben und eine Karte sowie einen speziellen Fotorahmen für Selfies uns Screenshots hinzugefügt hatten, konnten wir das Projekt abschließen.
Zusammenfassung
Die Location Based Augmented Reality App ist eine interessante Anwendung in den Bereichen Tourismus und Freizeit. Der Audioguide wird nicht nur für sehbehinderte Benutzer hilfreich sein, sondern auch für andere, die keine langen Texte lesen möchten.
Potenzial für die Zukunft
Die App kann wie folgt weiter weiterentwickelt werden:
Gamification, Wettbewerb, Quiz, Schatzsuche
Nutzer können unterwegs an bestimmten Geo-Positionen Punkte sammeln und diese Punkte zum Beispiel bei verschiedenen Verkaufsstellen einlösen.
Lokalisierung in mehreren Sprachen, z. B. Niederländisch, Englisch usw.
App installieren
#ar #augmentedreality #mobileapp #ios #android #tourismusmarketing #tourismus #regionenmarketing #stadtmarketing #arguide #arnavigation #armuseum #arausstellung #360panorama
Juni 2021