Ein VR Trainingssimulator ist ein klassischer Use Case. Durch solche VR-Applikationen werden Personal und Fachkräfte mit praktischen Übungen in einem virtuellen und nutzergesteuerten Umfeld geschult. Handgriffe, Abläufe und ganze Prozesse an Systemen können auf diese Weise trainiert und in einem sicheren virtuellen Umfeld getestet werden, ohne dass das System physisch vor Ort des Nutzers sein muss. Dies spart Aufwand und Kosten und minimiert Risiken.
Featured by "Unity for Digital Twins"
https://twitter.com/DigitalTwin/status/1631670935383154690
Über das Projekt
Dieser Prototyp ist ein VR-Simulator für die Wartung eines technischen Systems.
Einzelne Anweisungen werden auf dem virtuellen Display der Armbanduhr angezeigt. Die Anweisung wird aktualisiert, sobald ein einzelner Schritt korrekt ausgeführt wurde.
Für ein realistisches Nutzererlebnis in VR haben wir benutzerdefinierte Handposen erstellt und verschiedene grafische Interfaces sowie Soundeffekte, visuelle und haptische Effekte hinzugefügt. Um Motion Sickness auf ein Minimum zu reduzieren, wandten wir einen Vignetteneffekt an, wenn der Benutzer teleportiert oder sich in eine andere Richtung dreht.
Der Benutzer kann den Trainingsloop zurücksetzen und neu starten, indem er auf Buttons der Armbanduhr oder die statischen Buttons auf dem Tisch tippt.
Core Features:
- Schritt für Schritt Anweisungen - Soundeffekte, visuelles, haptisches Feedback - Socket interactions - Distance Grab - Spezielle Handposen zum Greifen diverser Objekte - Verschiedene GUI (Armbanduhr, Clipboard, Smartphonescreen) - Vignetteeffekt bei Teleportation und Drehung - Teleportation
Development & Design
Implementierung des Simulators
Wir begannen mit dem Prototyp, indem wir bestimmten Teilen des 3D-Modells virtuelle Joints und Triggerbereiche hinzufügten. Für jedes Teil, das aufgegriffen werden kann, erstellten wir maßgeschneiderte Handposen, d. h. für Rohre, Clipboard, Smartphone. Dabei werden alle Knochen und Gelenke einer virtuellen Hand in die korrekte Pose gebracht, die für das greifen des einzelnen Objekts erforderlich ist.
Danach implementierten wir den Trainingsloop. Bei jedem Schritt prüfen wir, ob der Benutzer die aktuelle Anweisung ausgeführt hat.
Bilder unten:
Spezielle Handposen für jedes greifbare Objekt
UI/UX
Nachdem die Implementierung des Trainingsloops gut funktionierte, erstellten und animierten wir einzelne 3D-Modelle und grafische Inhalte, um dem Benutzer visuelle Information zu geben, wie und was als nächstes ausgeführt werden muss. Animierte Bilder und 3D-Objekte heben die Teile hervor, mit denen der Benutzer interagieren muss. SFX werden abgespielt, wenn Teile gegriffen, ein GUI-Element angetippt oder eine Anweisung ausgeführt wurde.
Zusätzlich haben wir alle Anweisungsschritte auf dem virtuellen Clipboard aufgelistet, die der Benutzer beim Szenenstart abrufen kann. Während des Trainings wird jede einzelne Anweisung auch auf dem Bildschirm der Armbanduhr angezeigt und aktualisiert, die an der linken virtuellen Hand des Benutzers angebracht ist.
Der Benutzer kann auch den ganzen Trainingsloop zurücksetzen und neu starten, indem er auf die Buttons entweder auf dem Tisch oder an der Armbanduhr tippt.
Wir haben auch eine Teleportation-Funktion mit Vignetteneffekt implementiert, um Motion Sickness zu reduzieren.
Schließlich haben wir Materialien, Shader und die Beleuchtung der virtuellen Szene verbessert.
Tech Stack
- Unity 2021.3.11
- Oculus Integration SDK - Interaction SDK for Physics Hands - Unity Lightweight Render Pipeline
Key Points
Das Erstellen individueller Handposen ist sehr zeitaufwändig.
Physics buttons funktionieren nicht an virtuellen Händen.