Wirtualna, rozszerzona czy zmiksowana rzeczywistość?

Gdy na rynku zaczęły pojawiać się pierwsze produkty wirtualnej i rozszerzonej rzeczywistości wszystko wskazywało na to, że będą to rozwiązania dedykowane przede wszystkim rozrywce i zabawie. Dziś wiemy, że nie tylko.

Główną grupę odbiorców dla rozwiązań AR czy VR początkowo stanowili  gracze, którzy od teraz mogli przenieść się w centrum wydarzeń fabuły gry. Bardzo szybko okazało się jednak, że we wszystkich tych produktach drzemie potencjał pozwalający na wykorzystywanie urządzeń do wirtualnej i rozszerzonej rzeczywistości w profesjonalnych zastosowaniach.  W czerwcu 2016 firma Microsoft zaprezentowała zupełnie nowe podejście do rozszerzonej rzeczywistości – gogle HoloLens.

wirtualna rzeczywistość hololens 4

Rozszerzona rzeczywistość – co ją wyróżnia?

 

Coraz więcej firm wprowadza na rynek rozwiązania, które mają nas w przeciągu kilku najbliższych lat uwolnić od konieczności patrzenia na konwencjonalny ekran komputera czy telewizora. Po pierwsze jest przeogromna paleta wszelkiej maści adapterów, umożliwiających zaadaptowanie standardowego telefonu bądź tabletu jako urządzenia do wirtualnej rzeczywistości. Równocześnie wielu producentów decyduje się na wprowadzanie na rynek dedykowanych rozwiązań pozwalających na przeniesienie ich użytkownika w wirtualne otoczenie, bądź dodanie pewnych elementów do realnego, otaczającego nas świata.

Najbardziej zaawansowane spośród tych produktów odznaczające się najwyższymi parametrami technicznymi i najlepszą funkcjonalnością szybko znalazły zastosowanie w wielu profesjonalnych branżach. Z możliwości oglądania obiektów 3D czy wejścia w wirtualną przestrzeń za pomocą ubieranych urządzeń chętnie korzystają takie branże jak: architektura, inżynieria, projektowanie wnętrz, motoryzacja, a od niedawna trwają również testy gogli do rozszerzonej rzeczywistości jako narzędzia wspomagającego operacje mózgu.

Kolejne firmy prześcigają się w tworzeniu coraz to nowszych produktów zarówno dla potrzeb wirtualnej jak i rozszerzonej rzeczywistości, które mając zaoferować nie tylko lepsze możliwości pracy, ale także zupełnie nowe funkcjonalności. W połowie 2016 bardzo mocno na przód peletonu wysunęła się firma Microsoft, prezentując rozwiązanie o nazwie HoloLens.

Największym wyróżnikiem urządzenia jest to, że zostało ono wyposażone nie tylko w komponenty odpowiadające za wyświetlanie obrazu i zestaw sensorów zapewniających umieszczanie wirtualnych elementów w realnej przestrzeni, ale także kompletny komputer do przetwarzania obrazów w rozszerzonej rzeczywistości. Za jego sprawą urządzenie jest całkowicie niezależne i aby poprawnie funkcjonować nie wymaga komputera czy telefonu.

wirtualna rzeczywistość hololens

Dzięki temu transport urządzenia ogranicza się tylko do gogli zamkniętych w eleganckim etui, zaś konfigurację i uruchomienie może zrealizować nawet nie przeszkolona osoba nie będąca wykwalifikowanym technikiem, jak ma to miejsce w przypadku konkurencyjnych produktów.

W listopadzie 2017 roku urządzenie trafiło do oficjalnej sprzedaży w Polsce, ale jeden z pierwszych egzemplarzy w wersji deweloperskiej ma w swoim posiadaniu krakowska firma New Amsterdam. Postanowiliśmy spotkać się pracującymi w niej specjalistami aby porozmawiać jakie możliwości daje nowe urządzenie oraz o tym jaki potencjał dla multimedialnych ekspozycji i profesjonalnych rozwiązań AV niosą systemy rozszerzonej i wirtualnej rzeczywistości.

VR vs. AR – wady i zalety obu technologii 

 

Łukasz Kornafel, AVIntegracje: Jak z państwa punktu widzenia wygląda odbiór technologii wirtualnej i rozszerzonej rzeczywistości przez klientów?

Wojeciech Florczyk, New Amsterdam:  Zauważamy przede wszystkim dużą nieznajomość tematu i mylenie tych technologii. Odnosząc się do naszej branży, a więc przede wszystkim rozwiązań dedykowanych muzeum czy centrom edukacyjnym, często także klienci końcowi postrzegają wirtualną rzeczywistość i rozszerzoną rzeczywistość jako rozwiązania tożsame z filmami 360 stopni czy wirtualnymi spacerami.

Zazwyczaj osobę, która chce sięgnąć po tego rodzaju rozwiązania, trzeba po prostu zaznajomić z każdym z nich i przepytać o to jaki ma być cel danego przedsięwzięcia, czego tak naprawdę potrzebuje, co chce osiągnąć i dopiero do tego dopasować pewne rozwiązania.

Uważam, że niezwykle istotna jest tutaj rola firmy, która ma dostarczyć te rozwiązania i pewnej uczciwości, aby zapewnić klientowi dokładnie to czego one potrzebuje.

Jakie są zatem największe różnice między rozszerzoną i wirtualną rzeczywistością?

Krzysztof Hrycak, New Amsterdam Największą różnicą pomiędzy AR a VR jest sposób doświadczania świata cyfrowego. W AR obiekty cyfrowe są zintegrowane ze światem rzeczywistym, a w zasadzie nałożone na niego. Odczuwamy jakby obiekty te  realnie istniały w naszym świecie. Urządzeniem AR może być smartfon, tablet lub inne urządzenia spełniające określone kryteria. Oczywiście ta technologia jest wciąż nowością, dlatego też obiekty generowane cyfrowo mają wygląd rodem z początków grafiki komputerowej (dotyczy to głównie hełmów AR).

Potencjał AR jest olbrzymi. Interakcja z obiektami w rzeczywistości AR odbywa się za pomocą gestów, za czym idzie jego szerokie zastosowanie począwszy od nauki (medycznego obrazowana projektów), szkoleń,  po szeroko pojęte działania marketingowe.

Zupełnie innym doświadczeniem jest VR, który przenosi nas całkowicie do świata wirtualnego. Zakładając okulary odcinamy się od „realnej” rzeczywistości i całkowicie zanurzamy się w świat cyfrowy. Content VR może być pasywny, na przykład film 360 stopni (w wersji mono lub stereo), a użytkownik znajduje się w jego centrum. Sposób narracji jest z góry narzucony, a użytkownik nie ma zbytniej możliwości ingerencji. Inny rodzaj contentu VR to szeroko pojęty interactive digital. W większości przypadków są to po prostu gry z tą różnicą, że za pomocą hełmu VR jesteśmy wewnątrz gry. Oprócz gier jest mnóstwo innego rodzaju contentu.

Rozwiązań i zastosowań technologii VR jest praktycznie nieskończona ilość. Przykładem są aplikacje medyczne (symulatory  operacji) wykorzystywane przez deweloperów, sale kinowe typu VR, programy do rysowania itd. Obecnie interakcja VR odbywa się za pomocą kontrolerów (techniki bezkontrolerowe są obecnie na etapie wczesnych badań).

Jakie są wady i zalety każdej z nich?

Krzysztof Hrycak: Ciężko jednoznacznie wskazać wady bądź zalety obu technologii, ponieważ moim zdaniem urządzenia i systemy mimo wydanych wersji konsumenckich, są ciągle systemami deweloperskimi.

AR w klasycznej postaci na smartphone, czy tablet jest już zaawansowany wizualnie i funkcjonalnie, jednak ciężko go porównać z doświadczeniem VR. Porównywalne w jakimś zakresie mogą być okulary AR i okulary VR. W  wydaniu na urządzenia mobilne strona wizualna AR może być dość zaawansowana, jednakże wadą jest postrzeganie takiej rzeczywistości z poziomu ekranu urządzenia mobilnego. Rozwiązaniem tego problemu są okulary, ponieważ nakładając je nie ma praktycznie żadnych ograniczeń, a obraz jest niejako nałożony na nasze pole widzenia.

Wiąże się z tym jednocześnie i wada związana z wczesną fazą deweloperską i ograniczeniami dotyczącymi ograniczonego pola widzenia. Do wad okularów można zaliczyć też jakość grafiki, możliwości interakcji, mała mobilność okularów i wysoką cenę.

Największą zaletą VR jest na pewno zjawisko kompletnej imersji, czyli zatopienia w świecie wirtualnym. To doświadczenie jest unikalne i jedyne w swoim rodzaju.

VR pozwala przenieść się w dowolne miejsce, czego nie możemy doświadczyć na innych urządzeniach. Wadą są dość duże gabaryty, ilość kabli, kontrolery o małej dokładności, mała rozdzielczość wyświetlaczy, wysoka cena zestawu oraz mała mobilność.

Jakie są główne różnice w przygotowywaniu materiałów video/aplikacji mających pracować dla potrzeb tych technologii?

Krzysztof Hrycak: Generalnie ujmując nie ma jakiejś drastycznej różnicy w przygotowaniu contentu. W przypadku obu systemów możemy mieć content video oraz digital. Video przygotowujemy klasycznie, a następnie implementujemy pod konkretne urządzenie.

Sytuacja wygląda podobnie w przypadku contentu digital opartego na silnikach game-owych. W większości przypadków stosuje się standardowe silniki Unity, UE i implementuje pod konkretny projekt, bądź urządzenie.

Czy można wskazać, że któraś z tych technologii będzie się prawdopodobnie rozwijać w sposób bardziej dynamiczny w najbliższych latach niż pozostałe i zdominuje rynek?

Krzysztof Hrycak: AR w wydaniu klasycznym funkcjonuje dość długo i wygląda na to, że za niedługo wejdzie do powszechnego użytku. Oczekujemy w tej chwili jedynie na rozwój technologii okularów AR.

Temat VR był bardzo gorący na początku 2016, jednak już pół roku później nastąpiło znaczne spowolnienie. Spowodowane to było brakiem contentu, wysoką ceną zestawów HTC i Oculus, a także mocno posegmentownym rynkiem (każde urządzenie ma inny system). Problemem jest też niska sprzedaż tych urządzeń PSVR to 750 tysięcy sprzedanych urządzeń, Oculus Rift około 335 tysięcy, HTC około 140 tysięcy w połowie roku. Google Daydream i Samsung’s Gear VR również nie mają dobrych wyników. Moim zdaniem VR będzie rozwijał się niezależnie od AR.

Rozwój obu technologii tak naprawdę zależeć będzie w dużej mierze od stworzenia ekosystemu, w którym te urządzenia będą stosowane.

Idealnym rozwiązaniem byłyby okulary VR/AR, ale obecnie jest zbyt wiele barier technologicznych, aby takie rozwiązanie było realne.

Realne aspekty wirtualnej rzeczywistości

 

Jakie są największe różnice jeżeli chodzi o urządzenie HoloLens na tle systemów wirtualnej rzeczywistości?

Michał Telesz, New Amsterdam: HoloLens jest rozwiązaniem będącym połączeniem wirtualnej rzeczywistości, środowiska, w którym się znajdujemy z rzeczywistością rozszerzoną, która zakłada dodanie pewnych elementów do realnego świata.

Czy pomieszczenie, które ma współpracować z omawianym urządzeniem trzeba w jakikolwiek sposób przygotować? Tzn. zeskanować, zmapować czy wymodelować?

Michał Telesz: Nie. Urządzenie posiada czujniki, z pomocą których mapuje pomieszczenia i jest w stanie odróżnić każde z nich. Uruchamiając gogle w danej przestrzeni natychmiast pojawiają się również ustawione wcześniej hologramy.

To również w znaczący sposób przyspiesza cały proces tworzenia contentu dla potrzeb omawianych gogli

Michał Telesz: W przeciwieństwie do wirtualnej rzeczywistości, w przypadku której całe otoczenie musi zostać stworzone, tutaj mamy do czynienia z realnym, otaczającym nas światem, wzbogaconym o pewne wirtualne obiekty.

wirtualna rzeczywistość hololens 2

Podobne efekty mogliśmy osiągnąć z pomocą rozwiązania Google Glass. W przypadku tego urządzenia musieliśmy dostarczyć punkty odniesienia w postaci znaczników bądź danych GPS. Gdy mówimy o Hololens, wszystko dzieje się w sposób zautomatyzowany, w czasie rzeczywistym. Dzięki temu bez ingerencji w pomieszczenie jesteśmy w stanie wchodzić z nim w interakcje.

Znaczącą różnicą jest również to, że w przypadku produktu firmy Microsoft wszystkie niezbędne do pracy rozwiązania sprzętowe są zintegrowane w ramach urządzenia

Michał Telesz: Gogle są komputerem pracującym pod kontrolą Windows 10. Na obecnym etapie rozwoju materiały przygotowywane dla gogli odznaczają się raczej prostymi teksturami, ograniczoną grą światła i cienia itd. Natomiast uważam, że te możliwości będą rozwijane i będziemy mogli przygotowywać coraz bardziej zaawansowane i rozbudowane wirtualne obiekty.

Jak wygląda proces tworzenia materiałów do pracy z HoloLens?

Michał Telesz: Scena 3D jest tworzona w środowisku Unity. Oczywiście jest możliwość tworzenia materiałów również w innych technologiach. Dzięki temu, że urządzenie pracuje pod kontrolą Windows 10, tworzone przez nas aplikacje wyglądają dokładnie tak samo na komputerze, jak i na goglach. Każda aplikacja, która pracuje z Windows 10 (np. Skype czy przeglądarka internetowa) może zostać uruchomiona również na Hololens, przy czym najczęściej będzie ona widoczna jako okienko, które możemy umieścić na ścianie. Aplikacje do Hololens są przenoszone za pomocą połączenia kablowego bądź sieci wi-fi.

Jaki w oparciu o państwa testy może być czas pracy urządzenia HoloLens?

Michał Telesz: Jest to uzależnione od tego jak bardzo obciążająca jest uruchomiona aplikacja, ale w trakcie naszych testów urządzenie pracowało przez ok. 10-12 godzin.

Urządzenia, które zmienią naszą przyszłość

 

Wiem, że testowaliście państwo wiele różnych urządzeń związanych z rozszerzoną bądź wirtualną rzeczywistością. Skąd zainteresowanie produktem firmy Microsoft?

Wojciech Florczyk: Mamy już pewne doświadczenia z rozwiązaniem Oculus Rift. Po HoloLens zdecydowaliśmy się sięgnąć przede wszystkim dlatego, że lubimy poznawać nowe produkty i zawsze, gdy pojawiają się jakieś nowinki staramy się pozyskać wersję deweloperską danego urządzenia. Tak było z kontrolerem ruchów Leap Motion, podobnie  z systemem Oculus, a teraz z produktem Microsoftu.

HoloLens jest dla nas kolejną możliwością poszerzenia rzeczywistości i stworzenia nowych projektów. Niestety Oculus wciąż cierpi na wiele przypadłości wieku dziecięcego, wymaga zewnętrznego komputera o dużej mocy obliczeniowej, zapewnia niską rozdzielczość, a jego przygotowanie do pracy jest związane z szeregiem różnych działań. HoloLens jest pozbawione wielu z tych wad. Ponadto cały system, a więc okulary ze zintegrowanym komputerem, są chowane do niewielkiego pokrowca, który można bez trudu transportować.

Oczywiście również tutaj pojawiają się pewne ograniczenia, jak np. niewielki kąt widzenia czy znacznie wyższa niż w przypadku Oculusa cena, ale moim zdaniem jest to przykład technologii której już można używać w profesjonalnych rozwiązaniach.

Jak wypadły pierwsze testy urządzenia?

Wojciech Florczyk: Przede wszystkim rozszerzona rzeczywistość tworzona za pomocą testowanego przez nas sprzętu ma tę przewagę, że nie odcinamy osoby noszącej gogle od otaczającej jej rzeczywistości. Zatem to co widzimy jest wciąż realnym światem, ale wzbogaconym o elementy, które rozmieszczamy obok nas. Możliwość rozmieszczania tych elementów to jedno, jednak tym co przede wszystkim robi ogromne wrażenie i budzi respekt dla tego urządzenia jest niezwykła sprawność z jaką gogle rozpoznają i zapamiętują dane pomieszczenie. Te wszystkie elementy interfejsu czy hologramy, dzięki wbudowanym czujnikom HoloLens, po rozmieszczeniu są przytwierdzone do powierzchni stołu czy do podłogi i nawet po kilku dniach, gdy wrócimy w dane miejsce zobaczymy wszystko to, co zostało przez nas wcześniej umieszczone w przestrzeni. Ponadto, cały proces rozpoznawania i mapowania danej przestrzeni odbywa się niezwykle szybko. Zaś samo urządzenie bez trudu radzi sobie także w ciemnych, niedoświetlonych pomieszczeniach. To nieprawdopodobny postęp w zakresie rozpoznawania i mapowania rzeczywistości.

Chcąc sprawdzić funkcjonalność tego sprzętu ad hoc, postanowiłem ubrać gogle i zasiąść przed telewizorem. Jednak po jego dwóch stronach miałem rozmieszczone okno przeglądarki oraz odtwarzany na YouTube film. Dzięki temu miałem trzy źródła, przy czym realne było tylko jedno z nich – telewizor.

Próbowałem także z ich pomocą napisać mail, ale na obecnym etapie rozwoju tego sprzętu nie jest to zadaniem łatwym. Wyobrażam sobie, że niedługo właśnie tak może wyglądać stanowisko pracy, gdzie tylko jednym źródłem będzie monitor, lub wcale go nie będzie, a poszczególne okienka będą wyświetlane przez gogle.

wirtualna rzeczywistość hololens 3

Jak widzicie państwo zastosowania dla tego produktu?

Wojciech Florczyk: Największy potencjał, podobnie jak i dla gogli Oculus, widzę w edukacji i rozrywce. Bardzo łatwo jest sobie wyobrazić warsztaty edukacyjne dla uczniów, gdzie wszyscy ich uczestnicy są wyposażeni w gogle, za pomocą których nauczyciel może w interesujący sposób zaprezentować pewne zjawiska, przeprowadzać doświadczenia czy zabierać uczniów w wirtualną podróż.

Dla nas również urządzenie Microsoft jest świetnym rozwiązaniem dla potrzeb koncepcji Wirtualnej Instytucji Kultury. Dzięki ich użyciu, nie wychodząc z domu można obcować z kulturą, zwiedzać wirtualne obiekty czy zapoznawać się ze zdigitalizowanymi zbiorami muzeum. Co więcej HoloLens może być także wykorzystany na samej wystawie.

Nie trudno wyobrazić sobie sytuację, w której idąc ścieżką zwiedzania, w ramach rozszerzonej rzeczywistości pojawiają się dodatkowe materiały będące rozszerzeniem realnej wystawy.

Ponadto, z wykorzystaniem urządzenia, muzealnicy za pomocą tagów czy innych metadanych mogą powiązać wybrane eksponaty ze zidigtalizowanymi zbiorami czy opisami, a dzięki goglom zwiedzający taki kontekst będą mogli wyświetlić sobie na żądanie. Daje to ogromne możliwości poznawcze.

HoloLens jest także bardzo dobrym rozwiązaniem dla zastosowań biurowych. Kilka, czy kilkanaście osób wyposażonych w gogle może np. omawiać projekt danego budynku w formie jego wizualizacji, patrząc na dokładnie ten sam hologram umieszczony np. na środku stołu. Ponadto widzę tutaj także potencjał dla wideokonferencji. Jak prezentowano na niedawnej konferencji firmy Microsoft, z pomocą gogli można już rozmawiać z hologramem, co z całą pewnością będzie rozwiązaniem, po które będzie chciało sięgnąć wiele osób. Jeszcze innym obszarem zastosowań omawianego produktu jest wsparcie sprzedaży. Dzięki temu, że jest poręczne i kompaktowe może być z łatwością transportowane do miejsca pokazu, gdzie klient może zobaczyć na własne oczy wirtualną wersję danego produktu, czy np. pojazdu w branży motoryzacyjnej. Na przykład wyobraźmy sobie sytuację, w której w salonie samochodowym sprzedawca konfiguruje wirtualny samochód – zmienia jego kolor, wyposażenie, elementy zewnętrzne i wewnętrzne –  i zamiast zaglądać w monitor może zobaczyć stojący przed nim obiekt.

Zaskakujące jest również to jak szybko użytkownik HoloLens, nie mający nawet wcześniej kontaktu z tego rodzaju produktami uczy się jego obsługi.

Czy sądzi pan, że gogle rozszerzonej rzeczywistości są w stanie zastąpić pewne konwencjonalne rozwiązania AV pracujące dzisiaj w przestrzeni muzealnej czy edukacyjnej?

Wojciech Florczyk: Myślę, że nie tyle zastąpią co uzupełnią. Musimy pamiętać, że w realnym świecie nie jest tak jak w literaturze science-fiction. Nie wszyscy będą chcieli nosić inteligentne ubrania i hełmy, nie wszyscy zapragną poruszać się latającymi samochodami. Są również osoby, które nie będą chciały używać tego rodzaju gogli.

Czy HoloLens umożliwia także interakcje ze stworzonymi przez nas przedmiotami?

Wojciech Florczyk: Tak. Jest to uzależnione tylko od tego jaką aplikację napiszemy.

Czy oprócz ceny można wskazać jakieś elementy, które powinny zostać poprawione bądź zmodyfikowane w HoloLens?

Wojciech Florczyk: Na pewno jedną z wad pozostaje ciężar urządzenia. Gdy założymy gogle po pewnym czasie zaczniemy je mocno odczuwać. To nie są zwykłe okulary, mamy po prostu trochę sprzętu na głowie. Największymi wadami są jednak niewielki obszar pracy i mała rozdzielczość, ale są to elementy typowe dla pierwszych produktów.

Wywiad pierwotnie ukazał się w wydaniu Magazynu AV Integracje 1/2017. Nagłówki pochodzą od redakcji.