Piotr Skindzier | 9 grudnia 2017, 13:15

Felieton o wirtualnej, rozszerzonej, mieszanej... rzeczywistości

Wszystko, co istnieje

„Rzeczywistość jest tylko iluzją, aczkolwiek bardzo trwałą” – mawiał podobno Einstein. Dzisiejsza technika raczej parafrazuje to spostrzeżenie. Obserwując różne „rodzaje” rzeczywistości, jakie nam na co dzień serwują dostawcy sprzętu czy oprogramowania, chciałoby się powiedzieć: „Iluzja staje się rzeczywistością, jeśli jest wystarczająco trwała”. Wybierzmy się zatem w krótką podróż po cyfrowym królestwie rzeczywistości.

Na co dzień rzadko się zastanawiamy, czym jest rzeczywistość. Pytanie to jednak coraz częściej nurtuje nas przy półkach sklepowych. Czasem myślimy, czy kupienie komuś okularów wirtualnej rzeczywistości (VR) to dobry pomysł i w zasadzie do czego mogą nam się przydać.

Pytanie to jednak nie jest ani nowe, ani łatwe. Kiedy człowiek zaczyna się nad tym zastanawiać i przeglądać internet, okazuje się, że odpowiedź może być wymijająca. Rzeczywistość to po prostu wszystko, co obserwujemy i odczuwamy. Pewnie wystarczyłoby nam takie stwierdzenie, gdyby nie to tajemnicze „wszystko”, z czego rzeczywistość jest zbudowana. Tu jednak filozofowie, psychologowie czy neurolodzy pośpieszą nam z pomocą i powiedzą, że to „wszystko” to zapewne bodźce odbierane przez nasze zmysły: wzrok, słuch, węch, dotyk, smak czy poczucie czasu. A ta lista wcale nie jest skończona. Z doświadczenia wiadomo jednak, że to, co widzimy lub słyszymy, często przekazują nam zmysły. Dość dawno temu rozpoczęto badania nad tym, jaką ilość informacji dostarczają one do mózgu. Okazuje się, że jest to około 11 Mb/s danych, z czego:

  • 10 Mb/s pochodzi ze wzroku,
  • 1 Mb/s to dotyk (uczucie bólu, ciepła, równowagi itp.),
  • 100 kb/s pochodzi ze słuchu,
  • 100 kb/s to węch,
  • 1 kb/s to smak.

Musimy jednak pamiętać o tym, że są to dane nieprzetworzone. Zdecydowanie trudniej jest ocenić, jak wiele z tego potoku danych mózg każdego człowieka przetwarza na wrażenia świadome, które obserwujemy i możemy zapamiętać. Tu sprawa jest mniej oczywista, ale ostatnie badania ludzkiej świadomości pokazują, że strumień świadomych doznań można określić na mniej więcej 50 na sekundę. Na tę liczbę mają wpływ czynniki, które trudno przyporządkować konkretnym zmysłom.

Za to, co odbieramy świadomie, w 83% odpowiada wzrok, w 11% słuch, a na dalszych miejscach są: dotyk, węch i smak. Bardzo często jednak pojawia się wśród świadomych doznań pojęcie „poczucia czasu”, pochodzące od wielu zmysłów. To, co tworzy naszą świadomą rzeczywistość, jest zatem wysoko przetworzonym, ale małym strumieniem danych.

Oczywiście, te badania nie mogły umknąć twórcom sprzętu komputerowego. Obok klawiatur, myszek i monitorów stosunkowo szybko zaczęli oni projektować urządzenia zdolne wzbogacać wrażenie zmysłowe o informacje wygenerowane przez mikroprocesory. Koncentrowali się głównie na wzroku i słuchu. W 1965 roku zaprezentowano pierwowzór okularów wirtualnej rzeczywistości (AR), a w 1968 roku pojawił się pierwowzór okularów rzeczywistości rozszerzonej. Pamiętajmy, że myszkę komputerową opatentowano dopiero w 1970 roku (patent Engelbarta, U.S. Patent 3 541 541).

Pierwowzór okularów AR – project „Sword of Damocles” z 1968 roku

Równocześnie prowadzono badania nad zmysłem słuchu. Okazało się, że zastosowanie zjawiska przewodnictwa kostnego pozwala człowiekowi odbierać dźwięki pochodzące ze środowiska równocześnie z dźwiękami generowanymi przez komputer. Przewodnictwo kostne polega na przenoszeniu dźwięków przez kości czaszki bezpośrednio do ucha wewnętrznego z pominięciem błony bębenkowej. Samo zjawisko było znane od 1923 roku, a od lat siedemdziesiątych dostępne są rozwiązania komercyjne, takie jak słuchawki kostne, które można było podłączyć do ówczesnych komputerów.

Oczywiście, możliwości łączenia świata rzeczywistego z generowanym komputerowo na początku szerzej wykorzystano w wojsku, a dokładniej: w lotnictwie. Pionierem było lotnictwo RPA, które już od lat siedemdziesiątych stosowało i montowało w swojej wersji myśliwców Mirage to, co obecnie w wojsku nazywa się HMD (ang. helmet-mounted display).

Integrated Helmet and Display Sighting System (IHADSS), jedne z pierwszych seryjnie produkowanych urządzeń klasy rzeczywistości rozszerzonej – US Army w 1982 roku

Dostępnym komercyjnie rozwiązaniem tego typu, najbardziej znanym, są okulary Google Glass, które wyposażono w transparentny wyświetlacz przysłaniający jedno oko i monosłuchawkę przewodnictwa kostnego.

Okulary AR, które zobaczymy w 2018 roku

Postęp techniczny sprawił, że obecnie mamy do czynienia z całym ekosystemem technik rozszerzonej rzeczywistości znajdujących się gdzieś pomiędzy rzeczywistością fizyczną a wirtualną. Przy czym samo wrażenie realności w urządzeniach wirtualnej rzeczywistości może być różne w zależności od sprzętu i indywidualnych predyspozycji. Dostępnych jest przynajmniej kilkadziesiąt rozwiązań, w których przypadku śmiało można mówić o mieszanej rzeczywistości. Pozwalają one posmakować dobrze znanej rzeczywistości fizycznej poprzez rzeczywistość rozszerzoną. Nie tracimy kontaktu ze światem zewnętrznym, ale obraz, który widzimy, w dużym stopniu zostaje wypełniony grafiką i dźwiękami pochodzącymi ze świata wirtualnego.

Sprawdź ceny dostępnych dziś modeli okularów VR

Dostępne w każdych supermarketach okulary VR, nawet wyposażone w słuchawki i zestawy czujników, dają nam tylko przybliżenie rzeczywistości wirtualnej. Oczywiście, nie jest to prosta ścieżka od jednej rzeczywistości do drugiej, ponieważ mamy wiele pośrednich wariantów. Najbardziej widowiskowy w ostatnich latach był znany wszystkim posiadaczom smartfonów Pokemon Go. Równie znanym przykładem jest asystent cofania, pokazujący obraz z kamery wstecznej z zaznaczonym konturem miejsca do zaparkowania i informujący dźwiękiem o zbliżaniu się do przeszkody. Także wyświetlacze HUD w samochodach to rozwiązania z dziedziny mieszanych rzeczywistości.

W drugiej dekadzie XXI wieku umiemy wpłynąć na mniej więcej 90% swoich odczuć i doznań dzięki umiejętności kontrolowania do 94% danych pochodzących z rzeczywistości fizycznej. Okazuje się jednak, że 10% doznań i kilka procent danych może odgrywać kluczową rolę w odnajdowaniu się w nowych, mieszanych rzeczywistościach. Przy zbyt szybko zmieniających się bodźcach lub ich zbyt dużej ilości odczuwamy dezorientację, niepokój, czy nawet nudności i zawroty głowy. 

Stanowisko VR służące do treningu strzeleckiego z użyciem replik polskich karabinów przeciwpancernych „Ur” z września 1939 roku – Muzeum Armii Krajowej w Krakowie

Kontrowersje budzi także ilość danych, które o użytkownikach tych nowych technik zbiera sam sprzęt. W przypadku urządzeń mieszanej rzeczywistości istnieje obawa, że przetwarzany w czasie rzeczywistym obraz z kamery okularów AR może naruszać prywatność nie tylko samego użytkownika, ale także jego otoczenia. To dość skutecznie, jak do tej pory, powstrzymuje ich komercjalizację. Zapewne obawy te stały się jednym z powodów przyjęcia unijnego rozporządzenia o ochronie danych osobowych (RODO). Zapisano w nim ochronę danych behawioralnych użytkownika, a więc informacji o nawykach i przyzwyczajeniach, które mogą być zbierane przez urządzenia klasy mixed reality. Wygląda na to, że najlepszym i najbardziej przystępnym (na razie) rozwiązaniem wzbogacającym naszą rzeczywistość są smartfonowe aplikacje.

Twórcy nowych rzeczywistości dotąd nie powiedzieli ostatniego słowa. Stale sprawdzane są nowe możliwości budowy jeszcze doskonalszych urządzeń AR i VR. Kolejnym krokiem w rozwoju naszych doznań w tym zakresie będzie zapewne wyeliminowanie różnego rodzaju padów czy interfejsów sterowania gestami. Być może następną, idealną techniką pozwalającą na rozszerzenie dostępnych rzeczywistości będzie suchy elektroencefalogram (EEG).

 

Oculus + EMOTIV EEG to przykładowy zestaw okularów VR i suchego skanera EEG. Poniżej znajduje się zapis EEG

To technika pozwalająca bezinwazyjnie badać aktywność ludzkiego mózgu. Dzięki zastosowaniu suchych diod możliwe jest jego zintegrowanie z paskami czy czapkami okularów VR lub AR. Analiza aktywności mózgu pozwala oprogramowaniu opartemu na sztucznej inteligencji (AI) uczyć się jego reakcji na przekazywane bodźce. Można dzięki temu rozpoznawać, jakie rodzaje aktywności elektrycznej pobudzają dane działanie, choćby kliknięcie na padzie konkretnego przycisku. Teoretycznie po niedługim treningu można „zintegrować” pada z okularami VR. Wystarczy myśleć o jego używaniu, a wirtualna postać podąży dokładnie tam, gdzie chcemy. W tym roku narodziły się pierwsze prototypy tego typu urządzeń i możemy sobie zadać tutaj pytanie: czy to kolejna forma „właściwej” rzeczywistości?