Agenda/notater til zoommøte den 19/8 kl 1415 og utover. Vil sammenfatte videoene og boka.

Dr. Steven LaValle er en ingeniør og forsker som har lang fartstid innen robotikk og etterhvert virtual reality (VR). Han har publisert enormt med fagartikler og skrevet boken vi bruker i kurset.

De to første videoene dekker omtrent kap 1 i boka.

Video 1 --- Goals and definitions

Kursets mål å lære å lage en god VR-opplevelse
Forstå hvordan VR virker
Lære å kritisere VR (ikke bare juble uansett)
Lære grunnlaget for å skape en fremtid med VR.

Teknologien endrer seg meget raskt. LaValle fokuserer på det grunnleggende. Noen sannheter som varer en stund (=invariant). VR er ikke nytt, og vår forståelse for VR endres hele tiden.

LaValle mener at god VR er:

komfortabel, ikke bli syk eller svimmel
adekvat (tilstrekkelig) til formålet

F.eks. føle at en slapper av mens en flyr over en by uten å føle seg svimmel.

LaValle definerer VR på et fundamentalt nivå (som ikke avhenger av hva slags teknologi vi har til rådighet akkurat nå):

"Inducing targeted behavior in an organism by using artificial sensory stimulation, while the organism has little or no awareness of the interference"

Organismen glemmer at den blir narret (fooled).

Vi overtar (hi-jacks) organismens normale sanseinntrykk, erstatter det med noe som er kunstig og ingeniørskapt ("engineered").

LaValle tegner en boble som han kaller "VR system" med organismen på en side og det kunstige (maskinvare og programvare) på den andre siden.

Forward engineering: Vi lager systemet (syntese).

Reverse engineering: Vi forsøker å forstå systemet (må analysere).

Bilde: Gi rotta (eller mennesket) en følelse av at den løper.

First vs third person: Trenger tilbakemelding (feedback) fra andre enn en selv (når en utvikler VR), for å unngå "bias" (tendensiøs vurdering).

Immersion (følelsen av å være omsluttet eller neddykket) i en opplevelse.

Place cells og grid cells (stedsceller og gitterceller). Disse dannes også i en VR-opplevelse. Hjernen lærer seg virtuelle steder.

Open-loop: Stimulans avhenger ikke av organismens tilstand. Organismen får ikke gi input, den mottar kun output (som i en film). Opplevelsen er dermed statisk.

Closed-loop: Organismen får delta og bidra til den videre opplevelse.

Telepresens (teleoperation). Utføre noe på avstand via VR, der en føler en er et annet sted og gjør noe.

Augmented Reality (AR) er et spesialtilfelle av VR. Organismen vil i AR ikke tro at den er et annet sted.

Eksempler på VR der en blir "immersed" (glemmer tid og sted): Se en film? Videokonferanse (som zoom)? Lytte til musikk? Prate i telefonen? Dataspill. Lese ei god bok? Løse et vanskelig matteproblem?

Video 2: Historical perspective

Viser bilde av hulemalerier fra Spania og India, er det VR?

Vi er opptatt av rektangler: Malerier, skjermer.

Viser bilde uten og med perspektiv. Perspektiv gir nesten "immersion".

Film fra 1894 med et tog som ankommer en stasjon (folk hoppet ut av kinostolene).

Viser klipp fra filmen "Gravity". Ikke alle synes i dag dette er "immersive". Grensene flyttes.

3D Viewmaster fra 1934. Gir stereosyn.

First-person vs third-person: Er det en selv som gjør noe, eller ser en på at andre gjør noe?

Sensorama, 1950-tallet. Sitte

Sutherland's 1968 hjelm. En slags AR med 3D.

Ca 1980. Hjelmer og datahansker.

1992. Første CAVE ved Univ Illinois. Storskjermer i stedet for hjelmer. Ikke-portabel (kan ikke flyttes slik en hjelm kan)

VR-krasjet: Diverse annet ukomfortabelt og ikke-adekvat utstyr utover 90-tallet.

Kinofilm: "Lawmower man" (gressklipper-mannen).

Second Life (2002–). Avatarer i 3D. Sosialt spill med lekepenger (Linden dollars, ikke bitcoin). Ikke immersivt. Dette var brukt i forskning og undervisning ved HiMolde ca 2010 (Dr. Judith Molka-Danielsen). De lager nå utvidelser av Second Life for dagens moderne VR-utstyr.

2012. Palmer Luckey danner Oculus i Califoria.

2015 (videoen vi ser på). Lavkost VR blir mulig. Vi har kraftige PCer. Skjermer med meget høy oppløsning. Bittesmå sensorer som gir god sporing (tracking). Oculus (finsk) har kommet ut. Smarttelefon likeså. Facebook kjøper Oculus for 2,3 milliarder dollar ...

Likevel er det endel tvil om hva disse hjelmene/headsettene er gode for. Hva er "killer app"? Dataspill? Kanskje VR via mobiler? Jfr valget om å bruke WebVR i de første øvelsene (hos oss dette semesteret).

(nyere enn 2015: Ikke nevnt i video)

Gjennomgang av kap 1 i boka

Dere skal lese hele kapitlet og anbefales et sett kontrollspørsmål for å få bearbeidet det som står i kapitlet.

1.1. What is VR

Definisjon med 4 element: Ønsket oppførsel, organisme, kunstig stimulans og tilstedeværelse(awareness).

Testing the boundaries: Hvor langt kan vi strekke definisjonen. Er det f.eks. VR når vi lytter til musikk via hodetelefoner?

Hvem er idioten (who is the fool)? Mener antakelig: Hvem er det vi narrer? LaValle skriver at det er tydelig fra forskning, at hjernen blir "fooled" av VR. Vi ser nemlig dannelsen av både steds- og gitterceller.

Hulelignelsen. Ja, hva med den? (CAVE kommer av cave?)

Filosofen Kant om hva som er virkelighet (les fra s. 5).

AR er en undergruppe av VR. Hva med MR og XR? Se litt i Milgram.

Interaktivitet, åpen kontra lukket kontrollsyklus.

1. vs 3. person?

Universelt simuleringsprinsipp: Et simulert VR kan gjenskape alt fra den virkelige? Eller gjøre det ENDA bedre. Kan en fex bli enda bedre programmerere hvis en bruker VR i kodingsarbeidet?

Syntetisk kontra fanget (captured). Syntetisk = generert av programvare som er kodet til å etterligne den virkelige verden med fex trekanter. Captured = fanget fra den virkelige verden.

Helse og trygghet (HMS). Ubehag av at VR-opplevelsen blir svimlende forskjellig fra det man forventer. Kvalme.

1.2. Modern VR experiences.

OBS: Modern=det som er "in" i dag, og denne utgaven av boka er fra midt i 2019. Videoene vi bruker er fra 2015. Kurset tas høsten 2020.

Dagens VR-bølge startet ca 2012 med Oculus.

Har fått dataspill med mye VR som HTC Vive. PSP med VR.

Kino med omsluttende VR.

Panoramaopplevelser basert på faktiske bilder tatt av Googlebilen og andre.

VR i virtuelle samfunn som Second Life.

Empati. Hva er det? Samme som sympati? Hva med apati?

Utdanning. Skal vi ta resten av IT-studiet med VR? Forfatteren hevder at VR er "naturlig å bruke" for praktisk trening/øvelse. Kan dere trene på digitalisering ved å bruke VR?

Protrotyping med VR. Er det her "digitale tvillinger" kommer inn?

Helsevesen. Fjerndiagnose. Fobimestring. Eldre kan være med på ting (øke trivsel).

AR (augmented=utvidet). Det å legge datagrafikk opp på det virkelige, enten på mobil (pappbriller) eller i gjennomsiktige AR-briller som Hololens eller Googlebriller.

Nye opplevelser for menneskeheten. Som det å fly uten å iføre seg ekorndrakt og hoppe fra diverse utspring i Romsdalen.

1.3. History repeats

Det vi ser i dag som "moderne VR" er ikke alltid så ulikt det vi har gjort alltid.

Staring at rectangles. Hva mener han? Tegne på 2D, gjerne innenfor et rektangel. Med og uten perspektiv.

Bilder som beveger seg (moving), altså film/video.

Vi (som mennesker) velger oss det som er behagelig (convenient) og da ofte betyr det noe som er flyttbart (portabelt). Altså: Mobil.

Fra de første dataspill til dagens. Er/var de alle eksempler på VR, der det eneste som endres er hva som er mulig (pga teknologi som stadig blir "bedre").

Fra rektangler til 3D og til omsluttende bildeopplevelser. Immersivitet.

Hodeutstyr (hjelmer, briller) gir flyttbarhet.

Sosialisering er ofte viktig når nye teknologier tas i bruk. Man blir en virtuell person i et virtuelt samfunn.

Further reading

Mange bøker om 3D og brukergrensesnitt. Også filosofisk anlagte bøker. Hva er "virkelighet"? Forfatteren hevder at det finnes mye "gammel" forskning som er svært relevant i dag. Dette pga at forskningen er generell på prinsipp, den er ikke spesifikk på utstyr.

Aframe.

Dette er dekt gjennom introvideoen om aframe. Vil likevel se på det i dag. I neste uke vil det komme en mer formell gjennomgang av hva aframe later til å være, som verktøy innenfor et kurs i VR. Foreløpig er det mest for å bli kjent.