Videoer fra forelesninger IBE320 Virtuell virkelighet (VR/AR) 2020

Her vil du lære litt om datakonstruert kunstig og utvidet virkelighet ("virtual" og "augmented" reality, VR og AR). Det blir litt om utstyr som kobler menneske og maskin, ergonomi og brukbarhet, prototyping av enkle program som kan kjøre AR/VR i nettleser eller som eget program, også i mobil.

Målet er at dere skal lære å lage "realistiske virkeligheter" (se studiehåndbokens offisielle emnebeskrivelse).

Selv om industrielt VR-utstyr ofte er kostbart, er dette emnet laget for å kunne tas hjemmefra på egen normal PC og mobil. Pga corona blir det også vanskelig å ha lab med høgskolens VR-utstyr. Bedriftsbesøk for demo av AR/VRvar planlagt, men også lagt på is pga corona.

Pensum er læreboken til Steven LaValle, Virtual Reality, Cambridge, 2020 (on-line bok med tilhørende YT-videoer: http://lavalle.pl/vr).

Eksakt pensum:  Alle kapitlene minus detaljene i datagrafikk og signalbehandling, dvs: minus 3.2-3.5, 7.1-7.3, 8.3.2, 9.4, 11.4.1.

Hver onsdag foreleses ett kapittel herfra, og dere bør da på forhånd ha sett de tilhørende YT-videoene. Prof. LaValle ledet an i utviklingen av den første Oculus Rift. På eksamen blir det spørsmål fra pensum, altså kun fra LaValle.

For opplæring i praktiske verktøy som Aframe/Javascript brukes læremateriell fra nettet. Dere blir ikke spurt om disse verktøyene på eksamen.  

Forelesning er onsdag 1415-1700 i B-138.  Lab er mandag 1015-12 i A-0.060.  DEN FØRSTE UKEN BLIR DIGITAL da høgskolen ikke har rom nok. Pga corona kan det hende vi må begrense antallet studenter som samtidig er inne i disse rommene, fex ved å bytte på hvem som får være der. Og det vil bli umulig å få til deling av utstyr mellom studentene, uten omstendelig vasking.

Omtrentlig semesterplan.

• 3.–7. august, forkurs matematikk. Endel av dere tar det pga det obligatoriske høstemnet MAT100.
• 10.–15. august: Åpningsuke: https://www.himolde.no/livet-rundt-studiene/studiestart/
• Uke 1 (17.–22/8). Innføring.  OBS: Pga corona/trengsel mangler vi rom første uka. Bruker kun video og Canvas.  Arbeid til første uka:
  • Se min intro til emnet og hvordan semesteret er tenkt (videoforelesning)
  • Onsdag 19/8.  Zoommøte.  Mine notater til møtet.
  • Teori
    • Hva sier leksikonet om VR? LaValle sier alt er VR. Harry's VR.
    • Les kap 1 i LaValle, og se tilhørende YT-videoer om "Goals and VR definitions" og "Historical perspective".  Trykk "CC" for teksting. 
    • Gjør kontrollspørsmål til kap 1.
    • Se gjennom Paul Milgram m.fl., Augmented reality: A class of displays on the reality-virtuality continuum, 1994.
  • Praktisk.  Innføring i Aframe.
    • Første besøk hos aframe.io (video, 35 minutt)
    • Prøv alle eksemplene i venstremargen på aframe.io
    • Øvelse: Lag ny glitch av hello som flytter kula til høyre og endrer sylinderens farge til gul
    • Sjekk VR-opplevelsen både med PC, mobil, evt eget VR-utstyr hvis du har.
• Uke 2.  Maskinvare, programvare.
  • mandag 24/8:  Lab. Denne står ikke i timeplanen, så antar at vi ikke har rom denne dagen heller.
    • Øvelse:  Mye teori denne uken, så vi står over praktisk, og det var heller ikke satt av labtid i timeplanen på mandag.
  • onsdag 26/8:  Teori
    • Les LaValle kap 2 "Bird's eye View" og se tilhørende YT-videoer om "Birds-eye view" (5 videoer).  Mine kommentarer (notat+video, 35 min). Noen kontrollspørsmål til kap 2
    • Se litt på Ivan Sutherland, A head-mounted three dimensional display, Proc. AFIPS, 1968.
• Uke 3. 2D og 3D representasjon og koding.
  • mandag 31/8. lab 1015-1200. PYRAMIDELAB. Lag en pyramide som er 2x3x4 i grunnflate, står på bakken og er 2 meter høy (lurt å se LaValle om "Geometric modeling" + min støttevideo). Her er en agenda for laben og diskusjon for Pyramidelaben
  • onsdag 2/9 1415-17. Forelesning, Ser på kap 3 i LaValle, men kun 3.1 "Geometric models" er pensum. Resten av kap 3 er stappfullt av komplisert lineær algebra og ikke pensum. Kap 3.1 tilsvarer YT-videoen "Geometric modeling" og noe av "Transforming Models".  Resten til og med Viewport transformations" er interessante, men vanskelig å forstå.
• Uke 4. Lys og optikk
  • mandag 7/9, lab 1015-12. Javascript intro, A-Frame text. Labnotat.
  • onsdag 9/9. Forelesning 1415-17. Les kap 4 LaValle "Light and Optics" om lysets fysikk, linser, øye, kamera og skjermer. Øving: Sammenfatt hvorfor læren om lys er viktig for å lage god VR. Tilhørende YT-videoer: "Three interpretations of light", "refraction", "simple lenses", "diopters", "imaging properties" og "lens aberrations" (disse dekker ikke kap 4.5 og 4.6 om kamera og skjerm).
• Uke 5. Syn.
  • mandag 14/9, lab 1015-12. Kamera og cursor. Labnotat.  Tok med VR-maskin med Oculus Rift i lab.  https://developer.oculus.com/learn/oculus-device-specs
  • onsdag 16/9. Forelesning. Les kap 5 LaValle "The Physiology of Human Vision", se 6 videoer om "Photoreceptors", "Sufficient resolution for VR", "Light intensity",  "Eyemovements" (x2) og "Eyemovement issues for VR".  Fikk liv i Hololens. https://docs.microsoft.com/en-us/hololens/hololens1-hardware
  • fredag 18/9. La ut oblig 1.
• Uke 6. Visuell persepsjon (fra synsinntrykk til oppfattelse)
  • mandag 21/9. lab?
  • onsdag 23/9. Forelesning. Les kap 6 LaValle "Visual Perception". Dybde. Bevegelse. Farge. Kombinere informasjon. 
• Uke 7. Rendering (tegne verden)
  • mandag 28/9.  Lab, lokasjonsbasert AR.
  • onsdag 30/9. Forelesning. Les kap 7 LaValle "Visual Rendering". Raytracing. Skyggelegging. Rasterisering. Forstyrrelser. Tegnehastighet. Immersive bilder og filmer. Aktuelle YT-videoer: "Visual rendering, overview" (2x), "Shading models", "Rasterization", "Pixel shading", "VR-spec problems", "Distortion shading", "Post-rendering image warp"
  • onsdag 30/9.  2 t Javascript frem til Array.
  • onsdag 30/9. La ut prøveeksamen.
• Uke 8. Bevegelse
  • mandag 5/10.  Jobbet videre med Nicolo's eksempel (JS, knapp) . Array (forEach). CSS selektorer (entitet, klasse, id).
  • onsdag. Forelesning. Les kap 8 LaValle "Motion in Real and Virtual Worlds". Akselerasjon. Balanse. Kollisjoner. Misforhold og ubehag. Utelater matematikken (diffligninger).  YT-videoer mangler? Litt om balanseorganet i "Physics and physiology" (ca 20 min).
• Uke 9-10. Sporing
  • mandag 12/10.  Lab, CSS del 2, fikk til rund knapp!
  • onsdag 14/10. Forelesning (AVLYST).
  • mandag 19/10. Lab, siste del. Geolocation API (i nettleser), hente data fra eksternt API (clientid/secret), asynkron programmering, callback, promisefunksjoner, pilfunksjoner
  • onsdag 21/10. Les kap 9 LaValle "Tracking".  Følge posisjon og retning (orientation). 3D scanning. Se videoer og jobb på egen hånd.
• Uke 11. Interaksjon
  • mandag 26/10:  Lab om flerbruker VR med https://www.npmjs.com/package/networked-aframe 
  • onsdag 28/10. Forelesning. Les kap 10 LaValle "Interaction". Motorikk. Forflytning. Manipulering. Sosial interaksjon (samhandling). Videoer: "Interfaces", "locomotion", "system control" og "social interaction".
• Uke 12. Lyd
  • mandag 2/11.  lab med resten av CSS selectors (pseudoklasser, mediaquery) og responsiv design.
  • onsdag 4/11. Forelesning. Les kap 11 LaValle "Audio". Lydens fysikk. Ørets fysiologi. Oppfattelse av lyd. Det å skape lyd. Akustikk.  Matematikken (bl.a. Fourieranalyser) kan skumleses. YT-videoer (rød t-skjorte): "Physics and physiology"
  • fredag 6/11. La ut prøveeksamen om førerhunder.
• Uke 13. Vurdering av VR
  • onsdag 11/11. Forelesning. Les kap 12 LaValle "Evaluating VR Systems and Experiences".  Perseptuell læring. Utvikling av systemer. Ubehag og "VR-syke". Måleteknikker (spørre, sensorer). Eksperimentering. Hypotesetesting.
• Uke 14. Veien videre
  • onsdag 18/11. Forelesning. Les kap 13 LaValle "Frontiers".  Andre måter for interaksjon enn lyd og bilde som berøring, "haptic", lukt, smak.  Interaksjon med roboter.  Hjernestimulering.
• Mandag 7/12: Slutteksamen:  4 timer skriftlig hjemme-eksamen med alle hjelpemidler. Samarbeid ikke tillatt under eksamen.