IBE320 20H Virtuell virkelighet (VR/AR)

IBE320 20H Virtuell virkelighet (VR/AR)

Videoer fra forelesninger IBE320 Virtuell virkelighet (VR/AR) 2020

Her vil du lære litt om datakonstruert kunstig og utvidet virkelighet ("virtual" og "augmented" reality, VR og AR). Det blir litt om utstyr som kobler menneske og maskin, ergonomi og brukbarhet, prototyping av enkle program som kan kjøre AR/VR i nettleser eller som eget program, også i mobil.

Målet er at dere skal lære å lage "realistiske virkeligheter" (se studiehåndbokens offisielle emnebeskrivelse).

Selv om industrielt VR-utstyr ofte er kostbart, er dette emnet laget for å kunne tas hjemmefra på egen normal PC og mobil. Pga corona blir det også vanskelig å ha lab med høgskolens VR-utstyr. Bedriftsbesøk for demo av AR/VRvar planlagt, men også lagt på is pga corona.

Pensum er læreboken til Steven LaValle, Virtual Reality, Cambridge, 2020 (on-line bok med tilhørende YT-videoer: http://lavalle.pl/vr). Hver onsdag foreleses ett kapittel herfra, og dere bør da på forhånd ha sett de tilhørende YT-videoene. Prof. LaValle ledet an i utviklingen av den første Oculus Rift. Det blir også noen artikler fra forskning og utprøving, se semesterplanen (under).

For opplæring i praktiske verktøy som Aframe/Javascript og Unity/C# brukes læremateriell fra nettet.

Forelesning er onsdag 1415-1700 i B-138.  Lab er mandag 1015-12 i A-0.060.  DEN FØRSTE UKEN BLIR DIGITAL da høgskolen ikke har rom nok. Pga corona kan det hende vi må begrense antallet studenter som samtidig er inne i disse rommene, fex ved å bytte på hvem som får være der. Og det vil bli umulig å få til deling av utstyr mellom studentene, uten omstendelig vasking.

Omtrentlig semesterplan.

  • 3.–7. august, forkurs matematikk. Endel av dere tar det pga det obligatoriske høstemnet MAT100.
  • 10.–15. august: Åpningsuke: https://www.himolde.no/livet-rundt-studiene/studiestart/
  • Uke 1 (17.–22/8). Innføring.  OBS: Pga corona/trengsel mangler vi rom første uka. Bruker kun video og Canvas.  Arbeid til første uka:
  • Uke 2.  Maskinvare, programvare.
    • mandag 24/8:  Lab. Denne står ikke i timeplanen, så antar at vi ikke har rom denne dagen heller.
      • Øvelse:  Mye teori denne uken, så vi står over praktisk, og det var heller ikke satt av labtid i timeplanen på mandag.
    • onsdag 26/8:  Teori
  • Uke 3. 2D og 3D representasjon og koding.
    • mandag 31/8. lab 1015-1200. PYRAMIDELAB. Lag en pyramide som er 2x3x4 i grunnflate, står på bakken og er 2 meter høy (lurt å se LaValle om "Geometric modeling" + min støttevideo). Her er en agenda for laben og diskusjon for Pyramidelaben
    • onsdag 2/9 1415-17. Forelesning, Ser på kap 3 i LaValle, men kun 3.1 "Geometric models" er pensum. Resten av kap 3 er stappfullt av komplisert lineær algebra og ikke pensum. Kap 3.1 tilsvarer YT-videoen "Geometric modeling" og noe av "Transforming Models".  Resten til og med Viewport transformations" er interessante, men vanskelig å forstå.
  • Uke 4. Lys og optikk
    • mandag 7/9, lab 1015-12. Javascript intro, A-Frame text. Labnotat.
    • onsdag 9/9. Forelesning 1415-17. Les kap 4 LaValle "Light and Optics" om lysets fysikk, linser, øye, kamera og skjermer. Øving: Sammenfatt hvorfor læren om lys er viktig for å lage god VR. Tilhørende YT-videoer: "Three interpretations of light", "refraction", "simple lenses", "diopters", "imaging properties" og "lens aberrations" (disse dekker ikke kap 4.5 og 4.6 om kamera og skjerm).
  • Syn.
  • Visuell persepsjon (fra synsinntrykk til oppfattelse)
    • onsdag. Forelesning. Les kap 6 LaValle "Visual Perception". Dybde. Bevegelse. Farge. Kombinere informasjon.
  • Rendering (tegne verden)
    • onsdag. Forelesning. Les kap 7 LaValle "Visual Rendering". Raytracing. Skyggelegging. Rasterisering. Forstyrrelser. Tegnehastighet. Immersive bilder og filmer.
  • Bevegelse
    • onsdag. Forelesning. Les kap 8 LaValle "Motion in Real and Virtual Worlds". Akselerasjon. Balanse. Kollisjoner. Misforhold og ubehag. Utelater matematikken (diffligninger).
  • Sporing (følg med på den virkelige verden)
    • onsdag. Forelesning. Les kao 9 LaValle "Tracking".  Følge posisjon og retning (orientation). 3D scanning.
  • Interaksjon
    • onsdag. Forelesning. Les kap 10 LaValle "Interaction". Motorikk. Forflytning. Manipulering. Sosial interaksjon (samhandling).
  • Lyd
    • onsdag. Forelesning. Les kap 11 LaValle "Audio". Lydens fysikk. Ørets fysiologi. Oppfattelse av lyd. Det å skape lyd. Akustikk.  Matematikken (bl.a. Fourieranalyser) kan skumleses.
  • Vurdering av VR
    • onsdag. Forelesning. Les kap 12 LaValle "Evaluating VR Systems and Experiences".  Perseptuell læring. Utvikling av systemer. Ubehag og "VR-syke". Måleteknikker (spørre, sensorer). Eksperimentering. Hypotesetesting.
  • Veien videre
    • onsdag. Forelesning. Les kap 13 LaValle "Frontiers".  Andre måter for interaksjon enn lyd og bilde som berøring, "haptic", lukt, smak.  Interaksjon med roboter.  Hjernestimulering.
  • Annet som vil bli tatt opp (uke/dag ikke fastsatt).
    • Systemarkitektur (hvem gjør hva, samhandling, utveksling av data, caching, sanntids data, skyer).
    • Utviklingsverktøy.  Innføring i Unity og Vuforia ved professor Alessio Malizia.
    • Eksempler fra forskning.  Foredrag av professor Alessio Malizia.
    • Anvendelser i industrien. Suksessfaktorer. Sikkerhet.
    • Digitale tvillinger.  Gjesteforedrag, forhåpentligvis.
    • Hvis tid til overs: Presentasjon av prosjekt. Repetisjon.
  • Mandag 23. november:  Eksamensperioden starter.
  • Slutteksamen:  4 timer skriftlig med alle hjelpemidler.

Emnesammendrag:

Dato Detaljer