„HoloLens“ išradėjas Avi Bar-Zeev dalijasi: „Kelias į bet kokio oro AR akinius“
Kelias į bet kokio oro XR akinius
Daugiau nei 30 metų dirbau su XR, metaversu ir erdviniu skaičiavimu, įskaitant pagalbą arba patarimą 10 skirtingų XR ausinių projektų. Man teko didžiulė laimė anksti prisidėti prie įvairių projektų, daugiausia įrodant arba paneigiant reikalavimus ir apibrėžiant pagrindines naudotojų patirtis, kol komandos išleidžia 1 milijardą USD projektų kūrimui. Pakeliui išmokau pamokų, kas veikia, o kas ne. Kartais teisingas atsakymas yra „dar nesubrendęs“.
Neatskleisiu jokios informacijos, kurią mano buvęs darbdavys vis dar laiko nuosavybės teise. Pateiksiu nuorodas į paskelbtus patentus, kurios gali suteikti mums šiek tiek įžvalgos. Tikėkite ar ne, toks yra tikrasis patentų tikslas. Žinoma, vengčiau patentų, kurie, mano manymu, sukeltų spekuliacijų.
Svarbu būti atsargiems ir nepriimti nieko, ką sakau ar parašau, kaip kokios nors įmonės produktų planų įrodymą ar net bet kokios kritikos kieno nors pastangoms. Tai visai nebuvo mano ketinimas.
Pirmoji tikroji XR patirtis, kurią sukūriau, buvo CAVE. Tuo metu aš pasiskolinau 250 USD{1}} kompiuterį ir milžinišką projektorių ir dar 30 USD investavau į žaliavas. „Disney“ 100 USD vertės 000 VR ausinės, pagamintos devintajame dešimtmetyje, niekada nepateko į komercinę rinką. Svoriui nešti reikia nuo lubų kabančių kabelių, tačiau šimtai tūkstančių tai išbandė.
Tikiuosi, kad iki 2010 m. sausio mėn. būsime pasirengę pradėti kurti paruoštus naudoti XR akinius. Atėjo laikas padaryti didelį poveikį šioje lėtai judančiame lauke. Be to, maždaug tuo pačiu metu atsirado „Google Glass“ ir „Magic Leap“. Laimei, viena iš užduočių, kurias gavome „Microsoft“ inkubacinėje komandoje, buvo rasti naujų idėjų naujos kartos „XBox“.
„Būkite agresyvūs, net priversti mus sakyti, kad tai beprotiška“, – tuomet sakė „Xbox“ vadovas.
Tikrai turiu „radikalių“ idėjų. Netrukus mūsų nedidelė komanda pradėjo dirbti prie naujos produkto koncepcijos „Screen Zero“: visų ekranų pakeitimo vienu ekranu. Buvau atsakingas už techninius tyrimus ir padėjau apibrėžti patirtį pirmaisiais ugdymo metais. Mano pasitraukimo priežastys nėra vertos vietos šiame straipsnyje. Tačiau po daugiau nei tūkstančio žmonių HoloLens pradėjo veikti 2016 m.
Tai novatoriška įranga. Tačiau tai vis dar nėra dėvimas bet kokiam orui. Nė vienas iš šių dienų „Magic Leap 2“, „Snap Spectacles“, „Varjo“ ar „Quest“.
Taigi, ko tiksliai reikia norint pasiekti AR akinius, kuriuos galima nešioti visą dieną?
1. Maksimalizmas ir minimalizmas
Maksimalistinis požiūris, kaip ir HoloLens galiausiai, reiškia daugybės jutiklių, algoritmų ir galios sujungimą į aukščiausios klasės sistemą. Kai sutvarkysime inžineriją ir naudotojų patirtį, teoriškai galime ją susiaurinti. Tačiau tai užtrunka daugiau laiko ir gali užtrukti iki dešimtmečio, kol tam tikra elektronika optimizuos vien galią.
„Cambria“ ir panašūs įrenginiai yra taip pat maksimalistiniai, kad jie imituoja AR su milžinišku nepermatomu VR ekranu ir keliomis kameromis, tiksliai kontroliuojant realybės ir modeliavimo derinį pikselis po pikselio. Maksimalizmas geriausiai tinka aukščiausios klasės programoms ir pagrindiniams tyrimams ir plėtrai. Kai kurie teigia, kad net jei programos yra labiau pramoninės, jos yra vienintelės šiuo metu veikiančios priemonės.
Tačiau net ir brangiausių prietaisų šiandieninėje rinkoje negalima nešioti visą dieną, jų negalima naudoti įprastam socialiniam bendravimui ar net saugiam vaikščiojimui gatvėmis. Maksimalistinės funkcijos, tokios kaip holografiniai arba šviesaus lauko ekranai, dar nėra subrendusios.
Kita vertus, minimalistinio požiūrio įrenginiai apima „Amazon Echo Frames“, „Snap Spectacles“ ir „Ray-Ban Stories“. Juose įdiegta tik tokia technologija, kuri atitinka dabartinius nešiojamųjų akinių formos faktoriaus apribojimus, dažnai visiškai atsisakoma ekranų.
Vis dėlto ar akiniai be ekrano gali būti laikomi XR?
Jei tai pagerina situacijos perspektyvą, sakyčiau „taip“. Podcast'as arba muzikos rinkinys nėra XR, nes jis vis tiek nejaučia jūsų ar jūsų dabartinės aplinkos. GPS navigacijos programos šiek tiek atitinka, bet jų nepakanka. Erdvinio garso ir kamerų pridėjimas dirbtiniam intelektui ir tikslaus padėties nustatymui tikrai skaičiuojamas kaip XR, net ir be ekrano.
Taikant minimalistinius metodus, per trumpą laiką galima parduoti daugiau produktų, dažniausiai dėmesys sutelkiamas į konkretų aspektą ir paverčia jį geriausiu savo klasėje sprendimu. Jei galite tai padaryti teisingai, pavyzdžiui, Walkman ir iPhone, galite parduoti už milijardus dolerių. Tačiau nemanykite, kad minimalizmas yra lengvas, nes daugeliu atžvilgių sunku tai padaryti gerai.
2. Geriausias būdas
Tikėjausi, kad „XBox“ ekrano nulis yra minimalistinių akinių ir maksimalistinės konsolės hibridas. AR akiniai turėtų būti panašaus dydžio kaip Oakley akiniai arba mažesni. Kitas šeimininkas atliks didžiąją dalį sunkių darbų už iki keturių stiklinių porų tame pačiame kambaryje.
3. Ergonomika, energijos sąnaudos ir šiluma
Kodėl atskirti? Tai priklauso nuo energijos suvartojimo, tiksliau: šilumos.
Visas kompiuterio darbas baigiasi šilumos pavidalu, o kiti gali apimti fotonus ir (arba) mechanines pavaras, pavyzdžiui, garsą. Kiek šilumos? Lengvų AR akinių pora gali generuoti apie vatą energijos.
Įprastas išmanusis telefonas gali generuoti apie 10 vatų ir tada įkaisti. Pagrindinis kompiuteris arba kompiuteris gali sunaudoti 10-100 kartų daugiau energijos nei išmanusis telefonas, taigi 100-1000 kartų daugiau energijos nei akiniai. Pagalvokite apie mažyčius LED žibintuvėlius ir milžiniškas drabužių džiovykles. Tai didžiulis energijos suvartojimo skirtumas.
Norint subalansuoti energijos suvartojimą, mums reikia sprendimų, panašių į tai, su kuriais dirbau nuo 2010 m., pvz., duomenų suliejimas, padalijamas atvaizdavimas, optimizuoti atvaizdavimo srautai. Esant mažesniam pralaidumui, akių sekimu pagrįstas laiko deformacijos atvaizdavimas veikia gerai ir apima ryšio vėlavimus.
CPU, kamera, ekranas ir RAM sunaudoja daug energijos ir generuoja daug šilumos. Taigi, paslaptis yra ta, kad daugeliu atvejų juos naudoti saikingai. Pagalvokite apie mažos galios individualią aparatinę įrangą: naujus kontekstinius jutiklius, ypač mažos galios ekranus ir algoritmus, kurie sumaniai „pažadina“.
Tai užtruks laiko išspręsti. Pavyzdžiui, jei jūsų optinė pelė ir pagrindinio kompiuterio valdiklis neveikia parengties režimu, jų baterijos išsikraus, todėl jie pradeda naudoti pririštą sprendimą. Šiandien optinė pelė gali veikti kelis mėnesius su maža baterija.
4. Už svetainės ribų
Kad būtų palaikomi įvairūs naudojimo atvejai, optiškai skaidrios AR sistemos turi idealiai blokuoti šviesą iš ryškios aplinkos (netgi langų ar svetainės apšvietimo), geriau pritaikyti asmeniniams poreikiams ir suderinti erdvinį garsą su tikrove, reguliuoti optinį fokusavimą, užfiksuoti ir atkurti kitų virtualias hologramas. ir dar.
Net jei įrenginys yra padalintas į pagrindinį įrenginį ir ausines, mūsų galvoje vis tiek yra per daug „daiktų“. Didžiulis ergonominis iššūkis yra atsikratyti milžiniškų dirželių, kuriuos vis dar naudoja dauguma XR įrenginių, todėl ausinės atrodo kaip veidą apkabinančios klaidos.
Bet kokie dirželiai, kuriuos reikia įtempti, apribos naudotojų įvairovę (atsižvelgiant į galvos dydžio svyravimus ir jautrumą plaukams) ir sumažins tikimybę nešioti akinius. Tai reiškia, kad bet kokiam orui skirta įranga turi būti itin lengva ir paprastai tinkanti taip pat, kaip ir įprasti akiniai.
Norint pasiekti Oakley akinių dydį ar mažesnius, dažnai reikia perkelti daugiau sistemos į spaustuką arba nuotolinio valdymo pultą. Magic Leap siūlo tokį klipą. Pastebėjau, kad XR įrenginiai naudoja kaklo juostos sąranką, o tai reiškia, kad skaičiavimo komponentai kabinami ant vartotojo kaklo. Naudojant šį padalintą dizainą, kuo daugiau atskirų darbų atliekama, tuo lengvesnis gali būti akies/galvos mazgas.
2010 m. aš asmeniškai labiau domėjausi bicepsu, nes tai buvo tvirtinimo taškas ir trumpa linija, jei reikia. Tai apsaugo nuo galvos ir kaklo sunkesnius ir karštesnius komponentus ir turi daug paviršiaus ploto šilumai išsklaidyti. Ant rankos esantys biojutikliai taip pat gali aptikti gestus, panašiai kaip „Meta“ naudoja „Control plus Labs“ įrenginį, kad nuskaitytų gestus nuo riešo. Tokiu būdu gaminių dizaineriai vis dar gali pasakyti „be kabelių“.
5. Sutelkti dėmesį
Kadangi daug suaugusiųjų turi koreguoti regėjimą iš arti ir į tolį, visą dieną nešiojamas formos veiksnys dažnai turi padidinti ir sutelkti mūsų realų pasaulį. Mažiausiai tai reiškia, kad lęšiai turi palaikyti pasirinktinių regėjimo parametrų optiką. Bangolaidžio bendrovė, kurią Snap įsigijo anksčiau, paskelbė apie planus įterpti susijusią optiką į funkcinius regėjimo lęšius, tačiau tai buvo sunku.
Bet ar užtenka vieno regėjimo parametro? Daugeliui suaugusiųjų akiniai reikalingi tik skaitymui ar vairavimui (toliaregystė), o tai reiškia, kad jiems reikia akinių, kad galėtų persijungti į skirtingas būsenas. Taigi, ar mums reikia dviejų ar trijų porų brangių akinių? Arba bifokaliai, trifokaliai, kurie atitinkamai sulenkia šviesą, priklausomai nuo to, kur žiūrite? (Praktiška, bet ne idealu)
Vienas iš mano siūlomų sprendimų yra dinaminis optinis reguliavimas, leidžiantis tiems patiems akiniams palaikyti skaitymą ar vairavimą ir netgi padidinti smulkiu šriftu ir tolimus ženklus. Tai taip pat leidžia daugiau draugų tai lengvai išbandyti. Įsivaizduokite, jei jūsų „XBox“ palaiko tik vieno žaidėjo žaidimus, o kambaryje yra du ar trys draugai? Kažkoks bėdas.
Šiuo metu geriausi dinaminio fokusavimo metodai yra „Alvarez“ (mechaninė skaidrė) ir skysčiu užpildyti reguliuojami lęšiai. Mechaniniai sprendimai mažina patikimumą. Nemažai mokslinių tyrimų ir plėtros atliekama siekiant sukrauti specialius skystųjų kristalų ekranus ir keisti fokusą elektroniniu būdu. „Mega“ įsigijo įmonę, kuri imtųsi užduoties.
Tada iškyla virtualaus vaizdo fokusavimo pagal esamą matymo liniją problema. „Avegant“ ir „Magic Leap“ parodė, kaip greitai persijungti tarp dviejų židinio nuotolių, imituojant paprastą šviesos lauko ekraną, kuris yra svarbus norint naršyti po „virtualius objektus“ tinkamu židinio nuotoliu sparnų atstumu. Anksčiau ieškojau kelių būdų, kaip nuolat nuskaityti židinio nuotolį, tačiau komerciniai monitoriai praktiškai nėra pakankamai greiti.
Akių stebėjimas gali padėti apdoroti, sumažinti skaičiavimo apkrovą ir suteikti natūralesnę vartotojo įvestį. Esu labai susipažinęs su akių sekimo problema ir anksti įspėju sprendimus priimančius asmenis apie riziką.
Galiausiai, kalbant apie verslą, „Luxottica“ uždirba daug pinigų, parduodant nebrangius ir brangius akinius. Šiandien ji dominuoja rinkoje ir dauguma žinomų akinių prekių ženklų. XR akinių įmonės turi dirbti su jais arba prieš jas – nė vienas iš jų nėra lengvas pasirinkimas. Meta nusprendė dirbti su jais kurdama Ray-Ban akinius. Bendrovės konkurentai yra Warby Parke ir kiti smulkūs žaidėjai. Negalite parduoti gerų naujų produktų be gerų platinimo kanalų ir partnerių.
6. Kontrastas
„Magic Leap 2“ siūlo būdą pasirinktinai sulieti gamtos pasaulį. Su šia problema dirbu nuo 2010 m., tačiau tobulo sprendimo vis dar nėra. Optikos inžinierių serija nemanė, kad tai būtina. Priežastys yra šios:
Paprastai suprantama, kodėl skaidrūs „priedų“ ekranai negali būti „juodai“. RGB{{0}},0,0 juodai, kuri iš tikrųjų nieko neprideda ir nėra matoma esamoje šviesoje. Tačiau mes galime lengvai apgauti jus, kad suvoktumėte juodus ir šešėlius, artėdami prie šviesesnių sričių.
Tikrai sudėtinga problema iškyla, kai išnešiate XR akinius į lauką ir žiūrite į ryškios saulės apšviestą sieną, tikriausiai šalia tamsios ar tamsesnės vietos. Kai kurios sritys gali būti 1000–10 000 kartų šviesesnės nei kitos. Kontrastas yra toks ryškus patalpose, kad AR vaizdai atrodo tiesiog baisūs. Optikos inžinieriai dažnai teigia, kad norint tai įveikti, reikia išleisti daugiau šviesos. Jų optika paprastai yra tik 1 proc. -10 proc. efektyvumo, o tai reiškia, kad didžioji dalis šviesos net nepatenka į akis ir tik prideda daugiau šilumos. Prisiminkite, kad jūs negalite sukurti sistemos tik apie optiką, nes šiluma yra vienas didžiausių ribojančių veiksnių.
Realybė yra tokia, kad bet kuri permatomų AR arba vaizdo permatomų akinių pora, darant vaizdo patobulinimus, turi atsižvelgti į tikrąją sceną. Skaidrumo atveju akinius dažnai reikia atimti iš tikro apšvietimo, kad būtų gauta norima galutinė spalva. Vaizdo įrašo perspektyvos atveju ekranas gali pakeisti visą pikselį, tačiau bet koks virtualios 3D scenos skaidrumas vis tiek turi būti sumaišytas su fono spalva, nuskaitoma iš fotoaparato. Taigi iš esmės žiūrite į didelės energijos kamerą ir skaidrų arba nepermatomą grandinę. Tai didžiulis dizaino apribojimas, nes jis prideda energijos ir svorio, o blokuoja akis.
Iš pažiūros selektyvus šešėliavimas skaidriais akiniais yra pigesnis nei ekrano maitinimo arba fotoaparato pridėjimas. 2010 m. prieš bangolaidį įdėjau paprastą vienspalvį LCD ekraną. Jis veikia taip, kaip tikėtasi, 3D vientisus objektus pateikdamas švelniais juodais kontūrais. Tačiau jis turi trūkumų, įskaitant dinaminio kalibravimo poreikį, LCD iškraipo tikrą šviesą (daugiausia valdymo laidų lūžį). Jis pats savaime turi prastą dinaminį diapazoną. Lauke kartais reikia beveik 100 procentų neskaidrumo. Patalpose, ypač socialinėse situacijose ir teledalyvaujant, norisi būti skaidresni, kad matytum žmones tiesiai į akis.
Pagrindinis šio požiūrio prieštaravimas yra tas, kad skystųjų kristalų ekranai ar kiti erdvinės šviesos moduliatoriai dažnai būna nefokusuoti, per colį nuo akies. Tačiau iškraipymas yra toks, kad naudojant tinkamus pliuso ir minuso skaidrius AR ekranus ir kai kuriuos greitus, mažos galios jutiklius, jūsų akiniai nuo saulės gali blokuoti saulės šviesą, akinimą ar priekinius žibintus, bet kitur neaptemdys jūsų regėjimo. Galite subtiliai aptemdyti pasaulį ir leisti rekomenduojamoms knygoms atrodyti putojančioms. Dėl pažangesnės atimties (filtravimo) akiniai netgi gali pakeisti pasaulio spalvą, pagerinti naktinį matymą ir netgi pateikti biometrinį grįžtamąjį ryšį, kai jaučiatės neramūs ar išsiblaškę.
Sukūriau įvairius demonstracinius dalykus ir ilgai ieškojau geresnio būdo. Tačiau jie visi turi tam tikrų trūkumų. Tačiau „Magic Leap 2“ įgyvendinimas suteikia vilčių, kad pagrindinės problemos bus išspręstos.
7. Tinklas
Radijo aparatams taip pat reikia energijos, todėl suskaidytoje sistemoje visada yra kompromisas. Daug žadanti ateitis yra aukštesnio lygio radijo dažnių naudojimas, kad būtų pasiekta mažesnė galia ir didesnis pralaidumas nei šiandien. Tačiau pagrindinis iššūkis yra tas, kad šis dažnis negali praeiti per odą ar sienas (gerai ar blogai). Taigi, sprendimas turi būti labai protingas, nes radijo bangos atsimuša ir spinduliuoja aplink kambarius ir žmones, todėl gali reikėti naudoti daugiau siųstuvų nei šiandien. Akivaizdu, kad tai padidina išlaidas ir sudėtingumą.
Visą dieną nešiojamiesiems įrenginiams taip pat reikia, kad tinklas būtų pasiekiamas prieš parduodant juo naudojamus gaminius. Šis apribojimas yra didžiausia priežastis, kodėl įmonės niekada neišleidžia skaidyto atvaizdavimo sprendimo, kurį propaguoju. 5G yra arčiau to, ko mums reikia, bet bent jau JAV tai dažniausiai išsprendžia mažesnio delsos ir daugiau žmonių tuo pačiu metu naudojasi tinklu problemą. Mums reikia daugiau nei 5G, bet tai gera pradžia.
Norėdami atsikratyti pradinio „šeimininko“ (ar panašaus) patalpoje, išlaikant mažą ir lengvą formos faktorių, mums reikia būdo, kaip „apriboti“ skaičiavimą, sujungtą taip, kad nebūtų pažeistas mūsų privatumas. Biometrinių jutiklių duomenų siuntimas į bet kurį kraštą ar debesies sprendimą yra labai svarbus visiems, nes jais galima lengvai piktnaudžiauti.
8. Fotoaparatas
Padėti fotoaparatą prie akinių yra sudėtinga. „Google Glass“ padarė daug socialinio pripažinimo klaidų ir buvo plačiai puolama. Tačiau atrodo, kad „Snap“ šiuo atžvilgiu turi nedaug problemų. Tuo pat metu „Facebook“ stengėsi užfiksuoti kiekvieno žmogaus gyvenimo detales, tikriausiai, siekdamas pateikti labiau suasmenintus skelbimus, nesvarbu, ar mums tai patinka, ar ne.
Kai kurios kameros sunaudoja daug energijos, pavyzdžiui, 3D scenos skaitmeninimas ir skaitmeninis žmonių ar objektų okliuzija. Norint tinkamai išdėstyti 3D grafiką, reikia nuolat sekti galvą erdvėje, o fotoaparatai vis dar yra pagrindinis sprendimas. Naudodami IMU jutiklius padidiname energijos suvartojimą.
Fotografavimas ar filmavimas yra gana populiarus naudojimo atvejis, ypač jei jis yra natūralesnis ir patogesnis nei kiti įrenginiai. Tačiau dėl dydžio ir galios apribojimų nuotraukų kokybė bus prastesnė nei įprasto išmaniojo telefono. Norint išspręsti sudėtingą socialinio pritarimo problemą, nepakanka kadre pateikti mažą baltą šviesą.
Scenos supratimą lengviau įsivaizduoti kaip pagrindinę fotoaparato akinių savybę, iš dalies todėl, kad nereikia fotografuoti kitų žmonių, bet dar svarbiau tai atveria svarbiausią naują dėvėjimą, skirtą akinių nešiojimui visą dieną: situacijos supratimą.
9. Patirtis
2010 m. labiausiai tikiuosi sukurti mokslinius tyrimus ir plėtrą, tai yra AR akiniai, kurie palaiko galingas akių ir kūno stebėjimo galimybes ir tiria natūralesnę erdvinio skaičiavimo vartotojo sąsają, ne tik tradicinį „stačiakampį stačiakampyje“, kuriame yra kompiuterių ir pelių. Nors aparatinė įranga tikrai turi savo apribojimų, plačiai pritaikius XR, reikia, kad kas nors išspręstų patirtinį klausimą „kaip“ sąveikauti ateityje? Akivaizdu, kad „3D dėžutė dėžutėje“ nėra. Taigi dar turime daug darbo.
Nors Meta sutelkia savo VR pastangas, kad išlaikytų vadinamąjį „Visual Turing Test“, XR akiniai, kuriuos galima nešioti visą dieną, turi būti naudingesni nei kiti. Daugelis įsivaizduoja AR sluoksnius ar kanalus, persmelkiančius mūsų tikrovę, žyminčius viską, ką matome, pridedant informacijos, pasakojančius erdvines istorijas 3D formatu ir perbraižančius pasaulį. Nors tai greičiausiai bus pagal poreikį, tai nėra tokia kasdienė patirtis, kurios tikėčiau.
Dažniausiai žmonės nori patobulinti tai, ką daro dažnai: bendrauti, naršyti, atrasti mus supantį pasaulį, suprasti ir net pakeisti vietą, apsipirkti, patirti turinį ir užsidirbti pinigų iš darbo. Kad būtų sėkmingas, XR akiniai turi veikti geriau nei mes darome su išmaniaisiais telefonais ar kitais įrenginiais.
Štai ko išmanusis telefonas negali padaryti. Įsivaizduokite įprastos išvaizdos akinius, kurie dinamiškai reguliuoja židinį ir selektyviai blokuoja šviesą. Jie gali su jumis pasikalbėti aktyviai ir privačiai, jums nereikės įvesti teksto ar klausti žodžiu. Vien tai būtų milijardo dolerių vertės produktas. Tokie akiniai gali padėti atsiminti dalykus arba pateikti patikimų rekomendacijų, kaip kasdieninės patirties dalį (palyginti su tiesioginiais skelbimais).
Svarbiausias mano atliktas tyrimas šioje srityje – asinchroninis bendravimas naudojant nevizualius XR akinius. Išmaniųjų telefonų balso ir teksto galimybės šiandien yra pakankamai geros, bet ar jie žino, kada jums sunku susikaupti? Ar jie gali padėti jums tinkamu metu pakeisti kontekstą, kad darbas ar žaidimas nenutrūktų? Štai kaip kur akiniai gali spindėti (darant prielaidą, kad galime pasitikėti gamintoju).
Viskas, ką aprašiau, yra labai sunku, o atitinkamos technologijos beveik nėra. Jis dar nėra minimalistinis, bet taip yra todėl, kad mes neteikėme jam pirmenybės optikos miniatiūrizavimui ir matymo lauko padidinimui. Bet jei užduotumėte klausimą: kokie XR akiniai gali pasisekti ten, kur kiti nepasiekė? Vis dar manau, kad viskas, ką išvardijau aukščiau, padės jums sukurti puikų produktą.
