真正的 VR 大考是什么：Oculus 首席科學(xué)家談人機(jī)交互的未來(lái)

近日，Oculus 公司首席科學(xué)家 Michael Abrash 出席了第三屆環(huán)球大挑戰(zhàn)峰會(huì)（Global Grand Challenges Summit）。這場(chǎng)大會(huì)贊助者眾多，其中就包括美國(guó)國(guó)家工程學(xué)院，英國(guó)皇家工程學(xué)院和中國(guó)工程院。在此次大會(huì)上，Abrash 和與會(huì)者分享了他對(duì) VR 的一些深層次看法。下面就是 Abrash 的演講稿，絕對(duì)的一刀未剪。本文由雷鋒網(wǎng)編譯自 Oculus 官方博客。

Michael Abrash

很高興能來(lái)到這里參加這場(chǎng) VR 盛會(huì)，它確實(shí)是一次名副其實(shí)的大挑戰(zhàn)，大會(huì)的持續(xù)時(shí)間，技術(shù)的深度與廣度都前所未有。此外，它還對(duì)我們的生活方式產(chǎn)生了潛在影響。

VR 的歷史可以追溯到 1968 年 Ivan Sutherland 的達(dá)摩克利斯之劍（頭戴式電腦）。不過(guò)半個(gè)世紀(jì)之后，我們才真正開(kāi)始走上探尋 VR 真身的道路。當(dāng)我們談?wù)撈?VR 的未來(lái)時(shí)，才真正開(kāi)始意識(shí)到它的潛在影響，而這一過(guò)程的起點(diǎn)就是人類(lèi)體驗(yàn)的本質(zhì)。

我們體驗(yàn)到的現(xiàn)實(shí)其實(shí)建立在我們腦海中，其基礎(chǔ)是我們基因中自帶的無(wú)數(shù)假設(shè)和出生以來(lái)的各種經(jīng)驗(yàn)。當(dāng)然，還有一些我們感官接收到的零散數(shù)據(jù)。

所有的現(xiàn)實(shí)都是虛擬的。

這句話是不是足夠震撼？如果你此前從來(lái)沒(méi)想過(guò)這個(gè)命題，恐怕震撼感就沒(méi)那么明顯。所以在這里我想再說(shuō)一遍：其實(shí)我們體驗(yàn)的所謂現(xiàn)實(shí)都建立在我們腦海中，其基礎(chǔ)是那些高度不完整的數(shù)據(jù)。通常，這些數(shù)據(jù)能與現(xiàn)實(shí)世界緊密吻合，但它并不是現(xiàn)實(shí)的字面反應(yīng)，而是世界最可能狀態(tài)的一個(gè)推理而已。

下面我們就通過(guò)幾個(gè)案例來(lái)認(rèn)識(shí)自己，其實(shí)我們對(duì)現(xiàn)實(shí)的看法只不過(guò)是最好的猜測(cè)罷了。

看到桌子下面的白色方磚和桌子旁邊的黑色方磚嗎？

下面，我們遮住畫(huà)中的其他方磚。

事實(shí)上，它們的灰度完全相同。

不過(guò)，如果把它放在陰影下，方磚從視覺(jué)上看就會(huì)變成白色，而放在亮光下則會(huì)轉(zhuǎn)為黑色。光強(qiáng)度是一種基于上下文的推理，你的視覺(jué)系統(tǒng)會(huì)自動(dòng)完成推理，因此你看到的是白色和黑色而不是灰色。

下面我們舉第二個(gè)例子。請(qǐng)你們仔細(xì)看這張圖，圖中的兩個(gè)桌面哪個(gè)更寬？哪個(gè)又更長(zhǎng)呢？

看出來(lái)了嗎？

現(xiàn)在揭曉答案，事實(shí)上這兩個(gè)桌面的尺寸一模一樣。與上面的光強(qiáng)度概念一樣，桌面的大小也是一種基于文本的推理。

下面的幾個(gè)例子娛樂(lè)性更強(qiáng)，同時(shí)也蘊(yùn)含了幾個(gè)與現(xiàn)實(shí)對(duì)不上的更高級(jí)推理。

顯然，“眼見(jiàn)并不為實(shí)”。

一些窗戶上的線索暗示出一個(gè)并不存在的觀點(diǎn)，因此你的視覺(jué)系統(tǒng)認(rèn)為窗戶向后旋轉(zhuǎn)了一半。為了證明這個(gè)觀點(diǎn)的正確性，你會(huì)覺(jué)得吸管直接旋轉(zhuǎn)通過(guò)了窗戶，但這樣的情景其實(shí)根本沒(méi)發(fā)生。

下面我們來(lái)看另一個(gè)例子。

這次我們的視覺(jué)系統(tǒng)又被欺騙了。

我們的感知系統(tǒng)做了一個(gè)相當(dāng)合理的推理，視頻中的面部看起來(lái)好像是凸起的。

事實(shí)上我們又被騙了。

這就是我會(huì)說(shuō)大家對(duì)現(xiàn)實(shí)的看法只不過(guò)是最好的猜測(cè)的原因。讓我們?cè)倏匆粋€(gè)視頻：

顯然，視頻中的女主角在說(shuō)“bar，bar，bar?！爆F(xiàn)在我們來(lái)看第二個(gè)視頻：

在這里，我們能很清楚的聽(tīng)到她說(shuō)“far，far，far。”但真實(shí)情況是，她在兩個(gè)視頻中說(shuō)的都是“bar”，而不是“far”。我們聽(tīng)到她說(shuō)“far”，是因?yàn)橐曈X(jué)系統(tǒng)的暗示。

聽(tīng)起來(lái)是不是有些迷惑？那么我們換種方式來(lái)看。這次音軌中出現(xiàn)的詞還是“bar”，但我們會(huì)采用分屏顯示，一邊的視頻會(huì)顯示“far”的口型，另一邊則為“bar”。視頻播放時(shí)請(qǐng)?jiān)趦蓚€(gè)片段間轉(zhuǎn)動(dòng)目光，體會(huì)那種聽(tīng)覺(jué)變化的過(guò)程。

在我看來(lái)，我們很難體驗(yàn)到所謂的麥格克效應(yīng)（即人類(lèi)的聽(tīng)覺(jué)會(huì)過(guò)多的受到視覺(jué)的影響，從而產(chǎn)生誤聽(tīng)的現(xiàn)象），也很難相信你體驗(yàn)到的現(xiàn)實(shí)只是一種推斷，更別說(shuō)是所謂現(xiàn)實(shí)世界的文字反映了。當(dāng)你聽(tīng)到“far”時(shí)，傅立葉變換（Fourier Transform，一種分析信號(hào)的方法）不會(huì)給你傳達(dá)相關(guān)聲音信息，“far”這個(gè)詞根本沒(méi)有沖擊到你的耳膜，但你還是覺(jué)得自己聽(tīng)到了。

對(duì) VR 來(lái)說(shuō)，這一點(diǎn)非常重要：無(wú)論來(lái)源是什么，我們體驗(yàn)到的現(xiàn)實(shí)都是基于推斷輸入的，在這里我們的思維做了最后決定。因此，如果 VR 能提供正確的推理輸入，那么我們就能體驗(yàn)到任何想體驗(yàn)的感覺(jué)，而這種體驗(yàn)會(huì)變的極其逼真。

我第一次想到這一概念是我準(zhǔn)備體驗(yàn)虛擬跌落測(cè)試時(shí)。當(dāng)時(shí)，我就感覺(jué)自己的膝蓋僵住了，一種無(wú)形的力量在推著我后腿。我的意識(shí)告訴我這都是假的，但卻忍不住感覺(jué)自己要掉下去了。如果把這個(gè)原理運(yùn)用的 VR 中，絕對(duì)潛力無(wú)限。

我認(rèn)為一個(gè)最能引起大家共鳴的是一個(gè)虛擬的工作空間，在這里我們擁有全套的虛擬屏幕和全息畫(huà)面，工作空間的風(fēng)格還能隨時(shí)切換。同時(shí)，其他人還能隨時(shí)進(jìn)入工作空間，而我也可以去他們的工作空間串門(mén)。這樣，我的生產(chǎn)力肯定會(huì)大幅提高，而工作也會(huì)變的相當(dāng)有趣，那種感覺(jué)就像第一次用上 PC。

事實(shí)上，這里我提到 PC 是為了進(jìn)行直接類(lèi)比。40 多年前 PC 的誕生是人本計(jì)算領(lǐng)域的首次重大飛躍。我相信 VR 會(huì)引領(lǐng)第二次飛躍。未來(lái)，我們與數(shù)字世界的交互不再通過(guò)平面屏幕了，只要我們需要，可以隨著住在數(shù)字空間中。

想實(shí)現(xiàn)這一目標(biāo)我們得做些什么？

上面就是我對(duì) VR 的期待，不過(guò)想實(shí)現(xiàn)這一目標(biāo)我們需要大量技術(shù)革新。

由于 VR 要驅(qū)動(dòng)我們的感知系統(tǒng)，因此我們要從感官開(kāi)始，包括視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)、嗅覺(jué)和平衡感。在我看來(lái)，在短期內(nèi)后三種感覺(jué) VR 還“控制”不了，但視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)絕對(duì)沒(méi)問(wèn)題。

在視覺(jué)上，我們需要讓 VR 的視場(chǎng)與我們眼睛的視場(chǎng)相匹配，同時(shí)提升分辨率、清晰度和動(dòng)態(tài)范圍，此外景深也要控制好。

在聽(tīng)覺(jué)上我們則需要合適的空間化設(shè)計(jì)（感覺(jué)中的聲音來(lái)源），完整的空間傳播（聲音如何在虛擬空間運(yùn)動(dòng)）和綜合能力。

觸覺(jué)的實(shí)現(xiàn)還是相當(dāng)有挑戰(zhàn)性的。手是最好的觸覺(jué)載體，也是我們與這個(gè)世界交流的主要方式。我們現(xiàn)在能做的只是借助一些震動(dòng)和阻力來(lái)模擬觸覺(jué)體驗(yàn)。不過(guò)未來(lái)某一天，人類(lèi)可能會(huì)帶上某種手套或外骨骼，直接與世界接觸。

除了把虛擬信息注入感知系統(tǒng)，VR 還需要機(jī)器感知，這種能力讓它能感知、重構(gòu)并理解真實(shí)世界。有了它我們戴著頭盔才能安全移動(dòng)，因?yàn)榧依锏募揖叩葧?huì)自動(dòng)進(jìn)入虛擬世界。當(dāng)然，要能把人也帶入虛擬世界就更好了，這種面對(duì)面交流的新型場(chǎng)景讓我們能在世界的任何角落與遠(yuǎn)方的朋友相互交流。

我相信，要想讓 VR 更加普及，這一功能的引入相當(dāng)重要，因?yàn)槿瞬攀沁@世界最有趣的事物。不過(guò)，我們太熟悉人這個(gè)物種了，因此虛擬人類(lèi)模擬的稍微有點(diǎn)瑕疵我們都能看出來(lái)。

最后我想說(shuō)，VR 是我們開(kāi)發(fā)的最厲害的全面感知技術(shù)，因此關(guān)鍵是揭開(kāi)人類(lèi)感知的謎題。簡(jiǎn)單來(lái)說(shuō)，VR 的關(guān)鍵不是各種技術(shù)，而是讓這些技術(shù)能與人類(lèi)感知系統(tǒng)協(xié)調(diào)運(yùn)轉(zhuǎn)，這樣才能有真實(shí)的體驗(yàn)。

通盤(pán)考慮，VR 需要提升的地方非常多，因此也留下了巨大的研究空間，它不但覆蓋了人類(lèi)的感知，還事關(guān)感應(yīng)和重構(gòu)等領(lǐng)域。想要對(duì)這些空間進(jìn)行探索，我們需要世界級(jí)的研究人員。同時(shí)，多部門(mén)合作也相當(dāng)重要，VR 可是個(gè)綜合性的工作。

就拿剛剛我提到的虛擬工作空間來(lái)說(shuō)，在這里你必須有能靈巧的活動(dòng)“雙手”，同時(shí)現(xiàn)有頭戴設(shè)備主要專(zhuān)注的是 2 米外的事物，如果縮短到 1 米，可能就會(huì)出現(xiàn)虛焦和佩戴舒適度問(wèn)題，但 1 米才是工作時(shí)最合適的距離。

簡(jiǎn)單來(lái)說(shuō)，如果我們無(wú)法解決這個(gè)問(wèn)題，在虛擬環(huán)境中工作就是個(gè)偽命題。同樣的，聲音的空間化也很重要，如果它的來(lái)源方向出了問(wèn)題，你在 VR 世界中也會(huì)“跳戲”。我們想實(shí)現(xiàn)的事情還很多，比如更高的屏幕分辨率，在虛擬世界重構(gòu)家中的一切甚至虛擬的人，而這都是我們沒(méi)能解決的問(wèn)題，因此研究人員在各個(gè)領(lǐng)域都有很多工作要做。

下面我們來(lái)共同認(rèn)識(shí) VR 面臨的 3 大重要挑戰(zhàn)，就從屏幕說(shuō)起吧。

眼下，VR 頭戴設(shè)備的屏幕系統(tǒng)只不過(guò)是屏幕和放大鏡的結(jié)合體。當(dāng)你的目光穿過(guò)這些玻璃片，看到的只是單一焦距圖像。

但問(wèn)題是，我們應(yīng)該把焦對(duì)在哪呢？

上圖右邊我們將焦點(diǎn)放在了無(wú)限遠(yuǎn)，也就是窗外，因此得到的圖像更接近真實(shí)，與左圖非常類(lèi)似。

在第二張圖中，右邊變化了焦點(diǎn)，焦點(diǎn)成了最近的植物，于是畫(huà)面就變成了模糊一片。在這里，設(shè)備依然對(duì)焦在遠(yuǎn)處，但你的眼睛卻對(duì)焦在了最近的植物上。

因此，我們需要找到更好的方法來(lái)處理對(duì)焦的問(wèn)題。

今天，我沒(méi)時(shí)間來(lái)清楚的解釋原理了，但至少我能大致講解幾種過(guò)去幾十年里探究出的潛在解決方案。

現(xiàn)在請(qǐng)你把自己帶入一個(gè)簡(jiǎn)單的 3D 游戲場(chǎng)景。

從眼科的角度來(lái)看，整個(gè)游戲畫(huà)面覆蓋的屈光度為 0-4，為了讓畫(huà)面變清晰，如今的 VR 頭戴設(shè)備屈光度通常為 0.5。顯然，在這樣的情況下，距離較近的物體會(huì)變模糊。

有人認(rèn)為，解決這一問(wèn)題的最佳方法是增加新的焦平面、采取同時(shí)顯示的方法或快速連續(xù)的顯示。

感知科學(xué)家認(rèn)為，在屈光度只有 4 的情況下，你根本無(wú)法創(chuàng)造足夠的焦平面讓所有東西都完美聚焦。

不過(guò)這還好，我們可以逐漸適應(yīng)這些焦平面。

理光的研究人員最近就做了嘗試，如果你選對(duì)了自適應(yīng)光學(xué)儀器，就可以移除附近的焦平面，不過(guò)焦平面之間的物體會(huì)變得模糊。對(duì)這項(xiàng)研究進(jìn)行一段時(shí)間的思考后，Oculus 的研究人員認(rèn)為與其增加更多的焦平面，不如讓每個(gè)焦平面能力更強(qiáng)。因此他們拿掉了一些焦平面并搞彎了剩下的。

因此如果我們能用上更復(fù)雜的自適應(yīng)光學(xué)儀器，某個(gè)焦平面或某幾個(gè)焦平面就能完整覆蓋場(chǎng)景中的物體。

現(xiàn)在我們先來(lái)看個(gè)模擬。

這張圖中，初看遠(yuǎn)景中的物體都對(duì)上焦了，但前景卻是虛的。這時(shí)我們可以前后景來(lái)回看，你就會(huì)發(fā)現(xiàn)前景也慢慢的對(duì)上焦了。

因此這一想法還是有自己優(yōu)點(diǎn)的。

當(dāng)然，在模擬中成功的幾率會(huì)高一些，因此我們直接做了一臺(tái)測(cè)試機(jī)。

上圖是相機(jī)搭配空間燈光調(diào)變器記錄下來(lái)的測(cè)試機(jī)顯示圖片。當(dāng)相機(jī)放進(jìn)測(cè)試機(jī)時(shí)，圖像的反差會(huì)變小。

我們發(fā)現(xiàn)，首先對(duì)上焦的是較遠(yuǎn)的物體，隨后近處的物體也能順利對(duì)焦。

當(dāng)然，這一過(guò)程也可以反過(guò)來(lái)，因此即使沒(méi)有眼部追蹤我們也能順利完成對(duì)焦。

上圖則是現(xiàn)有定焦屏幕（左）與自適應(yīng)對(duì)焦屏幕（右）的對(duì)比，右邊的新技術(shù)確實(shí)效果顯著。

我想說(shuō)的第二個(gè)重大挑戰(zhàn)是眼部追蹤，這是 VR 行業(yè)的一項(xiàng)關(guān)鍵技術(shù)，同時(shí)也是許多計(jì)算光學(xué)技術(shù)的基礎(chǔ)。

現(xiàn)有的眼部追蹤技術(shù)主要基于追蹤瞳孔和角膜上的閃光。

視頻展示了瞳孔追蹤是如何工作的，但瞳孔的大小和形狀都會(huì)發(fā)生變化。

角膜上的閃光可以彌補(bǔ)瞳孔追蹤的不足，但它也會(huì)帶來(lái)一些問(wèn)題，比如我們?nèi)绾螌⒑线m的照明系統(tǒng)和攝像頭放進(jìn)本已經(jīng)相當(dāng)龐大的頭戴設(shè)備中呢？同時(shí)，人的臉型各個(gè)不同，我們?cè)趺幢ＷC追蹤結(jié)果 100% 準(zhǔn)確呢？

此外，眼睛也不是什么標(biāo)準(zhǔn)化模具“生產(chǎn)”出來(lái)的器官。

真正的問(wèn)題在于，現(xiàn)在的眼部追蹤技術(shù)會(huì)根據(jù)瞳孔的位置和角膜上閃爍的光來(lái)推斷光子在視網(wǎng)膜上的位置。事實(shí)上，直接追蹤視網(wǎng)膜的變化才是最佳解決方案，但這需要一套全新的眼部追蹤技術(shù)。

第三大挑戰(zhàn)是虛擬人物，它是真人在虛擬世界的替身。剛剛我也說(shuō)了，這是人們廣泛接受 VR 的最重要原因。

想要把“真人”送進(jìn)虛擬空間，我們至少需要 4 種不同的追蹤技術(shù)，而這些技術(shù)現(xiàn)在都不夠成熟。第一種技術(shù)是眼部追蹤，第二種則是手部追蹤。

下面的視頻展示的是完美的手部追蹤：

由于人的手自由度高達(dá) 25 且存在許多自遮擋問(wèn)題，因此現(xiàn)在的手部追蹤系統(tǒng)相當(dāng)復(fù)雜。

臉部是人體表現(xiàn)力最強(qiáng)的部分，它的變化可以非常細(xì)微，因此追蹤起來(lái)也最困難，而面部追蹤是第 3 種追蹤技術(shù)。

上面的視頻展示了實(shí)時(shí)面部追蹤的最新技術(shù)，雖然有了不少突破，但離成熟還很遠(yuǎn)。

第 4 種追蹤技術(shù)是骨骼人體追蹤，雖然還有許多工作要做，但它已經(jīng)可以投入實(shí)戰(zhàn)了，下一步的主要工作是對(duì)相機(jī)系統(tǒng)進(jìn)行改造，讓它用起來(lái)更方便。

虛擬人物后面的技術(shù)給我們帶來(lái)了不少有趣的問(wèn)題，但其中最令人感興趣的是“到底什么才是讓虛擬人物令人信服的關(guān)鍵因素?！?

這一問(wèn)題的答案恐怕還要到認(rèn)知科學(xué)和社交心理學(xué)中尋找，而起初我們必須搜尋大量的數(shù)據(jù)，下面的視頻就展示了 Yaser Sheikh 的一部分研究成果。

雖然看起來(lái)很酷，但這段視頻中 1 秒的畫(huà)面就需要花 2 小時(shí)來(lái)渲染，因此它離實(shí)際應(yīng)用還有很長(zhǎng)時(shí)間。

以上這些只是 VR 面臨的一部分挑戰(zhàn)而已，想把它們一個(gè)個(gè)解決掉恐怕得花很長(zhǎng)時(shí)間。VR 給我們準(zhǔn)備了巨大的探索空間，我們需要將更多的精力投入其中。想要窮盡其中奧秘，恐怕還得經(jīng)歷數(shù)十年的不斷創(chuàng)新。

從純粹意義上來(lái)講，VR 也是絕對(duì)的大挑戰(zhàn)。顯然，它非常困難，需要多個(gè)領(lǐng)域的合作。不過(guò)，這并不能完全概括它。從宏觀來(lái)看，VR 是 70 多年計(jì)算機(jī)革命和一個(gè)世紀(jì)以來(lái)信息技術(shù)發(fā)展的最高峰。未來(lái)，我們肯定能擁有與數(shù)字世界交互的全新界面，而類(lèi)似全帶寬和生物處理技術(shù)會(huì)陸續(xù)加入進(jìn)來(lái)。

VR 潛力巨大，它能拓寬人類(lèi)體驗(yàn)的廣度和深度。如果它能最終成功，絕對(duì)會(huì)成為我們這個(gè)時(shí)代最重要的技術(shù)。