談決定VR/AR發(fā)展?jié)摿Φ?個(gè)核心技術(shù)

    談到VR、AR技術(shù)發(fā)展，目前市場(chǎng)上各種VR頭顯可謂“各顯神通”，然而一旦談及核心技術(shù)，眾多死命吆喝的創(chuàng)業(yè)公司就會(huì)出現(xiàn)吃癟一幕。

    原因是這些VR頭顯硬件廠商多半是在使用現(xiàn)有的已量產(chǎn)元器件DIY一套VR、AR硬件解決方案，稍稍?xún)?yōu)化下延遲、做套UI和store，再套上個(gè)打扮精美的眼鏡盒，做產(chǎn)品的方式本質(zhì)上跟山寨手機(jī)沒(méi)有太大的區(qū)別，最終落到實(shí)處，大量硬件公司PK的是品牌、PK的是誰(shuí)能最快消化掉新出現(xiàn)的元器件，而高端的Oculus、VIVE、PS VR則上升到PK生態(tài)。

    那么真正引領(lǐng)VR、AR迭代升級(jí)的核心技術(shù)是什么呢？綜合來(lái)看，gamelook認(rèn)為有8個(gè)技術(shù)方向，其中一些方向科技界已取得了很大的突破，但因?yàn)槠渌麕讉�(gè)關(guān)鍵方向的落后，導(dǎo)致現(xiàn)有的VR、AR體驗(yàn)還不盡人意。

    下面gamelook就一一道來(lái)，說(shuō)的不準(zhǔn)確的請(qǐng)多包涵，如果您是關(guān)注VR領(lǐng)域的投資者如果看到以下方向的實(shí)力創(chuàng)業(yè)團(tuán)隊(duì)、一定不要錯(cuò)過(guò)：

    超高清顯示屏：4K很快實(shí)現(xiàn)、8K也不遙遠(yuǎn)

    現(xiàn)如今，最影響VR體驗(yàn)的關(guān)鍵技術(shù)是什么？Gamelook首先送給VR頭顯的顯示屏。

    目前無(wú)論是Oculus、VIVE、PSVR都只能實(shí)現(xiàn)單眼1080P、雙眼勉強(qiáng)達(dá)到2K的分辨率，稍關(guān)注手機(jī)設(shè)備的同學(xué)會(huì)注意到一個(gè)詭異的現(xiàn)象，就是目前主流的智能手機(jī)的分辨率也是2K，事實(shí)上PC/主機(jī)VR所廣泛采用的OLED顯示屏與手機(jī)廠商采用的顯示屏是一個(gè)標(biāo)準(zhǔn)，本質(zhì)上來(lái)看，獨(dú)立頭顯相比智能手機(jī)在成像質(zhì)量上沒(méi)有差別。

    造成移動(dòng)VR圖像質(zhì)量差于獨(dú)立頭顯的原因是，獨(dú)立頭顯是為VR定制的，在同樣性能的屏幕使用上獨(dú)立頭顯更為科學(xué)、實(shí)現(xiàn)的VR視場(chǎng)角更大罷了，目前來(lái)看，以VR頭顯較低的出貨量還不可能出現(xiàn)所用屏幕元器件高于智能手機(jī)平均標(biāo)準(zhǔn)的情況，像市場(chǎng)上出現(xiàn)的號(hào)稱(chēng)5K怪獸級(jí)的VR頭顯，本質(zhì)上并未提升多少畫(huà)質(zhì)、增加的是視場(chǎng)角，但畫(huà)面模糊視場(chǎng)再大有個(gè)鳥(niǎo)用，畫(huà)質(zhì)關(guān)鍵要看屏幕的PPI。

    要模擬人眼有效視場(chǎng)角內(nèi)的圖像清晰度，根據(jù)AMD的測(cè)算，屏幕需要達(dá)到單眼16K的分辨率，而目前三大頭顯的單眼分辨率僅1K，差距還有16倍。從VR設(shè)備升級(jí)的方向來(lái)看，gamelook認(rèn)為最為標(biāo)準(zhǔn)的升級(jí)路線是單眼2K、4k、8k，每一代產(chǎn)品間隔2-3年的時(shí)間。從現(xiàn)在已出現(xiàn)的量產(chǎn)智能手機(jī)來(lái)看，SONY已發(fā)售了4K分辨率的智能手機(jī)、兌現(xiàn)到VR其等于單眼2K分辨率，而隨著未來(lái)1年內(nèi)4K屏開(kāi)始迎來(lái)大量出貨（希望國(guó)內(nèi)手機(jī)廠商不再提什么4K屏性?xún)r(jià)比），那么VR將迎來(lái)一次關(guān)鍵性的畫(huà)質(zhì)升級(jí)。

    如果說(shuō)單眼16K是最頂級(jí)畫(huà)質(zhì)、甚至堪稱(chēng)浪費(fèi)，那么8K能叫非常優(yōu)秀，4K已經(jīng)叫優(yōu)秀，在gamelook看來(lái)，VR達(dá)到單眼4K畫(huà)質(zhì)是將是步入成熟階段的標(biāo)志，而目前從OLED的技術(shù)工藝來(lái)看，已具備很強(qiáng)的可行性。據(jù)媒體報(bào)道，富士和納米電子研究機(jī)構(gòu)IMEC的合作實(shí)現(xiàn)了全彩OLED的光刻膠（photoresist）技術(shù)，有望將OLED屏幕突破1000PPI，IMEC研究人員已樂(lè)觀估計(jì)實(shí)現(xiàn)手機(jī)屏幕8K分辨率的可行性。

    在這里gamelook談下光刻技術(shù)，目前intel公司正在突破10納米芯片生產(chǎn)工藝、運(yùn)用的正是光刻技術(shù)，而OLED達(dá)到8K屏幕的像素密度距離是多少呢？15μm，而15μm=15000nm，采用光刻技術(shù)，未來(lái)屏幕分辨率未來(lái)的提升的速度也許會(huì)比我們想象的要快的多。

    光場(chǎng)成像技術(shù)

    實(shí)現(xiàn)更加接近人眼的虛擬環(huán)境，一個(gè)很重要的技術(shù)方向就是光場(chǎng)成像，這也是全球估值最高的AR公司Magic Leap公司的看家本領(lǐng)，而Magic Leap公司為了兌現(xiàn)這個(gè)概念，不同于VR的硬件同行，他們自行開(kāi)發(fā)最基礎(chǔ)的元器件，這也是他們牛的地方，也是全球最值得期待的創(chuàng)新，所以公司員工人數(shù)超過(guò)了1000人。

    但gamelook需要強(qiáng)調(diào)的是，光場(chǎng)成像并不能有效解決圖像分辨率的問(wèn)題，也許這句話說(shuō)的不完全準(zhǔn)確，圖像的質(zhì)量依然得看類(lèi)似的顯示屏的突破。光場(chǎng)形成圖像的原理，較多媒體都提到了Magic Leap借用了醫(yī)用內(nèi)窺鏡的成像原理，說(shuō)的簡(jiǎn)單點(diǎn)，就是一個(gè)投影儀，只是Magic Leap把這個(gè)投影儀元器件做的足夠的小，甚至用到光纖傳輸圖像，但生成圖像gamelook認(rèn)為其還是在使用成熟的LCD、LED來(lái)實(shí)現(xiàn)，而只要使用這類(lèi)技術(shù)又回歸了第一個(gè)問(wèn)題：像素密度的提升、PPI的提升。從Magic Leap之前放出來(lái)的多段演示視頻來(lái)看，Magic Leap并未能解決圖像質(zhì)量的問(wèn)題。

    光場(chǎng)成像最重要解決的是虛擬圖像對(duì)人類(lèi)的真實(shí)性，技術(shù)上來(lái)說(shuō)，它實(shí)現(xiàn)了三樣?xùn)|西：立體視差、動(dòng)態(tài)對(duì)焦、運(yùn)動(dòng)視差，有了這三樣圖像才算真正騙過(guò)了人腦，用戶(hù)在身處虛擬世界的時(shí)候才不會(huì)認(rèn)為假。

    光場(chǎng)成像毫無(wú)疑問(wèn)對(duì)VR/AR來(lái)說(shuō)是革命性的、算得上核心技術(shù)，但在gamelook看來(lái)，對(duì)已經(jīng)實(shí)現(xiàn)3D空間建模的VR游戲來(lái)說(shuō)，光場(chǎng)卻未必是必備項(xiàng)，依靠游戲引擎的實(shí)時(shí)渲染、和眼球追蹤可以通過(guò)變通的方式來(lái)忽悠到大腦，因此光場(chǎng)對(duì)游戲來(lái)說(shuō)是一個(gè)體驗(yàn)的增強(qiáng)功能。不過(guò)，光場(chǎng)對(duì)于AR增強(qiáng)現(xiàn)實(shí)應(yīng)用來(lái)說(shuō)，卻是非常重要的功能，如果不能與現(xiàn)實(shí)場(chǎng)景有效融合，AR體驗(yàn)將非常古怪。

    眼球追蹤及圖像算法：對(duì)VR游戲至關(guān)重要

    上文提到了光場(chǎng)，其中提到了光場(chǎng)實(shí)現(xiàn)立體視差、動(dòng)態(tài)對(duì)焦、運(yùn)動(dòng)視差，而要實(shí)現(xiàn)光場(chǎng)成像，一個(gè)最基礎(chǔ)的技術(shù)就是對(duì)用戶(hù)的眼球追蹤。

    眼球追蹤看似比較高大上，其實(shí)實(shí)現(xiàn)的原理也是很簡(jiǎn)單的，就是通過(guò)攝像頭捕捉人眼瞳孔的位置，這個(gè)其實(shí)目前已經(jīng)有手機(jī)應(yīng)用實(shí)現(xiàn)了這個(gè)功能，gamelook推薦大家到appstore下載一個(gè)老外學(xué)生團(tuán)隊(duì)做的app，名叫：i3D，基本展示了如何捕捉眼球的原理和實(shí)際效果，只是這個(gè)app較為簡(jiǎn)陋捕捉的是人眼的位置，而不是瞳孔的精確位置。而眼部追蹤，在用戶(hù)體驗(yàn)研究領(lǐng)域已經(jīng)有了現(xiàn)成的眼動(dòng)儀設(shè)備，國(guó)內(nèi)一些大的游戲公司都有裝備。

    在眼球追蹤技術(shù)方面，國(guó)外有一家代表性的德國(guó)公司，名為SensoMotoric Instruments（簡(jiǎn)稱(chēng)SIM），成立于1991年，是一家眼球跟蹤技術(shù)老牌公司。SIM的眼球追蹤工作原理是使用紅外線發(fā)射器包圍每一個(gè)鏡頭的邊緣。紅外線人眼不可見(jiàn),但會(huì)被安裝在頭顯內(nèi)部的兩個(gè)Omnivision 250Hz相機(jī)傳感器收集。使用SMI專(zhuān)有的Oculus跟蹤SDK可以告訴計(jì)算機(jī)當(dāng)前用戶(hù)聚焦的具體位置。所有這些信息由硬件和軟件在低于2毫秒的時(shí)間里處理完成,不但流暢,最為重要的是很精確。

    基于精確的眼球追蹤，SMI提出了Foveated rendering漏斗渲染技術(shù),旨在讓計(jì)算機(jī)重點(diǎn)處理用戶(hù)眼睛所關(guān)注的畫(huà)面。當(dāng)你觀察一個(gè)物體,事實(shí)上只有一部分是完全清晰的,大約在你視線中心的10%~20%范圍,然而周邊視覺(jué)是越來(lái)越模糊。使用眼球跟蹤結(jié)合Foveated rendering技術(shù)能夠只渲染你看到的全部畫(huà)面的一部分,但關(guān)鍵的地方在于它速度必須要快,快的連用戶(hù)不會(huì)察覺(jué)到它,否則會(huì)有一堆模糊的區(qū)域在追趕你眼球所到達(dá)的地方。適當(dāng)使用foveated rendering技術(shù),SMI可以讓圖形性能提升至“2~4倍”，有效減輕了GPU的負(fù)載，這項(xiàng)技術(shù)對(duì)VR游戲來(lái)說(shuō)至關(guān)重要，畢竟游戲是實(shí)時(shí)渲染、尤其是3D游戲隨著畫(huà)質(zhì)的提升渲染圖像將成為VR游戲不可能完成的任務(wù)。

    通過(guò)3D游戲引擎空間建模來(lái)模擬光場(chǎng)成像、結(jié)合眼部追蹤、foveated rendering，可以說(shuō)即使沒(méi)有Magic Leap的存在，游戲產(chǎn)品也能達(dá)到以假亂真的最真實(shí)體驗(yàn)。

    高速無(wú)線WIFI技術(shù)

    現(xiàn)如今Oculus、VIVE、PS VR頭盔都有一個(gè)重大的BUG，那就是頭上一堆纜線，極影響用戶(hù)體驗(yàn)，為什么不能廣大用戶(hù)普遍默認(rèn)的無(wú)線傳輸?shù)姆绞剑�原因出在無(wú)線WIFI的數(shù)據(jù)傳輸速度上已滿(mǎn)足不了VR的數(shù)據(jù)傳輸要求。

    目前1080p高清格式需要傳輸速度為2.2Gbps，能滿(mǎn)足如此高速圖像傳輸?shù)闹挥蠬DMI接口，依靠現(xiàn)有的WIFI和4G技術(shù)很難把圖像實(shí)時(shí)傳輸?shù)絍R頭顯或手機(jī)上，而沒(méi)有高速的傳輸，無(wú)論是用戶(hù)觀看VR視頻、還是游戲都存在數(shù)據(jù)傳輸?shù)钠款i，必須犧牲圖像的質(zhì)量，而隨著VR圖像可預(yù)見(jiàn)的繼續(xù)提升畫(huà)質(zhì)到4K乃至8K，無(wú)論是圖像的無(wú)線傳輸、還是圖像的編解碼難度還將進(jìn)一步的加大。

    先不談無(wú)線通信網(wǎng)，哪怕只要實(shí)現(xiàn)室內(nèi)的WIFI高速數(shù)據(jù)傳輸，那么VR頭顯就可以去掉那一堆線纜，可惜從目前來(lái)看，5G無(wú)線傳輸也只是剛夠目前的VR硬件的數(shù)據(jù)傳輸要求。從目前的技術(shù)條件來(lái)看，獨(dú)立VR頭顯的一把線短時(shí)間是剪不斷了，對(duì)移動(dòng)VR來(lái)說(shuō)、高質(zhì)量的在線VR視頻短期還難以實(shí)現(xiàn)，更多只能靠用戶(hù)提前下載。

    高速無(wú)線傳輸?shù)碾y題如何解決呢？得看華為、中興、思科這些通信設(shè)備商的研發(fā)速度了，從目前科研人員的實(shí)驗(yàn)成果來(lái)看，intel本月剛展示了使用WiGig標(biāo)準(zhǔn)的WiGig VR設(shè)備，而WiGig可實(shí)現(xiàn)7G的傳輸速率，但延遲問(wèn)題還有待解決。

    體感技術(shù)

    在虛擬現(xiàn)實(shí)環(huán)境中，用戶(hù)看到自己的雙手、能用自然動(dòng)作進(jìn)行交互只能依靠體感技術(shù)。

    現(xiàn)如今，可以說(shuō)VR核心技術(shù)中最為成熟的就是體感技術(shù)，無(wú)論是VIVE率先實(shí)現(xiàn)的激光定位、還是PS、xbox kinect、Wii較早實(shí)現(xiàn)的體感技術(shù)都可以成熟的實(shí)現(xiàn)用戶(hù)所需要的體感功能。

    在這個(gè)領(lǐng)域，對(duì)VR/AR硬件來(lái)說(shuō)，最迫切需要的是低成本的體感技術(shù)，這里已經(jīng)炒作了數(shù)年的Leap Motion毫無(wú)疑問(wèn)是一個(gè)現(xiàn)有的最佳選擇。而Leap Motion經(jīng)歷了一輪低于預(yù)期的發(fā)售之后、也開(kāi)始日益重視其在VR/AR應(yīng)用環(huán)境中的使用，過(guò)去一年一直在這個(gè)VR領(lǐng)域發(fā)力，其高管曾表示，未來(lái)Leap Motion主要賣(mài)體感模塊、單個(gè)售價(jià)5美元，可以跟廣大的VR硬件公司合作，目前國(guó)內(nèi)暴風(fēng)魔鏡5 plus已采用這項(xiàng)技術(shù)，不過(guò)gamelook實(shí)際測(cè)試下來(lái)Leap Motion的體感準(zhǔn)確性、相應(yīng)速度還有待進(jìn)一步提升。

    在gamelook看來(lái)，現(xiàn)在比較奇葩的是，體感技術(shù)的多樣化和復(fù)雜化，除了現(xiàn)有的手柄之外，現(xiàn)在比較出名的體感設(shè)備有Virtuix Omni的跑步機(jī)，Thalmic Labs公司推出的捕捉人體肌肉信號(hào)的MYO腕帶，Manus公司的體感手套，還有日本各種體感成人玩具。只能說(shuō)在體感這條道路上，蘿卜青菜各有所愛(ài)，用戶(hù)各取所需，但一個(gè)標(biāo)準(zhǔn)化、廉價(jià)、具高精準(zhǔn)性操控的體感方案對(duì)行業(yè)更為重要。

    實(shí)景3D建模

    實(shí)景3D建模其實(shí)是一項(xiàng)發(fā)展比較久的技術(shù)，最早主要運(yùn)用于軍事、遙感測(cè)繪領(lǐng)域，而隨著AR的崛起，尤其是Magic Leap、微軟大力推動(dòng)AR，民用AR極其迫切的需要實(shí)景3D建模技術(shù)的突破。

    在這里，gamelook推薦一個(gè)比較牛的歐美公司，PIX4D，這家公司主要是地產(chǎn)、建筑行業(yè)服務(wù)，筆者第一次見(jiàn)到這家公司的建模演示還是在大疆的新品發(fā)布會(huì)上，其通過(guò)無(wú)人機(jī)航拍可以快速對(duì)城市、建筑進(jìn)行3D建模，看完那個(gè)效果簡(jiǎn)直驚呆了。

    而對(duì)AR來(lái)說(shuō)，需要的是實(shí)時(shí)、高速、準(zhǔn)確的真實(shí)場(chǎng)景的3D建模，在快速形成的真實(shí)空間模型上、疊加虛擬圖像，二者結(jié)合才會(huì)是最佳的AR體驗(yàn)，像pokemon Go這樣的低質(zhì)量AR效果顯然是不合格的。很有意思的是，Magic Leap公司剛剛收購(gòu)了一家由兩位清華畢業(yè)生創(chuàng)建的3D建模公司，看來(lái)中國(guó)團(tuán)隊(duì)在這塊并不落后于海外同行。

    建模的重要性毋庸置疑，在AR重要的應(yīng)用場(chǎng)景上，尤其是電子商務(wù)、地產(chǎn)、醫(yī)療、科研、軍事等領(lǐng)域，急需要這項(xiàng)技術(shù)的突破。

    GPU與CPU與存儲(chǔ)

    再來(lái)說(shuō)說(shuō)制約VR/AR的一項(xiàng)核心技術(shù)，就是芯片了，包括GPU、CPU、存儲(chǔ)芯片，圖像渲染靠他們、存儲(chǔ)超大容量的VR游戲、VR視頻得靠他們，目前來(lái)看，GPU對(duì)VR來(lái)說(shuō)瓶頸更為明顯一些，尤其是是智能手機(jī)上體現(xiàn)的更為明顯，目前GTX970、GTX 1070這些VR入門(mén)獨(dú)立顯卡售價(jià)依然在2000元以上實(shí)在是讓用戶(hù)很受傷，性?xún)r(jià)比非常重要。

    高容量電池

    對(duì)VR設(shè)備、尤其是移動(dòng)VR來(lái)說(shuō)，沒(méi)電玩?zhèn)�球。高能量、低重量的電池勢(shì)在必行，以目前的SONY 4K手機(jī)來(lái)說(shuō)，開(kāi)啟4K播放視頻手機(jī)只能支撐2-3個(gè)小時(shí)就宣告沒(méi)電，這還只是播放視頻，如果運(yùn)行VR游戲耗電量還得飆升。