降低眩暈感 VR延遲20毫秒以內 電子實驗模塊
如果你佩戴過VR頭盔設備，可能會發生一些眩暈感。延遲率是造成這種效果最重要的一個因素。VR延遲率指VR頭盔顯示設備的視覺觀測與頭部運動的匹配程度。研究表明，頭動和視野的延遲不能超過20ms，否則造成視覺上的眩暈，不適感。
目前，三星GEAR VR、剛發布的大朋VR一體機延遲都可以控制在19.3ms。如何控制延遲，主要取決于VR系統中數據從傳感器到CPU，再到GPU最后到顯示屏的整個過程的優化，尤其是ATW技術。
在最近由網易科技舉辦的開物沙龍VR論壇上，Nibiru CTO曹峻瑋分享了移動端VR技術的關鍵點。通過底層系統優化、ATW算法達到延遲控制在20毫秒以內的目標，Nibiru已經對整個系統優化完成，可提供VR SDK。
曹峻瑋介紹說，首先是陀螺儀的應用，陀螺儀刷新頻率越高，延遲越低，1K刷新的陀螺儀延時就是1ms。例如三星Gear VR的方案是1K刷新率的陀螺儀。
“對于移動VR的陀螺儀現在業界有兩種方案，一種方案是比較便宜的，直接用手機里的陀螺儀，這個陀螺儀如果使用I2C總線，速率不是很快，現在也有些方案使用SPI總線，它的傳輸速率會高一些。另外一種就是現在以三星Gear VR為主導的，用的是外接MCU陀螺儀模塊，通過USB傳遞數據。對于第一種方案如果陀螺儀刷新率過高， I2C協議帶來的系統中斷對于CPU的損耗過高，手機CPU會發燙特別嚴重。USB方案相對好一些。”曹峻瑋解析道。
在陀螺儀技術里面融合算法非常重要。所謂的融合算法就是將陀螺儀，加速度和地磁進行有效的融合矯正，使得用戶在調用陀螺儀時候保持數據穩定性和準確性。
融合算法集成在硬件底層驅動是一個趨勢。可以降低CPU的損耗，增加陀螺儀的效率。“高通發布了VR SDK，我們認為比較好的做法就是把陀螺儀融合算法放到硬件DSP里面去做。”
圖形圖像部分，需要與芯片原廠配合做底層優化。包括：第一就是Front buffer Rendering，為什么Latency會較高，原因是Android架構的整個系統本身就是非實時性系統，需要做很多同步驗證，導致延遲高。Front buffer Rendering是所有的移動VR優化必須做的。
第二是ATW，借此保證刷新率保持在穩定的幀數并降低延時。 第三是Multi-View Rendering，左右眼的圖兩次渲染，實現一次代碼調用，提高GPU的性能。現在ARM已經提供這樣的擴展。
最后是Multi-Resolution Rendering，由于圖像本身需要做反畸變，四周邊緣不需要太多分辨率渲染，可節省GPU資源。目前已經有GPU廠家支持這樣的擴展，Nibiru正在測試效果。
從采集陀螺儀數據到CPU計算邏輯，再到GPU計算繪制，最后顯示器顯示。這四個步驟所需要的時間就是Latency的時間。
由于Android是非實時性系統，從圖形繪制完成到送顯有三級buffer緩存，會帶來50ms的延時，就需要采取圖形圖像優化FBR的模式，讓圖像繪制之后直接送顯。但是FBR模式會帶來畫面的撕裂，這也是為什么Android會采用3級buffer緩存的原因。
第二是屏幕的反應延時，比如TFT屏幕延時大概有20ms，而OLED屏只有5ms，這些延時是不可更改的。目前移動VR基本跑在60Hz。60幀的GPU繪制速率16毫秒加上5毫秒，達到21毫秒了。但為什么三星能做到20毫秒以內，這里需要ATW技術，簡單的說就是中間幀生成技術，中文叫異步時間扭曲。
通過使用ATW技術使得GPU繪制的圖像進行一次變換，從而使得顯示的圖像是以最新的陀螺儀數據為基礎，這個算法需要3ms左右，加上反畸變和反色散的算法2ms，而陀螺儀刷新延時在1ms，那么從陀螺儀采集到GPU圖像繪制送顯的延時在6ms左右。
接下來就是顯示屏刷新延時，由于是左右camera交替刷新，所以這里一幅圖的延時就是8.3ms，8.3ms加上6ms，再加上Oled屏的5ms左右，總共加起來19.3ms，這就是三星的20毫秒以內的由來，目前來看，Nibiru VR系統已經基本實現了這個邏輯優化。
Nibiru為手機廠商、一體機廠商進行系統優化。“系統優化之后，在游戲CP調用我們的VR SDK時才能達到這種低延遲效果。CP使用我們配合引擎的plug－in就行，我們會跟引擎公司合作，推出相應的plug－in，支持Cocos3x，Unity和Unreal等通用的游戲引擎。”
從芯片廠商來看，ARM已經在底層做優化支持VR，ARM全球執行副總裁兼大中華區總裁吳雄昂表示，我們下一代芯片會專門為VR做優化，時間在一年半以后。此外，高通也發布了全新的VR SDK。
享受沉浸感 裸手是VR/AR未來
Leap Motion中國區總經理陳佳敬認為從VR到AR是一個有線到無線，然后最終只有AR設備的過程。有線VR階段，我們用遙控器、手持設備進行操作，無線VR階段去掉了線，還可以直接用手來操作。AR階段，用手指可以直接在投射的畫面上操控，是人手與電腦的直接互動。陳佳敬表示，AR時代，裸手輸入法是最主流的，Leap Motion就是一直研究人的手指與電腦互動的技術，這項技術的重要性將越來越重要。
如何實現人手與電腦的互動，陳佳敬做了現場演試。他們的技術偏向于軟件端，在頭盔上最前面有一個很小的四方條，上面就是兩個VGA攝像頭，30萬像素，通過捕捉影像再用軟件來解析。偵測角度為150度，上下135度，客戶可以直接購買這個小硬件，下載SDK。
“我們這個硬件2013年的時候就開始賣了，這是我們的第一代產品，這個產品它的成本很低，我們是走全軟件的公司，對硬件的要求非常低。這個硬件經過3年之后還可以用我們最新的軟件。”
uSens 首席運營官及聯合創始人時馳也認為，裸手的交互方式是VR技術的未來。“移動VR上面實現游戲變現，首先要做提供保持整體移動性的感知和交互。盡量少穿點，少拿點，經濟實惠的感知世界，讓VR像觸屏手機一樣簡單直觀，老少皆宜的內容就能出現和變現，實際上就是交互。通過三維手勢、頭部轉動，位置跟蹤，最后實現超級現實，AR+VR super Reality。”
在真實的VR當中可以用手在空中做一些自然的交互，人還可以在真實和虛擬中自由穿梭，穿梭的時候核心交互保持不變。如下圖，空中手寫和擦掉文字。
眼球追蹤技術目前在全球應用的領域有兩個，一個是醫療，如漸凍人；另一個領域是廣告設計的焦點測試，測試廣告設計是否合理。
七鑫易維聯合創始人彭凡解析，對于VR來說，眼球追蹤與頭動一起實現交互，但目前并不成熟。現有的交互，手持控制器始終不是沉浸感，眼控能夠讓交互更人性化，更真實。現在的VR交互方式看任何一個點都要動頭，最舒服的方式是眼動加頭動的配合使用。另外，我們只需要渲染出用戶注視的那一個核心區域，即注視點渲染技術，它需要PC能夠非常高速的指導用戶在每一個時刻看到的那一個點，所以需要高速的眼神追蹤傳感器來配合。
移動設備訪問
