下一個十年，看影創(chuàng)科技如何開啟元宇宙時代

　　在10月29日凌晨一點（北京時間）的Facebook Connect 2021大會上，馬克·扎克伯格宣布Facebook公司正式改名為Meta，并且描繪了許多元宇宙的場景，以體現(xiàn)Meta擁抱元宇宙的決心。

　　我們注意到，在近兩小時的Keynote環(huán)節(jié)中，扎克伯格提及了一款將于2022年推出的短焦VR一體機，代號“Project Cambria”，采用Pancake光學方案，擁有彩色的透視功能，這意味著VR設備將不再只是一臺游戲機，而是變成生產(chǎn)力工具或者說效率工具，其應用場景將擴展至辦公、會議，普及程度也隨之實現(xiàn)量級提升。這一方案印證了此前影創(chuàng)預測的XR產(chǎn)品演進路線，與我們的自研算法與技術積累方向不謀而合。作為國內一家能同時提供VR/AR全棧產(chǎn)品級算法與系統(tǒng)的公司，影創(chuàng)多年以來一直在致力于研發(fā)光學、算法等底層技術的研究，并將這些技術開放授權給眾多合作伙伴。

　　一直以來，VR被當作游戲機為大家廣泛熟知。Cambria的出現(xiàn)，VR與AR的融合，將催生出很多新的應用場景，開啟VR新世界。VR設備將成為像電腦和手機一樣的生產(chǎn)力工具，融入我們的日常生活，成為生活、工作中不可或缺的一部分。佩戴上VR設備進行多地多人虛擬會議、又或是替代電腦成為我們的移動式辦公工具，無論你身處何地都能實現(xiàn)多屏辦公；無聊時還能足不出戶和朋友一起跨空間玩一個線上沉浸式劇本殺放松一下；如果你很忙沒時間去健身房，那還能來一場酣暢淋漓的VR運動……

　?。ǘ嗥赁k公）

　?。ㄌ摂M會議）

　　（日常社交）

　?。ㄟ\動健身）

　　那么，讓我們來解析一下，要實現(xiàn)Cambria上述功能和應用場景，需要哪些核心技術與算法，以及影創(chuàng)在這方面的累積成果又有哪些呢？

　　01- 佩戴方式

　?。ㄗ鬄镃ambria渲染模型；右為“騏驥”）

　　產(chǎn)品的舒適度，是影響消費者選擇的重要因素。VR設備作為頭戴式產(chǎn)品，即便許多消費者更習慣追求超高清畫面或是良好的沉浸感，但長時間佩戴后，臉部受壓迫，肩頸也會受到來自頭部的壓力，不適感與疲憊感隨之而來，從而導致體驗感變差，使用率大大減少。從Cambria的預告視頻中，我們了解到通過環(huán)形佩戴這種方式，將電池至于腦后位置的科學配重，有效分散了佩戴VR設備時的臉部壓力，更符合人體工程學，進而減少VR設備因沉重無法長時間佩戴的問題。而這，與我們今年1月展示的6DoF VR公版樣機“騏驥”的佩戴設計理念不謀而合，不得不感嘆一句“英雄所見略同”。

　　02- Pancake光學方案

　　（Cambria Pancake光路示意圖）

　　Pancake光學方案會使VR設備的體積縮?。ㄇ皻ず穸葟?cm左右變成2.5cm左右）、重量更輕（前殼重量從400g左右變成150g左右）。這是由于Pancake方案采用多鏡片折疊光路，可以使VR設備內部結構更加緊湊。但是光路的復雜程度直接導致了光學模組加工工藝難度的攀升，控制良率的難度相比傳統(tǒng)光學的單片菲涅爾透鏡更高。輕薄的光學模組加上環(huán)形佩戴方式，消費者在佩戴VR設備時舒適度會明顯提升。

　　Pancake光學方案可以實現(xiàn)大視野、出色的圖像性能以及超緊湊的尺寸，毋庸置疑這三點與未來VR設備的需求完美契合。因此，VR設備在體積和重量上都有新的跨越后，可供長時間佩戴，并且移動性增強，其應用場景的選擇性將更為廣泛。未來的VR設備將不僅僅只是娛樂工具那么單一，而是變成了生產(chǎn)力工具。影創(chuàng)已經(jīng)聯(lián)合合作伙伴在Pancake光學方面做了多年的研發(fā)設計和方案積累，可以滿足多類屏幕和顯示參數(shù)的需求。

　　03- 彩色See through

　?。–ambria彩色See-through）

　　目前，VR設備使用空間范圍有限，這也是行業(yè)一直在攻克的難關之一。VR設備作為沉浸式體驗設備，佩戴后看不見真實世界，用戶在使用時頻繁地脫摘非常令人頭疼。在本屆大會上，See-through功能的重大改進也是亮點之一，從原先Quest 2的低分辨率單色See-through系統(tǒng)提升至高清晰度彩色See-through功能，用戶能夠在佩戴VR設備時，通過開啟對外的彩色攝像頭看見高清、彩色、無扭曲低延遲的真實世界，如此看來，VR與AR相融合的時代正在悄悄來臨。

　　若要實現(xiàn)高清晰度彩色See-through功能，則需要在VR頭顯上最少裝置2個RGB攝像頭。攝像頭存在著天然物理延遲的問題，因處理的信息量增長，高分辨率RGB攝像頭的延遲會比原先的灰度攝像頭更高。為了降低高分辨率RGB攝像頭的物理延遲，我們通過空間扭曲等一系列的技術對畫面進行預測及三維重構，將真實世界通過渲染的方式呈現(xiàn)在用戶眼前，以此填補掉幀帶來的畫面缺失，從而降低物理延遲帶給用戶的不適感。另外，雖然RGB攝像頭比灰度攝像頭的物理延遲更高，但它能識別更多色彩，因此魯棒性更好，可以在更復雜的光照環(huán)境下使用，更精準地識別手勢追蹤，SLAM空間定位功能也會隨之提升。

　　當VR設備最重要的一個缺點被克服，便意味著其移動性大大增強。用戶不再拘泥于一個劃定的空曠環(huán)境，也不再需要頻繁地摘脫，而是能夠一鍵輕松切換虛擬世界與真實世界，VR與AR相結合的設備，確實非常令人向往。

　　可以預測，未來五年高端AR眼鏡將以Cambria的形態(tài)出現(xiàn)。目前市面上一些價格昂貴的高端AR眼鏡以及它們的應用場景都將被具備彩色See-through功能的VR設備取代，因為它同時擁有更大的視場角、更好的顯示效果以及更低的價格，將全面替代目前傳統(tǒng)光學高端AR眼鏡涉足的教育、工業(yè)、文旅、醫(yī)療等行業(yè)。不難預見，在不遠的將來，整個XR行業(yè)會有更大的格局變化。

　　04- 手柄自追蹤

　　（Cambria手柄）

　　上述我們說到，Cambria將使用RGB攝像頭實現(xiàn)高清晰度彩色See-through功能，能夠讓用戶在佩戴VR設備的情況下依然可以看見高清彩色真實世界。但RGB攝像頭沒有灰度攝像頭的濾光片，無法很好地識別紅外光，從而導致現(xiàn)在大部分VR設備所使用的紅外LED式圓環(huán)追蹤方式無法實現(xiàn)。那么，問題就來了，當VR頭顯無法追蹤手柄，手柄該何去何從？答案很簡單，手柄實現(xiàn)自追蹤。

　　我們猜測，Cambria新手柄采用自追蹤模式，手柄上安裝有3個不同方向的相機，用于視覺VIO跟蹤定位。工作原理大概是手柄端實時進行視覺VIO算法，獨立解算位姿，并與頭顯進行視覺標定。使用RGB攝像頭后，手柄能夠360度追蹤，不再受限于設備傳感器的FOV（視場角）大小，能夠獲得更大自由度的交互體驗。手柄自帶算力實現(xiàn)獨立SLAM空間定位后，原先集中于VR頭顯的算力負擔會分散，減少了負載和功耗，頭顯可以設計得更加輕便。另外，由于取消了紅外LED燈環(huán)，頭顯上的攝像頭采用可見光跟蹤，可以適應更復雜的光照環(huán)境，改善在室外場景的使用體驗。

　　而實現(xiàn)手柄自追蹤，有一定的難度。首先，它需要在手柄上搭載更復雜的算法和更高算力的芯片。我們長期以來致力于研究高性能、低消耗的SLAM算法，因此能很輕松地在手柄上實現(xiàn)定位追蹤。其次，當頭手沒有實時聯(lián)系時，頭部和手柄的坐標系要做到三點統(tǒng)一需要一系列地圖和物體識別的技術，而我們同樣也有著這方面的雄厚積累。

　　手柄獨立意味著，將來它不再是VR產(chǎn)品的固定配件，而是成為一個選配件。那么，當VR設備可以脫離手柄后，我們該以其他何種方式交互呢？讓我們一起往下看。

　　05- 自然手勢識別

　?。–ambria手勢）

　　當VR設備搭載RGB攝像頭后，可以識別更多色彩，魯棒性更好，可以更精準對手部動作進行識別。因此，自然手勢識別成為VR設備交互的最佳選擇。在日常使用場景中，用戶可以隨時隨地戴上VR設備，通過自然手勢進行一系列的操作，不需要再攜帶手柄，實現(xiàn)真正意義上的移動式便攜。

　　影創(chuàng)科技一直致力于自然手勢識別技術的研發(fā)，魯棒性好、低功耗、低時延、視場角大，在行業(yè)中屬于前沿水平。影創(chuàng)科技的全自由度自然手勢基于30個自由度以及用戶個性化的手掌參數(shù)，為用戶創(chuàng)造更“本能”更“真實”的交互體驗，可以不受固定姿態(tài)的限制，以任意手姿勢與虛擬對象進行交互，學習成本低。而手勢識別功能的增加，在VR與AR相融合的時代，將提升用戶的交互體驗，VR設備的移動性及實用性都將逐步提升。

　?。ㄓ皠?chuàng)全自由度自然手勢）

　　06- 虛擬鍵盤

　?。℉orizon Workrooms-虛擬鍵盤）

　　隨著VR設備功能的增加，其將從原先的娛樂產(chǎn)品蛻變成一個集娛樂、辦公、生活于一體的新一代通用計算平臺。當我們想足不出戶玩一個沉浸式大型VR游戲的時候，便可以拿出手柄；當我們想辦公、社交時，自然手勢則是最佳交互方式，當代替鼠標的自然手勢實現(xiàn)之后，它的好搭檔——鍵盤，自然也是不可或缺的一項。

　　通過深度學習算法，未來VR可以把重建好的虛擬鍵盤模型和實際物體貼合疊加，然后進行跟蹤，并且對其姿態(tài)進行準確估計，從而實現(xiàn)虛擬鍵盤的應用。虛擬鍵盤、自然手勢，甚至更多虛擬配件的出現(xiàn)，將幫助用戶實現(xiàn)無空間無時間限制的辦公方式，社交自然更是不言而喻。

　　影創(chuàng)物體錨點系統(tǒng)具備從物體建模到物體跟蹤的全流程系統(tǒng)。物體建模操作簡單，成功率高，還支持自建的模型和其他平臺建立的模型。物體跟蹤高精度高魯棒性，可以實現(xiàn)精準虛實疊加，精度達到了毫米級，疊加鍵盤自然也不在話下。

　?。ㄓ皠?chuàng)虛擬鍵盤）

　　另外，未來通過攝像頭，我們還可以對整個房間拍攝的圖像進行深度估計，并且對計算出來的深度點云信息進行融合，最終對房間建立一個完整的幾何描述。最終建立整個房間的具體位置的虛擬空間的對應關系，從而將數(shù)字信息永久的放置在現(xiàn)實世界中。

　　07- 多任務3D屏幕

　?。–ambria多任務3D屏幕）

　　由于各種原因，許多人都需要多顯示器設置。但由于物理空間的限制以及多顯示器需考慮成本等多種因素，無法實現(xiàn)多屏辦公。然而，在虛擬現(xiàn)實的加持下，我們可以坐擁多屏3D交互，辦公、社交、觀影、游戲、音樂等等，你想要的都可以同時進行。最重要的是，它既沒有物理空間的限制，也沒有成本預算這種現(xiàn)實問題的考量。伴隨著自然手勢與虛擬鍵盤功能的推出，多任務3D屏幕將成為未來用戶的辦公選擇。無論用戶身處何處，只要有一個VR設備，便可以擴展自己的工作空間，實現(xiàn)辦公、社交、娛樂無縫切換。21世紀的我們，生活的主力依靠著手機與電腦、平板等電子產(chǎn)品。暢想一下未來，以上這些產(chǎn)品都被壓縮成一個便攜式設備，是何等便捷？

　　就在今年夏天，我們對外預告了新系統(tǒng)Tesseract OS，并推出了體驗版，邀請眾多開發(fā)者與用戶體驗。Tesseract OS采用了多任務窗口，采用全新Dock欄，弧形大屏等新風格，與Meta所公布的多任務3D屏幕再一次不謀而合。另外我們還加入ASW、PTW等眾多渲染技術上的升級，降低延遲和眩暈，提升用戶體驗。

　?。═esseract OS 多任務3D屏幕）

　　08- 體積視頻

　?。–ambria體積視頻）

　　體積視頻簡單來說就是將一連串的三維模型連接在一起，并讓他們動起來，能夠自由視角觀看。體積視頻給視頻賦予了體積的概念，讓二維視頻內容成為三維立體。它利用攝像機采集到的深度色彩等數(shù)據(jù)通過算法將現(xiàn)實世界通過三維模型展現(xiàn)出來，可以在任何平臺上（手機、電腦、平板、VR設備等）播放，用戶可以在任意時間任意角度進行觀看，即賦予用戶使用 6DoF觀看視頻的權利。

　　簡單來說，就是實現(xiàn)全息影像功能。我們可以通過VR設備，看到一個身處不同空間的三維真人影像。在疫情肆虐地球的當下，全息影像的功能顯得尤為重要。在Meta公布的視頻中，我們也看到了未來新健身的模式，在任何場合，都會有全息教練在用戶眼前指導用戶如何健身。不僅如此，體積視頻還能用于遠程會議場景。會議是辦公里最無法克服空間問題的一項內容，而虛擬會議能夠徹底解決解決空間所帶來的無法跨越的鴻溝。

　　想必大家對影創(chuàng)全息會議系統(tǒng)一定不陌生。它是一種全新的會議模式，能夠實現(xiàn)遠程合作及跨平臺信息分享，達到多人、多地的實時沉浸式會議。影創(chuàng)全息會議能夠實時傳輸亞厘米精度的全息真人形象，且支持自然手勢、手柄及語音等多種交互方式，更支持多種類的虛擬數(shù)字形象，可謂是科技賦能新辦公模式。如此一來，VR設備成為生產(chǎn)力工具指日可待。

　?。ㄓ皠?chuàng)全息會議系統(tǒng)）

　　綜合來講，Tesseract OS集成上述所有自研算法與技術，從而實現(xiàn)高性能、低延遲、豐富功能，也是目前行業(yè)內少有能夠提供一站式解決方案的操作系統(tǒng)。相信就像Windows之于PC，Android之于手機，Tesseract OS將賦能VR成為新生產(chǎn)力工具。趣立科技是影創(chuàng)集團對外輸出Turn-Key方案的平臺，在底層算法和技術方面有雄厚積累，是國內能同時提供VR/AR全棧產(chǎn)品級算法與系統(tǒng)的公司，并將這些技術開放授權給合作伙伴。元宇宙時代的序幕已經(jīng)拉開，一同跨入元宇宙世界的大門吧！