XR專用芯片：虛擬世界的硬基石

來源：電子信息產業網 中國電子報

擁有專用的軟硬件是一項技術或產品走向產業化的標志。在相當長的時間里，XR（VR、AR、MR）終端將手機處理器作為主芯片。隨著VR應用場景進一步明確，市場認可度不斷提升，高通、海思等企業陸續推出XR專用芯片。迄今為止，已有超過45款搭載高通驍龍XR平臺的設備發布。更具針對性和功能性的底層硬件，將為虛擬現實的創新發展夯實地基。

專用芯片成剛需 

作為兼有顯示、感知、定位、交互等多種功能的電子設備，虛擬現實產品需要處理器、MCU、面板驅動芯片、MEMS、感測芯片、加速度計芯片、陀螺儀等多種芯片及零部件。

其中，處理器是電子設備的靈魂。與手機類似，虛擬現實設備需要計算、存儲、通信、視覺處理等多種功能，因而第一代VR一體機多采用高通、聯發科等廠商的手機SoC作為主芯片。然而，隨著虛擬現實設備的分辨率日益提升、交互功能更加豐富，對專用芯片的需求也步入正軌。

“相比于智能手機等小視野設備，沉浸式的XR體驗由于視野較大，對于分辨率、刷新率、用戶感知、環境感知、定位技術的需求都提升了一個等級，因此對處理器的性能和功耗需求也更高。”高通公司中國區董事長孟樸向記者表示。

TrendForce集邦咨詢分析師姚嘉洋也向記者指出，效能表現是XR處理器的重點。AR/VR應用與人眼有較密切的聯動關系，成像距離貼近眼球，對眼球的偵測能力是智能手機所沒有的功能，也是VR/AR的關鍵。同時，頭盔式VR更加看重傳感器芯片的反應速度，乃至將多傳感器芯片所取得的外界信號加以融合處理并實時反應的能力，與處理器效能表現密切相關。

AI和5G是關鍵 

雖然XR專用芯片方興未艾，但已經推出產品的高通、海思等企業，對于XR芯片的屬性進行了探索和實踐。除了對顯示、交互等虛擬現實基本功能的強化，5G和AI也逐步成為XR芯片的關鍵屬性。

眾所周知，5G的低時延和超高數據速率，是改善虛擬現實體驗的關鍵。“5G能夠通過支持終端和邊緣云之間的分離式處理，營造逼真的高品質體驗，從而擺脫任何線纜或空間的束縛，實現真正的‘無界’XR。”孟樸向記者表示。

據悉，驍龍XR2平臺是全球首個支持5G連接的XR平臺，海思XR也通過5G/WiFi6等高速傳輸技術，有效降低傳輸時延。

智能場景識別是AR的基本功能，需要從圖像采集、分析、上傳到顯示，其中分析階段是整條鏈路中耗時最長的一環，需要芯片具備強大的NPU算力支持。海思XR芯片具備獨立的海思專有架構NPU，能提供高達9TOPS的AI算力。驍龍X2也利用AI提升視覺、交互性和音頻等多項特性，以便讓用戶沉浸在更智能的現實中。

在顯示方面，人眼能達到的理想分辨率大約為60PPD（每度像素數），海思數據顯示，如果芯片能夠升級到8KP120的硬解碼能力，就可支持兩倍于主流VR的分辨率，極大提升了用戶視覺體驗。海思XR芯片支持4K/6K/8K超高清解碼顯示，并具備4K超高清低延時編碼能力。同時，要在XR世界中營造更強的真實感，必須縮小真實與虛擬世界之間的視覺差距。這需要最先進的顯示和圖形處理能力，諸如支持眼球追蹤的視覺聚焦渲染和支持更流暢刷新率的增強可變速率著色等XR專屬特性。

在交互性層面，XR可以讓用戶置身于前所未見的全新世界。為了確保這一過程的精確和高效，驍龍XR2引入了七路并行攝像頭支持和定制化的計算機視覺處理器，并且支持26點手部骨骼追蹤。計算機視覺提供高效的場景理解和3D重建。這些特性共同助力，將用戶帶至全新的虛擬環境。

芯片優化助力VR未來發展 

VR產業向前走，有賴于芯片技術的持續優化。

在能效方面，由于人眼的運動速度相當高，在使用一段時間的XR產品后，用戶容易昏昡不適，這與處理器效能不足有關。

“芯片廠商如何在效能方面有所突破與精進，會是XR接下來發展的重點。由于VR/AR裝置與人類皮膚相連，必須留意能源效率與散熱的問題，這也有助于系統整合商在結構設計上免除不必要的散熱設計，實現設備輕量化。”姚嘉洋說。

更貼合虛擬現實特點的軟件和算法，將更有效地調度硬件資源，提升用戶體驗。

“我們將繼續主推驍龍XR1和XR2平臺，通過更多軟件和算法，實現平臺性能提升，加入用戶交互、視覺、聽覺、連接等新功能，賦予驍龍XR1和XR2平臺更多生命力，讓客戶能夠基于現已發布的平臺打造更加出色的新產品。”孟樸表示。

在軟硬件持續精進的基礎上，XR將進一步解決空間計算問題，使虛擬與現實的融合更加圓融。孟樸表示，空間計算是XR交互應用中的基礎技術，包含了兩大層面：第一是用戶的身體感知；第二則是空間定位。基于兩類精準計算，才能夠把虛擬物體放在現實世界中，并和現實世界完美融合。

除了技術層面的改善，XR芯片平臺還需要與具體行業和場景結合，以貼合市場需求，有的放矢地發展。

“XR平臺的性能優化和功能拓展歸根結底都服務于具體的應用場景。正因如此，XR的發展需要整個產業鏈合作伙伴展開更加緊密的合作，共同打造更能滿足市場需求的產品。‘共同參與、共同合作、共同受益’，將是整個XR生態的繁榮發展之道。我們正通過一系列生態系統合作項目，匯聚更多產業鏈的領先企業，增強XR相關產業的創新能力，推動和優化生態合作，從而共同加速XR在各行各業中的應用。”孟樸說。

專家觀點 

中國工程院院士、浪潮集團執行總裁兼首席科學家王恩東：

XR算力要求巨大

AR、VR對渲染方面的計算需求非常巨大。比如幾年前拍的電影《阿凡達》，所進行的渲染需要6000個處理器計算一年。如今有更多的VR、AR內容制作，特別是VR、AR由光線追蹤到路徑追蹤，由原來的部分沉浸，到目前實現完全的沉浸，像電影級的體驗，需要成千上百倍的計算能力的提升。

要進一步推動計算力的發展，需要關注智慧計算在未來的三個發展方向：一是融合，二是開放，三是敏捷。

高通公司中國區董事長孟樸：

5G、AI助力實現“無界XR”

目前，XR、AI和5G這三大關鍵市場和技術正在融合。5G技術能夠解決XR行業面臨的諸多難點。例如5G網絡的高帶寬可以解決高清XR內容的無線傳輸問題，它的低時延特性還能有效減輕因畫面延遲產生的眩暈問題。5G+XR還將推動XR眼鏡的產品形態和功能進一步優化，讓XR產品更加輕便易用。

為順應這一趨勢，高通在2019年就推出了全球首款支持5G的XR平臺——驍龍XR2。此外，AI技術也將進一步增強XR服務和應用，將用戶體驗推向新的境界。例如AI對于XR應用中頭部、手部、眼球等的追蹤、語音輸入等方面至關重要，5G與XR+AI的結合還能實現分布式渲染，也就是我們所說的“無界XR”，讓用戶感受到真正無拘無束的XR體驗。

上海海思總裁熊偉：

XR是下一代計算平臺

得益于算力、聯接和顯示的革命性升級，XR還將是下一代體驗革命和計算平臺，是數字世界和物理世界融合的進階。在XR領域，上海海思以沉浸體驗、流暢交互、輕便舒適為目標，利用8K、AI、5G等核心能力，在極致音視頻、高性能計算、多感知融合、高性能無線連接等技術領域持續投入，與合作伙伴共同引領產業發展。