在電影《鋼鐵俠 2》中有這樣一幕：影片主角托尼·斯塔克在一張懸浮的 3D 地圖上輕點手指，地圖發生令人眼花繚亂的變化，他過世的父親遺留給他的“信息”——一種新型人造元素的 3D 原子結構模型被提取出來。

圖1：《鋼鐵俠 2》電影片段

許許多多的科幻電影中的類似場景無不體現出人們對 3D 顯示與交互無限的遐想。可喜的是，這樣的遐想或許有望在不遠的將來成為現實。

近日，北京航空航天大學 王瓊華 教授團隊開發出一套懸浮真 3D 顯示實時交互系統，展現出了該種 3D 顯示與交互系統的雛形。該系統能夠動態地顯示裸眼3D圖像，在 3D 片源分辨率為 4K 下實現 30 幀/秒的實時、準確的手勢交互，并且支持通過預設的多種手勢實現多手對多物體的獨立交互。

該成果以“基于 Leap Motion 手勢識別的懸浮真 3D 顯示實時交互系統”為題發表于《液晶與顯示》（ESCI、Scopus收錄，中文核心期刊）2022 年第 5 期。

1. 懸浮真3D顯示實時交互系統構成

該系統主要分為顯示模塊和交互模塊，并通過計算機進行銜接和數據處理。

圖2：系統結構（圖源：液晶與顯示, 2022, 37(5): 658. Fig. 6）

顯示模塊基于集成成像 3D 顯示，這一技術可追溯到 1908 年 Lippmann G. 提出的集成攝影術。集成成像 3D 顯示利用光路可逆原理，使用透鏡陣列將光線在特定的空間點先匯聚再發散，如同光本就是從匯聚點發出的一樣，從而模擬真實物體表面發光或反射光的情況，因此被認為是一種裸眼真 3D 顯示。

在此基礎上研究人員應用了懸浮器件——二面角反射鏡陣列。從一個點光源出發出的光經過每個二面角反射鏡單元后，被反射 2 次匯聚成懸浮于空中的像。因此集成成像 3D 顯示的 3D 圖像將被投射出整個系統之外，帶來更強的視覺沖擊，也為更自由的交互提供便利。

圖3：懸浮真 3D 顯示原理（圖源：液晶與顯示, 2022, 37(5): 655. Fig. 2）

圖4：二面角反射鏡單元（圖源：液晶與顯示, 2022, 37(5):655. Fig. 3）

交互模塊通過體感控制器 Leap Motion 采集手勢數據。Leap Motion 是一款基于雙目計算機視覺的體感控制器，它通過頂部的透明窗口拍攝圖片，提取用戶手的關節特征，進而反映整個手的手勢和姿態。Leap Motion 采集到的數據將被送入計算機處理，把用戶手勢反映的信息轉化為控制 3D 片源變化的指令，實現 3D 片源隨著手勢動態變化，也就能結合顯示模塊實現 3D 圖像隨著手勢動態變化。

圖5：Leap Motion 以及參考坐標系（圖源：Leap Motion 官網）

2. 準確手勢交互的實現方法

由于 Leap Motion 的參考坐標系和 3D 圖像的參考坐標系原本不存在關聯，因此懸浮于用戶身體左側的物體可能與位于用戶身體右側的手產生交互，這就自然而然帶來違和感和交互的不便利性。

為解決此問題，研究人員通過標定以及矩陣變換的方法，將 Leap Motion 的坐標映射到 3D 圖像的參考坐標系；相當于在 3D 圖像所在的虛擬空間生成了一個虛擬手來控制 3D 圖像的變化，而這一虛擬手由于現實中用戶的手處在相同的空間位置，達到了虛擬和現實的統一。

3. 多手對多物體的獨立交互

目前國內外進行了一些懸浮真 3D 顯示手勢交互技術研究，但多數僅考慮單個 3D 物體的交互或 3D 場景的整體交互，未考慮復雜 3D 場景中多個 3D 物體的獨立交互。那么如何理解獨立交互呢？想象一下我們日常生活中用到的個人電腦，我們新建兩個窗口，只拖動位于上層的窗口，這一交互操作不會對位于下層的窗口產生影響，反之亦然，那么我們認為這兩個窗口對象都是可以獨立交互的。

圖6：2D 顯示鼠標交互

在 2D 顯示下的鼠標交互，由于兩窗口重疊的區域窗口會發生遮擋，我們能夠交互到的只有上層的窗口；而且鼠標只能單點交互，不能同時拖動兩個窗口，因此獨立交互較容易實現。而在 3D 顯示、手勢交互的系統中，1 和 2 兩個 3D 物體一旦發生重合，重合區域既屬于物體 1 又屬于物體 2。因此有時用戶只需要對 1 進行交互的時候不小心穿過了 2，就會導致 2 也被交互了，我們稱這種現象為交互串擾。當系統由單手交互擴展到多手交互，每只手都需要進行不同的交互，因此在 3D 物體互不干擾的前提下，還需要能實現不同物體同時響應對應手的交互。

為此研究人員提出一種交互通道機制。每個 3D 物體都有一個通道用于連接一只虛擬手。成功連接的 3D 物體與手建立其交互關系，它的交互通道就被這只手的數據占用了，那么其他手將無法占據這一交互通道，其他的 3D 物體將不會再容許這只手占用交互通道，使得成功連接的 3D 物體與手成為獨立的交互組合，直到手主動放棄交互。

圖7：多物體交互的通道機制（圖源：液晶與顯示, 2022, 37(5): 657. Fig.5）

利用交互通道機制，可以有效減少多手對多物體之間的交互串擾，實現獨立交互；當然在特定的手勢下也可以讓 3D 場景全局或局部的幾個物體按照同一交互方式進行交互。交互通道機制使交互的設計與實現更加靈活，更加有助于激發用戶的創造性。

懸浮真 3D 顯示與手勢交互結合，符合現實世界中人與真實物體交互的自然觀感，因此可以將現實世界和虛擬世界重疊甚至混淆，實現亦虛亦實的信息交流；其應用于影音娛樂、會議辦公、文化展覽等場景，為元宇宙發展提供一種可能的方向。另一方面，該系統的交互操作可避免不必要的接觸，特別有利于減少疾病傳播風險，在新冠疫情背景下具有潛在的便利性和安全性優勢。

論文信息

林星雨, 邢妍, 張漢樂, 王瓊華. 基于Leap Motion手勢識別的懸浮真3D顯示實時交互系統[J]. 液晶與顯示, 2022, 37(5):654-659.

?https://cjlcd.lightpublishing.cn/thesisDetails#10.37188/CJLCD.2022-0060

通訊作者介紹

王瓊華，北京航空航天大學儀器科學與光電工程學院教授/博士生導師、國家杰出青年科學基金獲得者、國際信息顯示學會會士（SID Fellow）、中國物理學會液晶分會副主任、中國圖象圖形學學會三維成像與顯示副主任委員，Journal of the Society for Information Display 等國際期刊 Associate Editor 和《液晶與顯示》等期刊編委。1992 年、1995 年和 2001 年于電子科技大學先后獲得學士、碩士和博士學位，1995-2001 年在電子科技大學任助教、講師和副教授，2001-2004 年在美國中佛羅里達大學光學中心任 Research Scientist，2004-2018 年在四川大學任教授和博士生導師。主要研究方向為顯示與成像技術，負責完成了國家級科研項目 20 余項，現為國家重點研發計劃項目和國家重大科研儀器研制項目的負責人。研制了裸眼3D顯示器、3D 攝像機、新型液晶顯示器、液晶透鏡、可變焦液體透鏡和連續光學變焦顯微鏡等；獲得省部級科技獎勵 6 項，獲準美國和中國發明專利 150 余項，出版著作 3 部，發表了 SCI 收錄論文 300 余篇。

閱讀原文