早在今年3月，蘋果公司就發布了一份名為“蘋果公司隊伍一項關于未來虛擬現實鍵盤的專利”的報告。這項專利主要的意思就是，在未來，用戶們不需要實體鍵盤，只需要戴上頭顯，然后在任何桌面上都可以投射出虛擬鍵盤，就比如說航空公司的下拉托盤都作為虛擬鍵盤。與傳統筆記本鍵盤不同，這款新型的虛擬鍵盤將為用戶提供在公共空間工作的私人空間。
為了開發一款精確度比較高的虛擬鍵盤，蘋果公司一直在研究開發先進的計算機視覺技術。在這項專利申請中，蘋果電腦視覺和機器學習主管Daniel Kurtz解釋了如何利用基于深度的觸摸檢測系統，研發下一代虛擬鍵盤和鼠標技術。Daniel Kurtz于2015年因為蘋果收購Metaio來到蘋果，他表示這種形式的觸摸檢測也可能適用于未來的VR游戲。
收購Metaio兩年后，蘋果在2017年全球開發者大會上推出了AR技術。其軟件高級副總裁Craig Federighi演示了如何用iPhone將虛擬的物體放在面前的桌子上。他首先是把一個虛擬咖啡杯放在桌子上，然后在咖啡杯旁邊加了一盞燈，當他移動臺燈時，我們看到咖啡杯的影子甚至會實時移動。蘋果團隊現在所做的不僅僅是在用戶面前展示AR物體，而是更進一步，讓用戶能夠實時與AR物體進行交互。
而蘋果專利的主要重點是與虛擬鍵盤進行實時交互，但我們想象這一下，這項發明或許還可以增強VR游戲的互動性，想象一下，在游戲中開門，駕駛汽車，拿武器，與敵人激戰這些動作都可以更加真實，而不是只是按Xbox或PS4上的按鈕。如果蘋果團隊能及時將這項技術推向市場，那么潛力將是巨大的。還有蘋果的TrueDepth相機，在很多方面也會起到很重要的作用。
專利背景
Daniel Kurtz首先簡要說明了一下現有系統的不足，然后解釋了蘋果的這項發明是如何克服基于深度的虛擬觸摸檢測中的某些問題。首先，他指出，檢測到用戶的手指何時接觸到真實的環境平面，可以使用戶和硬件系統(例如計算機或游戲系統)之間實現更直觀真實的交互。
使用相機進行觸摸檢測比使用嵌入式傳感器(如電容式傳感器)有很多優勢。此外一些現代數碼設備，如頭戴式設備(HMD)和智能手機都配備了視覺傳感器，包括深度相機，比如蘋果的所有iPhone X型號上的TrueDepth相機。目前基于深度的觸摸檢測方法可以使用深度相機來測量相機和手指之間以及相機和表面之間的距離。
一種方法有缺點就是不能應用于動態場景。另一種方法可以首先識別手指，然后從指尖中心開始填充鄰近的像素，這樣當填充足夠時，就可以檢測到觸摸。但是由于這種方法沒有考慮對像素深度數據標準化，因此很容易出錯。另一種方法是，根據預先計算好的參考系、對手部輪廓的分析和深度曲線的擬合來確定的。
這些方法都需要預先定義閾值來區分觸摸和非觸摸條件，還有就是要考慮到距離，當手指距離平面10毫米或以下時，可表示觸摸。
專利：基于深度的觸摸檢測
蘋果的發專利涵蓋了以下概念，首先是提供一種基于深度的觸摸檢測方法，用于獲取表面場景的深度圖，深度圖包含多個值(例如，深度圖可以來自深度傳感器以及一個或多個光學相機)；識別深度圖的第一區域，識別對象(例如，該對象可以是手指、手寫筆或其他光學不透明對象)；根據第一區域識別深度圖的表面區域，(例如，該表面可以是平面的或非平面的)。最后根據獲得輸出，當輸出表示物體與表面接觸時，執行第一個肯定性操作(如執行與“鼠標點擊”相對應的操作)。
上面所述觸摸檢測操作可幫助改進接受非鍵盤輸入的計算設備或系統的功能?？梢酝ㄟ^使用任意的表面(例如桌面或其他表面)來進行輸入操作，而不用傳統的鍵盤和其他設備(例如鼠標或手寫筆)。通過改進傳統輸入方式，可以進一步改進計算機系統的功能，用戶可以在任意環境下使用鍵盤。
下面的蘋果專利數據說明了基于深度的觸摸檢測操作的各個方面信息。蘋果的專利圖3A是流程圖形式，關于觸摸檢測操作。
這項由美國專利局公布的蘋果專利申請最初是在2017年第三季度提交的?？紤]到這是一項專利申請，目前還不清楚該技術是否能夠實現以及上市的時間。
