來源：映維網 作者 夢秋

道格拉斯·蘭曼（Douglas Lanman）是FacebookReality Labs的Display Systems Research（顯示系統研究）團隊負責人。他早前的研究主要集中在頭戴式顯示器，非眼鏡式3D顯示器，光場相機，以及用于3D重建和交互的主動照明。

他于2002年畢業于加州理工學院應用物理學系，然后分別在2006年和2010年在布朗大學獲得了電氣工程的碩士與博士學位。他于2002年至2005年曾作為麻省理工學院林肯實驗室的助理研究員，2010年至2012年期間擔任麻省理工學院媒體實驗室的博士后助理，而2012年至2014年期間則成為了英偉達研究院的高級研究員。道格拉斯·蘭曼后面加入了Oculus，并一直負責與XR相關的研究工作。

道格拉斯·蘭曼于今年年初在SPIE AR VR MR 2020大會進行了演講，并介紹了團隊在HDR和光瞳控制顯示器方面的研究進展。這位資深研究科學家同時表示，變焦光學元件已經“接近成熟（almost ready for primetime）”。

下面是具體的視頻及字幕中文整理：

下面我們有請道格（道格拉斯·蘭曼/Douglas Lanman）上臺。

非常高興回到SPIE XR。我在過去三年間一直有參加這個大會，而現在出席SPIE XR已經開始有了回家的感覺。我是認真的。我職業生涯的大部分時間都是在不同的領域之間度過，而之前沒有一個大會能給我家的感覺。

諸如變焦顯示器這樣的話題不僅只局限于一個大會。它們橫跨光學元件，計算機圖形，視覺科學。我最為人熟悉的計算顯示器同樣是這樣。所以我要感謝伯納德（伯納德·克雷斯/Bernard Kress）促成了本次活動，并為我們所有顯示領域從業者創建了一個可以稱作家的地方。

感謝伯納德最好的方式就是出席大會，告訴你新的東西并與社區分享。我會這樣做。我在Facebook Reality Labs（FRL）工作了五年半，并建立了一支名為Display Systems Research（DSR；顯示系統研究）的團隊。我非常自豪FRL允許我們廣泛地和自由地談論我們的工作，從而推動這個行業向前發展。

在過去的三年里，你聽到了大量關于Half Dome原型的消息，而今天你們會聽到更多。但為了貫徹我對伯納德的承諾，你們同時會聽到關于高動態范圍顯示器以及視網膜投影的全新研究。DSR充滿了致力于為新興顯示技術構建原型，并通過出版物與大家分享的研究人員。下面我們挑選了部分研究進行介紹。

你可以看到我們致力于通過任何必要的手段來實現眼鏡形態的設備。我們的很多研究都涉及到計算顯示器，但有時同樣會涉及到非常復雜的工程。但我們一直在尋找一個樂于傾聽的社區。

一直以來我們都是選擇SIGGRAPH大會。人們經常問我，為什么要在SIGGRAPH上發表顯示領域的研究呢？那不是電腦圖形大會嗎？好吧，在這次演講中，我將嘗試向你們說明顯示器是計算機圖形學中最難解決的問題，而我們已經在這條路上走了非常長的時間。這就是為什么我的團隊的工作不僅僅是渲染，而是在很大程度上試圖解決圖形中剩下的挑戰。

所有優秀的團隊都需要一個使命宣言。我和戈登·韋茨斯坦（Gordon Wetzstein）有著相同的使命宣言。非常簡單。它比電梯推介還要短，所以它甚至不是電梯推介。

我們希望通過視覺圖靈測試。我們要打造攝像頭，渲染算法，傳輸壓縮存儲，重建和顯示算法，以及實現完美創建現實的端到端流程?，F在，這不僅僅是因為我們想要優秀的遠程呈現系統。

如果我們能向人類視覺系統提供它所需要的一切，我們就可以實現更為有趣的事情，前往任何一個現實進行冒險。這就是伊凡·蘇澤蘭（Ivan Sutherland）在開啟這整個領域時所說的話語。我要向你們說明顯示器為何是當今計算機圖形學的核心，讓我向你們展示什么是現代計算機圖形學。

因為你們都接觸了那么長的時間，所以它已經變得不怎么起眼。如果你有足夠的計算能力、足夠的功率和足夠的耐心等待幀渲染，你就可以擁有照片真實感。你在數年前就可以擁有它。如果我沒有指出來，你可能不會注意到這輛汽車屬于人工合成。

逐漸地，實時計算機圖形，甚至移動圖形將越來越能夠趕上最先進的水平。所以在這里參加大會的我們都是站在充滿絕佳機會的最前沿，而不是說研究的終點。我想它已經到來，因為每次我走進電子商店都能看到我在童年時所看到的一切。

當然，CRT變成了LCD，但它們一直都是在墻上發光的扁平矩形。現在是視網膜分辨率。我們要實現1000尼特，色域每年都有進步。坦率地說，這正變得無聊起來，因為我們沒有推進顯示技術的前沿。

所以五年半前我認為也許我們已經受夠了墻上的矩形。讓我們看看一種允許你體驗人類視覺系統所能感知到的一切的真正顯示技術到底能做什么。所以我想這就是我和我的團隊致力于虛擬現實和增強現實的原因。

不是因為它是玩具或十分有趣。這是因為它是我們能想象到的唯一一種能夠提供完整人類體驗的顯示技術。什么是殺手級應用？這一直是個問題，即便在今天的走廊中，你都會聽到‘VR和AR的殺手級應用是什么？’

我不認為這個問題很難回答，因為如果你考慮虛擬現實，它是3D，3D交互，3D音頻，當然還有3D顯示。所以，Display Systems Research團隊嘗試從基礎知識開始。所以如果你詢問一個視覺科學家，我們需要做些什么來完整刺激人類的深度感知？他們會給你指出這篇文章。

維斯頓（彼得·維斯頓/Peter M. Vishton）和切丁（詹姆斯·切丁/James E. Cutting）在1996年對這一領域進行了大量研究。他們研究了所有能刺激深度知覺的線索。你可能見過這個。課本上通常擁有左邊的內容，一系列的深度線索，空氣透視，雙眼視差，這些你應該都已聽過。

如果你讀過切丁和維斯頓的論文，最為有趣的是他們詢問了一個簡單的問題。‘為什么有這么多？’因為如果你想想人類的其他感官，對聲音的感知，觸覺，味覺，它們幾乎不會使用那么多的多感官線索來合成信號。所以，為什么呢？

切丁和維斯頓認為這是因為深度感知存在于三個不同的空間。一直以來，電視都是處理所謂的Vista Space。出去走走，去電報山散散步吧。你就會知道什么是Vista Space。

你會看到天際線和滾滾的云朵。問題是，幾十年來我們一直在解決Vista Space的顯示問題。遮擋、相對大小、空氣透視等等……我們可以在現代電視完美地描繪出所有這些，我們早在幾年前就可以做到。

所以，我不認為很難回答什么是VR的殺手級應用。答案是存在于我們人類所存在的空間之中。這就是所謂的Personal Space和Action Space。

什么是Action Space？有多遠？我可以用這個遙控器精確地瞄準你。這就是Action Space。

當然，Personal Space是你可以觸及和交互的空間。這就是為什么VR和AR如此有趣，因為電視不能做到這一點。有了虛擬現實技術之后，它就變得微不足道了。

雙目視差，運動視差，對吧？是的，我們正在處理這些。這是表格中的待解決問題。所以，看著這個表格，和友好的視覺科學家談談，你會發現有一件事遺漏了，而且它只對VR和AR有用，亦即視覺輻輳和視覺調節。

對于SPIE這樣的活動，很多時候有人會詢問這樣的問題，‘為什么要研究視覺調節呢？因為這太微妙了。切丁和維斯頓會同意你的觀點。這是最不重要的深度線索，但對于像我這樣的科學家來說，這是一個你必須傳達的信息。

所以，我們在多年前就制定了一個目標，即構建世界上第一個能夠精確地描繪出視覺輻輳和視覺調節線索的完整顯示系統。這真的只能在諸如Display Systems Research這樣的地方進行。在這里我們有工程師讓控制系統工作。今天你們會聽到更多關于這方面的介紹，但我只想給你們建立一個框架。

我意識到，做這樣的事情需要一支軍隊。你需要靈感啟發，是吧？我的職業生涯是從研究生學院的學術研究開始。我沒有能力組織一支團隊來研究它。我需要一些可以走的道路。

而且你只有為數不多的靈感借鑒，所以如果你想借鑒靈感，建議你從太空總署那里獲得靈感。那么，美國宇航局是如何把一輛月球車送上月球的呢？嗯，他們倉促行事。到了20世紀60年代末，他們說我們真的需要一個更為正式的程序。

把那輛月球車弄到月球的過程有點亂糟糟。我們該怎么辦呢？觀眾席上的節目經理們笑了，因為我馬上要談到你們。比如說你在爬梯子。

我知道有時候你不想把自己想象成一位研究人員。你會說，我能做到，我可以發貨一件產品。美國宇航局不會同意你的意見。

這個房間里的每個人都站在不同的階梯上。如果你是一個學者，你通常是第二到第四階梯。如果你是一名真正的科學家，你就是在第一階。我們從這里聽到很多創業者的意見，而他們認為有必要把向世界說明這一點。他們站在第六，第七階。

我們這些大公司的人，我們幾乎完全贊同這個表格。我們去中國。我們環游世界，我們在第七階和第八階，第九階，我們把這個帶給世界上的每一個人。但我提到了我和我的團隊。我們是經典的第二階到第四階人群。

所以當我和戈登在MIT Media Lab的時候，我們非常喜歡這個階梯的工作。我們有一個錘子，一個壓縮顯示器。我們當時說，如果我們能夠打造前所未有的裸眼3D電視，這不是很好嗎？那就是第三階的工作。

然后，如果大家關心，這不是很好嗎？但當然，你是做這一個。在你的職業生涯里，你從研究生學院開始，然后你在第二階，第三階，第四階。

到了某個時候，你走進電子商店，你會看到第九階。這時你會想，我會一直重復第二階到第四階嗎？我除了提出好點子之外要怎樣真正改變世界呢？

在MIT的時候，我們想出了一個解決方案。如果你是個學者，這是最好的解決辦法。你希望有其他人啃這塊硬骨頭。你寫一篇論文，然后在谷歌上搜索。

我查過了。對于我在Media Lab及以后寫的所有論文，每一次的結論都是一模一樣：“我們希望激勵他人。”我們希望激勵他人，因為我們在第二階、第三階、第四階的樂趣實在太多，無法投身于創業生活，無法投身于在一家大公司里并用十年的時間把壓縮顯示器這個聰明的想法帶到電子商店。

所以，從某種意義上說，我已經到了職業生涯的中期。我很幸運在Facebook Reality Labs有一支龐大的團隊。這是老生常談，但我意識到我們必須探究更高的動態范圍。

因此，Display Systems Research團隊的真正獨特之處在于，我們不是一家初創企業，不是一家大公司，也不是一群學術界人士。我們是從絕對的基礎視覺科學到非常精良的原型，這種原型比大多數初創公司的還要精巧。我們正在嘗試做一件事情，那就是改變電子商店里的東西。但我們可以公開討論。

我們是一群奇怪的人。這在世界上并不多見，所以我很高興能夠公開談談我們所做的研究。所以讓我們開始吧。

你在一個科技大會。這個大會只是給房間里的項目經理進行演示。我也喜歡你。謝謝你參加這次大會。

現在我要和科學家們談談。你像是在說，‘我懂了，我懂了，快點說你的第二階吧。’好吧，我要給你講更好的東西。

讓我們向你介紹一下變焦顯示器的最新進展。我們花了四年多的時間來研發左邊的設備。我愿意說，這是因為我為它感到驕傲，它是世界上最好的變焦顯示器，140度視場，集成眼動追蹤，絕對靜音的變焦。這很酷，非常酷。

當然，不久前我們已經向全世界展示了它，但你知道總有更好的東西在后頭，對吧？如果你是一個魔術師，你總是會藏著下一個魔術。我們在幾個月前非常自豪地展示了Half Dome 3，因為它不是一個產品。它是第六階。

它不是一篇刊物。不止只是這樣。它更像是第五階，已經快到成熟時節，所以下面讓我來告訴你吧。

Half Dome 3是一款超緊湊型VR頭顯，采用折疊光學元件，沒有運動組件，電子變焦。再次說明，我真的非常喜歡對外公開。事情就是這樣。請隨意引用。

這是我們制作Half Dome 1時的馬達和機械裝置。左邊是Half Dome 3。我們會說，看，我們有我們的演示內容。如果我們是一家初創公司，現在每一個嘗試過Half Dome 1的人都會相信變焦頭顯值得一試。接下來讓我們把馬達全部扔掉。

幸運的是，我們有優秀的博士后、實習生和液晶科學家，他們經常一起吃午飯。在過去的兩年里，一個從實習開始的想法，加上科學家是在這段實習前就開始播種，其在后來演變成了這個概念。我認為在虛擬現實中解決焦點的一種非常實用的方法是，堆疊液晶元件，可變相位透鏡和可切換的半波片混合在一起。

這些都是你期待顯示行業能夠實現的事情，加上光學科學家和其他坐在這里的人的關懷，然后將其放到一個非常棒的模塊之中。所以讓我帶你去看看。首先，你有兩個平面。雙平面屬于業內最先進。

讓我們來看看怎么做這兩個平面。通過改變可切換半波片上的電壓，你可以對焦近距離，你也可以對焦遠距離。這是一個透視場景，但當然我們是為虛擬現實設計。

所以你有一對數字雙焦。這很酷，但我們開始構建連續變焦距系統是因為我們想通過視覺圖靈測試，而不是說這是最低可行的產品測試。所以我們需要一種方法來創建更平滑的焦點，而它可以做到。

通過堆疊六個元件，你是以二次方增加。你得到的是64個焦點狀態。這是一段真實的視頻。顯然，這是一個好視頻。我們在組裝部件時非常小心。

如果這還不夠，你可以再加一個可切換半波片，再加一個PDP，這樣你就可以達到128個焦點狀態，256個焦點狀態。根據馬蒂·班克斯（Marty Banks）和其他人的研究，在某種程度上，人類的視覺系統無法解析這種差異。

這就是當你從第一原理開始的電子變焦系統。你會問，當光源是偏振光，照明是變色，分辨率不是視網膜分辨率的時候，我可以用虛擬現實做什么？你最終會得到這樣的東西，為虛擬現實量身定做，而你會展示給別人看。

這就是它的樣子。這是通過一個真實原型拍攝的畫面，它包含了真實原型所面臨的所有挑戰。就像這里的其他創業公司一樣，你什么也看不到，因為這是我們的目標。你不會注意到閃爍，亮度的變化，顏色的變化。當然，這需要大量的研究人員在第五階能力下實現。

好。這很好。在一家沒有風險的創業公司是一件令人興奮的事情。在某個時候我會推薦給你們所有人。那是我們的創業公司。

現在，我們是科學家。我們撰寫這些論文的原因是我們喜歡這個階段的開始，構思一些古怪的想法并將它們實現。所以我想和大家分享一些Display Systems Research認為屬于通過視覺圖靈測試任務一部分的古怪新想法。

首先是對我來說非常珍貴的東西。在這個演講中，我已經告訴過你好幾次了，我走進電子商店，我很失望，因為我一遍又一遍地看到同樣的電視。我告訴你，當來第一次看到高動態范圍電視時，我感到無比振奮。我當時說，好，好，好。這真是了不起。

感覺就像我第一次看到高清電視。感覺就像是陽光下的新鮮事。到目前為止，還沒有人嘗試過虛擬現實中的HDR。原理非常好理解，因為這很難做到。

我們甚至不知道這是否重要。我喜歡解決那些我們不知道是否重要的問題。視覺調節是否重要呢？我們很快就會知道。

HDR是否重要呢？嗯，我當然知道這可以帶來非常好的體驗，但必須有人來構建這個功能。這是DSR喜歡做的事情，或者說至少我喜歡做這樣的事情。

當然，我們想要的是更亮。我真的很想前往虛擬現實海灘，并感受太陽光射進眼睛的感覺。當然，我想看到黑色更黑?，F在，為了說服某人，你需要告訴他們不需要在虛擬現實中佩戴墨鏡。

所以拿出一個亮度計，走進一個正常的辦公環境，你會發現虛擬現實并不能創造出所需的亮度范圍。請看看顯示器后面的數字，它比最亮的VR頭顯要高出2.5倍。所以，我們在虛擬現實中的亮度大約為100尼特。

最好的消費類電視大約是2000尼特。很明顯，它們需要接到墻壁的插座。它們比VR頭顯的背光要厚得多。當然，為了實現逼真的現實，我們需要10億尼特。

對于AR，我們擔心的是能不能在10000億尼特里面保留10億？在虛擬現實中保留10億尼特是一個非常不同的問題。同樣，這是推動這一領域向前發展的早期研究。

下面是Yang Zhao，團隊里面的實習生和其他人的想法。他們說，‘從第一原理來看，我們知道HDR VR需要改變一些事情。首先，我們應該小心我們的光線。

從光源，LED或者其他什么開始。聚焦。讓它經過一個工程設計的擴散器。這就是我們所說的定向背光。

因為虛擬現實獨一無二，不像墻上的那些電視，它們只需要為我工作，一次只能為一只眼睛工作。這意味著每一個光子都可以瞄準視窗。這將有助于提高亮度，然后你可以利用雙重調制的老把戲來獲得對比度。

但下面是你還沒有看到一個VR頭顯的原因。你需要一個目鏡。如果你使用菲涅耳透鏡或其他光學元件，你通常會失去通過這種雙重調制方式產生的所有對比度。

所以我們建造了一個時間機器。我們很多研究就是這樣開始。這是第一階，因為沒有學術委員會會接受它。因為它太過基礎了。

但我們需要看看我們是否認為HDR值得做。所以這是我們建造的原型。一個DMD投影儀和一個可見于VR頭顯的LCD。這是一個（聽不清）高動態范圍顯示器。

但我們把它和高對比度目鏡結合起來，我們沒有選擇菲涅耳透鏡。它太大，太重了，不能放到頭顯里面，但它能夠在6000尼特的水平下維持了亮度和對比度。

我們繼續說下去。你會看到一臺非常好的HDR電視，因為這不是頭戴式。沒有對它進行追蹤。它只是向我們說明了這種組件可行，亦即如果你愿意接受一個巨大的目鏡，它可以保持顯示器的對比度。

所以你問，我們有沒有制造一個可以穿戴的頭顯呢？非常接近。我們是來分享我們的研究。所以Yang Zhao和他的實習生發表了這個。

創造世界上第一個HDR頭顯的第一步，這是一個折疊光學。從一個（聽不清）風格的投影儀開始，你可以將其組合成一個導光板，在設計上要小心，你可以折疊所有的一切。這個你可以戴在頭上。

相關論文：High dynamic range near-eye displays

再次強調，我們是研究人員。我們會做創業者的事情。我們會讓你為變焦設備感到驚嘆，但真正讓我們興奮的是這些東西，亦即不確定它是否值得研究的最開始。

好吧。我想再告訴你一個項目。你可以通過論文了解這個項目。很多人可能對虛擬現實持懷疑態度。所以你來這里是因為這是一個AR大會。

好吧，我告訴你，我的團隊意見不統一。像我一樣，有些人相信虛擬現實是最偉大的敘事媒介。它是嘗試捕捉和再現現實的漫長歷史鏈條的最終結局。

但是AR，AR本身就非常有趣。所以，對于你之前看到的那些論文，我的團隊中大約有一半的人，包括加入FRL之前和之后的人，他們都專注于制造AR眼鏡，眼鏡形態，大視場，大視窗，精美的系統。而且在這篇論文中，我們所采用的許多方法并不是波導顯示，而是另一種選擇：視網膜投影。

我們團隊的安德魯·馬洛尼（Andrew Maimone）最近首創了使用全息透鏡近眼離軸投影儀的想法，通過光學折疊方式創建出非常寬視場的眼鏡。你們中的許多人應該熟悉這項研究。如果你沒有，請谷歌搜索一下。你會喜歡的。這是一項了不起的研究。

延伸閱讀：Facebook展示迄今最輕薄VR頭顯原型：基于全息光學和偏振光學折疊

唯一的問題是光學擴展量。當然，他在論文中實現了一個非常寬的視場，但你必須在論文中睜大雙眼尋找視窗，因為視窗并不存在。所以現在視網膜投影的問題是，如果你轉動旋鈕，你可以獲得一個很大的視場，但沒有視窗。

也就是說你戴上這個設備的時候，圖像就會消失。或者你更實際一點。你轉動旋鈕使興奮感降低。你得到了一個不太令人興奮的視場和一個不錯的視窗。這是我們在墻對面沒有看到大量自由空間視網膜投影的原因之一。

大多數人在不同的設計空間努力，因為他們還沒有完全破解這個光學擴展量難題。我們正在探究一些想法，非常早期的想法，并希望以此來來激勵大家。不僅僅是為了推動公司向前發展，同時要鼓勵大家，告訴大家這個方向或許存在一定的機會。這就是安德魯發表這篇論文的初衷，他是為了鼓勵大家，告訴大家進行關于自由空間的研究或許會很有趣。

所以這里有了一個解決方案。當然，我們可以回到大視場設計，讓眼睛動起來，你知道解決辦法是什么。你們都聽到了。它的變焦方式不同。

如果我們有一個眼動追蹤器和一個自適應光學系統，我們可以控制出射光瞳。就像你聽過注視點追蹤概念。再次說明，就像變焦系統。這個控制回路是由自適應光學和眼動追蹤共同處理。

光瞳控制如果有效，我們就有可能解決視網膜投影的問題。我相信你們很多人都在朝這方面努力。你可能沒有無法這么自由地談論你正在做的事情。我希望你能解決這個問題，因為這可能是一個解決AR挑戰的好方法。

你們中的很多人研究它的方式可能和我們一樣，第二階，第三階，第四階。你有了一個想法。我們把激光陣列放在眼鏡對應太陽穴的位置怎么樣。我們采用一種非常有奇特的全息光學元件怎么樣。

這就是我午餐時喜歡談論的話題。你會在一小時內找到50個點子。如果你在面試中詢問別人，你會得到較少但更好的想法，因為他們想獲得這份工作。如果你詢問一個全職研究員，你會得到更少但可能是一個有效的想法。

這是一個解決研究問題的好方法。不過，我認為在行業內部，我有機會在更基礎的階梯工作。所以在我們的團隊里，我們實際上是從第一階開始。我們聘請了一位博士后卡維塔·拉特南（Kavitha Ratnam），我們讓她不要去考慮你會怎么控制，而是考慮控制的要求。

所以，從第一原理開始，卡維塔和斯坦福大學的羅伯特·康拉德（Robert Konrad）合作，從你們都知道的和喜歡的眼睛模型開始。他們提出了一個簡單的問題：我們需要控制嗎？需要。

我們是否只需要在二維空間中實現控制呢？當眼睛在三維空間中移動時，我們需要控制嗎？例如，當你的眼睛在眼窩里旋轉時，適眼距就會改變。我們是否需要通過改變投影儀的縱搖，橫搖和垂搖來實現控制呢，或者至少調整非冗余的兩度呢？

據我們所知，沒有人探究過這個簡單的問題。每個人都跳到第二階、第三階、第四階。所以我想你得從基礎開始。

你的出射光瞳有多大？你的入射瞳孔有多大？你需要多大程度的控制？因為它屬于5D，所以會很快變得很難。也許每個從事其他架構的人都是對的。

所以我鼓勵你看看卡維塔和羅伯特的研究。他們已經建立了一個端到端的ZMAX模型，在這里你可以研究Vignetting、MTF和模擬需求。所以當你裁剪的時候，是否可以失去一半的圖像？這些都是你可以問的簡單問題。請讀一下具體的論文。

相關論文：Retinal image quality in near-eye pupil-steered systems

好了，是時候被人踢下臺了。我們來總結一下PPT。這是我在Display Systems Research團隊的最新進展。五年半之后，與我們大多數過去的工作相比，在更廣泛的研究領域里工作要更加有趣。

從第一階開始，我們試圖推動基礎視覺科學，從而推動我們的系統需求。在第二階到第四階的黃金時間里，我們還有很多還沒有準備好的想法。我們偶爾會進入初創公司模式，在第五階或更高階領域做一些事情，比如Half Dome。我們很高興能在SPIE XR拋磚引玉。當然，我們希望能激勵其他人。

原文鏈接：https://yivian.com/news/76691.html