奧飛寺邊策安妮
由量子比特出品|公眾號
通過墻壁漫反射的光影能否重構出原來的畫面？
現在可以了。這不是科幻小說。
一篇新論文出現，表明僅使用普通數碼相機，僅利用墻壁上模糊的光影就可以恢復原始圖像。
我們先來測試一下大家。在下面的漫射光影中你能看到什么？
其實這是一種蘑菇。那么下面這個是什么？
非常相似，對吧？但這是一張人臉……
你看不到，但強大的算法確實可以利用這種漫反射來還原真實的原始畫面。沒有圖片，就沒有真相。下面是三個重建的例子。
首先將漫射光和陰影放置在墻上。
然后是算法重建的圖像。
你震驚嗎？這種效果就像把墻變成鏡子一樣！
不相信嗎？讓我們將其與原始圖像進行比較。
是否是紅黑組成的英文字母所傳達的代碼：
或者《超級馬里奧》中熟悉的蘑菇：
即使是戴著紅色棒球帽、看起來像《辛普森一家》中的人物的復雜頭像，也可以通過該算法隔墻還原：
這種AI算法可以還原畫面，無需借助昂貴的拍攝設備，甚至可以在自己家里進行實驗模擬操作。
研究人員在正常房間的一端放置了一個顯示圖案的屏幕，面向對面的墻壁。
這個屏幕旁邊有一個普通的數碼相機，也面向對面的墻壁，但相機和屏幕之間有一個擋板，因此相機沒有機會直接捕捉屏幕。
研究人員使用一臺4兆像素的數碼相機來完成這個實驗。價格約為1400美元（約合人民幣9500元）。研究人員估計，它比以前使用脈沖激光相機檢測物體的成本至少便宜30倍。
這個數碼相機要做的就是通過捕捉從屏幕發射到對面墻壁的光線來還原屏幕上的圖像。
實驗的難度仍在增加：研究人員還在房間中央放置了一個未知的阻擋物體，可能是一塊不發光的板，也可能是一把拉過來的椅子，以阻擋部分光線到達墻壁。
整個拍攝過程中，數碼相機捕捉到的只是墻壁上斑駁的光影。
在這項研究發表之前，這個想法被認為是不可能的：一個普通的相機、一個普通的屏幕、一張隨機移動的椅子和一面墻，如何還原屏幕上色彩繽紛的未知圖案，甚至是動畫圖片？
就連專業物理學家也不看好。
荷蘭烏得勒支大學光學物理學家莫斯克曾表示：“人們相信初中物理中k是什么，在沒有任何先進儀器的情況下，僅利用墻壁上漫反射的光來重建圖像幾乎是不可能的。”
沒想到，波士頓大學的這組研究人員做到了。
把墻變成鏡子
我們先回顧一下我們的初中物理知識：
物體對光的反射分為鏡面反射和漫反射兩種。鏡子使我們能夠清楚地看到物體，因為它們的表面光滑并且可以將光線沿固定方向反射回來。
但墻壁很粗糙。當來自屏幕的光線投射到其上時，光線會向各個方向反射。我們稱之為“漫反射”。
按照常理來說，我們無法通過漫反射的混沌光來恢復物體的本來面貌。過去有一些技術可以恢復圖像，但是需要極高的光線要求，比如激光，而且成本也高很多。對于這個項目，波士頓大學的 Vivek K Goyal 團隊只需要研究普通相機。
在墻上！只要算法足夠強，墻也能變成鏡子！
與鏡面成像不同的是，在鏡子前面添加一些東西阻擋視線，在屏幕和墻壁之間插入障礙物實際上會降低圖像還原的難度。
這可能看起來違反直覺，但實際上是有道理的。想象一下我小時候做過的“小孔成像”實驗。當光線只能通過一個小孔時，來自屏幕的光線就會在墻上形成清晰的圖像。
顯示器和墻壁之間的屏障減少了雜散光，從而減少了入射光，使圖像稍微清晰一些。
當然，戈亞爾的研究并沒有將入射光限制在太小的范圍內，而是利用算法從墻上的陰影中恢復屏幕的本來面貌。雖然現在只能像任天堂8位機那樣恢復簡單的圖像。
以上只是定性描述。為了準確地還原屏幕上的圖像，我們需要建立墻上每個點的亮度與屏幕亮度之間的函數關系：
上式中，Pw是墻壁上的點，x是屏幕上的點，P0是障礙物上的點，nx和nw分別是顯示器和墻壁的法向量，Pw-x表示從點 x 到 Pw 向量的方向。
在上式中，我們可以利用相機照片得到I(Pw)，并利用上式反算f(x)。
如果沒有障礙物，V處處等于1，I(Pw)和f(x)之間的依賴性太弱，不利于圖像恢復。這也是在屏幕和墻壁之間添加障礙物的原因。
上述方程過于復雜，不利于計算。由于屏幕的光線越強，墻上的點就越亮，我們可以將上面的積分方程轉換為線性方程。
y=A(po)f+b
y 是墻上每個點的亮度。我們選擇126×126個點，這是一個總共有15,876個變量的方程組留學之路，其中A(P0)表示變換矩陣。
事實上，戈亞爾團隊去年就已經取得了相關成果，但當時必須知道障礙物的形狀和位置才能恢復圖像。
但這一次，他們把難度提升到了另一個層次。他們只知道障礙物的形狀，但不知道它們的位置。
Goyal的方法是首先估計障礙物的位置，然后通過平均位置附近的49組數據逆向恢復圖像。
如果他們繼續發展，他們的算法甚至不需要知道障礙物的形狀。它只能通過墻上模糊的影子知道它的樣子。
相關研究
利用AI算法對直接不可見的物體進行光影預測分析不僅僅是一種方法。早在2010年，麻省理工學院媒體實驗室的研究人員就已經取得了成果。
與波士頓大學不同，這種方法需要單獨購買特殊設備，即發射激光的相機。
與耳朵接收回聲類似，該方法利用手機激光在物體表面的反射路徑，算法預測無法直接看到的角落里的物體。
2017年，麻省理工學院計算機科學與人工智能實驗室（CSAIL）開發了一種新算法。該AI系統可以利用智能手機的攝像頭收集光反射信息，檢測隱藏在障礙物后面的任何物體，還可以實時測量它們的移動速度和軌跡。
想象一下，您正沿著“L”形走廊行走，拐角的另一側有一堆雜物。這些雜亂的光線會在您視線范圍內的地面上投射少量光線，形成模糊的陰影，我們稱之為“半影”。
該人工智能系統使用智能手機攝像頭的半影視頻來組合一系列一維圖像，以揭示周圍物體的信息。
研究人員將這種“透視眼”系統稱為“角落相機”（），他們表示它在室內和室外都效果良好。
這種方法也有缺點。如果隱藏場景本身較暗，系統的識別就會出現問題。此外，智能手機的攝像頭像素也會影響采集圖像的質量。障礙物距離攝像頭越遠，系統采集到的圖像質量就越低。更糟糕的是。
但在最新的研究中，這個缺點并沒有出現。波士頓大學的研究人員表示，理論上，你不僅可以拍攝屏幕，還可以拍攝同一房間內任何光線昏暗的物體。
門戶網站
您可以轉到原文繼續理解，論文中有：
作者：約翰·布魯斯和維韋克·K·戈亞爾
作者為網易新聞·網易賬號“每個人都有自己的態度”簽約作者
- 超過-
2018中國人工智能領軍企業
加入社區
Qubit AI社區已開始招募。歡迎對AI感興趣的同學在量子比特公眾號對話界面（）回復關鍵詞“交流群”初中物理中k是什么，獲取入群方法；
此外，量子比特專業細分組（自動駕駛、CV、NLP、機器學習等）正在招募，針對目前從事相關領域的工程師和研究人員。
如需加入專業群，請在量子比特公眾號（）對話界面回復關鍵詞“專業群”，獲取入群方法。 （專業團體審核更嚴格，敬請諒解）
誠意招聘
Qubit正在招聘編輯/記者到北京中關村工作。我們期待有才華、有熱情的學子加入我們！相關詳情請在量子比特公眾號（）對話界面回復“招聘”二字。
量子比特·今日頭條簽約作者
?'?' ? 追蹤AI技術和產品新進展
喜歡就點“好看”吧！