奧飛寺邊策安妮
量子比特出品|公眾號
通過墻壁上擴散的光影能否重構出原來的畫面？
現在可以了。 這不是懸念。
一篇新論文出現光的直線傳播畫圖小孔成像，表明只有普通數碼單反相機才能僅依靠墻壁模糊的光影來恢復原始畫面。
讓我先測試一下你。 在下面的漫射光影中你能看到什么？
雖然它是香菇。 下面這些是什么？
非常相似，不是嗎？ 但這是一張人臉……
你看不到，但是強大的算法確實可以通過這些漫反射來還原真實的原始畫面。 無圖無真相。 下面是三個重建的例子。
首先放置墻壁的漫反射光影。
接下來是算法重建的圖像。
震驚不驚訝！ 這種療效就像把一面墻變成了一面全身鏡！
不相信？ 讓我們將其與原圖進行比較。
是否是由黑、紅組成的英文字母所傳達的暗號：
還是《超級馬里奧》中熟悉的香菇：
即使是戴著黑色壘球帽、看起來像辛普森房間里的人物的復雜頭像，這個算法仍然可以隔墻還原：
這種AI算法可以在不依賴昂貴的拍攝設備的情況下還原畫面，你甚至可以在自己家里進行實驗模擬操作。
研究人員在一間普通臥室的一端放置了一個屏幕，顯示圖案，面向相鄰的墻壁。
這個屏幕后面有一組普通的數碼相機，也面向旁邊的墻壁，但是相機和屏幕之間有一個擋板，相機沒有機會直接捕捉屏幕上的圖像。
研究人員使用了一臺 4 兆像素的數碼單反來完成實驗，售價約為 1400 澳元（約合人民幣 9500 元）。 研究人員預計它的價格至少比之前的脈沖激光 SLR 低 30 倍。
而這款數碼相機要做的就是通過將屏幕發出的光拍攝到旁邊的墻壁上來還原屏幕上的圖像。
實驗的難度還在增加：研究人員還在房間中央隨機放置了一個不明遮擋物體，可以是一塊不發光的板，也可以是一張用手拖拽的桌子，以遮擋部分光線。到達墻壁。
在整個拍攝過程中，數碼單反所能捕捉到的只有墻上昏暗的光影。
在這項研究發表之前，這些視圖被認為是不可能的：普通的相機、普通的屏幕、隨機移動的桌子和墻壁，如何還原屏幕上色彩繽紛、未知的圖案，甚至動畫？
即使是專業化學家也并不樂觀。
法國烏得勒支研究所光學化學家莫斯克曾表示：“人們認為，在沒有任何先進設備的情況下，僅通過墻壁漫反射的光來重建圖像幾乎是不可能的。”
沒想到，波士頓學院的這組研究人員做到了。
讓墻壁變成全身鏡
讓我們先準備小學數學知識：
物體對光的反射分為鏡面反射和漫反射。 全身鏡之所以能夠讓我們識別物體，是因為全身鏡的表面光滑，可以將光線按照一定的固定方向反射回來。
但外壁粗糙，當屏幕上的光線投射到前方時，光線會向各個方向反射，我們稱之為“漫反射”。
在常識中光的直線傳播畫圖小孔成像，我們很難通過漫反射的混沌光線來還原物體的本來面目。 之前也有一些技術可以還原圖像，但是對光線的要求極高，比如激光，成本也高很多。 波士頓學院的 小組只需研究普通相機即可。
在墻壁上！ 只要算法夠強，外墻也可以變成全身鏡！
與鏡面成像不同的是，在全身鏡前面加一些東西遮擋視線，在屏幕和墻壁之間插入障礙物，實際上都會增加我們還原圖像的難度。
這似乎有悖于常識，盡管它是有道理的。 想象一下小時候做過的“小孔成像”實驗。 當光線只能通過一個小孔時，屏幕發出的光線會在墻上產生清晰的圖像。
顯示器和墻壁之間的障礙物可減輕雜散光，從而減少進入的光線并使圖像稍微清晰一些。
事實上，戈亞爾的研究并沒有將入射光限制在太小的范圍內，而是利用算法從墻壁的陰影中恢復屏幕的本來面貌。 事實上，目前只能還原任天堂8位機的簡單圖像。
以上只是定性描述。 為了準確地還原屏幕上的圖像，我們需要構建墻壁照度與屏幕照度之間的函數關系：
里面的多項式中，Pw是墻壁上的點，x是屏幕上的點，P0是障礙物上的點，nx和nw分別是顯示器和外墻的法向量，Pw-x表示從點 x 指向向量的 Pw 。
上式中，I(Pw)可以通過單反照片得到，f(x)可以通過上式反推得到。
如果沒有障礙物，V處處都等于1，I(Pw)和f(x)之間的依賴性太弱，不利于圖像的恢復。 這也是在屏風和墻壁之間增加障礙物的原因。
上式過于復雜，不利于估算。 由于屏幕上的光線越強，墻上的點就越亮，我們可以將積分多項式轉換為線性多項式。
y=A(po)f+b
y是墻上每個點的照度。 我們選取126×126個點，這是一個多項式群，共有15876個變量，其中A(P0)代表一個變換矩陣。
雖然戈亞爾的團隊今年已經取得了相關成果，但需要知道當時障礙物的形狀和位置才能夠還原圖像。
但這一次他們把難度提高了一個層次，只知道障礙物的形狀，卻不知道位置。
Goyal的方法是先找出障礙物的位置，然后通過平均位置附近的49組數據逆向還原圖像。
進一步發展，他們的算法甚至不需要知道障礙物的形狀，只需要通過墻上模糊的陰影就可以知道它的外觀。
相關的研究
除了這種通過AI算法分析光影來預測無法直接看到的物體的方法之外，早在2010年，的研究人員就已經取得了成果。
與波士頓學院不同，這些方法需要單獨購買特殊設備，即可以發射激光的單反相機。
與眼睛接收回聲的方式類似，這些方法利用手機激光在物體表面的反射路徑，算法預測在角落里無法直接看到的物體。
2017 年，麻省理工學院計算機科學與人工智能實驗室 (CSAIL) 開發了一種新算法。 該人工智能系統可以使用智能手機的攝像頭收集有關光反射的信息并測量隱藏在障礙物后面的任何物體。 實時檢測其連接速度和行進軌跡。
想象一下，您正沿著“L”形過道行走，拐角的另一邊有一堆雜物。 這種雜亂的光線會在您視線范圍內的地面上投射少量的光線，從而產生我們稱之為“半影”的模糊陰影。
AI系統利用智能手機攝像頭中半影的視頻，將一系列一維圖像組合起來，弄清周圍物體的信息。
研究人員還將這種“透視眼”系統稱為“轉角單反”( SLR)，研究人員表示，這些方法無論是在室外還是在室外，都有很好的療效。
這些方法也存在隱患。 如果隱藏場景本身較暗，系統的識別也會出現問題。 此外，智能手機的單反像素也會影響采集圖像的質量。 單反相機中的障礙物越遠，系統采集到的圖像就越多，圖像質量也就越差。
但在最新的研究中，這些弊病并沒有被揭露出來。 波士頓學院的研究人員表示，理論上，你可以拍攝同一房間內任何光線昏暗的物體以及屏幕的照片。
門戶網站
你可以轉到原文繼續理解，論文中有：
作者：John-Bruce&
-超過-
真誠緊急
量子比特招聘編輯/記者，工作地點在上海中關村。 期待有才華和熱心的朋友加入我們！ 相關詳情請在量子位公眾號（）對話界面回復“招聘”字樣。
量子位頭條簽約作者
?'?'?追蹤AI技術和產品的最新動態