奧飛寺邊策安妮
量子比特出品|公眾號
通過墻壁上擴散的光影能否重構(gòu)出原來的畫面？
現(xiàn)在可以了。 這不是懸念。
一篇新論文出現(xiàn)光的直線傳播畫圖小孔成像，表明只有普通數(shù)碼單反相機才能僅依靠墻壁模糊的光影來恢復(fù)原始畫面。
讓我先測試一下你。 在下面的漫射光影中你能看到什么？
雖然它是香菇。 下面這些是什么？
非常相似，不是嗎？ 但這是一張人臉……
你看不到，但是強大的算法確實可以通過這些漫反射來還原真實的原始畫面。 無圖無真相。 下面是三個重建的例子。
首先放置墻壁的漫反射光影。
接下來是算法重建的圖像。
震驚不驚訝！ 這種療效就像把一面墻變成了一面全身鏡！
不相信？ 讓我們將其與原圖進行比較。
是否是由黑、紅組成的英文字母所傳達的暗號：
還是《超級馬里奧》中熟悉的香菇：
即使是戴著黑色壘球帽、看起來像辛普森房間里的人物的復(fù)雜頭像，這個算法仍然可以隔墻還原：
這種AI算法可以在不依賴昂貴的拍攝設(shè)備的情況下還原畫面，你甚至可以在自己家里進行實驗?zāi)M操作。
研究人員在一間普通臥室的一端放置了一個屏幕，顯示圖案，面向相鄰的墻壁。
這個屏幕后面有一組普通的數(shù)碼相機，也面向旁邊的墻壁，但是相機和屏幕之間有一個擋板，相機沒有機會直接捕捉屏幕上的圖像。
研究人員使用了一臺 4 兆像素的數(shù)碼單反來完成實驗，售價約為 1400 澳元（約合人民幣 9500 元）。 研究人員預(yù)計它的價格至少比之前的脈沖激光 SLR 低 30 倍。
而這款數(shù)碼相機要做的就是通過將屏幕發(fā)出的光拍攝到旁邊的墻壁上來還原屏幕上的圖像。
實驗的難度還在增加：研究人員還在房間中央隨機放置了一個不明遮擋物體，可以是一塊不發(fā)光的板，也可以是一張用手拖拽的桌子，以遮擋部分光線。到達墻壁。
在整個拍攝過程中，數(shù)碼單反所能捕捉到的只有墻上昏暗的光影。
在這項研究發(fā)表之前，這些視圖被認為是不可能的：普通的相機、普通的屏幕、隨機移動的桌子和墻壁，如何還原屏幕上色彩繽紛、未知的圖案，甚至動畫？
即使是專業(yè)化學(xué)家也并不樂觀。
法國烏得勒支研究所光學(xué)化學(xué)家莫斯克曾表示：“人們認為，在沒有任何先進設(shè)備的情況下，僅通過墻壁漫反射的光來重建圖像幾乎是不可能的。”
沒想到，波士頓學(xué)院的這組研究人員做到了。
讓墻壁變成全身鏡
讓我們先準備小學(xué)數(shù)學(xué)知識：
物體對光的反射分為鏡面反射和漫反射。 全身鏡之所以能夠讓我們識別物體，是因為全身鏡的表面光滑，可以將光線按照一定的固定方向反射回來。
但外壁粗糙，當(dāng)屏幕上的光線投射到前方時，光線會向各個方向反射，我們稱之為“漫反射”。
在常識中光的直線傳播畫圖小孔成像，我們很難通過漫反射的混沌光線來還原物體的本來面目。 之前也有一些技術(shù)可以還原圖像，但是對光線的要求極高，比如激光，成本也高很多。 波士頓學(xué)院的 小組只需研究普通相機即可。
在墻壁上！ 只要算法夠強，外墻也可以變成全身鏡！
與鏡面成像不同的是，在全身鏡前面加一些東西遮擋視線，在屏幕和墻壁之間插入障礙物，實際上都會增加我們還原圖像的難度。
這似乎有悖于常識，盡管它是有道理的。 想象一下小時候做過的“小孔成像”實驗。 當(dāng)光線只能通過一個小孔時，屏幕發(fā)出的光線會在墻上產(chǎn)生清晰的圖像。
顯示器和墻壁之間的障礙物可減輕雜散光，從而減少進入的光線并使圖像稍微清晰一些。
事實上，戈亞爾的研究并沒有將入射光限制在太小的范圍內(nèi)，而是利用算法從墻壁的陰影中恢復(fù)屏幕的本來面貌。 事實上，目前只能還原任天堂8位機的簡單圖像。
以上只是定性描述。 為了準確地還原屏幕上的圖像，我們需要構(gòu)建墻壁照度與屏幕照度之間的函數(shù)關(guān)系：
里面的多項式中，Pw是墻壁上的點，x是屏幕上的點，P0是障礙物上的點，nx和nw分別是顯示器和外墻的法向量，Pw-x表示從點 x 指向向量的 Pw 。
上式中，I(Pw)可以通過單反照片得到，f(x)可以通過上式反推得到。
如果沒有障礙物，V處處都等于1，I(Pw)和f(x)之間的依賴性太弱，不利于圖像的恢復(fù)。 這也是在屏風(fēng)和墻壁之間增加障礙物的原因。
上式過于復(fù)雜，不利于估算。 由于屏幕上的光線越強，墻上的點就越亮，我們可以將積分多項式轉(zhuǎn)換為線性多項式。
y=A(po)f+b
y是墻上每個點的照度。 我們選取126×126個點，這是一個多項式群，共有15876個變量，其中A(P0)代表一個變換矩陣。
雖然戈亞爾的團隊今年已經(jīng)取得了相關(guān)成果，但需要知道當(dāng)時障礙物的形狀和位置才能夠還原圖像。
但這一次他們把難度提高了一個層次，只知道障礙物的形狀，卻不知道位置。
Goyal的方法是先找出障礙物的位置，然后通過平均位置附近的49組數(shù)據(jù)逆向還原圖像。
進一步發(fā)展，他們的算法甚至不需要知道障礙物的形狀，只需要通過墻上模糊的陰影就可以知道它的外觀。
相關(guān)的研究
除了這種通過AI算法分析光影來預(yù)測無法直接看到的物體的方法之外，早在2010年，的研究人員就已經(jīng)取得了成果。
與波士頓學(xué)院不同，這些方法需要單獨購買特殊設(shè)備，即可以發(fā)射激光的單反相機。
與眼睛接收回聲的方式類似，這些方法利用手機激光在物體表面的反射路徑，算法預(yù)測在角落里無法直接看到的物體。
2017 年，麻省理工學(xué)院計算機科學(xué)與人工智能實驗室 (CSAIL) 開發(fā)了一種新算法。 該人工智能系統(tǒng)可以使用智能手機的攝像頭收集有關(guān)光反射的信息并測量隱藏在障礙物后面的任何物體。 實時檢測其連接速度和行進軌跡。
想象一下，您正沿著“L”形過道行走，拐角的另一邊有一堆雜物。 這種雜亂的光線會在您視線范圍內(nèi)的地面上投射少量的光線，從而產(chǎn)生我們稱之為“半影”的模糊陰影。
AI系統(tǒng)利用智能手機攝像頭中半影的視頻，將一系列一維圖像組合起來，弄清周圍物體的信息。
研究人員還將這種“透視眼”系統(tǒng)稱為“轉(zhuǎn)角單反”( SLR)，研究人員表示，這些方法無論是在室外還是在室外，都有很好的療效。
這些方法也存在隱患。 如果隱藏場景本身較暗，系統(tǒng)的識別也會出現(xiàn)問題。 此外，智能手機的單反像素也會影響采集圖像的質(zhì)量。 單反相機中的障礙物越遠，系統(tǒng)采集到的圖像就越多，圖像質(zhì)量也就越差。
但在最新的研究中，這些弊病并沒有被揭露出來。 波士頓學(xué)院的研究人員表示，理論上，你可以拍攝同一房間內(nèi)任何光線昏暗的物體以及屏幕的照片。
門戶網(wǎng)站
你可以轉(zhuǎn)到原文繼續(xù)理解，論文中有：
作者：John-Bruce&
-超過-
真誠緊急
量子比特招聘編輯/記者，工作地點在上海中關(guān)村。 期待有才華和熱心的朋友加入我們！ 相關(guān)詳情請在量子位公眾號（）對話界面回復(fù)“招聘”字樣。
量子位頭條簽約作者
?'?'?追蹤AI技術(shù)和產(chǎn)品的最新動態(tài)