奧飛寺邊策安妮
由量子比特出品|公眾號
通過墻壁漫反射的光影能否重構(gòu)出原來的畫面？
現(xiàn)在可以了。這不是科幻小說。
一篇新論文出現(xiàn)，表明僅使用普通數(shù)碼相機，僅利用墻壁上模糊的光影就可以恢復(fù)原始圖像。
我們先來測試一下大家。在下面的漫射光影中你能看到什么？
其實這是一種蘑菇。那么下面這個是什么？
非常相似，對吧？但這是一張人臉……
你看不到，但強大的算法確實可以利用這種漫反射來還原真實的原始畫面。沒有圖片，就沒有真相。下面是三個重建的例子。
首先將漫射光和陰影放置在墻上。
然后是算法重建的圖像。
你震驚嗎？這種效果就像把墻變成鏡子一樣！
不相信嗎？讓我們將其與原始圖像進(jìn)行比較。
是否是紅黑組成的英文字母所傳達(dá)的代碼：
或者《超級馬里奧》中熟悉的蘑菇：
即使是戴著紅色棒球帽、看起來像《辛普森一家》中的人物的復(fù)雜頭像，也可以通過該算法隔墻還原：
這種AI算法可以還原畫面，無需借助昂貴的拍攝設(shè)備，甚至可以在自己家里進(jìn)行實驗?zāi)M操作。
研究人員在正常房間的一端放置了一個顯示圖案的屏幕，面向?qū)γ娴膲Ρ凇?span style="display:none">XT3物理好資源網(wǎng)(原物理ok網(wǎng))
這個屏幕旁邊有一個普通的數(shù)碼相機，也面向?qū)γ娴膲Ρ冢鄼C和屏幕之間有一個擋板，因此相機沒有機會直接捕捉屏幕。
研究人員使用一臺4兆像素的數(shù)碼相機來完成這個實驗。價格約為1400美元（約合人民幣9500元）。研究人員估計，它比以前使用脈沖激光相機檢測物體的成本至少便宜30倍。
這個數(shù)碼相機要做的就是通過捕捉從屏幕發(fā)射到對面墻壁的光線來還原屏幕上的圖像。
實驗的難度仍在增加：研究人員還在房間中央放置了一個未知的阻擋物體，可能是一塊不發(fā)光的板，也可能是一把拉過來的椅子，以阻擋部分光線到達(dá)墻壁。
整個拍攝過程中，數(shù)碼相機捕捉到的只是墻壁上斑駁的光影。
在這項研究發(fā)表之前，這個想法被認(rèn)為是不可能的：一個普通的相機、一個普通的屏幕、一張隨機移動的椅子和一面墻，如何還原屏幕上色彩繽紛的未知圖案，甚至是動畫圖片？
就連專業(yè)物理學(xué)家也不看好。
荷蘭烏得勒支大學(xué)光學(xué)物理學(xué)家莫斯克曾表示：“人們相信初中物理中k是什么，在沒有任何先進(jìn)儀器的情況下，僅利用墻壁上漫反射的光來重建圖像幾乎是不可能的。”
沒想到，波士頓大學(xué)的這組研究人員做到了。
把墻變成鏡子
我們先回顧一下我們的初中物理知識：
物體對光的反射分為鏡面反射和漫反射兩種。鏡子使我們能夠清楚地看到物體，因為它們的表面光滑并且可以將光線沿固定方向反射回來。
但墻壁很粗糙。當(dāng)來自屏幕的光線投射到其上時，光線會向各個方向反射。我們稱之為“漫反射”。
按照常理來說，我們無法通過漫反射的混沌光來恢復(fù)物體的本來面貌。過去有一些技術(shù)可以恢復(fù)圖像，但是需要極高的光線要求，比如激光，而且成本也高很多。對于這個項目，波士頓大學(xué)的 Vivek K Goyal 團(tuán)隊只需要研究普通相機。
在墻上！只要算法足夠強，墻也能變成鏡子！
與鏡面成像不同的是，在鏡子前面添加一些東西阻擋視線，在屏幕和墻壁之間插入障礙物實際上會降低圖像還原的難度。
這可能看起來違反直覺，但實際上是有道理的。想象一下我小時候做過的“小孔成像”實驗。當(dāng)光線只能通過一個小孔時，來自屏幕的光線就會在墻上形成清晰的圖像。
顯示器和墻壁之間的屏障減少了雜散光，從而減少了入射光，使圖像稍微清晰一些。
當(dāng)然，戈亞爾的研究并沒有將入射光限制在太小的范圍內(nèi)，而是利用算法從墻上的陰影中恢復(fù)屏幕的本來面貌。雖然現(xiàn)在只能像任天堂8位機那樣恢復(fù)簡單的圖像。
以上只是定性描述。為了準(zhǔn)確地還原屏幕上的圖像，我們需要建立墻上每個點的亮度與屏幕亮度之間的函數(shù)關(guān)系：
上式中，Pw是墻壁上的點，x是屏幕上的點，P0是障礙物上的點，nx和nw分別是顯示器和墻壁的法向量，Pw-x表示從點 x 到 Pw 向量的方向。
在上式中，我們可以利用相機照片得到I(Pw)，并利用上式反算f(x)。
如果沒有障礙物，V處處等于1，I(Pw)和f(x)之間的依賴性太弱，不利于圖像恢復(fù)。這也是在屏幕和墻壁之間添加障礙物的原因。
上述方程過于復(fù)雜，不利于計算。由于屏幕的光線越強，墻上的點就越亮，我們可以將上面的積分方程轉(zhuǎn)換為線性方程。
y=A(po)f+b
y 是墻上每個點的亮度。我們選擇126×126個點，這是一個總共有15,876個變量的方程組留學(xué)之路，其中A(P0)表示變換矩陣。
事實上，戈亞爾團(tuán)隊去年就已經(jīng)取得了相關(guān)成果，但當(dāng)時必須知道障礙物的形狀和位置才能恢復(fù)圖像。
但這一次，他們把難度提升到了另一個層次。他們只知道障礙物的形狀，但不知道它們的位置。
Goyal的方法是首先估計障礙物的位置，然后通過平均位置附近的49組數(shù)據(jù)逆向恢復(fù)圖像。
如果他們繼續(xù)發(fā)展，他們的算法甚至不需要知道障礙物的形狀。它只能通過墻上模糊的影子知道它的樣子。
相關(guān)研究
利用AI算法對直接不可見的物體進(jìn)行光影預(yù)測分析不僅僅是一種方法。早在2010年，麻省理工學(xué)院媒體實驗室的研究人員就已經(jīng)取得了成果。
與波士頓大學(xué)不同，這種方法需要單獨購買特殊設(shè)備，即發(fā)射激光的相機。
與耳朵接收回聲類似，該方法利用手機激光在物體表面的反射路徑，算法預(yù)測無法直接看到的角落里的物體。
2017年，麻省理工學(xué)院計算機科學(xué)與人工智能實驗室（CSAIL）開發(fā)了一種新算法。該AI系統(tǒng)可以利用智能手機的攝像頭收集光反射信息，檢測隱藏在障礙物后面的任何物體，還可以實時測量它們的移動速度和軌跡。
想象一下，您正沿著“L”形走廊行走，拐角的另一側(cè)有一堆雜物。這些雜亂的光線會在您視線范圍內(nèi)的地面上投射少量光線，形成模糊的陰影，我們稱之為“半影”。
該人工智能系統(tǒng)使用智能手機攝像頭的半影視頻來組合一系列一維圖像，以揭示周圍物體的信息。
研究人員將這種“透視眼”系統(tǒng)稱為“角落相機”（），他們表示它在室內(nèi)和室外都效果良好。
這種方法也有缺點。如果隱藏場景本身較暗，系統(tǒng)的識別就會出現(xiàn)問題。此外，智能手機的攝像頭像素也會影響采集圖像的質(zhì)量。障礙物距離攝像頭越遠(yuǎn)，系統(tǒng)采集到的圖像質(zhì)量就越低。更糟糕的是。
但在最新的研究中，這個缺點并沒有出現(xiàn)。波士頓大學(xué)的研究人員表示，理論上，你不僅可以拍攝屏幕，還可以拍攝同一房間內(nèi)任何光線昏暗的物體。
門戶網(wǎng)站
您可以轉(zhuǎn)到原文繼續(xù)理解，論文中有：
作者：約翰·布魯斯和維韋克·K·戈亞爾
作者為網(wǎng)易新聞·網(wǎng)易賬號“每個人都有自己的態(tài)度”簽約作者
- 超過-
2018中國人工智能領(lǐng)軍企業(yè)
加入社區(qū)
Qubit AI社區(qū)已開始招募。歡迎對AI感興趣的同學(xué)在量子比特公眾號對話界面（）回復(fù)關(guān)鍵詞“交流群”初中物理中k是什么，獲取入群方法；
此外，量子比特專業(yè)細(xì)分組（自動駕駛、CV、NLP、機器學(xué)習(xí)等）正在招募，針對目前從事相關(guān)領(lǐng)域的工程師和研究人員。
如需加入專業(yè)群，請在量子比特公眾號（）對話界面回復(fù)關(guān)鍵詞“專業(yè)群”，獲取入群方法。 （專業(yè)團(tuán)體審核更嚴(yán)格，敬請諒解）
誠意招聘
Qubit正在招聘編輯/記者到北京中關(guān)村工作。我們期待有才華、有熱情的學(xué)子加入我們！相關(guān)詳情請在量子比特公眾號（）對話界面回復(fù)“招聘”二字。
量子比特·今日頭條簽約作者
?'?' ? 追蹤AI技術(shù)和產(chǎn)品新進(jìn)展
喜歡就點“好看”吧！