深度學(xué)習(xí)和量子化學(xué)是兩個(gè)看似關(guān)聯(lián)很小的領(lǐng)域，但研究者還是找到了它們之間的共同之處。日前，耶路撒冷希伯來(lái)學(xué)院的幾位研究者的一篇論文《Deepand:A》介紹了她們的發(fā)覺：深度前饋算術(shù)電路（）所實(shí)現(xiàn)的函數(shù)和量子多體波函數(shù)之間存在某種等價(jià)性。機(jī)器之心在本文中簡(jiǎn)略地編譯介紹了這項(xiàng)研究。
深度前饋網(wǎng)路早已在許多不同的機(jī)器學(xué)習(xí)應(yīng)用中取得了前所未有的成功。是哪些讓這種網(wǎng)路這么成功？研究正在逐步揭露其中的秘密，但其中大部份依然還是有待解密的重要奧秘。歸納偏置（bias）就是其中之一，其反映了嵌入在網(wǎng)路構(gòu)架中的先驗(yàn)知識(shí)（prior）。
在這項(xiàng)研究成果中，我們構(gòu)建了量子化學(xué)學(xué)領(lǐng)域和深度學(xué)習(xí)領(lǐng)域的一種基本（）聯(lián)系。我們使用這些聯(lián)系斷定了全新的理論觀察，該觀察是關(guān)于頻域網(wǎng)路每一層的通道（）的數(shù)目在整體的歸納偏置中的作用。具體來(lái)說，我們給出了深度前饋算術(shù)電路（：）所實(shí)現(xiàn)的函數(shù)和量子多體波函數(shù)（many-bodywave）之間的等價(jià)性，這取決于它們共同的基礎(chǔ)張量結(jié)構(gòu)。這有助于將量子糾纏測(cè)度（）用作深度網(wǎng)路抒發(fā)能力（以建模其輸入的復(fù)雜相關(guān)性結(jié)構(gòu)）的定義良好的測(cè)度方式。最重要的是，建立張量網(wǎng)路（）方面的深度成為了可能。這些描述讓我們可以進(jìn)行一個(gè)頻域網(wǎng)路的數(shù)論剖析（graph-），通過這些方法我們展示了一種通過深度網(wǎng)路的通道數(shù)目直接控制深度網(wǎng)路的歸納偏置的方式，這種通道是其基本圖中的相關(guān)最小切割（min-cut）。對(duì)任何為特定任務(wù)設(shè)計(jì)頻域網(wǎng)路的實(shí)踐者來(lái)說，這個(gè)結(jié)果是有好處的。
我們對(duì)進(jìn)行了理論上的剖析，但是在更常見的頻域網(wǎng)路（）（涉及到ReLU激活和最大池化）上通過實(shí)驗(yàn)驗(yàn)證了我們的發(fā)覺。不僅前面描述的結(jié)果，這項(xiàng)工作也提出了兩個(gè)跨學(xué)科的橋梁：用良好定義的數(shù)論工具對(duì)深度前饋網(wǎng)路的描述和與量子糾纏的方式聯(lián)接。
圖1：Cohenetal.(2016b)提出了先前的頻域算術(shù)電路網(wǎng)路（）
3.量子波函數(shù)與頻域網(wǎng)路
當(dāng)描述一個(gè)由多個(gè)互相作用的粒子所構(gòu)成的系統(tǒng)（被稱為多體量子系統(tǒng)（many-body））的量子熱學(xué)性質(zhì)時(shí)，化學(xué)學(xué)家須要使用才能表示許多輸入和一個(gè)輸出之間的復(fù)雜關(guān)系的函數(shù)。類似地，監(jiān)督學(xué)習(xí)或無(wú)監(jiān)督學(xué)習(xí)等機(jī)器學(xué)習(xí)任務(wù)也須要使用才能表示許多輸入（如圖像的許多象素）和一個(gè)輸出之間的復(fù)雜關(guān)系的函數(shù)。這一章我們將對(duì)這種類比進(jìn)行公式化。在簡(jiǎn)單介紹了物理學(xué)家拿來(lái)描述多體系統(tǒng)的量子熱學(xué)性質(zhì)的符號(hào)以后，我們說明了怎樣將所實(shí)現(xiàn)的函數(shù)（式2和式3）與N個(gè)粒子的量子波函數(shù)在物理上等價(jià)上去。通過由所帶來(lái)的對(duì)深度前饋網(wǎng)路的張量描述，這在機(jī)器學(xué)習(xí)和量子化學(xué)這兩個(gè)看似無(wú)關(guān)的領(lǐng)域之間建立了一種可靠的結(jié)構(gòu)聯(lián)系。我們遵守了(1998)中的相關(guān)推論，感興趣的讀者可參閱Hall(2013)獲取對(duì)量子熱學(xué)的全面物理介紹。
4.糾纏和相關(guān)性的檢測(cè)
多體波函數(shù)和所實(shí)現(xiàn)的函數(shù)之間的方式聯(lián)系（如式8所示）讓我們有機(jī)會(huì)使用已有的數(shù)學(xué)看法和工具來(lái)剖析頻域網(wǎng)路。對(duì)于表征多體波函數(shù)的粒子間的相關(guān)性結(jié)構(gòu)，化學(xué)學(xué)家給與了非常的關(guān)注，由于其對(duì)被觀測(cè)系統(tǒng)的化學(xué)性質(zhì)有廣泛的影響。雖然機(jī)器學(xué)習(xí)領(lǐng)域?qū)@個(gè)問題的關(guān)注較少，但我們可以直觀地理解：在解決一個(gè)機(jī)器學(xué)習(xí)問題時(shí)，應(yīng)該考慮表征該問題的相關(guān)性，例如數(shù)據(jù)集中典型圖象的象素之間的相關(guān)性。我們應(yīng)當(dāng)看見，對(duì)于函數(shù)的「表達(dá)力（）」的需求實(shí)際上是對(duì)該函數(shù)建模相關(guān)復(fù)雜相關(guān)性結(jié)構(gòu)的需求量子物理學(xué)家丁飛，不管這個(gè)函數(shù)是頻域網(wǎng)路實(shí)現(xiàn)的，還是等價(jià)的多體波函數(shù)。在這一節(jié)，我們首先介紹了化學(xué)學(xué)家量化相關(guān)性的方法，之后討論了可以怎樣將這種方式用于機(jī)器學(xué)習(xí)領(lǐng)域的剖析。
圖2：圖片為8×8大小。a)交錯(cuò)分區(qū)的圖示，b)左右分區(qū)的圖示。假如你希望建模圖象（例如腳部圖象）的兩側(cè)之間的復(fù)雜相關(guān)性結(jié)構(gòu)，這么該網(wǎng)路應(yīng)當(dāng)支持左右分區(qū)的高糾纏檢測(cè)（high）；假如你希望對(duì)毗鄰象素這樣做（如自然圖象），這么應(yīng)當(dāng)選擇交錯(cuò)分區(qū)。在第7節(jié)，我們說明了這些對(duì)頻域網(wǎng)路的歸納偏置的控制可以怎樣通過適當(dāng)調(diào)整每一層的通道數(shù)目來(lái)實(shí)現(xiàn)。
5.張量網(wǎng)路和張量分解
圖3：張量網(wǎng)路（TN/）的簡(jiǎn)單介紹。a)該張量網(wǎng)路中的張量用節(jié)點(diǎn)表示，節(jié)點(diǎn)的度（）對(duì)應(yīng)于由其所表示的張量的階數(shù)。b)用TN符號(hào)表示的一個(gè)矩陣乘一個(gè)張量。收縮（）指數(shù)用k表示而且相乘。開放（open）指數(shù)用d表示，它們的大小等于由整個(gè)網(wǎng)路所表示的張量的階數(shù)。所有那些指數(shù)的值都在1到它們的聯(lián)接維度（bond）之間。收縮（）用實(shí)線標(biāo)識(shí)。c)一個(gè)愈加復(fù)雜的事例——一個(gè)網(wǎng)路使用在稀疏互連的低階張量上的收縮表示一個(gè)更高階的張量。該網(wǎng)路是一種分解（）的簡(jiǎn)單案例，其在張量剖析社區(qū)被稱為張量訓(xùn)練（train，(2011)），而在匯聚態(tài)化學(xué)學(xué)界則被稱為矩陣積態(tài)（state，參見Orús(2014)）。
6.一個(gè)用作張量網(wǎng)路的頻域網(wǎng)路
圖4：a)張量網(wǎng)路（TN）方式的奇特值分解。Λ節(jié)點(diǎn)表示一個(gè)對(duì)角矩陣、U和V節(jié)點(diǎn)表示正交矩陣。b)相當(dāng)于CP分解的TN。
圖5：相當(dāng)于HT分解的TN量子物理學(xué)家丁飛，其帶有對(duì)應(yīng)于圖1的（N=8）的估算的相同通道池化方案，詳見6.2節(jié)
原文鏈接：