伴隨著人工智能的急速發展，以神經網路為代表的深度學習如同饑餓的猛獸，無論你喂多少的數據給它什么是物理，它都不嫌多。但在現實中，有好多數據存在著遺失、不完整。總之，盡管神經網路可以實現很高的精度，而且它們不能為我們總結底層的原理。莫非我們真的要扔掉無數學者總結出的知識，完全借助數據來加快發展嗎？近來學者將數學知識嵌入機器學習，稱為基于化學信息的機器學習什么是物理，可以以一種統一的方法無縫地整合數據和數學原理，也因而提高了機器學習的泛化性，使機器學習不再是只針對特定的某種問題有著挺好的療效。來自北大學院朱軍等學者發布了《基于物理信息的機器學習:問題、方法和應用》綜述，42頁pdf全面論述PIML進展。
數據驅動機器學習的最新進展早已徹底改變了計算機視覺、強化學習以及許多科學和工程領域。在許多現實世界和科學問題中，生成數據的系統是受數學定理支配的。近來的研究表明，通過結合化學先驗和搜集到的數據，它為機器學習模型提供了潛在的用處，這促使機器學習和化學的交叉成為一個流行的范式。在本次綜述中，我們提出了一種被稱為化學信息機器學習(PIML)的學習范式，它致力構建一個模型，借助經驗數據和可用的化學先驗知識來提高三組涉及化學機制的任務的性能。我們從機器學習任務、物理先驗的表示和融合數學先驗的方式三個角度系統地回顧了基于數學的機器學習的最新發展。依據該領域目前的發展趨勢，我們提出了幾個重要的開放研究問題。我們覺得，將不同方式的數學先驗編碼到模型構架、優化器、推理算法和重要的領域特定應用(如逆向工程設計和機器人控制)中，在基于數學的機器學習領域中還遠遠沒有得到充分的探求。我們相信這項研究將鼓勵機器學習領域的研究人員積極參與到基于數學的機器學習的跨學科研究中來。
1.概述
近幾六年來，隨著計算機技術的發展，科學研究的范式發生了革命性的變化。傳統上研究自然現象的方式是理論推論與實驗驗證相結合。隨著估算技巧的發展，大量基于計算機數值模擬的方式被開發下來，以理解復雜的實際系統。現在，隨著科學實驗的手動化和批量化，科學家們積累了大量的觀測數據。(數據驅動)機器學習的范式是理解和構建模型，借助經驗數據來提升個別任務集的性能[1]。利用觀測資料的學習，推動現代科學和工程技術的發展具有重要意義。
作為近些年來機器學習明顯進展的一部份，深度神經網路[2]在計算機視覺[3]、自然語言處理[4]、語音處理[5]、強化學習[6]等領域取得了里程碑式的突破。只要有足夠的數據量，神經網路的靈活性和可伸縮性促使它可以很容易地被應用到許多不同的領域。深度神經網路強悍的具象能力也使得研究人員將其應用于化學系統建模中的科學問題。諸如，2[7]早已徹底改變了蛋白質結構預測的范式。同樣，[8]構建了一個超小型的基于學習的天氣預報系統，它趕超了傳統的數值預報系統。Deep[9]提出了學習滿足對稱性的大尺度分子勢的神經模型。
盡管基于統計的機器學習模型在大數據的幫助下取得了驚人的進展。當將這種純數據驅動的模型作為現實應用程序布署時，依然存在許多限制。諸如，預測可能不可靠，缺少可解釋性，而且可能違背化學約束或常識。在計算機視覺中，深度神經網路一般無法辨識和理解圖象或視頻中的幾何、形狀、紋理和動態，外推能力有限。據悉，這種模型在訓練分布[10]之外的表現也不令人滿意，或容易遭到人類無法察覺的對抗噪音[11]的功擊。在深度加強學習中，智能體可以通過試錯來學習采取獎勵更高的行動，但它并不認識到潛在的化學機制。在科學問題中，數學系統一般遭到一些領域特定的數學定理的約束，如微分等式。科學和工程領域搜集的數據常常是稀疏和有噪音的，由于現實世界的實驗極其高昂，并且會受到環境或設備噪音的干擾。在常見的機器學習模型中，從稀疏和噪音數據小學習會造成嚴重的泛化錯誤。我們覺得，導致泛化錯誤的一個可能緣由是，目前僅依賴經驗數據的統計學習模型沒有意識到生成數據的內部化學機制。以人類為參照，人類從數據中理解簡明數學定理的能力，可以幫助模型更高效、更穩健地學習、推理、與世界互動[12]，[13]。使機器學習模型還能感知數學定理或約束是機器學習領域一個開放而有吸引力的領域。
依照問題的背景和化學約束的表示，研究人員嘗試了許多方式將數學知識與機器學習結合上去。其實有大量復雜的工作，但我們可以提煉出一個簡約的方式化的數學機器學習(PIML)概念。具體來說，基于數學的機器學習(PIML)的范式是構建一個模型，借助經驗數據和可用的化學先驗知識來提高三組涉及化學機制的任務的性能。在基于數學的機器學習中有幾個基本問題。
圖1:基于數學的機器學習概述。化學先驗由強到弱的表征可分為偏微分等式/偏微分等式/偏微分多項式、對稱性和直觀化學。它們可以被整合到機器學習模型的不同部份，如數據、模型構架、損失函數、優化器和推理算法。不同的方式用于不同類型的任務，如神經模擬，逆問題，CV/NLP和RL/控制。在化學信息機器學習領域，還有許多像化學信息優化器和化學信息推理技巧等有待探求的空間。
首先，化學先驗知識的定義和表征是哪些?在現有的工作中，我們可以將化學先驗知識由強到弱分為PDE/ODE/SDE或代數約束、對稱約束和直觀化學約束幾類。PDE/ODE/SDE在科學和工程中無處不在。它們還具有剖析物理表達式，因而很容易集成到機器學習模型中。諸如，PINN[15]使用PDE/ODE作為正則化項構造損失函數。神經alode[16]建立了一個新的神經結構，服從ode。對稱約束和直觀化學約束比偏微分等式/偏微分多項式的歸納誤差更弱。對稱約束的事例有平移、旋轉和排列不變性或等殘差。在設計新型網路體系結構時，它是一種廣泛使用的歸納誤差。諸如，[17]和圖頻域網路(GCN)[18]借助了點云數據和圖數據的排列不變性。在她們以后還有成千上萬的作品，我們就不詳盡討論了。數學學中的守恒定理也可以看作是對稱約束。直觀化學(或質樸化學)[19]是關于化學世界中物體的動力學和約束的可解釋的數學常識。諸如，“一個固體不能穿過另一個固體”是描述物體連續性的直觀化學約束。其實直觀的化學約束是必不可少的和簡單的，但怎樣用物理的和系統的表示它們依然是目前具有挑戰性的任務。
第二，怎樣將數學先驗知識集成到機器學習模型中?訓練一個機器學習模型包括幾個基本組成部份，即數據、模型構架、損失函數、優化算法和推理。化學先驗可以集成到一個或多個這種組件中。首先，對于具有對稱約束或已知的偏微分等式/偏微分多項式的問題，可以對數據進行提高或綜合。模型可以從這種生成的數據小學習。其次，模型的體系結構可能須要重新設計和評估。因為偏微分等式/偏微分多項式、對稱性、守恒定理以及數據可能存在的周期性等數學規律，可能須要我們重新設計現有神經網路的結構，以滿足實際問題的須要。第三，對于包含數學約束的訓練模型，通常深度神經網路的損失函數和優化方式可能不是最優的。比如，當使用化學約束作為規則項損失時，每位損失函數的殘差調整十分重要，常用的一階優化器如Adam[20]不一定適宜這類模型的訓練。
第三，基于化學的機器學習的任務是哪些?從基于數學的機器學習的定義中，我們看見它也適用于純統計機器學習的問題設置，如監督學習、無監督學習、半監督學習、強化學習等。但是，一個基本條件是，基于數學的機器學習問題必須涉及現實世界的化學過程，而我們必須對此有所了解。否則，它就退化為純粹的統計學習。現有的工作可分為兩類，即借助PIML解決科學問題和結合化學先驗解決傳統機器學習問題。在本文中，我們將分別討論這種應用。第一堂課，人類把握了豐富而精確的數學定理來描述科學現象，一般用微分多項式來表示。目前，PIML領域在科學問題上有更多的進展，我們將在總結方式時重點介紹。具體來說，這種問題大致可以分為兩類:數學系統的神經模擬(包括神經求解器和神經算符)和逆問題(如逆設計和科學發覺)。神經模擬的目的是借助數學知識和可用數據預測或預測系統的狀態。諸如，求解PDE系統、預測分子性質和預測未來的天氣都可以被視為正向問題。相反，逆問題的目標是找到一個滿足數據或給定約束的化學系統，比如，從數據中科學發覺PDE,PDE系統的最優控制等。我們總結了近些年來提出的工作，按時間次序排列，如圖2所示。在第二節課中，結合數學知識可能會明顯幫助提升在許多計算機視覺和加強學習任務中的表現。在那些領域中，數學知識比精確的微分等式愈發模糊和無法表示。對稱和直觀的化學約束更常被用作提高機器學習模型的數學先驗。
圖2:基于數學的機器學習的神經模擬(神經求解器和神經算符)和逆問題(逆設計)的重要方式的時序概述。
因為這是一個有吸引力的研究領域，近來發表了一些相關的綜述。[12]展示了基于數學的機器學習發展的整體圖景。[21]是一個極其相關的研究，它關注的是PINN的算法和應用。[22]回顧了使用神經網路求解偏微分多項式的理論結果。一些研究關注化學信息機器學習的子領域或應用，如流體熱學[23]、不確定性量化[24]、域分解[25]和動態系統[26]。[27]，[28]，[29]，[30]，[31]提供了更多的事例，以及軟件教程。[32]，[33]，[34]，[35]專注于機器學習與數學知識的混和建模范式。在本次綜述中，我們的主要貢獻是從機器學習研究者的角度總結了基于數學的機器學習的發展。我們提供了關于算法、理論和應用的全面綜述，并提出了基于數學的機器學習的未來挑戰，這將極大地推動跨學科研究的社區。這篇綜述文章組織如下。首先從物理的角度介紹了本文的基礎和背景。之后，我們介紹了在科學問題和傳統機器學習任務(如計算機視覺、強化學習)中相關的基于數學的機器學習技巧的發展。對于科學問題，我們重點介紹了具有代表性的方式，如PINN、以及目前各類改進的變體、理論、應用和未解決的挑戰。之后分別總結了將數學先驗知識融入計算機視覺和加強學習的方式。最后，我們描述了機器學習社區的一些具有代表性和挑戰性的任務。
2神經模擬
用基于神經網路的方式來模擬PDEs/ODEs/SDEs()所控制的化學系統，是基于數學的機器學習領域中一個卓有成效和活躍的研究領域。在本節中，我們首先列舉本文中使用的符號和背景知識。神經仿真主要包括兩個部份，即使用神經網路求解單個偏微分等式/偏微分等式(稱為神經求解器)和學習參數化偏微分等式/偏微分等式的解映射(稱為神經算子)。之后，我們將詳盡總結神經求解器和神經算符的問題、方法、理論和挑戰。
3.逆問題
不僅使用神經網路作為模擬化學系統的代理模型外，還有一項重要而富于挑戰性的任務:設計或優化化學系統的未知參數。這個問題也被稱為逆問題(如逆設計)，廣泛應用于工程[253]、[254]、[255]、設計[256]、[257]、流體動力學[258]等許多領域。在本節中，我們回顧了結合機器學習算法，非常是神經網路，來解決逆向設計問題的技巧。我們首先方式化了逆設計問題，并在3.1節中介紹了逆設計的基本概念、傳統方式和挑戰。考慮到反設計的求解一般涉及數學系統或過程的仿真、性能評估和組態表示等多個步驟，按照它們在反設計任務中的作用，給出了不同的求解方式。化學系統的神經代理建模早已得到了廣泛的關注，相關研究將在第3.2節中介紹。針對反設計其他部份的方式將在第3.3節中介紹。最后，在第3.5節中，我們討論了該領域的剩余挑戰和未來的工作。
4.推論
在這篇綜述中，我們從機器學習研究者的角度，對基于數學的機器學習領域進行了系統的綜述和總結。首先，我們確定并介紹了基于數學的機器學習的通常概念。我們覺得存在幾種類型的化學先驗，即偏微分等式/偏微分等式/偏微分等式，對稱約束和直觀化學。它們可以嵌入到機器學習模型的不同部份，即數據、架構、損失函數、優化方式和推理算法。之后，我們詳盡地介紹了這種問題的現有技巧、面臨的挑戰和未來的發展方向。現有的研究大多集中在借助神經網路求解或辨識受PDE/ODE控制的系統，即神經模擬和逆向設計。本文詳盡總結了這種方式的研究進展。從方式論的角度來看，基于化學的機器學習問題有許多開放的挑戰。
專知方便查看
方便下載，請關注專知公眾號（點擊上方紅色專知關注）
專知，專業可信的人工智能知識分發，讓認知協作更快更好！歡迎注冊登入專知，獲取+AI(AI與軍事、醫藥、公安等)主題干貨知識資料！
歡迎陌陌掃一掃加入專知人工智能知識星球群，獲取最新AI專業干貨知識教程資料和與專家交流咨詢！
點擊“閱讀原文”，了解使用專知，查看獲取+AI主題知識資料