DPA-1型號(hào)是在DP系列型號(hào)基礎(chǔ)上的全面升級(jí)，具有以下優(yōu)點(diǎn)。
首先，該模型使用類(lèi)似于自然語(yǔ)言處理領(lǐng)域中的注意力機(jī)制的門(mén)控注意力機(jī)制來(lái)完全建模原子之間的相互作用，這使得模型可以在現(xiàn)有數(shù)據(jù)條件下學(xué)習(xí)更多。 隱含的原子交互信息可以有效提高模型在不同數(shù)據(jù)集之間的遷移能力以及數(shù)據(jù)生成過(guò)程中的采樣效率。
其次，模型包含編碼元素分子勢(shì)能，不同元素使用相同的網(wǎng)絡(luò)參數(shù)，有利于擴(kuò)展模型的元素容量。
同時(shí)，由于該模型是在56個(gè)元素的大數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并完成多個(gè)下游任務(wù)的遷移學(xué)習(xí)，因此在保證預(yù)測(cè)精度的同時(shí)，可以大大降低訓(xùn)練成本和訓(xùn)練數(shù)據(jù)量。
此外，該模型具有超高的推理效率，可以進(jìn)行大規(guī)模的分子動(dòng)力學(xué)模擬。
▲圖| DPA-1模型示意圖（來(lái)源：arXiv）
為了有效避免傳統(tǒng)模型的局限性，開(kāi)發(fā)人員進(jìn)行了多次有針對(duì)性的實(shí)驗(yàn)。
開(kāi)發(fā)人員首先將不同的訓(xùn)練集劃分為多個(gè)子集，然后訓(xùn)練一些子集，同時(shí)測(cè)試其他子集。 需要注意的是，這里每個(gè)子集的構(gòu)象和組成都是不同的。 例如，數(shù)據(jù)集中，子集中只有單元素?cái)?shù)據(jù)，子集中只有二進(jìn)制數(shù)據(jù)，子集中只有三元數(shù)據(jù)。
最后，開(kāi)發(fā)人員在三種類(lèi)型的數(shù)據(jù)集上測(cè)試了 DPA-1 和 -SE 這兩個(gè)模型的性能：合金、固態(tài)電解質(zhì)（SSE，固態(tài)）和高熵合金（HEA，High-）。 結(jié)果表明，與-SE相比，DPA-1的測(cè)試精度可提高一到兩個(gè)數(shù)量級(jí)，充分說(shuō)明了后者強(qiáng)大的遷移能力。
▲圖| 在不同訓(xùn)練集上測(cè)試時(shí)獲得的結(jié)果（來(lái)源：arXiv）
在“預(yù)訓(xùn)練+少量數(shù)據(jù)微調(diào)”的模型制作范式下，開(kāi)發(fā)人員為DPA-1規(guī)劃了遷移學(xué)習(xí)解決方案。 首先對(duì)大規(guī)模數(shù)據(jù)進(jìn)行模型預(yù)訓(xùn)練，然后利用新數(shù)據(jù)集的統(tǒng)計(jì)結(jié)果修正最后一層的能量偏差，并將其作為訓(xùn)練新任務(wù)的起點(diǎn)。
例如，對(duì)數(shù)據(jù)集中的一元和二元數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，對(duì)三元數(shù)據(jù)完成測(cè)試。 接下來(lái)，在OC2M數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練工作，然后分別遷移到HEA和AlCu數(shù)據(jù)集。 結(jié)果表明分子勢(shì)能，DPA-1不僅可以在只有三元數(shù)據(jù)的場(chǎng)景下獲得更高的準(zhǔn)確率，而且可以有效減少對(duì)下游訓(xùn)練數(shù)據(jù)的依賴。
▲圖| DPA-1和-SE在不同數(shù)據(jù)集上的學(xué)習(xí)曲線（來(lái)源：arXiv）
開(kāi)發(fā)人員還對(duì) DPA-1 中編碼的元素參數(shù)進(jìn)行了 PCA 降維和可視化。 結(jié)果表明，隱藏空間中的所有元素均呈螺旋狀分布，同一時(shí)期的元素沿螺旋下降趨勢(shì)分布，同一族元素垂直于螺旋分布。 這種分布模式因其在元素周期表中的位置而巧妙。 對(duì)應(yīng)關(guān)系可以很好地證明模型的可解釋性。
▲圖| PCA降維及可視化性能圖表（來(lái)源：arXiv）
目前，團(tuán)隊(duì)已在其科學(xué)計(jì)算云平臺(tái)上完成了DPA-1的開(kāi)源工作。 DPA-1的訓(xùn)練和分子動(dòng)力學(xué)模擬功能的開(kāi)源也在開(kāi)源社區(qū)的-kit項(xiàng)目下實(shí)現(xiàn)。
該團(tuán)隊(duì)表示：“未來(lái)，我們將繼續(xù)致力于勢(shì)能函數(shù)的自動(dòng)化生產(chǎn)和自動(dòng)化測(cè)試，并繼續(xù)專(zhuān)注于多任務(wù)訓(xùn)練、無(wú)監(jiān)督學(xué)習(xí)、模型壓縮和蒸餾等操作。此外，更大更全的數(shù)據(jù)庫(kù)、下游任務(wù)和dflow工作流框架的結(jié)合也是發(fā)展的方向。”
參考：
1.Duo，Z.，Hang，B.等人。 DPA-1：基于 of 的深度模型。 arXiv (2022)。