開源開放已經(jīng)成為驅(qū)動技術(shù)創(chuàng)新和加速產(chǎn)業(yè)發(fā)展的核心動能。開源開放對人類社會過去幾百年科學(xué)和技術(shù)的發(fā)展起到非常重要的作用，讓我們可以更快追蹤到最新的技術(shù)進(jìn)展。

　　百度飛槳深度學(xué)習(xí)平臺作為百度AI大生產(chǎn)平臺的基礎(chǔ)底座，以大規(guī)模分布式訓(xùn)練、全硬件平臺支持、端到端全流程工具，助力企業(yè)和開發(fā)者加速AI生產(chǎn)。無需從頭學(xué)習(xí)難度高、迭代快的前沿科技，避免重復(fù)造輪子，應(yīng)用AI的門檻更低、成本更低、效率更高。

　　近期飛槳(PaddlePaddle)開源深度學(xué)習(xí)框架和深度勢能開源社區(qū)的開發(fā)者們就深度勢能分子動力學(xué)開源項目(DeePMD-kit)進(jìn)行了跨領(lǐng)域深度合作，依托飛槳框架成熟的底層功能和動靜統(tǒng)一的開發(fā)體驗實現(xiàn)深度勢能分子動力學(xué)模型的構(gòu)建和運(yùn)行，促進(jìn)了雙方在開發(fā)者生態(tài)上的雙向融合，拓展了DeePMD-kit原有能力邊界，增強(qiáng)在國產(chǎn)化硬件和大規(guī)模分布式訓(xùn)練上的能力，也讓Paddle支持的科學(xué)計算開源項目中增加了重量級的一員。

技術(shù)解讀

　　1。技術(shù)背景

　　SeA指DeepPot smooth edition constructed from all information including angle and radial information of atomic configurations。從原子坐標(biāo)信息(包括原子間的相對徑向坐標(biāo)和角向坐標(biāo))出發(fā)，通過神經(jīng)網(wǎng)絡(luò)構(gòu)造復(fù)雜材料體系的勢能面。

　　SeA模型由兩部分構(gòu)成！

　　a。 Embeding網(wǎng)絡(luò)，輸入中心原子i與其所有近鄰原子j的相對坐標(biāo)信息，輸出Feature Matrix。

　　b。 Fitting網(wǎng)絡(luò)，輸入Feature Matrix，輸出中心原子i的局域能量。

　　DeepPot已被用于準(zhǔn)確描述包括分子結(jié)構(gòu)、各種周期性結(jié)構(gòu)，以及表面、高熵、電池等等多種復(fù)雜結(jié)構(gòu)。

　　2。使用PaddlePaddle來實現(xiàn)SeA網(wǎng)絡(luò)

　　1。構(gòu)建網(wǎng)絡(luò)

　　1。網(wǎng)絡(luò)結(jié)構(gòu)

　　a。Embedding網(wǎng)絡(luò)：要想讓隨機(jī)性的神經(jīng)網(wǎng)絡(luò)能準(zhǔn)確描述物理體系，Embedding輸出的Feature Matrix應(yīng)該滿足體系的物理對稱性，包括平移、置換和旋轉(zhuǎn)對稱性。

　　b。具體實現(xiàn)方案參見

　　Fitting網(wǎng)絡(luò)：將Embedding網(wǎng)絡(luò)輸出的Feature Matrix輸入Fitting網(wǎng)絡(luò)，輸出i原子的局域能量。

　　2。使用PaddlePaddle動態(tài)圖來構(gòu)建SeA網(wǎng)絡(luò)

　　PaddlePaddle動態(tài)圖使用了相比tensorflow 1。x更加靈活的可以支持更加貼近Python語法和執(zhí)行邏輯的執(zhí)行機(jī)制，使得算法實現(xiàn)可以按照順序的執(zhí)行邏輯來進(jìn)行。

　　構(gòu)建能量模型：

　　我們只需要簡單的繼承er就可以使用paddle內(nèi)部的各類操作網(wǎng)絡(luò)的方法具體可以參見：

　　在__init__方法中我們像使用python一樣設(shè)置網(wǎng)絡(luò)結(jié)構(gòu)(包括層數(shù)和每層的維度)

　　在forward()方法中我們就可以實現(xiàn)加權(quán)求和+激活函數(shù)邏輯

　　而深度學(xué)習(xí)中反向的計算邏輯paddle的動態(tài)圖此時已經(jīng)使用autograd技術(shù)自動為我們完成了。我們只需要在整個網(wǎng)絡(luò)完成后使用backward()方法即可執(zhí)行反向網(wǎng)絡(luò)。

　　飛槳框架2。0支持用戶使用動態(tài)圖完成深度學(xué)習(xí)相關(guān)領(lǐng)域全類別的模型算法開發(fā)。動態(tài)圖模式下可以讓開發(fā)者隨時查看變量的輸入、輸出，方便快捷的調(diào)試程序， 帶來最佳的開發(fā)體驗。為了解決動態(tài)圖的部署問題，飛槳提供了全面完備的動轉(zhuǎn)靜支持，在Python語法支持覆蓋度上達(dá)到領(lǐng)先水平。開發(fā)者在動態(tài)圖編程調(diào)試的過程中，僅需添加一個裝飾器paddle。jit。to_static，即可無縫平滑地自動實現(xiàn)靜態(tài)圖訓(xùn)練或模型保存。同時飛槳框架2。0還做到了模型存儲和加載的接口統(tǒng)一，保證動轉(zhuǎn)靜之后保存的模型文件能夠被純動態(tài)圖加載和使用。

　　3。使用PaddlePaddle自定義算子

　　我們使用PaddlePaddle的自定義算子方案來實現(xiàn)這種和深度勢能領(lǐng)域強(qiáng)相關(guān)的計算單元。相比tensorflow 1。x當(dāng)中需要實現(xiàn)一個內(nèi)部算子，PaddlePaddle的自定義算子方案可以讓我們更加專注于實現(xiàn)相關(guān)的計算邏輯 而盡量脫離了繁瑣的編譯算子和集成算子到框架的過程。

　　1。實現(xiàn)算子：PaddlePaddle的自定義算子方案中我們實現(xiàn)一個計算邏輯只需要像寫一個函數(shù)一樣將輸入和計算邏輯作為函數(shù)的參數(shù)和執(zhí)行邏輯加入即可。例如我們輸入體系中原子坐標(biāo)，找出給定截斷距離cutoff內(nèi)中心原子i的所有近鄰j，并構(gòu)造神經(jīng)網(wǎng)絡(luò)的輸入矩陣descriptor：

　　具體的實現(xiàn)可以參考：

　　2。編譯算子：PaddlePaddle甚至支持jit的方式來編譯算子使得我們可以使用簡單的幾行Python代碼就可以完成算子的編譯和集成

　　具體使用PaddlePaddle自定義Op的介紹可以參見：

　　3。DoubleGrad的使用：

　　訓(xùn)練模型所用的label包括力和維里應(yīng)力，兩者都要通過對能量關(guān)于坐標(biāo)求導(dǎo)得出。加上back propagation，就對模型的輸出值能量進(jìn)行了兩次求導(dǎo)。

　　在paddlepaddle的動態(tài)圖中可以簡單的使用paddle。grad 來實現(xiàn)

　　Paddle。grad可以自動實現(xiàn)對給定函數(shù)的求導(dǎo)。對于輸入多個自變量x，并輸出多個因變量y的函數(shù)，paddle。grad對每個x分別返回這個x對所有y的導(dǎo)數(shù)之和，也就是說返回值個數(shù)與x的個數(shù)相同。

　　使用PaddlePaddle我們可以很完美的重現(xiàn)C++算法實現(xiàn)的能量關(guān)于坐標(biāo)求導(dǎo)的功能，并且我們可以看到相關(guān)的實現(xiàn)精度也可以達(dá)到以下的效果！

　　其中，訓(xùn)練后模型計算能量和力的精度都與Tensorflow版本完全一致。

　　以上圖片選自

　　代碼節(jié)選自：

　　關(guān)于DeePMD-kit

　　以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)方法在力場開發(fā)中的應(yīng)用為發(fā)展高效精確的分子動力學(xué)方法帶來了新機(jī)遇和新思路。深度勢能【1】(Deep Potential)開源方法通過運(yùn)用機(jī)器學(xué)習(xí)+多尺度建模+高性能計算的方式解決了傳統(tǒng)分子模擬過程中難以兼顧精度與速度的痛點，成功實現(xiàn)在第一性原理精度基礎(chǔ)上的上億原子的分子動力學(xué)模擬【2】。其中DeePMD-kit和DP-GEN是圍繞Deep Potential Molecular Dynamics(DeePMD，深度勢能分子動力學(xué))開發(fā)的開源科學(xué)軟件包。發(fā)布以來，在凝聚態(tài)物理、化學(xué)物理、材料理性設(shè)計、生物物理、藥物分子設(shè)計等領(lǐng)域均得到廣泛應(yīng)用。

　　關(guān)于飛槳

　　飛槳(PaddlePaddle)以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，是中國首個自主研發(fā)、功能完備、 開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件和豐富的 工具組件于一體。目前，飛槳已凝聚超265萬開發(fā)者，服務(wù)企業(yè)10萬家，基于飛槳開源深度學(xué)習(xí)平臺產(chǎn)生了 34萬個模型。飛槳助力開發(fā)者快速實現(xiàn)AI想法，快速上線AI業(yè)務(wù)。幫助越來越多的行業(yè)完成AI賦能，實現(xiàn)產(chǎn)業(yè)智能化升級。

　　當(dāng)前在科學(xué)計算領(lǐng)域，飛槳聯(lián)合各高校、科研機(jī)構(gòu)和企業(yè)已為開發(fā)者建設(shè)支持了量子機(jī)器學(xué)習(xí)開發(fā)工具PaddleQuantum、生物計算開源工具集PaddleHelix和貝葉斯深度學(xué)習(xí)ZhuSuan，本次又在分子動力學(xué)研究領(lǐng)域新增DeePMD-kit。

　　未來展望

　　本次百度飛槳深度學(xué)習(xí)平臺與DeePMD-kit的合作，將進(jìn)一步提升雙方的產(chǎn)品競爭力，不斷完善產(chǎn)品能力矩陣。后續(xù)基于飛槳的DeePMD-kit軟件包將在算法優(yōu)化、高性能適配等方面持續(xù)迭代。歡迎飛槳社區(qū)與深度勢能開源社區(qū)的開發(fā)者關(guān)注該項目，并為之貢獻(xiàn)力量。