OneFlow亮相WAIC世界人工智能大會,解讀大模型訓練挑戰
2022-09-13 03:56:30 來源:
(原標題:OneFlow亮相WAIC世界人工智能大會,解讀大模型訓練挑戰)
7月9日,由燧原科技和之江實驗室聯合主辦的世界人工智能大會(WAIC)“AI·智能計算引領變革”分論壇在上海成功舉行,一流科技OneFlow創始人兼CEO袁進輝博士在論壇上進行主題演講,向與會來賓分享大規模預訓練模型的挑戰和解決之道。
![]()
近年來,超大規模預訓練模型成為深度學習領域的熱點話題。從原來的“算法為王”逐漸過渡到“算力致勝”,以GPT為代表的一大批超大規模預訓練模型接連問世,讓業界看到了人工智能產業應用的更多可能性。
算力需求的旺盛不光對AI芯片等硬件帶來了挑戰,也對以深度學習框架為代表的AI基礎軟件提出了更高的要求。傳統的深度學習框架以“單機單卡”為基礎進行軟件架構設計,在面對分布式訓練需求時就會遇到諸如“內存墻”之類的問題。而一流科技與之江實驗室共同研發的OneFlow新一代分布式深度學習框架則瞄準了這個世界級難題。OneFlow深度學習框架是面向大數據大模型大計算打造的人工智能計算框架,也是專為深度學習打造的異構分布式流式系統,代表了深度學習框架的發展方向,是新一代的深度學習基礎軟件。OneFlow獨創了自動數據模型混合并行、靜態調度、去中心化和全鏈路異步流式執行四大核心技術,完美地解決了大數據、大模型、大計算所帶來的異構集群分布式擴展挑戰,技術水平世界領先。
在本次論壇上,袁進輝博士也向大家介紹了一流科技與燧原科技、之江實驗室的最新合作進展。目前,OneFlow深度學習框架正在和燧原科技的新款AI芯片進行適配,部分主流模型已經可以在該環境下運行。據悉,該解決方案的目標是提供全國產化的超大規模模型訓練能力。
-
硬核AI技術疊加無限創意,百度文心大模型產業落地加速
隨著數據的井噴、算法的進步和算力的突破,效果好、泛化能力強、通用性強的預訓練大模型(以下簡稱大模型)已成為人工智能發展的新方向
2022-09-13 02:35
-
水母智能簽約“悟道2.0”生態戰略合作伙伴,助力設計行業AI賦能
(原標題:水母智能簽約悟道2。0生態戰略合作伙伴,助力設計行業AI賦能新探索) 水母智能簽約悟道2。0生態戰略合作伙伴,助力設計行業A
2022-09-12 08:50
-
“最強大腦”王昱珩成新華電腦教育推薦官:以青春為名,為夢想前
(原標題:最強大腦王昱珩成新華電腦教育推薦官:以青春為名,為夢想前行!) 近日,新華電腦教育正式向外界公布:《最強大腦》清華
2022-09-12 05:27
-
Gartner公布全球主存儲魔力象限報告,浪潮存儲晉級挑戰者
(原標題:Gartner公布全球主存儲魔力象限報告,浪潮存儲晉級挑戰者) 關鍵詞:浪潮,浪潮存儲,主存儲,魔力象限,Gartner 日前,
2022-09-11 13:20
-
眾多科技公司!紅籌股回歸門檻下調:32家可能回A
(原標題:財說 紅籌股回歸門檻下調:32家公司可能回A,愛奇藝、攜程還要等) 記者 曹立 編輯 陳菲遐 圖片來源:視覺中國
2022-09-11 08:47
-
華為九牧全屋數智深度伙伴關系升級,推動數智衛浴進入全場景新時
(原標題:華為九牧全屋數智深度伙伴關系升級,推動數智衛浴進入全場景新時代) 8月22日,中國衛浴領軍品牌九牧和華為終端有限公司在
2022-09-11 03:22












