2457億參數的巨量模型,意味著什么?
2021-10-09 18:26:28 來源:
光明網訊 2457億個參數是什么概念?近期,人工智能研究院在京發布全球最大規模人工智能巨量模型源1。0。據悉,源的單體模型參數量達2457億,超越美國OpenAI組織研發的GPT-3,成為全球最大規模的AI巨量模型。
源1。0模型參數規模為2457億,訓練采用的中文數據集達5000GB,相比GPT3模型1750億參數量和570GB訓練數據集,源1。0參數規模領先40%,訓練數據集規模領先近10倍。如此大規模的人工智能巨量模型誕生,意味著什么?
浪潮研究院介紹,源1。0在語言智能方面表現優異,獲得中文語言理解評測基準CLUE榜單的零樣本學習和小樣本學習兩類總榜冠軍。在零樣本學習榜單中,源1。0超越業界最佳成績18。3%,在文獻分類、新聞分類,商品分類、原生中文推理、成語閱讀理解填空、名詞代詞關系6項任務中獲得冠軍;在小樣本學習的文獻分類、商品分類、文獻摘要識別、名詞代詞關系等4項任務獲得冠軍。在成語閱讀理解填空項目中,源1。0的表現已超越人類得分。
在對源1。0進行的圖靈測試中,將源1。0模型生成的對話、小說續寫、新聞、詩歌、對聯與由人類創作的同類作品進行混合并由人群進行分辨,測試結果表明,人群能夠準確分辨人與源1。0作品差別的成功率已低于50%。
浪潮人工智能研究院首席研究員吳韶華表示,一方面,巨量模型可以推動產業界做一些殺手級應用,另一方面,對于前沿技術的探索也有重要意義。人們一直在追求一種更通用、更好的模型,能夠用于各種各樣的場景,來解決各類問題,實現真正的通用智能。
全球范圍內,巨量模型的發展也備受關注。斯坦福大學李飛飛教授等人工智能領域知名學者近期在論文中表示,這類巨量模型的意義在于突現和均質。突現意味著通過巨大模型的隱含的知識和推納可帶來讓人振奮的科學創新靈感出現;均質表示巨量模型可以為諸多應用任務泛化支持提供統一強大的算法支撐。
浪潮信息副總裁劉軍將巨量模型比喻為珠穆朗瑪峰,能夠實現見所未見,對于科學發現和產業實踐都有巨大價值。他認為,生命從簡單進化到復雜,這種智能水平本身就是一種模型,如果把模型比作元宇宙中的生命,大模型的這種綜合系統能力可能會決定未來數字世界和智能世界里的智能水平。
2457億這個參數夠不夠多呢?實際上還不夠多,人的神經元的突觸超過100萬億,所以,我們距離這個水平還有很遠的路要走。在劉軍看來,未來,人類需要更大的模型、更大的數據、更大的算力,這樣才可以擁有更大的智能。
源1。0中文巨量模型的發布,使得中國學術界和產業界可以使用一種通用巨量語言模型的方式,大幅降低針對不同應用場景的語言模型適配難度;同時提升在小樣本學習和零樣本學習場景的模型泛化應用能力。浪潮人工智能研究院表示,源1。0將面向學術研究單位和產業實踐用戶進行開源、開放、共享,降低巨量模型研究和應用的門檻,有效推進AI產業化和產業AI化的進步,切實為國家在人工智能研究創新和產業發展作出貢獻。(戰釗)
光明網訊 2457億個參數是什么概念?近期,人工智能研究院在京發布全球最大規模人工智能巨量模型源1。0。據悉,源的單體模型參數量達2457億,超越美國OpenAI組織研發的GPT-3,成為全球最大規模的AI巨量模型。
源1。0模型參數規模為2457億,訓練采用的中文數據集達5000GB,相比GPT3模型1750億參數量和570GB訓練數據集,源1。0參數規模領先40%,訓練數據集規模領先近10倍。如此大規模的人工智能巨量模型誕生,意味著什么?
浪潮研究院介紹,源1。0在語言智能方面表現優異,獲得中文語言理解評測基準CLUE榜單的零樣本學習和小樣本學習兩類總榜冠軍。在零樣本學習榜單中,源1。0超越業界最佳成績18。3%,在文獻分類、新聞分類,商品分類、原生中文推理、成語閱讀理解填空、名詞代詞關系6項任務中獲得冠軍;在小樣本學習的文獻分類、商品分類、文獻摘要識別、名詞代詞關系等4項任務獲得冠軍。在成語閱讀理解填空項目中,源1。0的表現已超越人類得分。
在對源1。0進行的圖靈測試中,將源1。0模型生成的對話、小說續寫、新聞、詩歌、對聯與由人類創作的同類作品進行混合并由人群進行分辨,測試結果表明,人群能夠準確分辨人與源1。0作品差別的成功率已低于50%。
浪潮人工智能研究院首席研究員吳韶華表示,一方面,巨量模型可以推動產業界做一些殺手級應用,另一方面,對于前沿技術的探索也有重要意義。人們一直在追求一種更通用、更好的模型,能夠用于各種各樣的場景,來解決各類問題,實現真正的通用智能。
全球范圍內,巨量模型的發展也備受關注。斯坦福大學李飛飛教授等人工智能領域知名學者近期在論文中表示,這類巨量模型的意義在于突現和均質。突現意味著通過巨大模型的隱含的知識和推納可帶來讓人振奮的科學創新靈感出現;均質表示巨量模型可以為諸多應用任務泛化支持提供統一強大的算法支撐。
浪潮信息副總裁劉軍將巨量模型比喻為珠穆朗瑪峰,能夠實現見所未見,對于科學發現和產業實踐都有巨大價值。他認為,生命從簡單進化到復雜,這種智能水平本身就是一種模型,如果把模型比作元宇宙中的生命,大模型的這種綜合系統能力可能會決定未來數字世界和智能世界里的智能水平。
2457億這個參數夠不夠多呢?實際上還不夠多,人的神經元的突觸超過100萬億,所以,我們距離這個水平還有很遠的路要走。在劉軍看來,未來,人類需要更大的模型、更大的數據、更大的算力,這樣才可以擁有更大的智能。
源1。0中文巨量模型的發布,使得中國學術界和產業界可以使用一種通用巨量語言模型的方式,大幅降低針對不同應用場景的語言模型適配難度;同時提升在小樣本學習和零樣本學習場景的模型泛化應用能力。浪潮人工智能研究院表示,源1。0將面向學術研究單位和產業實踐用戶進行開源、開放、共享,降低巨量模型研究和應用的門檻,有效推進AI產業化和產業AI化的進步,切實為國家在人工智能研究創新和產業發展作出貢獻。(戰釗)
-
鈔券雕刻師花瑞松講述雕刻背后的故事
人物名片 花瑞松 上海印鈔有限公司高級工藝美術師 鈔券雕刻師第四套人民幣一元券背面主景圖案雕刻者第五套人民幣壹佰元券背面主景圖案雕刻
2019-07-11 10:03
-
新版人民幣即將發行 怎樣收藏最好呢
中國人民銀行定于2019年8月30日起發行2019年版第五套人民幣50元、20元、10元、1元紙幣和1元、5角、1角硬幣。 新版人民幣發行的時期,往
2019-07-16 12:37
-
99版成龍頭品種 第六套人民幣將不再發行
前段時間,19版人民幣的發行公告在市場中吵得沸沸揚揚!突如其來的人民幣改版既在意料之中,又挺讓人意外。意料之中的是紙幣改版早有傳言,
2019-07-16 12:39
-
關于新版人民幣疑問解答在這里
前幾天,新版人民幣又雙叒叕上微博熱搜了!幸好,從8月30日起,萬眾期待的新版人民幣就要來了!新版人民幣包含50元、20元、10元、1元紙幣
2019-07-18 13:19














