大模型訓(xùn)練熱潮下，算力基礎(chǔ)設(shè)施有望迎來產(chǎn)業(yè)機遇 ChatGPT發(fā)布之后，引發(fā)了全球范圍的關(guān)注和討論，國內(nèi)各大廠商相繼宣布GPT模型開發(fā)計劃。我們認(rèn)為，以GPT模型為代表的AI大模型訓(xùn)練，需要消耗大量算力資源，主要需求場景來自：預(yù)訓(xùn)練+日常運營+Finetune。以預(yù)訓(xùn)練為例，據(jù)我們測算，進行一次ChatGPT的模型預(yù)訓(xùn)練需要消耗約27.5PFlop/s-day算力。基于此，我們認(rèn)為，隨著國產(chǎn)大模型開發(fā)陸續(xù)進入預(yù)訓(xùn)練階段，算力需求持續(xù)釋放或?qū)铀懔A(chǔ)設(shè)施產(chǎn)業(yè)迎來增長新周期。產(chǎn)業(yè)鏈相關(guān)公司包括： ?算力芯片廠商：景嘉微、寒武紀(jì)、海光信息、龍芯中科、中國長城等； ?服務(wù)器廠商：浪潮信息、中科曙光等； ?IDC服務(wù)商：寶信軟件等。 ChatGPT：大模型訓(xùn)練帶來高算力需求 訓(xùn)練ChatGPT需要使用大量算力資源。據(jù)微軟官網(wǎng)，微軟Azure為OpenAI開發(fā)的超級計算機是一個單一系統(tǒng)，具有超過28.5萬個CPU核心、1萬個GPU和400 GB/s的GPU服務(wù)器網(wǎng)絡(luò)傳輸帶寬。據(jù)英偉達(dá)，使用單個Tesla架構(gòu)的V100 GPU對1746億參數(shù)的GPT-3模型進行一次訓(xùn)練，需要用288年時間。此外，算力資源的大量消耗，必然伴隨著算力成本的上升，據(jù)Lambda，使用訓(xùn)練一次1746億參數(shù)的GPT-3模型所需花費的算力成本超過460萬美元。我們認(rèn)為，未來擁有更豐富算力資源的模型開發(fā)者，或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型，算力霸權(quán)時代或?qū)㈤_啟。 需求場景：預(yù)訓(xùn)練+日常運營+Finetune 具體來看，AI大模型對于算力資源的需求主要體現(xiàn)在以下三類場景：1）模型預(yù)訓(xùn)練：ChatGPT采用預(yù)訓(xùn)練語言模型，核心思想是在利用標(biāo)注數(shù)據(jù)之前，先利用無標(biāo)注的數(shù)據(jù)訓(xùn)練模型。據(jù)我們測算，訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day；2）日常運營：用戶交互帶來的數(shù)據(jù)處理需求同樣也是一筆不小的算力開支，我們測算得ChatGPT單月運營需要算力約4874.4PFlop/s-day，對應(yīng)成本約616萬美元；3）Finetune：ChatGPT模型需要不斷進行Finetune模型調(diào)優(yōu)，對模型進行大規(guī)模或小規(guī)模的迭代訓(xùn)練，預(yù)計每月模型調(diào)優(yōu)帶來的算力需求約82.5~137.5 PFlop/s-day。 算力芯片+服務(wù)器+數(shù)據(jù)中心，核心環(huán)節(jié)有望率先受益 我們認(rèn)為，隨著國內(nèi)廠商相繼布局ChatGPT類似模型，算力需求或?qū)⒊掷m(xù)釋放，供給端核心環(huán)節(jié)或?qū)⒙氏仁芤妫?）算力芯片：GPU采用了數(shù)量眾多的計算單元和超長的流水線，架構(gòu)更適合進行大吞吐量的AI并行計算；2）服務(wù)器：ChatGPT模型訓(xùn)練涉及大量向量及張量運算，AI服務(wù)器具備運算效率優(yōu)勢，大模型訓(xùn)練有望帶動AI服務(wù)器采購需求放量；3）數(shù)據(jù)中心：IDC算力服務(wù)是承接AI計算需求的直接形式，隨著百度、京東等互聯(lián)網(wǎng)廠商相繼布局ChatGPT類似產(chǎn)品，核心城市IDC算力缺口或?qū)⒓哟蟆? 關(guān)注AI景氣周期下，算力基礎(chǔ)設(shè)施產(chǎn)業(yè)機遇 我們認(rèn)為，國產(chǎn)廠商未來或?qū)⒂?xùn)練出自己的GPT模型，帶動算力設(shè)施產(chǎn)業(yè)迎來景氣周期。相關(guān)公司包括： ?算力芯片廠商：景嘉微、寒武紀(jì)、海光信息、龍芯中科、中國長城等； ?服務(wù)器廠商：浪潮信息、中科曙光等； ?IDC服務(wù)商：寶信軟件等。 風(fēng)險提示：宏觀經(jīng)濟波動；下游需求不及預(yù)期。

=================

ChatGPT有望帶動算力需求 需求端：大模型訓(xùn)練帶來高算力需求 大算力消耗帶來訓(xùn)練成本上升。訓(xùn)練ChatGPT需要使用大量算力資源。 據(jù)微軟官網(wǎng)，微軟Azure為OpenAI開發(fā)的超級計算機是一個單一系統(tǒng)，具有超過28.5萬個CPU核心、1萬個GPU和400 GB/s的GPU服務(wù)器網(wǎng)絡(luò)傳輸帶寬。據(jù)英偉達(dá)，使用單個Tesla架構(gòu)的V100 GPU對1746億參數(shù)的GPT-3模型進行一次訓(xùn)練，需要用288年時間。此外，算力資源的大量消耗，必然伴隨著算力成本的上升，據(jù)Lambda，使用訓(xùn)練一次1746億參數(shù)的GPT-3模型所需花費的算力成本超過460萬美元。雖然GPT-3.5在模型參數(shù)量上有了明顯下降，但考慮到GPT-3、GPT-3.5均為OpenAI獨家擁有，其他廠商復(fù)刻難度較高，巨量參數(shù)或仍將是模型開發(fā)過程的必經(jīng)之路，我們預(yù)計未來大模型開發(fā)的算力成本仍將較高。 模型算力需求增速超越芯片性能增速，算力霸權(quán)時代或?qū)⒌絹怼? 據(jù)OpenAI測算，自2012年以來，全球頭部AI模型訓(xùn)練算力需求3-4個月翻一番，每年頭部訓(xùn)練模型所需算力增長幅度高達(dá)10倍。而摩爾定律認(rèn)為，芯片計算性能大約每18-24個月翻一番。因此，AI訓(xùn)練模型算力需求增長與芯片計算性能增長之間的不匹配，或?qū)韺λ懔A(chǔ)設(shè)施供給需求的快速增長。我們認(rèn)為，考慮到算力對于AI模型訓(xùn)練效果的關(guān)鍵性作用，擁有更豐富算力資源的模型開發(fā)者，或?qū)⒛軌蛴?xùn)練出更優(yōu)秀的AI模型，算力霸權(quán)時代或?qū)㈤_啟。 具體來看，AI大模型對于算力資源的需求主要體現(xiàn)在以下三類場景： 1、模型預(yù)訓(xùn)練帶來的算力需求 模型預(yù)訓(xùn)練過程是消耗算力的最主要場景。 ChatGPT采用預(yù)訓(xùn)練語言模型，核心思想是在利用標(biāo)注數(shù)據(jù)之前，先利用無標(biāo)注的數(shù)據(jù)，即純文本數(shù)據(jù)訓(xùn)練模型，從而使模型能夠?qū)W到一些潛在的跟標(biāo)注無關(guān)的知識，最終在具體的任務(wù)上，預(yù)訓(xùn)練模型就可以利用大量的無標(biāo)注數(shù)據(jù)知識。在Transformer的模型架構(gòu)下，語言預(yù)訓(xùn)練過程可以根據(jù)上下文一次處理所有輸入，實現(xiàn)大規(guī)模并行計算。通過堆疊多個解碼模塊，模型的層數(shù)規(guī)模也會隨著提升，可承載的參數(shù)量同步增長。與之相對應(yīng)的，模型訓(xùn)練所需要消耗的算力也就越大。 我們預(yù)計，訓(xùn)練一次ChatGPT模型需要的算力約27.5PFlop/s-day。 據(jù)OpenAI團隊發(fā)表于2020年的論文《Language Models are Few-Shot Learners》，訓(xùn)練一次13億參數(shù)的GPT-3 XL模型需要的全部算力約為27.5PFlop/s-day，訓(xùn)練一次1746億參數(shù)的GPT-3模型需要的算力約為3640 PFlop/s-day。考慮到ChatGPT訓(xùn)練所用的模型是基于13億參數(shù)的GPT-3.5模型微調(diào)而來，參數(shù)量與GPT-3 XL模型接近，因此我們預(yù)計訓(xùn)練所需算力約27.5PFlop/s-day，即以1萬億次每秒的速度進行計算，需要耗時27.5天。 此外，預(yù)訓(xùn)練過程還存在幾個可能的算力需求點： 1）模型開發(fā)過程很難一次取得成功，整個開發(fā)階段可能需要進行多次預(yù)訓(xùn)練過程； 2）隨著國內(nèi)外廠商相繼入局研發(fā)類似模型，參與者數(shù)量增加同樣帶來訓(xùn)練算力需求； 3）從基礎(chǔ)大模型向特定場景遷移的過程，如基于ChatGPT構(gòu)建醫(yī)療AI大模型，需要使用特定領(lǐng)域數(shù)據(jù)進行模型二次訓(xùn)練。 2、日常運營帶來的算力需求 ChatGPT單月運營需要算力約4874.4PFlop/s-day，對應(yīng)成本約616萬美元。 在完成模型預(yù)訓(xùn)練之后，ChatGPT對于底層算力的需求并未結(jié)束，日常運營過程中，用戶交互帶來的數(shù)據(jù)處理需求同樣也是一筆不小的算力開支。據(jù)SimilarWeb數(shù)據(jù)，2023年1月ChatGPT官網(wǎng)總訪問量為6.16億次。據(jù)Fortune雜志，每次用戶與ChatGPT互動，產(chǎn)生的算力云服務(wù)成本約0.01美元。基于此，我們測算得2023年1月OpenAI為ChatGPT支付的運營算力成本約616萬美元。據(jù)上文，我們已知訓(xùn)練一次1746億參數(shù)的GPT-3模型需要3640 PFlop/s-day的算力及460萬美元的成本，假設(shè)單位算力成本固定，測算得ChatGPT單月運營所需算力約4874.4PFlop/s-day。 3、Finetune帶來的算力需求 模型調(diào)優(yōu)帶來迭代算力需求。 從模型迭代的角度來看，ChatGPT模型并不是靜態(tài)的，而是需要不斷進行Finetune模型調(diào)優(yōu)，以確保模型處于最佳應(yīng)用狀態(tài)。這一過程中，一方面是需要開發(fā)者對模型參數(shù)進行調(diào)整，確保輸出內(nèi)容不是有害和失真的；另一方面，需要基于用戶反饋和PPO策略，對模型進行大規(guī)模或小規(guī)模的迭代訓(xùn)練。因此，模型調(diào)優(yōu)同樣會為OpenAI帶來算力成本，具體算力需求和成本金額取決于模型的迭代速度。 供給端：核心環(huán)節(jié)有望率先受益 算力芯片：AI算力基石，需求有望大規(guī)模擴張 GPU架構(gòu)更適合進行大規(guī)模AI并行計算，需求有望大規(guī)模擴張。 從ChatGPT模型計算方式來看，主要特征是采用了并行計算。對比上一代深度學(xué)習(xí)模型RNN來看，Transformer架構(gòu)下，AI模型可以為輸入序列中的任何字符提供上下文，因此可以一次處理所有輸入，而不是一次只處理一個詞，從而使得更大規(guī)模的參數(shù)計算成為可能。而從GPU的計算方式來看，由于GPU采用了數(shù)量眾多的計算單元和超長的流水線，因此其架構(gòu)設(shè)計較CPU而言，更適合進行大吞吐量的AI并行計算。基于此，我們認(rèn)為，隨著大模型訓(xùn)練需求逐步增長，下游廠商對于GPU先進算力及芯片數(shù)量的需求均有望提升。 單一英偉達(dá)V100芯片進行一次ChatGPT模型訓(xùn)練，大約需要220天。 我們以AI訓(xùn)練的常用的GPU產(chǎn)品—NVIDIA V100為例。V100在設(shè)計之初，就定位于服務(wù)數(shù)據(jù)中心超大規(guī)模服務(wù)器。據(jù)英偉達(dá)官網(wǎng)，V100 擁有 640 個 Tensor 內(nèi)核，對比基于單路英特爾金牌6240的CPU服務(wù)器可以實現(xiàn)24倍的性能提升。考慮到不同版本的V100芯片在深度學(xué)習(xí)場景下計算性能存在差異，因此我們折中選擇NVLink版本V100（深度學(xué)習(xí)算力125 TFlops）來計算大模型訓(xùn)練需求。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計算得若由單個V100 GPU進行計算，需220天；若將計算需求平均分?jǐn)傊?萬片GPU，一次訓(xùn)練所用時長則縮短至約32分鐘。 全球/中國GPU市場規(guī)模有望保持快速增長。 據(jù)VMR數(shù)據(jù)，2021年全球GPU行業(yè)市場規(guī)模為334.7億美元，預(yù)計2030年將達(dá)到4773.7億美元，預(yù)計22-30年CAGR將達(dá)34.4%。2020年中國GPU市場規(guī)模47.39億美元，預(yù)計2027年市場規(guī)模將達(dá)345.57億美元，預(yù)計21-27年CAGR為32.8%。 服務(wù)器：AI服務(wù)器有望持續(xù)放量 ChatGPT主要進行矩陣向量計算，AI服務(wù)器處理效率更高。 從ChatGPT模型結(jié)構(gòu)來看，基于Transformer架構(gòu)，ChatGPT模型采用注意力機制進行文本單詞權(quán)重賦值，并向前饋神經(jīng)網(wǎng)絡(luò)輸出數(shù)值結(jié)果，這一過程需要進行大量向量及張量運算。而AI服務(wù)器中往往集成多個AI GPU，AI GPU通常支持多重矩陣運算，例如卷積、池化和激活函數(shù)，以加速深度學(xué)習(xí)算法的運算。因此在人工智能場景下，AI服務(wù)器往往較GPU服務(wù)器計算效率更高，具備一定應(yīng)用優(yōu)勢。 單臺服務(wù)器進行一次ChatGPT模型訓(xùn)練所需時間約為5.5天。 我們以浪潮信息目前算力最強的服務(wù)器產(chǎn)品之一—浪潮NF5688M6為例。NF5688M6是浪潮為超大規(guī)模數(shù)據(jù)中心研發(fā)的NVLink AI 服務(wù)器，支持2顆Intel最新的Ice Lake CPU和8顆NVIDIA最新的NVSwitch全互聯(lián)A800GPU，單機可提供5PFlops的AI計算性能。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計算得若由單臺NF5688M6服務(wù)器進行計算，需5.5天。 大模型訓(xùn)練需求有望帶動AI服務(wù)器放量。 隨著大數(shù)據(jù)及云計算的增長帶來數(shù)據(jù)量的增加，對于AI智能服務(wù)器的需求明顯提高。據(jù)IDC數(shù)據(jù)，2021年全球AI服務(wù)器市場規(guī)模為156億美元，預(yù)計到2025年全球AI服務(wù)器市場將達(dá)到318億美元，預(yù)計22-25年CAGR將達(dá)19.5%。2021年中國AI服務(wù)器行業(yè)市場規(guī)模為350.3億元，同比增長68.6%，預(yù)計22-25年CAGR將達(dá)19.0%。我們認(rèn)為，隨著ChatGPT持續(xù)火熱，國內(nèi)廠商陸續(xù)布局ChatGPT類似產(chǎn)品，AI服務(wù)器采購需求有望持續(xù)增長，市場規(guī)模或?qū)⑦M一步擴張。 數(shù)據(jù)中心：核心城市集中算力缺口或?qū)⒓觿? IDC算力服務(wù)是承接AI計算需求的直接形式。 ChatGPT的模型計算主要基于微軟的Azure云服務(wù)進行，本質(zhì)上是借助微軟自有的IDC資源，在云端完成計算過程后，再將結(jié)果返回給OpenAI。可見，IDC是承接人工智能計算任務(wù)的重要算力基礎(chǔ)設(shè)施之一，但并不是所有企業(yè)都需要自行搭建算力設(shè)施。從國內(nèi)數(shù)據(jù)中心的業(yè)務(wù)形態(tài)來看，按照機房產(chǎn)權(quán)歸屬及建設(shè)方式的角度，可分為自建機房、租賃機房、承接大客戶定制化需求以及輕資產(chǎn)衍生模式四種。 若使用某一IDC全部算力，可在11分鐘完成一次ChatGPT模型訓(xùn)練。 我們以亞洲最大的人工智能計算中心之一—商湯智算中心為例。據(jù)商湯科技官網(wǎng)，商湯智算中心于2022年1月啟動運營，峰值算力高達(dá)3740 Petaflops。據(jù)前文，我們已知訓(xùn)練一次ChatGPT模型（13億參數(shù)）需要的算力約27.5PFlop/s-day，計算得若使用商湯智算中心全部算力進行計算，僅需11分鐘即可完成。 AI訓(xùn)練需求有望帶動IDC市場規(guī)模快速增長。 據(jù)中國信通院，2021年國內(nèi)IDC市場規(guī)模1500.2億元，同比增長28.5%。據(jù)信通院預(yù)計，隨著我國各地區(qū)、各行業(yè)數(shù)字化轉(zhuǎn)型深入推進、AI訓(xùn)練需求持續(xù)增長、智能終端實時計算需求增長，2022年國內(nèi)市場規(guī)模將達(dá)1900.7億元，同增26.7%。 互聯(lián)網(wǎng)廠商布局ChatGPT類似產(chǎn)品，或?qū)⒓哟蠛诵某鞘蠭DC算力供給缺口。 據(jù)艾瑞咨詢，2021年國內(nèi)IDC行業(yè)下游客戶占比中，互聯(lián)網(wǎng)廠商居首位，占比為60%；其次為金融業(yè)，占比為20%；政府機關(guān)占比10%，位列第三。而目前國內(nèi)布局ChatGPT類似模型的企業(yè)同樣以互聯(lián)網(wǎng)廠商為主，如百度宣布旗下大模型產(chǎn)品“文心一言”將于2022年3月內(nèi)測、京東于2023年2月10日宣布推出產(chǎn)業(yè)版ChatGPT：ChatJD。另一方面，國內(nèi)互聯(lián)網(wǎng)廠商大多聚集在北京、上海、深圳、杭州等國內(nèi)核心城市，在可靠性、安全性及網(wǎng)絡(luò)延遲等性能要求下，或?qū)⒓哟髮Ρ镜豂DC算力需求，國內(nèi)核心城市IDC算力供給缺口或?qū)⒓哟蟆? 產(chǎn)業(yè)鏈相關(guān)公司梳理 1）算力芯片廠商：景嘉微、寒武紀(jì)、海光信息、龍芯中科、中國長城； 2）服務(wù)器廠商：浪潮信息、中科曙光等； 3）IDC服務(wù)商：寶信軟件等。 風(fēng)險提示 宏觀經(jīng)濟波動。 若宏觀經(jīng)濟波動，產(chǎn)業(yè)變革及新技術(shù)的落地節(jié)奏或?qū)⑹艿接绊懀暧^經(jīng)濟波動還可能對IT投資產(chǎn)生負(fù)面影響，從而導(dǎo)致整體行業(yè)增長不及預(yù)期。 下游需求不及預(yù)期。 若下游數(shù)字化需求不及預(yù)期，相關(guān)的數(shù)字化投入增長或慢于預(yù)期，致使行業(yè)增長不及預(yù)期。