為了解決MoE模型訓練困難,泛化性能差的問題,相較于Mixtral-MoE, Skywork-MoE設計了兩種訓練優(yōu)化算法:
昆侖萬維在Gating Layer的token分發(fā)邏輯處新增了一個normalization操作,使得Gating Layer的參數(shù)學習更加趨向于被選中的top-2 experts,增加MoE模型對于top-2的置信度:
一個可以遵循的經驗規(guī)則是:如果訓練MoE模型的FLOPs是訓練Dense模型的2倍以上,那么選擇from Scratch訓練MoE會更好,否則的話,選擇Upcycling訓練MoE 可以明顯減少訓練成本。
昆侖萬維基于目前各大主流模型評測榜單評測了Skywork-MoE,在相同的激活參數(shù)量20B(推理計算量)下,Skywork-MoE能力在行業(yè)前列,接近70B的Dense模型,使得模型的推理成本有近3倍的下降。同時Skywork-MoE的總參數(shù)大小比DeepSeekV2的總參數(shù)大小要小1/3,用更小的參數(shù)規(guī)模做到了相近的能力。
如何對MoE模型高效的進行大規(guī)模分布式訓練是一個有難度的挑戰(zhàn),目前社區(qū)還沒有一個最佳實踐。Skywork-MoE提出了兩個重要的并行優(yōu)化設計,從而在千卡集群上實現(xiàn)了MFU 38%的訓練吞吐,其中MFU以22B的激活參數(shù)計算理論計算量。
本次開源的Skywork-MoE模型隸屬于天工3.0的研發(fā)模型系列,是其中的中檔大小模型(Skywork-MoE-Medium),模型的總參數(shù)量為146B,激活參數(shù)量22B,共有16個Expert,每個Expert大小為13B,每次激活其中的2個Expert。
由于first stage的Embedding計算和last stage的Loss計算,以及Pipeline Buffer的存在,流水并行下均勻切分Layer時的各stage計算負載和顯存負載均有較明顯的不均衡情況。昆侖萬維提出了非均勻的流水并行切分和重計算Layer分配方式,使得總體的計算/顯存負載更均衡,約有10%左右的端到端訓練吞吐提升。
88棋牌最新官网下载6月3日,昆侖萬維宣布開源2千億稀疏大模型Skywork-MoE,性能強勁,同時推理成本更低。Skywork-MoE基于之前昆侖萬維開源的Skywork-13B模型中間checkpoint擴展而來,是首個完整將MoE Upcycling技術應用并落地的開源千億MoE大模型,也是首個支持用單臺4090服務器推理的開源千億MoE大模型。
有別于傳統(tǒng)的固定系數(shù)(固定超參)的aux loss,昆侖萬維在MoE訓練的不同階段讓模型自適應的選擇合適的aux loss超參系數(shù),從而讓Drop Token Rate保持在合適的區(qū)間內,既能做到expert分發(fā)的平衡,又能讓expert學習具備差異化,從而提升模型整體的性能和泛化水平。在MoE訓練的前期,由于參數(shù)學習不到位,導致Drop Token Rate太高(token分布差異太大),此時需要較大的aux loss幫助token load balance;在MoE訓練的后期,昆侖萬維希望Expert之間仍保證一定的區(qū)分度,避免 Gating傾向為隨機分發(fā)Token,因此需要較低的aux loss降低糾偏。
此外,Skywork-MoE還通過一系列基于Scaling Laws的實驗,探究哪些約束會影響Upcycling和From Scratch訓練MoE模型的好壞。
昆侖萬維希望本次開源的Skywork-MoE模型、技術報告和相關的實驗結果可以給開源社區(qū)貢獻更多的MoE訓練經驗和Know-how,包括模型結構、超參選擇、訓練技巧、訓練推理加速等各方面,探索用更低的訓練推理成本訓更大更強的模型,在通往AGI的道路上貢獻一點力量。
區(qū)別于Megatron-LM社區(qū)已有的EP(Expert Parallel)和ETP(Expert Tensor Parallel)設計,昆侖萬維提出了一種稱之為Expert Data Parallel的并行設計方案,這種并行方案可以在Expert數(shù)量較小時仍能高效的切分模型,對Expert引入的 all2all通信也可以最大程度的優(yōu)化和掩蓋。相較于EP對GPU數(shù)量的限制和ETP在千卡集群上的低效, EDP可以較好的解決大規(guī)模分布式訓練MoE的并行痛點,同時EDP的設計簡單、魯棒、易擴展,可以較快的實現(xiàn)和驗證。
Skywork-MoE是目前能在8x4090服務器上推理的最大的開源MoE模型。8x4090服務器一共有192GB的GPU顯存,在FP8量化下(weight占用146GB),使用昆侖萬維首創(chuàng)的非均勻Tensor Parallel并行推理方式,Skywork-MoE可以在合適的batch size 內達到2200 tokens/s的吞吐。
88棋牌最新官网下载在哪下載安裝?88棋牌最新官网下载好用嗎?
作者: 酒泉 🕹
網友評論更多
85華陰x
神秘資金連續(xù)流入創(chuàng)業(yè)板ETF,風格切換真的來了?🕞🕟
2024-09-24 11:55:48 推薦
187****4119 回復 184****1083:飆漲!大反轉🕠來自興平
187****1429 回復 184****6821:富豪遺孀坐擁280億上市公司,赤峰黃金沖擊A+H上市🕡來自彬州
157****5200:按最下面的歷史版本🕢🕣來自神木
14子長602
美股盤前要點 | CPI連續(xù)第5個月回落 市場關注黃仁勛周三發(fā)言🕤🕥
2024-09-22 21:32:13 推薦
永久VIP:隔夜美股全復盤(9.12)| 三大股指V型反轉收高,英偉達大漲8%,小道消息稱老黃想要供應鏈提前交貨🕦來自蘭州
158****5580:特朗普、哈里斯激烈“交鋒”后,特朗普自夸“1勝3”,但勝率卻下滑了🕧來自嘉峪關
158****3384 回復 666🕯:8月產銷成績炸裂!又迎政策加碼,新能源汽車多股漲停🕰來自金昌
84白銀ms
日元反彈!日央行、美聯(lián)儲反向而行,華爾街警告:“黑天鵝”或再次飛出🕳🕶
2024-09-22 06:23:07 不推薦
天水vn:榮獲創(chuàng)新力大獎,喆啡酒店如何玩轉跨界🕷
186****2518 回復 159****7245:IFA展大秀黑科技“悟空款”??海信百吋大屏電視強勢亮相🕸