零一萬(wàn)物發(fā)布AI模型 阿里云魔搭社區(qū)開(kāi)源首發(fā)
11月7日消息，李開(kāi)復(fù)帶隊(duì)創(chuàng)辦的AI2.0公司零一萬(wàn)物近日正式發(fā)布首款預(yù)訓(xùn)練大模型Yi-34B，模型開(kāi)放商用申請(qǐng)，已在阿里云魔搭社區(qū)ModelScope首發(fā)。魔搭第一時(shí)間推出了模型部署相關(guān)教程，供開(kāi)發(fā)者參考并快速上手。
官方介紹，零一萬(wàn)物此次開(kāi)源的Yi系列模型包含34B和6B兩個(gè)版本;零一萬(wàn)物創(chuàng)始人及CEO李開(kāi)復(fù)表示：“零一萬(wàn)物堅(jiān)定進(jìn)軍全球第一梯隊(duì)目標(biāo)，從招的第一個(gè)人，寫(xiě)的第一行代碼，設(shè)計(jì)的第一個(gè)模型開(kāi)始，就一直抱著成為‘World's No.1’的初衷和決心。”
圖注：Yi-34B發(fā)布在魔搭社區(qū)
圖源：阿里云公眾號(hào)
據(jù)了解，Yi-34B已登頂全球英文及中文權(quán)威榜單No.1。在Hugging Face英文測(cè)試公開(kāi)榜單Pretrained預(yù)訓(xùn)練開(kāi)源模型排名中，Yi-34B以70.72分位列全球第一;在C-Eval中文權(quán)威榜單排行榜上,Yi-34B超越了全球所有開(kāi)源模型;在全球大模型各項(xiàng)評(píng)測(cè)中最關(guān)鍵的MMLU(Massive Multitask Language Understanding大規(guī)模多任務(wù)語(yǔ)言理解)、BBH等反映模型綜合能力的評(píng)測(cè)集上，Yi-34B同樣表現(xiàn)突出，在通用能力、知識(shí)推理、閱讀理解等多項(xiàng)指標(biāo)評(píng)比中全部勝出。
與此同時(shí)，Yi-34B模型將發(fā)布支持200K超長(zhǎng)上下文窗口(context window)版本。上下文窗口是大模型綜合運(yùn)算能力的金指標(biāo)之一，對(duì)于理解和生成與特定上下文相關(guān)的文本至關(guān)重要;為此零一萬(wàn)物技術(shù)團(tuán)隊(duì)實(shí)施了一系列優(yōu)化，包括計(jì)算通信重疊、序列并行、通信壓縮等，實(shí)現(xiàn)了在大規(guī)模模型訓(xùn)練中近100倍的能力提升，也為Yi系列模型上下文規(guī)模下一次躍升儲(chǔ)備了充足“電力”。
圖注：Yi-34B登頂Hugging Face英文測(cè)試公開(kāi)榜單
圖源：阿里云公眾號(hào)
另外，借助AI Infra，Yi-34B模型實(shí)現(xiàn)40%訓(xùn)練成本下降。AI Infra(AI Infrastructure人工智能基礎(chǔ)架構(gòu)技術(shù))涵蓋大模型訓(xùn)練和部署提供各種底層技術(shù)設(shè)施，包括處理器、操作系統(tǒng)、存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施、云計(jì)算平臺(tái)等等;零一萬(wàn)物Yi系列大模型基于阿里云平臺(tái)打造，阿里云強(qiáng)大的智能算力基礎(chǔ)設(shè)施為模型訓(xùn)練提供了穩(wěn)固的基石。
憑借強(qiáng)大的AI Infra，Yi-34B模型訓(xùn)練成本實(shí)測(cè)下降40%，實(shí)際訓(xùn)練完成達(dá)標(biāo)時(shí)間與預(yù)測(cè)的時(shí)間誤差不到一小時(shí)，進(jìn)一步模擬上到千億規(guī)模訓(xùn)練成本可下降多達(dá)50%;目前，零一萬(wàn)物Infra能力實(shí)現(xiàn)故障預(yù)測(cè)準(zhǔn)確率超過(guò)90%，故障提前發(fā)現(xiàn)率達(dá)到99.9%，不需要人工參與的故障自愈率超95%。
圖注：Yi-34B簡(jiǎn)介
圖源：零一萬(wàn)物官網(wǎng)
同時(shí)，零一萬(wàn)物組建了由前Google大數(shù)據(jù)和知識(shí)圖譜專家領(lǐng)銜的數(shù)據(jù)團(tuán)隊(duì)，建設(shè)了高效、自動(dòng)、可評(píng)價(jià)、可擴(kuò)展的智能數(shù)據(jù)處理管線;還自研出一套“規(guī)模化訓(xùn)練實(shí)驗(yàn)平臺(tái)”，用來(lái)指導(dǎo)模型的設(shè)計(jì)和優(yōu)化;數(shù)據(jù)處理管線和加大規(guī)模預(yù)測(cè)的訓(xùn)練能力建設(shè)，把以往的大模型訓(xùn)練碰運(yùn)氣的“煉丹”過(guò)程變得極度細(xì)致和科學(xué)化。
值得一提的是，未來(lái)零一萬(wàn)物將基于Yi系列大模型，打造更多To C超級(jí)應(yīng)用。李開(kāi)復(fù)強(qiáng)調(diào)：“AI 2.0是有史以來(lái)最大的科技革命，它帶來(lái)的改變世界的最大機(jī)會(huì)一定是平臺(tái)和技術(shù)，正如PC時(shí)代的微軟Office，移動(dòng)互聯(lián)網(wǎng)時(shí)代的微信、抖音、美團(tuán)一樣，商業(yè)化爆發(fā)式增長(zhǎng)概率最高的一定是ToC應(yīng)用。零一萬(wàn)物邀請(qǐng)開(kāi)發(fā)者社群跟我們一起搭建Yi開(kāi)源模型的應(yīng)用生態(tài)系，協(xié)力打造AI 2.0時(shí)代的超級(jí)應(yīng)用。”
