火山引擎發布大模型服務平臺 抖音十多個業務團隊已試用
6月28日消息,在字節跳動旗下的云服務平臺火山引擎主辦、英偉達合作舉辦的“V-Tech體驗創新科技峰會”上,火山引擎發布大模型服務平臺“火山方舟”,面向企業提供模型精調、評測、推理等全方位的平臺服務(MaaS,即Model-as-a-Service)。目前,“火山方舟”集成了百川智能、出門問問、復旦大學MOSS、IDEA研究院、瀾舟科技、MiniMax、智譜AI等多家AI科技公司及科研院所的大模型,并已啟動邀測。
圖源:火山引擎公眾號
“企業使用大模型,首先要解決安全與信任問題”,火山引擎總裁譚待表示,“火山方舟”實現了大模型安全互信計算,為企業客戶確保數據資產安全。基于“火山方舟”獨特的多模型架構,企業可同步試用多個大模型,選用更適合自身業務需要的模型組合。
譚待認為,企業使用大模型,最擔心的是數據泄露;如果將大模型私有化部署,企業將承擔更高的成本,模型生產方也會擔心知識資產安全。“火山方舟”的首要任務,就是做好大模型使用者、提供者和云平臺可以互相信任的安全保障。
火山引擎總裁譚待;圖源:火山引擎公眾號
據火山引擎智能算法負責人吳迪介紹,“火山方舟”已上線了基于安全沙箱的大模型安全互信計算方案,利用計算隔離、存儲隔離、網絡隔離、流量審計等方式,實現了模型的機密性、完整性和可用性保證,適用于對訓練和推理延時要求較低的客戶。
吳迪表示,“火山方舟”還在探索基于NVIDIA新一代硬件支持的可信計算環境、基于聯邦學習的數據資產分離等多種方式的安全互信計算方案,更全面地滿足大模型在不同業務場景的數據安全要求。
中國科學技術信息研究所等機構發布的《中國人工智能大模型地圖研究報告》顯示,截至今年5月,國內已公開披露的大模型數量達到79個。大模型密集涌現,企業面臨“選擇困難”。在吳迪看來,技術發展日新月異,國內大模型正在快速迭代,不同大模型在特定任務上各有千秋,企業不必急于綁定一家大模型,而是應該結合自身業務場景,綜合評估使用效果和成本,在不同場景選用更具性價比的模型。
截自中信所網站
吳迪稱,訓練大模型很昂貴,但是從長期來看,模型的推理開銷會超過訓練開銷。效果和成本的矛盾永遠存在,降低推理成本會是大模型應用落地的重要因素,“一個經過良好精調的中小規格模型,在特定工作上的表現可能不亞于通用的、巨大的基座模型,而推理成本可以降低到原來的十分之一。”
“火山方舟”提供了豐富的模型精調和評測支持。吳迪介紹,企業可以用統一的工作流對接多家大模型,對于復雜需求可設置高級參數、驗證集、測試集等功能,再通過自動化和人工評估直觀對比模型精調效果,在不同業務場景里還可靈活切換不同的模型,實現最具性價比的模型組合。這些自定義指標和評估數據的積累,將成為企業在大模型時代寶貴的數據資產。
據吳迪透露,抖音集團內部已有十多個業務團隊試用“火山方舟”,在代碼糾錯等研發提效場景,文本分類、總結摘要等知識管理場景,以及數據標注、歸因分析等方面探索,利用大模型能力促進降本增效。這些內部實踐在快速打磨“火山方舟”,推動平臺能力的進一步完善。“火山方舟”的首批邀測企業,還包括金融、汽車、消費等眾多行業的客戶。
火山引擎智能算法負責人吳迪;圖源:火山引擎公眾號
譚待判斷,企業使用大模型,未來可能會呈現“1+N”的模式:“1”是通過自研或深度合作,形成1個主力模型;由于成本和場景復雜多元等原因,在這個主力模型之外,還會有N個模型同時應用。
“每一次技術的大變革,都會帶來體驗創新的新機會”,譚待坦言,“火山方舟”還在起步階段,工具鏈和下游應用插件需要持續完善。平臺還將接入更多大模型,并逐步擴大邀測范圍,與企業客戶共建開放合作的多模型生態,加速大模型在各行各業的應用落地。
