阿里巴巴推出AI圖生視頻模型EMO
緊隨Sora，阿里也推出AI圖生視頻模型EMO。
阿里巴巴集團智能計算研究院在近日上線了一款新的AI圖片-音頻-視頻模型技術EMO，官方稱其為“一種富有表現力的音頻驅動的肖像視頻生成框架”。目前，EMO框架上線到GitHub中，相關論文也在arxiv上公開。
據悉，用戶只需要提供一張照片和一段任意音頻文件，EMO即可生成會說話唱歌的AI視頻，以及實現無縫對接的動態小視頻，最長時間可達1分30秒左右。表情非常到位，任意語音、任意語速、任意圖像都可以一一對應。
EMO框架介紹 圖源：GitHub官網
阿里研究團隊表示，EMO可以生成具有表情豐富的面部表情和各種頭部姿勢的聲音頭像視頻，同時，其可以根據輸入視頻的長度生成任意持續時間的視頻。
同時，EMO還擁有音頻驅動的人像視頻生成，表情豐富的動態渲染，多種頭部轉向姿勢支持、增加視頻的動態性和真實感，支持多種語言和肖像風格，快速節奏同步，跨演員表現轉換等多個特點與功能。
技術層面，阿里研究人員分享稱，EMO框架使用 Audio2Video 擴散模型，生成富有表現力的人像視頻。該技術主要包括三個階段：一是幀編碼的初始階段，ReferenceNet 用于從參考圖像和運動幀中提取特征;二是在擴散過程階段，預訓練的音頻編碼器處理音頻嵌入。面部區域掩模與多幀噪聲集成以控制面部圖像的生成;三是使用主干網絡來促進去噪操作。在主干網絡中，應用了兩種形式——參考注意力和音頻注意力機制，這些機制分別對于保留角色的身份和調節角色的動作至關重要。此外，EMO的時間模塊用于操縱時間維度，并調整運動速度。
EMO相關論文簡介圖源：arxiv官網
阿里巴巴集團新任CEO吳泳銘曾表示，為了服務好更多的企業和AI開發者，阿里堅持做好兩件事：一是提供穩定高效的AI基礎服務體系，特別是強大的云計算能力，為全行業訓練AI、全社會使用AI打造堅實的基礎底座。二是創建開放繁榮的AI生態。
過去一年，阿里巴巴在AI方面持續發力，包括阿里云推出通義千問、通義萬相等多款對標OpenAI的AI大模型產品，以及基于雙流條件擴散模型的真人百變換裝技術Outfi tAnyone、角色動畫模型Animate Anyone等技術，實現多個場景應用。
今年1月26日，阿里推出的Qwen-VL模型實現多次迭代升級，并宣布Plus和Max兩大版本升級，支持以圖像、文本作為輸入，并以文本、圖像、檢測框作為輸出，讓大模型真正具備了“看”世界的能力。
阿里方面稱，相比于開源版本的Qwen-VL，Plus和Max版本模型在多項圖文多模態標準測試中獲得了堪比Gemini Ultra和GPT-4V的水準，并大幅超越此前開源模型的最佳水平。
阿里Qwen-VL模型介紹 圖源：GitHub官網
除了自研AI模型技術產品之外，阿里還推動投資一些AI大模型公司。在今年2月，阿里領投了國內 AI 大模型團隊月之暗面(MoonShot AI)10億美元的新一輪融資，促使該公司估值高達25億美元，成為中國 AI 初創公司最大的一筆單輪融資。
在去年10月，阿里參投了百川智能公司3億美元的A1輪戰略融資。官網資料顯示，百川智能成立于2023年4月10日，由前搜狗公司CEO王小川創立。公司核心團隊由來自搜狗、百度、華為、微軟、字節、騰訊等知名科技公司的AI人才組成。百川智能成立不到100天，便發布了Baichuan-7B、Baichuan-13B兩款開源可免費商用的中文大模型，且在多個權威評測榜單均名列前茅，下載量突破百萬。
百川智能融資歷程圖源：天眼查APP截圖
阿里還將AI用在不同領域。在醫療方面，阿里巴巴“醫療AI多癌早篩公益項目”于近日在浙江麗水啟動。該項目將達摩院醫療AI前沿技術創新應用于衛生健康領域，希望通過大規模的隨機性日常檢查，實現多癌早篩，提升當地的數字健康水平，這也是全國首個落地的通過AI實現多癌早篩項目，意味著AI前沿研究走出實驗室，有望向更多醫療資源不均衡的地區推廣。
據悉，“醫療AI多癌早篩公益項目”不僅增加了早篩的種類和精確度，還可一次早篩多個癌種，將有效提高癌癥的篩查效率，提高無癥狀人群的早期癌癥發現率，從而改善癌癥患者預后。該項目在麗水將先從胰腺癌和骨質疏松兩個病種入手展開早篩，并逐步接入肝癌、食管癌、胃癌、結腸癌、脂肪肝等癌癥和慢性病的篩查能力。
在招聘方面，前程無憂與阿里云簽訂關于“招聘+AI”的全面合作備忘錄，雙方將基于公共云搭建“招聘+AI平臺”，從推薦搜索、AI工程化等方向開展全面合作。同時，前程無憂計劃接入大模型，讓大模型技術在招聘領域落地。
阿里巴巴“醫療AI多癌早篩公益項目” 圖源：阿里巴巴公益官微
阿里云近日發布數據顯示，2023年，通過落實“堅持伙伴優先”的生態戰略，阿里云與遍布中國133個地級市的12000家伙伴一起，服務了超50萬家客戶。
2023年，阿里云為340余家伙伴提供產品生態集成認證，目前已有1300余個伙伴產品完成了與阿里云產品的兼容適配，以更好地在客戶側落地技術方案;區域合作伙伴集成阿里云的業務額同比增加了28%，65家伙伴面向政務、金融、能源、制造、交通等行業推出100余個聯合解決方案;2000家服務伙伴已聯合成功交付數萬個政企項目。
2023年，阿里云發起“通義千問伙伴計劃”。朗新、亞信、用友、數字政通、藍凌、千方等60余家伙伴加入，借助通義大模型家族的技術，推動大模型行業應用。目前阿里云已向伙伴提供了超1200人天技術專家支持，攜手伙伴驗證了“通義千問”大模型在多個行業應用，涉及智能問答、文章摘要、文案寫作、代碼輔助、知識庫升級等場景。
圖源：阿里云公眾號
據最新財報顯示，截至2023年12月31日止三個月，云智能集團收入為人民幣28066百萬元(3953百萬美元)，相較2022年同期的人民幣27364百萬元增長3%。收入同比增長主要受阿里巴巴并表業務所驅動。不計來自阿里巴巴并表業務的收入同比下降，主要是由于集團通過減少來自利潤率較低的項目式合約類收入以持續提升收入質量所致，然而來自公共云產品及服務的收入同比健康增長。
云智能集團截至2023年12月31日止三個月的經調整息稅前利潤(稅前利潤)為人民幣2364百萬元(333百萬美元)，相較2022年同期的人民幣1269百萬元增長86%，主要是由于集團專注于公共云而導致的產品結構改善和運營效率提升所致。
圖源：阿里巴巴2023年12月31日止季度業績公告
