阿里通義千問(wèn)更新，阿里再為多模態(tài)大模型賽道添了一把火。通義態(tài)
8月19日，千問(wèn)通義團隊推出Qwen-Image-Edit，再放基于20B參數的大招多模迭代Qwen-Image，專(zhuān)注于語(yǔ)義和外觀(guān)編輯，模型支持雙語(yǔ)文本修改、加速間表風(fēng)格遷移及物體旋轉，改寫(xiě)進(jìn)一步拓展了生成式AI在專(zhuān)業(yè)內容創(chuàng )作中的阿里應用。
短短半年內，通義態(tài)阿里連續推出Qwen2.5-VL、千問(wèn)Qwen2.5-Omni、再放Qwen-Image等多模態(tài)模型，大招多模迭代而阿里之外，模型智譜、加速間表階躍星辰等大模型廠(chǎng)商也在密集布局，從視覺(jué)理解到全模態(tài)交互，多模態(tài)大模型在2025年明顯迭代加速。
業(yè)內普遍認為，當前大模型的發(fā)展已經(jīng)從單一的語(yǔ)言模型邁向了多模態(tài)融合的新階段，這是通向AGI的必經(jīng)之路。
谷歌研究報告顯示，預計至2025年，全球多模態(tài)AI市場(chǎng)規模將飆升至24億美元，而到2037年底，這一數字更是預計將達到驚人的989億美元。
商湯科技聯(lián)合創(chuàng )始人、執行董事、首席科學(xué)家林達華在此前接受21世紀經(jīng)濟報道記者采訪(fǎng)時(shí)表示，未來(lái)的多模態(tài)模型甚至能在純語(yǔ)言任務(wù)上超越單一語(yǔ)言模型，而國內廠(chǎng)商也在加速布局，2025年下半年或將迎來(lái)多模態(tài)模型的全面普及。
國內廠(chǎng)商密集布局
2023年12月，谷歌原生多模態(tài)Gemini 1.0模型正式上線(xiàn)，一舉將AI競賽由ChatGPT主導的文本領(lǐng)域帶入多模態(tài)領(lǐng)域。
人類(lèi)的日常任務(wù)活動(dòng)，天然涉及對文本、圖像、視頻、網(wǎng)頁(yè)等多模態(tài)信息的處理。從生產(chǎn)力工具到生產(chǎn)力，關(guān)鍵就在于多模態(tài)信息的輸入、處理與輸出能力。在大模型越來(lái)越強調落地應用的當下，多模態(tài)能力和低成本、強智能等特征一樣，成為了大模型的核心競爭點(diǎn)。
而大廠(chǎng)也早已開(kāi)始了相關(guān)布局，阿里推出的Qwen2.5系列就在逐步強化多模態(tài)能力。
2025年，阿里開(kāi)源升級版視覺(jué)理解模型Qwen2.5-VL，72B版本在13項權威評測中視覺(jué)理解能力全面超越GPT-4o與Claude3.5；同期還發(fā)布了首個(gè)端到端全模態(tài)大模型Qwen2.5-Omni，支持文本、圖像、音頻、視頻的實(shí)時(shí)交互，可部署于手機等終端智能硬件。
8月，阿里又開(kāi)源全新的文生圖模型Qwen-Image，當天即登上AI開(kāi)源社區Hugging Face的模型榜單首位，成為全球熱度最高的開(kāi)源模型。
此次發(fā)布的Qwen-Image-Edit是基于20B的Qwen-Image模型進(jìn)一步訓練，將Qwen-Image的文本渲染能力延展至圖像編輯領(lǐng)域，實(shí)現了對圖片中文字的精準編輯。
此外，Qwen-Image-Edit將輸入圖像同時(shí)輸入到Qwen2.5-VL（實(shí)現視覺(jué)語(yǔ)義控制）和VAE Encoder（實(shí)現視覺(jué)外觀(guān)控制），從而兼具語(yǔ)義與外觀(guān)的雙重編輯能力。
業(yè)內評價(jià)稱(chēng)，Qwen-Image-Edit在中文圖像編輯領(lǐng)域樹(shù)立了新標桿，尤其適合需要高精度文本修改和創(chuàng )意設計的場(chǎng)景，可以進(jìn)一步降低專(zhuān)業(yè)圖像創(chuàng )作門(mén)檻。
積極布局多模態(tài)能力的廠(chǎng)商不只一家，近期模型迭代的速度也越來(lái)越快。
世界人工智能大會(huì )前夕，階躍星辰發(fā)布了新一代基礎大模型Step 3，原生支持多模態(tài)推理，具備視覺(jué)感知和復雜推理能力。階躍星辰Step系列基座模型矩陣中，多模態(tài)模型的占比達7成。此外，階躍星辰還連續開(kāi)源語(yǔ)音、視頻生成、圖像編輯等多個(gè)多模態(tài)大模型。
同樣是在人工智能大會(huì )上，商湯發(fā)布了日日新V6.5大模型，進(jìn)行了模型架構改進(jìn)和成本優(yōu)化，多模態(tài)推理與交互性能大幅提升。商湯從日日新6.0開(kāi)始，就沒(méi)有語(yǔ)言模型單獨的存在，全部都是多模態(tài)模型。
8月，智譜也宣布推出開(kāi)源視覺(jué)推理模型GLM-4.5V，并同步在魔搭社區與Hugging Face開(kāi)源，涵蓋圖像、視頻、文檔理解以及GUIAgent等常見(jiàn)任務(wù)。
8月11日至15日，昆侖萬(wàn)維（維權）則在一周內連續發(fā)布了六款多模態(tài)模型，覆蓋了數字人生成、世界模擬、統一多模態(tài)理解等核心場(chǎng)景。
這些全方位的開(kāi)源攻勢明顯旨在快速占領(lǐng)開(kāi)發(fā)者心智，建立各自產(chǎn)品在多模態(tài)領(lǐng)域的全面影響力。在當下這個(gè)節點(diǎn)，多模態(tài)的競爭還不算太晚。
仍處于發(fā)展初期
如果想要構建通用人工智能（AGI）和強大的AI系統，多模態(tài)的能力必不可少。
“從智能的本質(zhì)來(lái)說(shuō)，需要對各種模態(tài)的信息進(jìn)行跨模態(tài)的關(guān)聯(lián)?！绷诌_華向21世紀經(jīng)濟報道記者表示。
在這方面，中國科技公司速度很快。一個(gè)顯著(zhù)的變化是，中國企業(yè)在多模態(tài)領(lǐng)域的集體崛起已經(jīng)改變了長(cháng)期以來(lái)由OpenAI、Google等西方巨頭主導的AI創(chuàng )新敘事，在視覺(jué)推理、視頻生成等多個(gè)細分領(lǐng)域排在權威榜單的前列。
技術(shù)推進(jìn)加速落地應用。2025年被業(yè)內人士普遍視為“AI應用商業(yè)化元年”，而多模態(tài)技術(shù)正是這一趨勢的核心驅動(dòng)力，數字人直播、醫療診斷、金融分析等等場(chǎng)景已經(jīng)有多模態(tài)大模型應用其中。
但從技術(shù)的角度來(lái)看，多模態(tài)領(lǐng)域還有很大的發(fā)展空間，尤其是對比文本領(lǐng)域。
“當前文本領(lǐng)域已從GPT范式的1.0走到了強化學(xué)習范式下的2.0，部分研究者已開(kāi)始探索下一代范式如自主學(xué)習。相比之下，多模態(tài)領(lǐng)域仍處于發(fā)展初期，諸多基礎性問(wèn)題尚未解決?！彪A躍星辰創(chuàng )始人、CEO姜大昕向21世紀經(jīng)濟報道記者表示，“這些挑戰不僅存在于國內研究，國際領(lǐng)先模型同樣未能攻克?！?/p>
多模態(tài)技術(shù)面臨的瓶頸，其復雜性遠超自然語(yǔ)言處理。首先，在表征復雜度方面，文本作為離散符號系統，其表征空間通常僅為數萬(wàn)維度，這對計算機處理而言屬于低維問(wèn)題。而視覺(jué)數據以1024×1024分辨率的圖像為例，其表征空間即達到百萬(wàn)維度的連續空間，兩者在表征難度上存在本質(zhì)差異。
其次，在語(yǔ)義閉環(huán)性方面，文本系統具有天然的語(yǔ)義自閉環(huán)特性，其語(yǔ)義表達與表征空間完全統一。相比之下，視覺(jué)數據作為自然存在的物理空間表征，其本身并不包含語(yǔ)義信息。要實(shí)現視覺(jué)與文本語(yǔ)義空間的對齊，必須建立跨模態(tài)的映射關(guān)系，而這一映射缺乏天然的標注數據支持。
“這些導致了多模態(tài)領(lǐng)域的發(fā)展還是面臨非常大的挑戰，還是需要幾次像ChatGPT、強化學(xué)習范式這樣的大技術(shù)變遷才能解決?！苯箨肯蛴浾弑硎?。
此外，雖然很多模型已經(jīng)在具體場(chǎng)景中實(shí)現落地應用，但距離真正實(shí)現AGI還有較為漫長(cháng)的路要走。
主流的多模態(tài)模型通過(guò)視覺(jué)編碼器與語(yǔ)言模型的前后結合，但是后續的思考推理過(guò)程還是主要依賴(lài)純語(yǔ)言的推理，因此，當前多模態(tài)模型對于圖形和空間結構的推理能力還很薄弱。林達華向記者舉例稱(chēng)，國際頂尖多模態(tài)模型，在面對諸如積木拼接等簡(jiǎn)單空間問(wèn)題時(shí)，也無(wú)法準確判斷積木的組成數量以及各部分之間的連接關(guān)系，而這些問(wèn)題對于幾歲的兒童來(lái)說(shuō)卻是輕而易舉的。
“這表明當前多模態(tài)模型的思維方式主要依賴(lài)于邏輯推理，缺乏較強的空間感知能力。若這一問(wèn)題得不到突破，未來(lái)將成為具身智能落地的重要障礙?！绷诌_華向記者表示。
隨著(zhù)技術(shù)不斷成熟和生態(tài)持續完善，多模態(tài)能力將成為AI系統的標配，而如何將這種能力轉化為實(shí)際生產(chǎn)力和社會(huì )價(jià)值，將是產(chǎn)業(yè)界下一步需要重點(diǎn)探索的方向。
?。ㄗ髡撸憾o怡 編輯：包芳鳴）
相關(guān)文章
精彩導讀
熱門(mén)資訊
關(guān)注我們
