阿里巴巴發(fā)布了新一代端到端多模態(tài)旗艦模型Qwen2.5-Omni，號稱具備全方位多模態(tài)感知能力，看聽說寫樣樣精通。

采用全新的Thinker-Talker雙核架構，Thinker模塊負責處理多模態(tài)輸入并生成語義表征和文本內(nèi)容，Talker模塊則負責將這些信息轉(zhuǎn)化為流暢的語音輸出。這種架構實現(xiàn)了端到端的統(tǒng)一，支持實時音視頻交互和流暢的語音生成。

能夠無縫處理文本、圖像、音頻和視頻等多種輸入形式，并同時生成文本和語音輸出。支持分塊輸入和即時輸出，實現(xiàn)真正的實時交互。

已在Hugging Face、ModelScope、DashScope和GitHub等平臺開源，方便開發(fā)者體驗和使用。

相比現(xiàn)有方案，語音生成的自然度和穩(wěn)定性更高。在音頻能力上優(yōu)于同等規(guī)模的Qwen2-Audio，與Qwen2.5-VL-7B保持同等水平。在語音指令理解方面表現(xiàn)出色，效果可媲美文本輸入。

校對：蘇煥文