巨人網(wǎng)絡(luò )AI Lab發(fā)布多模態(tài)生成新成果，相關(guān)技術(shù)將開(kāi)源
發(fā)布時(shí)間：2025-12-01 04:25:25 來(lái)源：四海皆兄弟網(wǎng) 作者：娛樂(lè )
新浪科技訊 11月27日下午消息，巨人巨人網(wǎng)絡(luò )AI Lab與清華大學(xué)SATLab、網(wǎng)絡(luò )西北工業(yè)大學(xué)聯(lián)合推出三項音視頻領(lǐng)域的布多多模態(tài)生成技術(shù)成果，相關(guān)研究成果將陸續在GitHub、模態(tài)HuggingFace等平臺開(kāi)源。生成術(shù)
本次發(fā)布的新成三項研究成果——音樂(lè )驅動(dòng)的視頻生成模型YingVideo-MV、零樣本歌聲轉換模型YingMusic-SVC與歌聲合成模型YingMusic-Singer，果相關(guān)技展現了團隊在音視頻多模態(tài)生成技術(shù)上的開(kāi)源最新成果。
據悉，巨人YingVideo-MV模型實(shí)現“一段音樂(lè )加一張人物圖像”即可生成一個(gè)音樂(lè )視頻片段。網(wǎng)絡(luò )該模型能夠對音樂(lè )進(jìn)行節奏、布多情緒與內容結構的模態(tài)多模態(tài)分析，從而使鏡頭運動(dòng)與音樂(lè )的生成術(shù)高度同步，具備推、新成拉、果相關(guān)技搖、移等鏡頭語(yǔ)言，并通過(guò)長(cháng)時(shí)序一致性機制，有效緩解了長(cháng)視頻中常見(jiàn)的人物“畸變”與“跳幀”現象。
在音頻領(lǐng)域，YingMusic-SVC主打“真實(shí)歌曲可用”的零樣本歌聲轉換能力。它通過(guò)針對真實(shí)音樂(lè )場(chǎng)景的全面優(yōu)化，有效抑制了伴奏、和聲與混響對歌聲轉換的干擾，顯著(zhù)降低了破音與高音失真的風(fēng)險，為高質(zhì)量的音樂(lè )再創(chuàng )作提供了穩定的技術(shù)支撐。
而YingMusic-Singer歌聲合成模型則支持在給定旋律下輸入任意歌詞，即可生成發(fā)音清晰、旋律穩定的自然歌聲。該模型的主要特點(diǎn)在于能夠靈活適應不同長(cháng)度的歌詞，并支持零樣本音色克隆，提升了AI演唱在創(chuàng )作過(guò)程中的靈活度與實(shí)用性，降低音樂(lè )創(chuàng )作的門(mén)檻。
相關(guān)文章
- 圍甲黔軍搶分逼平滬旅 下輪再戰擺擂烏江寨對閩師
- 男子領(lǐng)走福彩"好運來(lái)"80萬(wàn) 準備購買(mǎi)新房
- 國家統計局：積極穩就業(yè)促增收，大力增加優(yōu)質(zhì)供給，不斷優(yōu)化消費環(huán)境
- 女彩民刮中福彩"66順88發(fā)"25萬(wàn) 直言沒(méi)想到錦鯉附體
- 4.6億元債務(wù)“連環(huán)爆”！ST中迪被判連帶清償，剛入主新東家迎艱難開(kāi)局，核心資產(chǎn)恐將被強制拍賣(mài)
- 新能源車(chē)銷(xiāo)量持續走高，動(dòng)力電池產(chǎn)能吃緊？
- 中國排名：李昊桐領(lǐng)銜竇澤成上升 金子豪再次上漲
- 中國軍號發(fā)布日語(yǔ)海報
- 舒帕普拉邁轟HIO 躋身亞巡巴拉特精英賽54洞榜首
- 比特幣跌破10萬(wàn)美元：熊市氣息正在彌漫？
- Copyright © 2025 Powered by 巨人網(wǎng)絡(luò )AI Lab發(fā)布多模態(tài)生成新成果，相關(guān)技術(shù)將開(kāi)源,四海皆兄弟網(wǎng) sitemap