▲ 圖源SALMONN 的 GitHub 頁(yè)面

經(jīng)過(guò)查詢得知，SALMONN 模型支持語(yǔ)音、音頻以及音樂(lè)輸入，它可以感知和理解不同類型的音頻內(nèi)容輸入，并具備多語(yǔ)言語(yǔ)音識(shí)別和翻譯以及語(yǔ)音推理等功能。

▲ 官方發(fā)布的模型解析圖

官方表示，SALMONN 支持語(yǔ)音、音頻以及音樂(lè)輸入，它可以感知和理解不同類型的音頻內(nèi)容輸入，并具備多語(yǔ)言語(yǔ)音識(shí)別和翻譯以及語(yǔ)音推理等功能。

▲ 圖源SALMONN 的 Demo 頁(yè)面

官方同時(shí)表示，目前 SALMONN 能夠勝任英語(yǔ)語(yǔ)音識(shí)別、英語(yǔ)到中文的語(yǔ)音翻譯、情感識(shí)別、音頻字幕生成、音樂(lè)描述等重要的語(yǔ)音和音頻任務(wù)，同時(shí)又涌現(xiàn)出多種在模型訓(xùn)練中沒(méi)有專門學(xué)習(xí)過(guò)的多語(yǔ)言和跨模態(tài)能力，涵蓋非英語(yǔ)語(yǔ)音識(shí)別、英語(yǔ)到（中文以外）其他語(yǔ)言的語(yǔ)音翻譯、對(duì)語(yǔ)音內(nèi)容的摘要和關(guān)鍵詞提取、基于音頻的故事生成、音頻問(wèn)答、語(yǔ)音和音頻聯(lián)合推理等任務(wù)。

目前該模型已經(jīng)發(fā)布于 GitHub 中，官方同時(shí)放出了項(xiàng)目的 Demo 鏈接，感興趣的小伙伴們可以前往了解。