2025 年中國多模態大模型行業主要模型 主要多模態大模型處理能力表現出色

    創投圈
    2025
    05/22
    20:18
    分享
    評論

    行業主要上市公司:阿里巴巴 ( 09988.HK,BABA.US ) ; 百度 ( 09888.HK,BIDU.US ) ; 騰訊 ( 00700.HK, TCEHY ) ;科大訊飛 ( 002230.SZ ) ;萬興科技 ( 300624.SZ ) ;三六零 ( 601360.SH ) ;昆侖萬維 ( 300418.SZ ) ; 云從科技 ( 688327.SH ) ;拓爾思 ( 300229.SZ ) 等

    多模態大模型類型及綜合對比

    視覺 + 語言的多模態大模型目前主流方法是:借助預訓練好的大語言模型和圖像編碼器,用一個圖文特征對齊模塊來連接,從而讓語言模型理解圖像特征并進行更深層的問答推理。這樣可以利用已有的大量單模態訓練數據訓練得到的單模態模型,減少對于高質量圖文對數據的依賴,并通過特征對齊、指令微調等方式打通兩個模態的表征。

    多模態大模型類型 -CLIP

    CLIP 是 OpenAI 提出的連接圖像和文本特征表示的對比學習方法。CLIP 是利用文本信息訓練一個可以實現 zero-shot 的視覺模型。利用預訓練好的網絡去做分類。具體來說,給網絡一堆分類標簽,比如 cat,dog,bird,利用文本編碼器得到向量表示。然后分別計算這些標簽與圖片的余弦相似度 ; 最終相似度最高的標簽即是預測的分類結果。論文提到,相比于單純地給定分類標簽,給定一個句子的分類效果更好。比如一種句子模板 A photo of a.,后面填入分類標簽。這種句子模板叫做 prompt ( 提示 ) 。句子模板的選擇很有講究,還專門討論了 prompt engineering,測試了好多種類的句子模板。提示信息有多種,下圖可以看到它用不同的類別替換一句話中不同的詞,形成不同的標簽。

    模態大模型類型 -Flamingo

    Flamingo 是一門多模態大型語言模型 ( LLM ) 于 2022 年推出。視覺和語言組件的工作原理如下:視覺編碼器將圖像或視頻轉換為嵌入 ( 數字列表 ) 。與 CLIP 不同,Flamingo 可以生成文本響應。從簡化的角度來看,Flamingo 是 CLIP + 語言模型,并添加了技術,使語言模型能夠根據視覺和文本輸入生成文本標記。Flamingo 的 4 個數據集:2 個 ( 圖像、文本 ) 對數據集、1 個 ( 視頻、文本 ) 對數據集和 1 個交錯的圖像和文本數據集。

    多模態大模型類型 - BLIP

    BLIP ( Bootstrapping Language-lmage Pretraining ) 是由 Salesforce 在 2022 年提出的多模態預訓練模型,它旨在統一視覺語言任務的理解與生成能力,并通過對噪聲數據的處理來提高模型性能口。BLIP 的創新主要有兩個方面:與 CLIP 相比,BLIP 不僅處理圖像和文本的對齊問題,還旨在解決包括圖像生成、視覺問答和圖像描述等更復雜的任務。BLIP 采用了 " 引導學習 " 的方式,通過自監督的方式來增強模型對語言和視覺信息的理解。這些特點使其在處理圖像和文本數據方面展現了卓越的性能,成為眾多領域解決復雜問題的強大工具。

    多模態大模型類型 -LLaMA

    使用視覺編碼器 CLIP ViT-L/14+ 語言解碼器 LLaMA 構成多模態大模型,然后使用生成的數據進行指令微調。輸入圖片 X 經過與訓練好的視覺編碼器的到圖片特征 Z,圖片特征 Z 經過一個映射矩陣 W 轉化為視覺 Token H,這樣 Vison Token Hv 與 Language Token Hq 指令就都在同一個特征空間,拼接后一起輸入大模型。這里的映射層 W 也可以替換為更復雜的網絡來提升性能,比如 Flamingo 中用的 gated cross-attentio,BLIP-2 中用的 Q-former。

    前瞻網

    THE END
    廣告、內容合作請點擊這里 尋求合作
    免責聲明:本文系轉載,版權歸原作者所有;旨在傳遞信息,不代表砍柴網的觀點和立場。

    相關熱點

    相關推薦

    1
    3
    主站蜘蛛池模板: 亚洲熟妇无码一区二区三区| 日本大香伊一区二区三区| 一区视频免费观看| 中文字幕无码一区二区三区本日| 国产亚洲一区二区三区在线| 久久蜜桃精品一区二区三区| 色窝窝无码一区二区三区成人网站| 日韩视频在线观看一区二区| 国产一区二区三区韩国女主播| 国产一区二区三区高清在线观看| 国产一区在线电影| 午夜视频一区二区三区| 日韩一区二区三区射精| 亚洲AV成人一区二区三区观看 | 精品一区二区三区在线观看l | 国产精品无圣光一区二区| 成人一区二区三区视频在线观看| 蜜桃无码AV一区二区| 精品无码成人片一区二区98| 国产午夜精品一区二区三区漫画| 伦理一区二区三区| 国产亚洲3p无码一区二区| 中文字幕在线精品视频入口一区| 一区二区三区影院| 精品少妇一区二区三区在线| 久久一区二区免费播放| 国产综合一区二区在线观看| 亚洲日韩精品无码一区二区三区| 免费日本一区二区| 久久精品午夜一区二区福利| 亚洲一区二区久久| 91精品乱码一区二区三区| 香蕉久久ac一区二区三区| 国产在线无码视频一区| 日本视频一区二区三区| 夜夜添无码试看一区二区三区| 人妻无码一区二区不卡无码av| 精品一区精品二区制服| 春暖花开亚洲性无区一区二区| 四虎精品亚洲一区二区三区| 国产亚洲自拍一区|