僅靠 19 億參數(shù)，只用公共數(shù)據(jù)集，在 12 個任務(wù)上狂刷 SOTA。

微軟這篇多模態(tài)論文剛掛上 arXiv 不久，就在業(yè)內(nèi)引發(fā)強(qiáng)烈關(guān)注。

有網(wǎng)友將之總結(jié)成" 在所有事情上打敗了所有人 "。

怎么回事？先來看這張雷達(dá)圖：

橙色內(nèi)圈，是各大任務(wù)之前的 SOTA。

紫色外圈，就是這篇 BEiT-3 的結(jié)果，不僅超越，而且是全面超越。

具體一圈看下來，BEiT-3 這個多模態(tài)模型不光刷遍多模態(tài)任務(wù)，連右上角的純視覺三大經(jīng)典任務(wù)也都刷到 SOTA，簡直是六邊形戰(zhàn)士。

知乎上一位同樣做多模態(tài)研究的選手直呼" 殺死了比賽 "。

其實說起來，微軟 BEiT 這個系列最開始做的是視覺自監(jiān)督學(xué)習(xí)。

其核心思想與何愷明的 MAE一致，甚至比 MAE 提出的還早一段時間，不過當(dāng)時性能惜敗于 MAE。

如今在多模態(tài)方向上繞了一圈后，沒想到能以方式橫掃視覺與多模態(tài)榜單。

取得這種成果的，一般來說還不得是上百億上千億參數(shù)的大大大模型？

但 BEiT-3 總參數(shù)不過19 億，甚至訓(xùn)練數(shù)據(jù)上也沒什么秘密武器，全都用的公開資源。

那么，這一切是如何做到的？

把圖像當(dāng)成一種外語

最關(guān)鍵的一點，論文標(biāo)題和摘要就已經(jīng)指明：

把圖像當(dāng)成一種外語。

這樣一來，文本數(shù)據(jù)是English，圖像數(shù)據(jù)作者開了個小玩笑命名為Imglish，那么圖文對數(shù)據(jù)就相當(dāng)于平行語料。

那么多模態(tài)也好純視覺也罷，都能用同一個預(yù)訓(xùn)練任務(wù)來處理。

在這個基礎(chǔ)上，論文中把所做突破總結(jié)成一個詞，大一統(tǒng)（Big Convergence）。

首先，大一統(tǒng)表現(xiàn)在網(wǎng)絡(luò)架構(gòu)上。

通過統(tǒng)一多模態(tài)表示方式，對于不同任務(wù)可以共享一部分參數(shù)，采用 Multiway（多路）Transformer 架構(gòu)作為骨干網(wǎng)絡(luò)。

具體來說就是共享多頭自注意力層，輸出時再根據(jù)具體任務(wù)選擇專用的 FFN 層。

第二，大一統(tǒng)又表現(xiàn)在預(yù)訓(xùn)練方法上。

既然所有數(shù)據(jù)都能當(dāng)成文本數(shù)據(jù)，那就可以全都按照 BERT 的方法，用掩碼 - 預(yù)測來做預(yù)訓(xùn)練，稱為 Masked Data Modeling。

與基于對比學(xué)習(xí)的訓(xùn)練方法相比，新方法可以選用更小的 Batch Size，又能額外降低顯存消耗。

第三，大一統(tǒng)還表現(xiàn)在規(guī)模效應(yīng)上。

統(tǒng)一的預(yù)訓(xùn)練任務(wù)讓模型參數(shù)擴(kuò)大到 10 億數(shù)量級后，對下游任務(wù)的泛化能力增強(qiáng)。

另外不同模態(tài)的數(shù)據(jù)集在此方法下也產(chǎn)生規(guī)模效應(yīng)。

團(tuán)隊特意只用公開數(shù)據(jù)的條件下增加訓(xùn)練數(shù)據(jù)集規(guī)模，結(jié)果超越了一些使用高質(zhì)量私有數(shù)據(jù)的模型。

BEiT-v 的訓(xùn)練數(shù)據(jù)來自 5 個公開數(shù)據(jù)集中的約500 萬張圖像和 2100 萬圖像 - 文本對；單模態(tài)數(shù)據(jù)則使用來自 ImageNet-21K 的1400 萬張圖像和 160GB 的文本語料庫。

除此之外，在規(guī)模上也遠(yuǎn)小于其它的多模態(tài)預(yù)訓(xùn)練模型，例如 ALIGN（18 億圖文對）、CLIP（4 億圖文對）、SimVLM（18 億圖文對，800GB 文本）等。

所有這些優(yōu)勢疊加在一起，BEiT-3 就以更少的訓(xùn)練數(shù)據(jù)、更小的模型參數(shù)取得更好的性能。

在純視覺任務(wù)（圖像分類、目標(biāo)檢測、語義分割）以及多模態(tài)任務(wù)（視覺推理、視覺問答、圖像描述、微調(diào)的跨模態(tài)檢索、零樣本跨模態(tài)檢索）總共 8 類任務(wù)下超越各自之前的 SOTA。

BEiT-3 這篇論文很簡短，不算參考文獻(xiàn)只有 9 頁。

但熟悉微軟 BEiT 系列歷史的話就會知道，這項研究取得成功的意義不僅在于其自身，也不僅是多模態(tài)學(xué)習(xí)的一項突破——

還給視覺大規(guī)模預(yù)訓(xùn)練這個興起不久的領(lǐng)域，帶來新的可能性。

BEiT 與 MAE，視覺自監(jiān)督的路線之爭

關(guān)于微軟的 BEiT 系列，全稱為Bidirectional Encoder representation from Image Transformers，比大家熟悉的語言模型BERT多了個 "Image"。

其主要思想就是借鑒 BERT，把掩碼建模方法用到視覺任務(wù)上，做視覺的自監(jiān)督學(xué)習(xí)，解決高質(zhì)量標(biāo)注數(shù)據(jù)難以獲得的難題。

初代 BEiT 論文于去年 6 月發(fā)表，比同類工作何愷明的 MAE 還要早一些，也是 MAE 論文中的主要比較對象之一。

初代 BEiT，惜敗 MAE

兩項研究都是用 " 先掩碼再預(yù)測 " 來做預(yù)訓(xùn)練任務(wù)，最大的區(qū)別在于 BEiT 會把視覺 token 離散化、最后模型預(yù)測的是token，而 MAE 則是直接預(yù)測原始像素。

△初代 BEiT 的架構(gòu)

在三大視覺任務(wù)上，MAE 比當(dāng)時的 BEiT 略勝一籌。并且因方法更簡單直接，MAE 運(yùn)行起來也要快上不少（3.5 倍）。

為了證明在 MAE 中 token 化這一步并無必要，何愷明團(tuán)隊在論文中還特意做了消融試驗。

結(jié)果表明，兩種方法統(tǒng)計上并無顯著差異，對于 MAE 來說預(yù)測原始像素就足夠了。

不過 BEiT 團(tuán)隊并沒有放棄離散化 token 這個方法，而是沿著這個思路繼續(xù)探索下去。

VL-BEiT，初探多模態(tài)

一年之后，團(tuán)隊發(fā)表了多模態(tài)模型 VL-BEiT，可以算作是現(xiàn)在這篇 BEiT-3 的雛形。

VL-BEiT 已經(jīng)用上了共享 Attenion 層、再對不同任務(wù)連接不同 FFN 層的架構(gòu)。

這一思想其實來自同一團(tuán)隊更早之前一篇論文VLMo，對每個模態(tài)設(shè)置一個專家層的方法稱為 MoME（Mixture-of-Modality-Experts）。

不過，VL-BEiT 在預(yù)訓(xùn)練任務(wù)上還比較復(fù)雜，會對文本數(shù)據(jù)和圖像數(shù)據(jù)分別做掩碼建模，至于多模態(tài)圖文對數(shù)據(jù)也是分開處理的。

最后結(jié)果，VL-BEiT 在多模態(tài)任務(wù)和純視覺任務(wù)上表現(xiàn)都不錯，但還不像現(xiàn)在的 BEiT-3 這樣大殺四方。

不過別急，突破口很快就被找到。

BEiT v2，把 token 提升到語義級

BEiT-3 發(fā)表僅一周之前，微軟與國科大團(tuán)隊合作發(fā)表了一篇 BEiT v2。

兩者命名方式有細(xì)微差別，因為 BEiT v2 確實代表是 BEiT 的升級版。

而 BEiT-3 的 3 論文中雖未明說，但說的大概不是 " 第三代 "，而是另有所指（稍后揭秘）。

說回到 BEiT v2，這篇論文重新專注于純視覺，在初代 BEiT 基礎(chǔ)上提出了新的語義級 tokenizer。

具體來說，BEiT v2 引入了矢量量化（Vector-Quantized）和知識蒸餾（Knowledge Distillation）來訓(xùn)練 tokenizer。

同樣是做離散化 token，新方法能重建知識蒸餾中教師模型的語義特征，大大提高 token 中攜帶的語義信息，從而提高模型性能。

接下來，教師模型用誰就很關(guān)鍵了。

在對比了 FAIR 的DINO模型和 OpenAI 的CLIP模型之后，團(tuán)隊發(fā)現(xiàn)還是 CLIP 更香。

最終結(jié)果上，BEiTv2 性能反超 MAE 和這段時間出現(xiàn)的其他方法，重回 SOTA。

BEiT-3，集大成者

了解了整個 BEiT 系列的發(fā)展歷程，最后再來看一下 BEiT-3。

論文共同一作董力，點出了模型命名中"3"的含義：

多模態(tài)統(tǒng)一的預(yù)訓(xùn)練方式 + 共享 Attention 的多路 Transformer+ 擴(kuò)大規(guī)模的大一統(tǒng)（Big Convergence）。

如此一來，BEiT-3 能在多模態(tài)任務(wù)和視覺任務(wù)中都取得 SOTA 也就不奇怪了。

這樣一篇論文，自然吸引了行業(yè)內(nèi)很多目光。

魯汶大學(xué)一位教授認(rèn)為，這代表微軟在 AI 科研方面趕上谷歌 /DeepMind、Meta 和 OpenAI，" 重新坐上了牌桌 "。

隨著討論熱度升級，對論文更嚴(yán)格的審視目光也多了起來。

谷歌一位研究員指出，論文結(jié)果看起來簡潔又令人印象深刻，就是這雷達(dá)圖的坐標(biāo)取值有點不太嚴(yán)謹(jǐn)。

知乎上也有網(wǎng)友提問，如果用了 CLIP 作為教師模型的話，那么來自 CLIP 高質(zhì)量配對數(shù)據(jù)的貢獻(xiàn)有多少，直接改改 CLIP 就用又會如何？

作者團(tuán)隊

最后再來介紹一下作者團(tuán)隊，BEiT-3 相關(guān)研究論文的作者都來自微軟。

三位共同一作分別是 Wenhui Wang，Hangbo Bao（鮑航波）和 Li Dong（董力）。

其中，鮑航波和董力都是從初代 BEiT 就參與了研究，一直貫穿 VL-BEiT 和 BEiT v2 的發(fā)展，鮑航波更是 BEiT 和 VL-BEiT 論文的一作。另一位 Wenhui Wang 之前也曾參與過 VL-BEiT 的研究。

通訊作者是微軟亞洲研究院 NLP 小組的 Partner 研究經(jīng)理 Furu Wei（韋福如）。