AI 技術前瞻：BFC-Cap
有效的圖像描述（Image Captioning）依賴於視覺理解與上下文的相關性。本研究提出兩種方法：BFC-Capb （基於背景的圖像描述生成）與其擴展版本 BFC-Capf （頻率引導的圖像描述生成），以實現上述目標。首先，我們設計了一種物件 ─ 背景注意力模組（Object-Background Attention Module），用於捕捉物件與背景特徵之間的互動與關係。其次，我們融合特徵並引入空間位移操作（Spatial Shift Operation），以確保與鄰近區域對齊，並減少潛在的冗餘資訊。此外，我們進一步擴展該框架，將網格特徵（Grid Features）轉換至頻率域（Frequency Domain），並過濾掉低頻成分，以增強細節特徵。
我們在 MS COCO 圖像描述基準測試集上，透過傳統與最新評測指標對我們的方法進行評估。實驗結果顯示，我們所提出的方法在量化指標上優於現有相關方法。此外，我們的方法在質化分析中亦展現出更優質的圖像描述，能夠捕捉更多的背景資訊與精確的上下文內容，包括對物件及其屬性的更準確描述。
文／施永強（美國紐澤西州立理工大學教授）
近年來，圖像描述生成（Image Captioning）已成為人工智慧（AI）領域的重要研究方向，並受到科技與學術界的廣泛關注。圖像描述生成旨在自動為給定的圖像生成連貫且準確的文字描述，這一任務結合了計算機視覺（Computer Vision）與 自然語言處理（Natural Language Processing, NLP）技術。其不僅涉及對圖像中物件的識別，還需要理解這些物件的屬性、動作，以及它們之間的複雜互動與關係，進而準確傳達場景的上下文資訊。
基於 Transformer 的方法在圖像描述生成方面帶來了顯著進展。這些方法在處理序列關係方面表現優異，能夠生成細緻且具語義價值的描述。為了充分發揮 Transformer 的潛力，關鍵在於提取並融合圖像中的重要特徵，包括物件本身的細節資訊以及其所處的上下文環境，以提升描述的完整性與準確性。
[ 加入 CIO Taiwan 官方 LINE 、 Facebook 與 IG，與全球CIO同步獲取精華見解 ]
早期的基於區域（Region-based）Transformer 方法依賴於高級物件偵測網絡提取的物件級特徵，能夠提供圖像內容的詳細與具體資訊，特別是關於物件的資訊。另一方面，基於網格（Grid-based）的方法則使用網格級的局部特徵，雖然在某些情境下能夠有效運作，但往往會忽略對特定物件的細節描述。此外，同時使用區域與網格特徵可能會在注意力機制（Attention）過程中引入語義噪聲（Semantic Noise），影響描述的準確性。
如圖 1 所示，僅依賴區域特徵或網格特徵，往往無法完整表達圖像的內在屬性。為了生成具有更多背景與上下文資訊的圖像描述，我們需要開發一個能夠在編碼過程中捕捉關鍵視覺特徵的框架。因此，我們透過引入額外元素來強化這些特徵，包括背景特徵（見圖 1 (e)）與高頻局部網格特徵（見圖 1 (f)）。在解碼階段，我們設計了一個優化的描述生成模型，使其能夠有效解讀這些增強的視覺特徵，生成語境豐富且準確的圖像描述。
複雜的語言解碼器、大型語言模型（LLMs）以及視覺 ─ 語言模型（Vision-Language Models, VLMs）的引入，已顯示出提升圖像描述（Image Captioning）準確性的潛力。然而，這些模型的實施仍面臨諸多挑戰，例如數據可用性不足、計算資源限制、模型泛化能力不足、標註質量問題，以及視覺與語言模態（Vision-Language Modalities）之間的複雜整合。這種整合涉及圖像與文本特徵的對齊與微調（Alignment & Fine-tuning），以確保兩者能夠有效互動。因此，當前迫切需要發展能夠更好地利用圖像獨特特徵，並提供更豐富且具語境性的圖像描述的方法。
本研究旨在利用多重視覺特徵（Multiple Visual Features）以及多流交叉注意力（Multi-Stream Cross Attention, MSCA），提升圖像描述的效果，特別著重於背景資訊與細緻的語境理解，並將這些資訊有效地轉換為自然語言描述。
本研究的主要貢獻如下：
- 我們提出了兩種圖像描述框架：BFC-Capb 及其擴展版本 BFC-Capf。這兩種框架結合多種視覺特徵，包括背景特徵（Background Features）、高頻特徵（High-Frequency Features），以及物件級區域特徵（Object-Level Region Features）及其相互作用。
- 我們設計了一個背景特徵提取模組（Background Feature Extraction Module）。該模組專注於提取背景資訊，並透過移除與物件區域重疊的網格（Grids Overlapping with Bounding Boxes），確保背景資訊的完整性。此外，我們還提出了一個物件 ─ 背景注意力模組（Object-Background Attention Module），用於捕捉物件與背景之間的相互作用與關係。
- 我們提出了一個高頻網格特徵提取模組（High-Frequency Grid Feature Extraction Module）。透過提取高頻細節特徵，此模組能夠增強圖像描述的細緻度，提升視覺內容的整體語境豐富性。
- 我們引入多流交叉注意力機制（Multi-Stream Cross Attention, MSCA）。MSCA 能夠減少視覺與語言模態之間的鴻溝（Modality Gap），並捕捉文本特徵 與高頻網格特徵、物件、背景及其關係的交互作用。
- 我們在 MS COCO 圖像描述基準（MS COCO Image Captioning Benchmark）上進行了廣泛的實驗。透過傳統與最新的評估指標，驗證了我們的方法在生成具有更多背景資訊與精煉語境細節的圖像描述方面的有效性，無論是在定量（Quantitative）還是定性（Qualitative）方面，都取得了更優異的表現。
建議的方法
在本節中，我們介紹了兩種方法，特別是基於背景的圖像字幕 BFC-Capb 及其擴展變體 BFC-Capf 頻率引導的上下文圖像字幕，以使用更多背景和簡潔的上下文資訊增強圖像字幕。
給定一個輸入影像，兩種方法都使用更快的 R-CNN 來提取帶有邊界框的物件級區域特徵。背景特徵提取模組透過丟棄與區域特徵的邊界框高度重疊的網格來利用背景特徵。為了提取高頻網格特徵，將網格特徵轉換到頻域並濾除低頻成分。高頻網格特徵增強了對於徹底的視覺理解至關重要的細節，並豐富了字幕中的整體內容。編碼層由多頭注意力（MHA）和前饋網路（FFN）組成，然後進行加法和層歸一化。基於變壓器的解碼器為給定的圖像產生標題。
第一種方法：BFC-Capb
在本節中，我們介紹了一種簡單有效的圖像字幕方法，利用背景特徵來豐富生成的字幕，並提供更多的背景資訊。圖 2 顯示了該方法的總體架構。
給定輸入影像，使用更快的 R-CNN 提取具有邊界框和局部網格特徵的物件級區域特徵。背景特徵提取模組透過丟棄與區域特徵的邊界框高度重疊的網格來利用背景特徵。物件注意（OA）模組以區域特徵作為輸入，並在物件層級找到區域特徵之間的相互作用和關係。類似地，背景注意力（BA）模組獲得與區域特徵的邊界框不重疊的網格的背景特徵的注意力分數。然後，物件背景注意（OBA）模組找到物件特徵和背景特徵之間的相互作用和關係。 OA 模組和 OBA 模組的輸出分別以α∈[0,1] 和（1-α）加權，然後組合後發送到編碼器。編碼層由 MHA 和 FFN 組成，然後進行加法和層規範化。每個第二編碼層的特徵被連接起來並傳遞到多層感知器 (MLP)。結果輸出由參數β∈[0,1] 加權，然後與最後一層編碼層的特徵結合，再發送到解碼器。此外，部分產生的字幕在經過詞嵌入、位置嵌入和多頭注意力 (MHA) 處理後，被發送到解碼器。基於變壓器的解碼器為給定的圖像產生標題。
第二種方法：BFC-Capf
在本節中，我們將介紹第二種影像字幕方法，該方法具有高頻網格和背景特徵，以及物件層級區域特徵及其交互作用。
圖 3 展示了此方法的總體架構。給定輸入影像，使用更快的 R-CNN 提取具有邊界框和局部網格特徵的物件級區域特徵。透過刪除與區域特徵的邊界框重疊的網格來提取背景特徵。透過濾除低頻成分，獲得網格特徵中的高頻成分。使用四個編碼模組來尋找視覺特徵的有效表示，包括物件層級區域特徵、背景特徵、物件上下文互動和高頻網格特徵。所有編碼層的特徵被連接並加權以減少低階資訊遺失。多頭注意力（MHA）應用於具有單字和位置嵌入的部分完成的字幕。具有多流交叉注意的基於變壓器的解碼器以自回歸方式為給定圖像生成標題。
實驗結果與分析
◾ 實作細節
為了提取視覺特徵，我們採用了 DLCT [1] 中概述的方法，利用預先訓練的更快 R-CNN。視覺特徵包括使用 ResNeXt-101 提取的區域和網格特徵。區域特徵表示來自偵測到的物體周圍邊界框的局部影像特徵的集合。 Faster R-CNN 使用擴張步幅為 1 的 C5 主幹和 1×1 RoIPool，其偵測頭由兩個完全連接的層組成。為了提取網格特徵，模型消除了擴張並採用了標準 C5 層。網格大小為 7×7，特徵維度為 2048。
在我們的實作中，我們將模型配置為維度（dmodel）為 512 和 8 個注意力頭。集束搜尋設定為 5，β 為 0.2，編碼器和解碼器均由 BFC-Capb 的 5 層和 BFC-Capf 的 3 層組成。在交叉熵 (CE) 訓練階段，批量大小設定為 50，而在自批判序列訓練 (SCST) 階段 [3]，批量大小增加到 100。我們在兩個階段都使用 Adam 優化器來訓練我們的模型。對於 BFC-Capf，我們也採用了師生 (TS) 訓練，其中我們利用兩個現有模型，特別是 DLCT 和 LSTNet [3] 作為教師模型。在這種情況下，我們的模型充當學生模型，並使用基本事實作為硬目標、以教師模型的預測作為軟目標進行訓練。在訓練過程中，我們結合了對應於硬目標和軟目標的損失函數。
◾ 數據集
我們使用影像字幕領域廣受認可的 MS COCO 基準資料集 [4] 進行了實驗驗證並評估了我們方法的有效性。 MS COCO 資料集包含超過 120,000 張圖像，每張圖像都有五個人工註釋的標題。為了確保與現有方法進行公平比較，我們嚴格遵循 [5] 中所述的資料集分割（即 Karpathy 分割）。這種分割方式分配 5000 張影像用於驗證，另外 5000 張用於測試，其餘用於訓練。
◾ 評估指標
為了衡量我們方法的性能，我們遵循標準評估協議，涵蓋傳統和現代指標。具體來說，除了 BLEU-1 [6]、BLEU-4 [6]、ROUGE-L [7] 和 CIDEr [8] 之外，我們還利用了尖端的圖像字幕評估指標，例如 BERTScore [9]、CLIP-S [10]、RefCLIP-S [10]、PAC-S [11] 和 RefPACS [11]。 BERTScore 使用上下文嵌入計算標記相似度，與人類判斷更接近。 CLIP-S 是一種無參考指標，它採用 CLIP 模型來評估圖像-標題相容性，無需依賴參考即可反映人類的判斷。 RefCLIP-S 是 CLIP-S 的參考增強版本，同時考慮了影像標題和候選參考相容性。 PAC-S 是一種基於對比的無參考影像字幕評估指標，利用影像字幕對和其他合成生成的正片。 RefPAC-S 是 PAC-S 的變體，它還考慮了一組參考標題。與傳統的影像字幕評估指標相比，這些最新指標對於具有挑戰性的例子表現出了更強的穩健性。
◾ 性能比較
我們進行了幾項實驗來驗證我們方法的有效性，並且我們的方法與 MS COCO Karpathy 測試分割中的現有相關模型相比的性能總結在表 1 中。
在此表中，為了確保公平比較，我們僅包括那些使用具有區域和網格特徵的類似策略並在解碼過程中使用簡單變換器的現有方法，而不是大型語言或視覺語言模型。儘管現有的評估指標通常只評估字幕，而不專門評估背景和上下文資訊的整合，但從這種性能比較中仍然可以明顯看出，我們的方法在數量上比現有方法具有競爭力，在自我批評序列訓練期間獲得了較高的 BLEU-1、BLEU-4 和 CIDEr 分數。
由於本表中使用的大多數指標都是傳統的基於 n-gram 的指標，不能完全捕捉人類的判斷，我們使用最近基於嵌入的評估指標進一步評估我們的方法，如表 2 所示。這些指標顯示我們的方法表現優於基於區域的 Transformer 和 M2 Transformer。雖然與基於 n-gram 的指標相比，基於嵌入的評估指標更能夠捕捉人類判斷，但它們仍然缺乏理想的人類判斷。此外，傳統和最近的評估指標通常都不會評估字幕中融入的背景和上下文資訊的程度。因此，我們透過分析人類感知的定性結果來驗證我們的方法，該方法旨在增強情境理解。
◾ 定性分析
我們證明了我們的方法對於具有更多背景和上下文資訊的圖像字幕的有效性，如圖 4 中的定性結果所示。我們的方法產生的字幕比 M2 Transformer 和基於區域的 Transformer 包含更多的背景和上下文資訊。
在圖 4 (a) 中，我們的方法提供了更多有關物體和背景的細節。在圖 4 (d) 中，我們可以觀察到我們的方法提供了有關物件屬性的更多信息，例如：「綠色花瓶」。此外，圖 4 中所有圖像的標題提供了有關背景內容的更詳細資訊。鑑於這些定性結果，很明顯我們的方法能夠產生具有更多背景和上下文資訊的標題。
結論
在本文中，我們提出了兩個具有背景和高頻視覺特徵的圖像字幕框架，以產生具有更多視覺理解和上下文相關性的字幕。高頻特徵可以銳化關鍵的細節，背景視覺特徵可以添加全面的背景。此外，我們利用物件層級區域特徵及其與背景特徵的交互作用。我們還引入了一個多流交叉注意模組，它彌合了語言和視覺之間的模態差距，並發現文字特徵與各種視覺特徵的關係，包括高頻局部特徵、物件層級特徵、上下文特徵以及它們的相互作用。此外，我們在編碼過程中整合特徵融合以利用低階視覺特徵。我們的圖像字幕方法經過大量實驗驗證，能夠提供具有豐富背景和上下文資訊的有效圖像字幕。
參考文獻：
[1] Luo, Yunpeng, Jiayi Ji, Xiaoshuai Sun, Liujuan Cao, Yongjian Wu, Feiyue Huang, Chia-Wen Lin, and Rongrong Ji. "Dual-level collaborative transformer for image captioning." In Proceedings of the AAAI conference on artificial intelligence, vol. 35, no. 3, pp. 2286-2293. 2021.
[2] Steven J Rennie, Etienne Marcheret, Youssef Mroueh, Jerret Ross, and Vaibhava Goel. Self-critical sequence training for image captioning. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 7008–7024, 2017.
[3] Yiwei Ma, Jiayi Ji, Xiaoshuai Sun, Yiyi Zhou, and Rongrong Ji. Towards local visual modeling for image captioning. Pattern Recognition, 138:109420, 2023.
[4] Lin, Tsung-Yi, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C. Lawrence Zitnick. "Microsoft coco: Common objects in context." In Computer Vision–ECCV 2014: 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V 13, pp. 740-755. Springer International Publishing, 2014.
[5] Karpathy, Andrej, and Li Fei-Fei. "Deep visual-semantic alignments for generating image descriptions." In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 3128-3137. 2015.
[6] Papineni, Kishore, Salim Roukos, Todd Ward, and Wei-Jing Zhu. "Bleu: a method for automatic evaluation of machine translation." In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318. 2002.
[7] Lin, Chin-Yew. "Rouge: A package for automatic evaluation of summaries." In Text summarization branches out, pp. 74-81. 2004.
[8] Vedantam, Ramakrishna, C. Lawrence Zitnick, and Devi Parikh. "Cider: Consensus-based image description evaluation." In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4566-4575. 2015.
[9] Zhang, Tianyi, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. "Bertscore: Evaluating text generation with bert." arXiv preprint arXiv:1904.09675 (2019).
[10] Hessel, Jack, Ari Holtzman, Maxwell Forbes, Ronan Le Bras, and Yejin Choi. "Clipscore: A reference-free evaluation metric for image captioning." arXiv preprint arXiv:2104.08718 (2021).
[11] Sarto, Sara, Manuele Barraco, Marcella Cornia, Lorenzo Baraldi, and Rita Cucchiara. "Positive-augmented contrastive learning for image and video captioning evaluation." In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 6914-6924. 2023.
[12] Ting Yao, Yingwei Pan, Yehao Li, and Tao Mei. Exploring Visual Relationship for Image Captioning. In Proceedings of the European Conference on Computer Vision, 2018.
[13] Xu Yang, Kaihua Tang, Hanwang Zhang, and Jianfei Cai. Auto-Encoding Scene Graphs for Image Captioning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019.
[14] Wang, Depeng, Zhenzhen Hu, Yuanen Zhou, Richang Hong, and Meng Wang. "A text-guided generation and refinement model for image captioning." IEEE Transactions on Multimedia 25 (2022): 2966-2977.
[15] Herdade, Simao, Armin Kappeler, Kofi Boakye, and Joao Soares. "Image captioning: Transforming objects into words." Advances in neural information processing systems 32 (2019).
[16] Guo, Jinyu, Yuejia Li, Guanghui Cheng, and Wenrui Li. "Based-CLIP early fusion transformer for image caption." Signal, Image and Video Processing 19, no. 1 (2025): 1-10.
[17] Mundu, Albert, Satish Kumar Singh, and Shiv Ram Dubey. "ETransCap: efficient transformer for image captioning." Applied Intelligence 54, no. 21 (2024): 10748-10762.
[18] Wang, Yiyu, Jungang Xu, and Yingfei Sun. "CLIP-Driven Low-Cost Image Captioning." In 2024 International Joint Conference on Neural Networks (IJCNN), pp. 1-8. IEEE, 2024.
[19] Dubey, Shikha, Farrukh Olimov, Muhammad Aasim Rafique, Joonmo Kim, and Moongu Jeon. "Label-attention transformer with geometrically coherent objects for image captioning." Information Sciences 623 (2023): 812-831.
[20] Abdal Hafeth, Deema, and Stefanos Kollias. "Insights into Object Semantics: Leveraging Transformer Networks for Advanced Image Captioning." Sensors 24, no. 6 (2024): 1796.(本文授權非營利轉載，請註明出處：CIO Taiwan)
