Microsoft COCO Captions: Data Collection and Evaluation Server

[soneo1127]

0. 論文

https://arxiv.org/abs/1504.00325

1. どんなもの？

MS COCOの33万枚以上の画像画像について、150万以上のキャプションが提供される。
トレーニングと検証のために、5つの独立した人間が作成したキャプションが提供される。

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

ルール設定
•シーンの重要な部分をすべて説明してください。
•"There is"で文を始めないでください。
•重要でない詳細は説明しないでください。
•将来起こる、または過去に起こった可能性があることを説明しないでください。
•人が言うかもしれないことを説明しないでください。
•人々に名前を付けないでください。
•文章には最低8語を含める。

4. どうやって有効だと検証した？

自動字幕生成アルゴリズムの評価における一貫性を保証するために、評価サーバが使用されます。評価サーバーは候補のキャプションを受け取り、BLEU、METEOR、ROUGE、CIDErなどのいくつかの一般的な指標を使用してスコアを付けます。評価サーバーの使用方法が説明されています。

BLEUは機械翻訳のための評価。個々のセンテンスを比較するときにうまく機能しない。
https://qiita.com/inatonix/items/84a66571029334fbc874

ROUGEは自動翻訳のための評価。

METEORはMetric for Evaluation of Translation with Explicit ORderingの略。名前の通り、翻訳や要約に使われている。

CIDEr(Consensus-based Image Description Evaluation)
イメージキャプションの評価に用いられる。
http://katsura-jp.hatenablog.com/entry/2019/04/13/220348 （未読）

5. 議論はある？

6. 次に読むべき論文は？