Semantic Image Synthesis via Adversarial Learning

[SeitaroShinagawa]

0. 論文

• タイトル: Semantic Image Synthesis via Adversarial Learning
• リンク: https://arxiv.org/abs/1707.06873
• 著者: Hao Dong, Simiao Yu, Chao Wu, Yike Guo
• 所属: Imperial College London
• 発表年: 2017
• 掲載: ICCV

1. どんなもの？

テキスト（説明文）による画像編集手法を提案（後にLanguage-based image editingと呼ばれている）。

2. 先行研究と比べてどこがすごい？

従来の、説明文からの画像生成(text-to-image)のタスクを拡張して画像も生成条件に追加することで、テキストに条件づけられた画像編集という新たなタスクを提案した。

3. 技術や手法のキモはどこ？

画像とテキストはそれぞれエンコードして16x16x512, 16x16x128の潜在変数にしてから結合する。入力テキストはDiscriminatorでマッチするかどうかを含めたmatching aware lossを用いる（https://arxiv.org/abs/1605.05396）

loss function

x: 実画像
φ(t): 画像とマッチした説明文の潜在変数
φ(^t): 画像とマッチしない説明文の潜在変数
φ(bar(t)): 画像と関連している（一部だけ違う）説明文の潜在変数

※φ(bar(t))は同一ドメインの画像（鳥と花）を指して「関連している」と定義しているので、実験ではbar(t) ∈ {t, ^t}である

4. どうやって有効だと検証した？

CUB, Oxford flowerデータセットで主観評価を実施。

5. 議論はある？

ソース画像とテキスト間で内挿した場合の生成結果を載せて、両方の潜在変数が有効に働いていることを確かめている。

6. 次に読むべき論文は？

• matching aware loss: https://arxiv.org/abs/1605.05396

[SeitaroShinagawa]

著者にコード(Pytorch v0.2)が公開されている
https://github.com/woozzu/dong_iccv_2017

[SeitaroShinagawa]

https://github.com/woozzu/dong_iccv_2017/blob/master/train.py#L78

mismatching textとrelevant textはそれぞれmatching textからのミニバッチ操作でできる。
mismatching textはmatching textのミニバッチを１つずらしてつくり、relevant textはミニバッチのうち半分のみをmismatching textと反対方向に１つずらしてつくっている。