Adversarial Text Generation via Feature-Mover's Distance (NIPS 2018)

[juravrik]

0. 論文

タイトル: Adversarial Text Generation via Feature-Mover's Distance
リンク: https://arxiv.org/abs/1809.06297
著者: Liqun Chen, Shuyang Dai, Chenyang Tao, Dinghan Shen, Zhe Gan, Haichao Zhang, Yizhe Zhang, Lawrence Carin
所属: Duke University, Microsoft Research, Baidu Research

1. どんなもの？

argmaxを近似することで強化学習を用いないでテキスト生成を行うGANに、WGANなどで使われるEarth Mover's Distance(Wasserstein Distance)を導入した。

2. 先行研究と比べてどこがすごい？

離散データを扱う場合モデルが微分不可能なため、単純には学習できない。
SeqGANなどではgeneratorに強化学習を導入することで、policy-gradientにより勾配を推定することでこの問題を解決した。
しかしこの方法には勾配のvarianceが大きく最適化が難しいという問題がある。TextGANではsoft-argmax近似により離散分布を連続分布に近似することでこの問題を解決した。
FMGANはこのアプローチをベースにEMD(特徴量間の距離を扱うことからこの論文中ではFeature-mover's distanceと呼ばれる)を導入することでTextGANの問題点であった学習の難しさの対応と性能の改善を実現した。

3. 技術や手法のキモはどこ？

soft-argmaxを用いたLSTMが生成したテキストと実際のテキストをCNNで特徴抽出を行い、生成された特徴量間でFMDを計算する。

Feature-mover’s distance

Cはコサイン類似度によるコスト行列、Tは以下のアルゴリズムで計算される最適輸送行列。(距離×輸送量のイメージ)

sinkhorn アルゴリズムを使うとさらなる高速化と安定化が実現できる(?)

Adversarial distribution matching with FMD

FeatureExtractorが所謂Discriminatorに相当しFMDを最大化するよう学習する。 Generatorは通常道理FMDを最小化するよう学習する。

4. どうやって有効だと検証した？

• 生成テキストのBLEU及び人手評価
  test-BLEU(高いと良い)による品質評価及びself-BLEU(低いと良い)による多様性の評価を行った。

文書長の長いWMTで多様性の低下があるものの既存手法を上回る品質と多様性を実現している。

人手評価でも従来手法より高い評価を得ていることがわかる。

• 学習済みモデルを使用したスタイル変換タスク
• 暗号解読タスク

5. 議論はある？

論文中でもスタイル変換と暗号解読を取り上げているが、image-captioningなどの単純な文書生成以外の様々なタスクへの応用が期待できる

6. 次に読むべき論文は？

• Yizhe Zhang, Zhe Gan, Kai Fan, Zhi Chen, Ricardo Henao, Dinghan Shen, Lawrence Carin. Adversarial Feature Matching for Text Generation In ICML, 2017.
• Martin Arjovsky, Soumith Chintala, Léon Bottou. Wasserstein Generative Adversarial Networks In ICML, 2017.