Long Text Generation via Adversarial Training with Leaked Information(AAAI 2018)

[juravrik]

0. 論文

タイトル: Long Text Generation via Adversarial Training with Leaked Information
リンク: https://arxiv.org/abs/1709.08624
著者: Jiaxian Guo, Sidi Lu, Han Cai, Weinan Zhang, Yong Yu, Jun Wang
所属: Shanghai Jiao Tong University, University College London
発表年: 2018
掲載: AAAI

1. どんなもの？

Discriminator内で抽出された特徴量をGeneratorで利用することで特に長文において高品質なテキストの生成に成功

2. 先行研究と比べてどこがすごい？

強化学習を用いたGANによるテキスト生成において従来手法では特に長文の生成時報酬がめったに得られないことにより学習が困難であるという問題があった。
そこで階層型強化学習を利用し、Discriminatorの中間特徴を取り込むManagerモジュールとテキスト生成を行うWorkerモジュールのふたつでGeneratorを構成することで効率的な学習を実現した。

3. 技術や手法のキモはどこ？

Leaked Features from D as Guiding Signals

DiscriminatorにはCNNを使用し最終層の直前の特徴量をManagerにLeakさせる。
これにより二値の分類情報よりも多くの情報をGeneratorが利用できるようになる

Hierarchical Structure of G

Managerの目的はLeakされた情報から生成をガイドする有効な表現を獲得することにある。
Managerの勾配は以下のような現在のpolicyから推定される報酬Qを用いて以下のように定義される。

Workerは以下の報酬を最大化するよう学習する。

ManegerとWorkerの学習は別々に行う。

4. どうやって有効だと検証した？

先行研究であるSeqGAN及びRankGANと比較。
使用データセットは3種類。

• WMT News: 長文として使用
• COCO Image: Captions: 中間として使用
• Chinese Poems: 短文として使用
  これらについてBLEUスコアで評価。またCOCOとWMTについては人手での評価も行った。

長文であっても高い性能を実現している。

テキスト長ごとのLeakGANとのBLEUスコア差のグラフからも長文に対する強さがうかがえる

5. 議論はある？

• 全結合層で階層構造を置き換えようとしたところ学習が不安定になりうまくいかなかった
• 強化学習を用いたテキスト生成GANは基本的に学習が難しい

6. 次に読むべき論文は？

• Vezhnevets, A. S.; Osindero, S.; Schaul, T.; Heess, N.; Jaderberg, M.; Silver, D.; and Kavukcuoglu, K. FeUdal Networks for Hierarchical Reinforcement Learning. In arXiv preprint arXiv:1703.01161.

コメント

FMGAN論文の比較実験をみるとself-BLEUスコアが一貫してかなり高く、Leakさせていることもあり生成テキストの多様性に欠けているんじゃないかと思った