論文読み： Diversity-Promoting Objective Function for Neural Conversation Models（2015）
どんなもの？
タスクは、応答の多様性が低い問題の解決に挑む。
seq2seqの目的関数をいじり、モデルの学習の際、良く使われる応答を生成しようとすると、ペナルティを与えるような目的関数を設定した（MMI）。
To the best of our knowledge, this paper represents the first work to address the issue of output diversity in the neural generation frameworkとの記述があるように、
NN系の文章生成タスクにおいて、多様性と言う観点を導入した最初の研究であるということが肝である。
先行研究と比べてどこがすごい？
先行研究では、翻訳に適したような目的関数を利用していた。この研究では、多様性という観点から目的関数を対話システムに合わせて作り直した。
（お〜！）
技術や手法のキモはどこ？
seq2seqの目的関数に、MMIを導入したこと。
基本的な考え方としては T̂ =argmaxT{log(T|S)−logp(T)}T^=argmaxT{log(T|S)−logp(T)} を最大化することで生成される文がいわゆる典型的な表現であった場合にペナルティを加える、というもの。相互情報量。なんだったっけ。
どうやって有効だと証明した？
評価方法
・BLUE（参照文(訳？)：IMSDB data(映画の字幕データ)らしい）
https://arxiv.org/pdf/1510.03055.pdf
・unigrams and bigramsと数える
(he value is scaled by total number of generated tokens to avoid favoring long sentences)
とあるけど、単純に、１単語単位と２単語単位の種類の豊富さで評価するということなのだろうか。
議論はある？＋自分のコメント
この研究はNN系に文章生成タスクにおいて多様性という観点を組み込んだ最初のタスク。
この先、その人の個人にパーソナライズした、また、その人の興味にお合わせたような応答を出力するシステムの研究が進むだろう。また、対話システムに限らずこの研究は、image-description gener や question answering,などのほかのタスクにも生かせるだろう。
・（自分メモ）単純に、このdiversityのように、トピックが応答に合致していたら、スコアを上げる。っていう風にできないのかな。というか、そういう研究ありそうだけどな。（この被引用文献探し中）
次に読むべき論文は？
参考文献の中では、目的関数系の論文かしら
・Deep captioning with multimodal recurrent neural networks（2015）(ICLR)
あと元祖の目的関数知るのは元のseq2seqの論文だよね
・Building end-to-end dialogue systems using generative hierarchical neural network models(2016)(AAAI)
Sordoniさんすごいな〜〜〜
・後続の研究ではこんなのもある
Another Diversity-Promoting Objective Function for Neural Dialogue Generation （2018）(AAAI)
言ってた通り、パーソナル系の論文とか、イメージキャプションのもあったはずだ。
