論文読み：Augmenting Neural Response Generation with Context-Aware Topical Attention（2018）

有名どころの

Topic Augmented Neural Response Generation with a Joint Attention

先発（？）研究。

プレプリントっていうんでしょうか？

どんなもの？

seq2seq型の対話システムに、LDAを用いトピック情報を加え、トピック情報を含んだより意味のある応答ができるようになった。

先行研究と比べてどこがすごい？

seq2seq型対話システムのdiversity問題に対して、先行研究( A diversity-promoting objective function for neural conversation models)のように、他愛のない応答の生成を避けるのではなく、トピック情報を用いて、ダイバーシティ問題に取り組んだ点。また、そのことによって、より多く有益な情報を含んだ応答が生成できるようになった点。

技術や手法のキモはどこ？

・attentionを用いて、トピックワードを応答に出力しているところ。

（やっぱり単語に注目しているってことでいいんだよな）

・つまり、トピックアテンションをコンテクストのアテンションに組み込んでいること。

どうやって有効だと証明した？

評価方法は３つ。下記3つの評価観点で、良い数値を出したことにより、有効性を証明した。

①perolexity・・モデルが応答をどの程度予測できるかを示す。下記式を用いて、数値を出す。低ければ低いほど良い

②Distinct-1 & distinct-2・・unigrams and bigramsの数を数えている。高けunigrams and bigramsれば高いほど、情報量を多く含んだ文章とみなしている。（単純に文章のながさで評価しているということか）

③Human annotation・・人間による評価。評価基準は、関連性、自然さ、情報量の豊富さ。

議論はある？

とくに論文中に記述はない。ただ、Rich Short Text Conversation Using Semantic-Key-Controlled Sequence Generation（2017-IEEE）では、注意すべきキーワードを単語にいれると、それに引っ張られすぎて、意味の通らない応答を出しやすい。とかあったような。でも、これはcontextのattentionとドッキングしているから、そこを調整すればいい話なのか？自分的にこのシステムの問題点は、やっぱり、単語に応答が依存していることだと思うんだよな。うーんでもうまく言語かできない。作ってみたら、問題点もっとクリアに見えるのかな。

次に読むべき論文は？

→多様性の問題に取り組んだ元祖

・A diversity-promoting objective function for neural conversation models(2015)

→次に同じ人がかいている論文(git-hub有り！)

・Topic Augmented Neural Response Generation with a Joint Attention

→ここの研究を引用している中で最新のもののうち１つ

・Augmenting Neural Response Generation with Context-Aware Topical Attention

（2018-掲載冊子名どこだ）

→この研究の元になっているもので中次に読むべきもの

（外部情報を入れている系）

・A neural network approach to contextsensitive generation of conversational responses.

・How not to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation