memory network を使って対話文を学習させる １日目
前回の延長線。
やりたい実装を１ヶ月でやるには、そろそろ、memory networkに対話システムにどう生かすかの検討に移行しなければならない。
絶対絶対。この１ヶ月で実装するっていうスピード感とか
２５本の論文を１週間でまとめるとか。
このスピード感が絶対絶対大事なんだと思う。
さて、私が自分のmemorynetworkを組み込んだ対話システムを実装するにあたって参考にしたいな、と思っているのは下記２編の論文だ。
下記２編の論文のネットワークを実装し、自分のネットワークの形成に役立てたい。
①Rich Short Text Conversation Using Semantic-Key-Controlled Sequence Generation（2018）(IEEE)
②A Knowledge-Grounded Neural Conversation Model(2017)
本当は、①の実装をやりたいが、attentionなど、やってみたことないことが盛りだくさんのため、また、attentionじゃなくencoderとしてmemory networkをとりいれている点がきになるため②から実装したい。
A Knowledge-Grounded Neural Conversation Model(2017)
のfact encoder部分を主に参考にする。
fact encoderを形作っているは、主に以下の２つの論文
①End-To-End Memory Networks
②TOWARDS AI-COMPLETE QUESTION ANSWERING : A SET OF PREREQUISITE TOY TASKS
①は今までサイト様からプログラムをいじらせてもらっていたものだ。
②は前提条件とか、クラスタリングって言ってるから、おそらくだけど、事前に知識だけを独立して学習させるみたいな感じなのかな？（違うかもしれない）
→1/4日 全然違った！！
読んでみよう。
また、End-To-End Memory Networks関係で読んでおきたい論文もある。
- Weston, Jason, Sumit Chopra, and Antoine Bordes. "Memory networks." arXiv preprint arXiv:1410.3916 (2014).
- Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. "End-to-end memory networks." Advances in neural information processing systems. 2015.
- Kumar, Ankit, et al. "Ask me anything: Dynamic memory networks for natural language processing." International Conference on Machine Learning. 2016.
