生物と機械の間(自然言語処理研究と徒然。DeepにLerning中)

自然言語処理研究@レベル1。「コンピュタと人間の相互理解を深める」を大きなテーマにしています。タスクは対話システム。分子生物学から興味が移動したため、生物と機械の間を探しています。生物をモデルにしたプログラムが好きです。

memory network を使って対話文を学習させる 1日目

前回の延長線。 

kenkyuublog.hatenadiary.jp

 

やりたい実装を1ヶ月でやるには、そろそろ、memory networkに対話システムにどう生かすかの検討に移行しなければならない。

 

絶対絶対。この1ヶ月で実装するっていうスピード感とか

25本の論文を1週間でまとめるとか。

このスピード感が絶対絶対大事なんだと思う。

 

さて、私が自分のmemorynetworkを組み込んだ対話システムを実装するにあたって参考にしたいな、と思っているのは下記2編の論文だ。

 

下記2編の論文のネットワークを実装し、自分のネットワークの形成に役立てたい。

 

Rich Short Text Conversation Using Semantic-Key-Controlled Sequence Generation(2018)(IEEE)

A Knowledge-Grounded Neural Conversation Model(2017)

 

本当は、①の実装をやりたいが、attentionなど、やってみたことないことが盛りだくさんのため、また、attentionじゃなくencoderとしてmemory networkをとりいれている点がきになるため②から実装したい。

 

A Knowledge-Grounded Neural Conversation Model(2017)

のfact encoder部分を主に参考にする。

 

fact encoderを形作っているは、主に以下の2つの論文

End-To-End Memory Networks

TOWARDS AI-COMPLETE QUESTION ANSWERING : A SET OF PREREQUISITE TOY TASKS

 

①は今までサイト様からプログラムをいじらせてもらっていたものだ。

②は前提条件とか、クラスタリングって言ってるから、おそらくだけど、事前に知識だけを独立して学習させるみたいな感じなのかな?(違うかもしれない)

→1/4日 全然違った!!

読んでみよう。

 

また、End-To-End Memory Networks関係で読んでおきたい論文もある。

  • Weston, Jason, Sumit Chopra, and Antoine Bordes. "Memory networks." arXiv preprint arXiv:1410.3916 (2014).
  • Sukhbaatar, Sainbayar, Jason Weston, and Rob Fergus. "End-to-end memory networks." Advances in neural information processing systems. 2015.
  • Kumar, Ankit, et al. "Ask me anything: Dynamic memory networks for natural language processing." International Conference on Machine Learning. 2016.