生物と機械の間(自然言語処理研究と徒然。DeepにLerning中)

自然言語処理研究@レベル1。「コンピュタと人間の相互理解を深める」を大きなテーマにしています。タスクは対話システム。分子生物学から興味が移動したため、生物と機械の間を探しています。生物をモデルにしたプログラムが好きです。

memory network を使って対話文を学習させる 3日目

続き

 

kenkyuublog.hatenadiary.jp

 

PCをお家に忘れてきてしまったので、論文読み。

 

●TOWARDS AI-COMPLETE QUESTION ANSWERING : A SET OF PREREQUISITE TOY TASKS

アブスト読んで見たら、どうやら、対話や QUESTION ANSWERING など、システムがどの程度人間的な論理的な思考(推移?)や理解ができてるかを計る新しい評価の仕方を提案しているみたいだ。

この評価方法のミソは、「QUESTION ANSWERING」に限らず、様々なタスクに対して、様々な評価観点から、システムがどれだけ人間の対話を理解できているかを図れるらしい。

また、この評価観点で 「QUESTION ANSWERING」に対して、memory networkは有効であることを示しているっぽい。

(QUESTION ANSWERINGにmemory networkを組み込む実装についてももっと描かれているかと思ったがそうでもないらしい。中身ちゃんと読んでないからわからないけど)

 

「A Knowledge-Grounded Neural Conversation Model」

のfact encoderの参考文献の箇所に

・End-to- end memory networks

・Memory net- works

・Towards AI-complete question answering

 

があったので、ざっとみてみたが、実装のきもとなるのは

End-to- end memory networks

みたいだ。

 

あと参考にしているのは。

・Learning End-to-End Goal-Oriented Dialog with Multiple Answers

・Dialog state tracking, a machine reading approach using memory network

 

かな。

 

ううーーー英語読めない!!

 

とりあえずいまの

End-to- end memory networks

の実装から変えたいのの1つとしては

 

①応答を単語ではなく、文章にすること?

②seq2seq型の対話システムにどう組み込めばいいか?

③memorydataを対話文と関係のないテキストデータに。学習データを対話文にすること

かな。

とにもかくにも出力を文章にすることが先かな、、、

そのためにはどうすれば。。。

 

・A Knowledge-Grounded Neural Conversation Model

・Rich Short Text Conversation Using Semantic-Key-Controlled Sequence Generation(2018)(IEEE)

・Learning End-to-End Goal-Oriented Dialog with Multiple Answers

・Dialog state tracking, a machine reading approach using memory network

 

をみながら、応答をどう文章にしているのかをまとめていきたい(できれば半コード。半アルゴリズムっぽく)。

 

数式からコードへ。

コードから数式へ。

 

研究は狂気的に楽しい。

よくまだ、わかってないけど。