生物と機械の間(自然言語処理研究と徒然。DeepにLerning中)

自然言語処理研究@レベル1。「コンピュタと人間の相互理解を深める」を大きなテーマにしています。タスクは対話システム。分子生物学から興味が移動したため、生物と機械の間を探しています。生物をモデルにしたプログラムが好きです。

このブログについて

●このブログについて●

仕事をしながらほぼ独学で自然言語処理の研究を細々頑張る人のブログ。

タスクは外部知識を利用した対話システムです。

コンピュタと人間のコミュニケーションレベルの向上。それにより多様な人がより深くコンピュタからの恩恵を得られるようにする。また、新たな文化を創出するを目標に。

論文まとめ、論文実装、日記、など。

 

論文習慣

1日10分とにかく論文を読む。まとめる。を2019年12月まで試験的に実施中。

目標は、1日1論文。1週間1gitとか論文の実装もあげて生きたい。

新しく自然言語処理をやる人にために、自然言語処理の英単語帳も作りたい。と思っている。

*風邪や体調不良の時は、論文名だけあげて3分間でやれるところまで行い、後は(途中)とする。とにかく毎日続けることを大切に。 

良いものを作りたい

良いものを作りたい(クールでかっちょいいものを作りたい!)

知りたい!(知能の不思議を)

 

自己紹介

お仕事をしながら、細々と個人で研究者として一人前になれるよう足掻いています。やる気は十分!ですが、自分の能力のなさにうえってなってます。時間の使いかた、元気の保ちかた、効率的なやり方、などをもっとあげていかないととてもたちゆかないなと思っているため、ライフハックなどに興味津々です。ちなみにお仕事の方では、「文献情報をより便利に、より早く」を目標にしています。

分子生物学から興味が移動したため、生物をモデルにしたプログラムが好きです。言語獲得や認知などにも興味があります。生物と機械の間を探しています。

ピアノと読書が娯楽です。好きなものは美人とスーツ。最近からだを鍛えるのが楽しいなぁと思っています。

 

 

開始日:2017-8-6。

 

スモールステップ

一日一論文まとめたい。
と宣言したが、色々私事で思うことがあって一回ストップ。

覚悟が決まるまで、次のステップには進まない。

お仕事も年末で頑張りすぎて、ダウンしていたし。
人から疲れてるよ、とか顔死んでるよ、とか言われてたから、休むべきと学習。

ただ、ゆるゆるとブログ、続けたいのでスモールスモールステップ。
毎日一日開く!だけを目標に。

来年は、アウトプットをより自分の進みたい道に直接繋がって人の役に立つようなのにしてみたいな。
とすはと、GitHubに作ったのあげたり、英論文まとめ投稿か?あと、競プロやったり、英語ももっとがんばりたいな、爆速で論文読めるよう、

自分でコントロールできることをひたすらがんばりたい。

【論文読み】Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory(AAAI -2018)

どんなもの?

雑談型対話システムに感情を組み込むことでより豊かな応答をしようと言うシステム。

下記3つの機構で感情を制御

Emotion Category Embedding

Internal Memory

External Memory

 

先行研究と比べてどこがすごい?

先行研究には、下記3点の問題点があった、それを解決する。

①感情報情報のついた、対話文を収集するのが難しい。何故ならば、それはとても主観的なものだから。同じ文章でも感じ方が違うように。

②感情情報を自然に反映させるのが難しい。文法情婦や単語情報を壊さず。つまり、感情方法を反映させすぎて、不自然な応答になる。

③???先を読みすすめる


技術の肝はどこ?

上記問題点を解決するため、3つの技術を合わせている

肝は、クラスタリングで大規模な感情付対話の学習データを作成したこと

また、感情表現を自然に加えるため、インターナルメモリー(感情状態。コロコロ感情変わると困る)と感情表現をだすか、一般的な応答をだすのが正解か選択できるえくすたーなるメモリーとで調整。

 

論文読み:Interaction-Aware Topic Model for Microblog Conversations through Network Embedding and User Attention(COLING2018)

どんな研究?

読み途中

・対話文から、話題の推定。

論文読み: Diversity-Promoting Objective Function for Neural Conversation Models(2015)

どんなもの?

タスクは、応答の多様性が低い問題の解決に挑む。

seq2seqの目的関数をいじり、モデルの学習の際、良く使われる応答を生成しようとすると、ペナルティを与えるような目的関数を設定した(MMI)。

To the best of our knowledge, this paper represents the first work to address the issue of output diversity in the neural generation frameworkとの記述があるように、

NN系の文章生成タスクにおいて、多様性と言う観点を導入した最初の研究であるということが肝である。

 

先行研究と比べてどこがすごい?

先行研究では、翻訳に適したような目的関数を利用していた。この研究では、多様性という観点から目的関数を対話システムに合わせて作り直した。

(お〜!)

 

 

技術や手法のキモはどこ?

seq2seqの目的関数に、MMIを導入したこと。

基本的な考え方としては T̂ =argmaxT{log(T|S)−logp(T)}T^=argmaxT{log⁡(T|S)−log⁡p(T)} を最大化することで生成される文がいわゆる典型的な表現であった場合にペナルティを加える、というもの。相互情報量。なんだったっけ。

 

どうやって有効だと証明した?

評価方法

・BLUE(参照文(訳?):IMSDB data(映画の字幕データ)らしい)

https://arxiv.org/pdf/1510.03055.pdf

・unigrams and bigramsと数える

(he value is scaled by total number of generated tokens to avoid favoring long sentences)

とあるけど、単純に、1単語単位と2単語単位の種類の豊富さで評価するということなのだろうか。

 

議論はある?+自分のコメント

この研究はNN系に文章生成タスクにおいて多様性という観点を組み込んだ最初のタスク。

この先、その人の個人にパーソナライズした、また、その人の興味にお合わせたような応答を出力するシステムの研究が進むだろう。また、対話システムに限らずこの研究は、image-description gener や question answering,などのほかのタスクにも生かせるだろう。

(自分メモ)単純に、このdiversityのように、トピックが応答に合致していたら、スコアを上げる。っていう風にできないのかな。というか、そういう研究ありそうだけどな。(この被引用文献探し中)

 

次に読むべき論文は?

参考文献の中では、目的関数系の論文かしら

・Deep captioning with multimodal recurrent neural networks(2015)(ICLR)

あと元祖の目的関数知るのは元のseq2seqの論文だよね

・Building end-to-end dialogue systems using generative hierarchical neural network models(2016)(AAAI)

Sordoniさんすごいな〜〜〜

・後続の研究ではこんなのもある

Another Diversity-Promoting Objective Function for Neural Dialogue Generation (2018)(AAAI)

言ってた通り、パーソナル系の論文とか、イメージキャプションのもあったはずだ。



論文読み:Rich Short Text Conversation Using Semantic Key Controlled Sequence Generation

どんなもの?

 ・seq2seq型対話システムの応答に「多様性がない、情報量が少ない問題」「複数の生成候補から、トピックや情報量を考慮して生成をコントロールするのは無難しい」この二つのタスクに対して、「external memory」という外部メモリを利用する提案手法を持ちい解決に挑んだ。

 

先行研究と比べてどこがすごい?

先行研究と比べてすごいのは、semantic情報をどのように応答に反映させるかをコントロールできること。また、トピックに関連するキーワードを応答にしようとすると、生成の範囲が狭まるため、キーワードに複数用いて出力するようにした。

(でもこれtopicattentionと何が違うんだろう。)

 

技術や手法のキモはどこ?

(読み込んでないから恐らくだけど、)

下記2つのen-decのシステムが存在する。

・(en-dec)external memory

・(seq2eq)ベースとなる対話文の学習

よって、二つの学習情報が入った分散表現を手に入れることができる。

それぞれ、2系統で学習し。semantickey を用いて、二つの情報を結びつける。二つの情報(形は分散表現)を繋げるのにattentionを用いている。

 

肝は、外部知識に外部に取り付けて、応答をコントロールできるようにしたこと!(確かにここ大事だよね)。三上さんもコントロールできないのが問題だって書いてたし

 

どうやって有効だと証明した?

評価方法は2つ

①Diversity・・・・生成文章で出力された単語数/学習文中にあった全ての単語

おんなじような応答ばかり出していたら分子がへる

②Substantiality・・・文章中に含まれる意味ある単語の数

 

議論はある?

external semantic memory のデータのスパース性により、おかしな応答を出してしまうこともあった。

ので。将来的にはこの問題を解決したいと述べている。

 

自分コメント:この外部知識の機構を外にだして、コンとロールできるようにするってのは、私がやりたいとおもっていたことだし、外部のトピックjとかを持つ文章をRNNとかEn-decで与えて、attentionでやったのはなるほど!その手か!とおもった。わたしも文章単位でのattentionかけたいけどどうしようyっておもってたから。このやり方があったのかというう驚き

また、この論文中の、mantic key.

Regarding  the topic model  used in our experiments,  we

seek to train such a model that fit into the short text scenarの後につづくように、トピックモデルをつかうと(トピック)ナンバー単位でやると、キーワードに比べて曖昧すぎて、キーワードよち

 

次に読むべき論文は?

次に読むべき論文は

“A knowledge-grounded neural conversation model,(2017)arXiv preprin

一番似ている研究らし

・Emotional chatting machine: Emotional conversation generation with internal and external memory(2017)

・Controllable text generation,(2017)

 

論文読み:Augmenting Neural Response Generation with Context-Aware Topical Attention(2018)

有名どころの

Topic Augmented Neural Response Generation with a Joint Attention

先発(?)研究。

プレプリントっていうんでしょうか?

 

どんなもの?

seq2seq型の対話システムに、LDAを用いトピック情報を加え、トピック情報を含んだより意味のある応答ができるようになった。

 

先行研究と比べてどこがすごい?

seq2seq型対話システムのdiversity問題に対して、先行研究( A diversity-promoting objective function for neural conversation models)のように、他愛のない応答の生成を避けるのではなく、トピック情報を用いて、ダイバーシティ問題に取り組んだ点。また、そのことによって、より多く有益な情報を含んだ応答が生成できるようになった点。

 

技術や手法のキモはどこ?

・attentionを用いて、トピックワードを応答に出力しているところ。

(やっぱり単語に注目しているってことでいいんだよな)

・つまり、トピックアテンションをコンテクストのアテンションに組み込んでいること。

 

どうやって有効だと証明した?

評価方法は3つ。下記3つの評価観点で、良い数値を出したことにより、有効性を証明した。

①perolexity・・モデルが応答をどの程度予測できるかを示す。下記式を用いて、数値を出す。低ければ低いほど良い

②Distinct-1 & distinct-2・・unigrams and bigramsの数を数えている。高けunigrams and bigramsれば高いほど、情報量を多く含んだ文章とみなしている。(単純に文章のながさで評価しているということか)

③Human annotation・・人間による評価。評価基準は、関連性、自然さ、情報量の豊富さ。



議論はある?

とくに論文中に記述はない。ただ、Rich Short Text Conversation Using Semantic-Key-Controlled Sequence Generation(2017-IEEE)では、注意すべきキーワードを単語にいれると、それに引っ張られすぎて、意味の通らない応答を出しやすい。とかあったような。でも、これはcontextのattentionとドッキングしているから、そこを調整すればいい話なのか?自分的にこのシステムの問題点は、やっぱり、単語に応答が依存していることだと思うんだよな。うーんでもうまく言語かできない。作ってみたら、問題点もっとクリアに見えるのかな。

 

次に読むべき論文は?

→多様性の問題に取り組んだ元祖

・A diversity-promoting objective function for neural conversation models(2015)

→次に同じ人がかいている論文(git-hub有り!)

・Topic Augmented Neural Response Generation with a Joint Attention

→ここの研究を引用している中で最新のもののうち1つ

・Augmenting Neural Response Generation with Context-Aware Topical Attention

(2018-掲載冊子名どこだ)

 

→この研究の元になっているもので中次に読むべきもの

(外部情報を入れている系)

・A neural network approach to contextsensitive generation of conversational responses.

・How not to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation