生物と機械の間(自然言語処理研究と徒然。DeepにLerning中)

自然言語処理研究@レベル1。「コンピュタと人間の相互理解を深める」を大きなテーマにしています。タスクは対話システム。分子生物学から興味が移動したため、生物と機械の間を探しています。生物をモデルにしたプログラムが好きです。

このブログについて

●このブログについて● 仕事をしながらほぼ独学で自然言語処理の研究を細々頑張る人のブログ。 タスクは外部知識を利用した対話システムです。 コンピュタと人間のコミュニケーションレベルの向上。それにより多様な人がより深くコンピュタからの恩恵を得られ…

勉強法で抑えるべきポイントとは? ゆー式★勉強法マップで自分に足りない要素を探そう!

前回の以下の記事でもお伝えしましたが、適切な勉強法は人によって違います。 honblog.hatenadiary.jp けれども、勉強法には大きく抑えるべきポイントがあると思っています。それは 「動機」と「決意」 そして、「モチベーション」「進捗管理」「集中力」「…

日々のブログ

もの捨てたい。 コロナで、なるべく家にいると、自分の部屋ってもの多いなぁ、頭の中ごちゃごちゃするなぁってふいに嫌になる。 勉強の休憩時間に、断捨離を決行する。 目指せ、身軽なシンプルライフ! 来年の1月までには、本の中の暮らしみたいな、シンプル…

スモールステップ

一日一論文まとめたい。 と宣言したが、色々私事で思うことがあって一回ストップ。覚悟が決まるまで、次のステップには進まない。お仕事も年末で頑張りすぎて、ダウンしていたし。 人から疲れてるよ、とか顔死んでるよ、とか言われてたから、休むべきと学習…

【論文読み】Emotional Chatting Machine: Emotional Conversation Generation with Internal and External Memory(AAAI -2018)

どんなもの? 雑談型対話システムに感情を組み込むことでより豊かな応答をしようと言うシステム。 下記3つの機構で感情を制御 ①Emotion Category Embedding ②Internal Memory ③External Memory 先行研究と比べてどこがすごい? 先行研究には、下記3点の問…

論文読み:Interaction-Aware Topic Model for Microblog Conversations through Network Embedding and User Attention(COLING2018)

どんな研究? 読み途中 ・対話文から、話題の推定。

論文読み: Diversity-Promoting Objective Function for Neural Conversation Models(2015)

どんなもの? タスクは、応答の多様性が低い問題の解決に挑む。 seq2seqの目的関数をいじり、モデルの学習の際、良く使われる応答を生成しようとすると、ペナルティを与えるような目的関数を設定した(MMI)。 To the best of our knowledge, this paper rep…

論文読み:Rich Short Text Conversation Using Semantic Key Controlled Sequence Generation

どんなもの? ・seq2seq型対話システムの応答に「多様性がない、情報量が少ない問題」「複数の生成候補から、トピックや情報量を考慮して生成をコントロールするのは無難しい」この二つのタスクに対して、「external memory」という外部メモリを利用する提案…

論文読み:Augmenting Neural Response Generation with Context-Aware Topical Attention(2018)

有名どころの Topic Augmented Neural Response Generation with a Joint Attention 先発(?)研究。 プレプリントっていうんでしょうか? どんなもの? seq2seq型の対話システムに、LDAを用いトピック情報を加え、トピック情報を含んだより意味のある応答…

11月反省 3連休 ホゲーっとしている

3連休。見事にお布団でダラダラホゲホゲして終わった。 何というか、エネルギーが枯渇していて動けない感じだった。 ひたすらに眠く、2日間は本当にただただお布団で寝ていた。 季節の変わり目だからだろうか。 11月、気を引き締めていこう。 平日3時から…

鈍い脳みそで何やったってダメだ

今日、体調悪く1日布団から抜け出せずゴロゴロ。 夜にようやく起き上がり、作業に移る。 そのとき思ったのが、 鈍い脳みそで何やってもダメだ。 ということ。 今まで、なんてグダグダやってたんだ。と感じる。 LFDAに1ヶ月近くもかけてしまったのからも言え…

Open NMTで発狂する

Open NMTがうまくいっていたのに、エラーが出て、tensorflowとか色々入れ直したら、openNMTのインストール自体もうまくいかなくなった 3時間を無駄に せっかく3時からいるのに。何気なさすぎるファイル処理とかで1時間かかっちゃうし 多分作業的なプログ…

TwitterAPI完成!

続き kenkyuublog.hatenadiary.jp 発狂したかいあってTwitterAPIが完成する。 ただ、学校のPCの1台では無反応。 返答がNoneになる。

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。11

続き kenkyuublog.hatenadiary.jp 終わった! 下記の内容のデータセットをつくった。原文,LFDA推定に使った単語,topic番号,topword,topwordの分散表現の平均(先生の方式使いたい),TOPWORDの分散表現に近い単語,それぞれのtopicの推定確率, よし、これで ト…

TwitterAPI で発狂する

やっぱり色々データ足りないなぁと思って Twiiter API再構築。 申請とかどうなのかな?って思ってたけど、使えるように。 けど、学校のマシンでできない、、、なんで〜〜〜 streamの変数がNONEなんだけど、 エラーじゃなくてNONEなんだけど。 のパソだと上手…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。10

続き kenkyuublog.hatenadiary.jp LFDAノイズ減らしたり、パラメータ調整したやつ結果出たけど、topwordのコヒーレンスは上昇したけど、普通にクラスタリングは微妙な感じ。 でも、一回文章生成まで行きたい!自分のモチベーションのために。 ノイズ減らすと…

seq2seqでsemanticmemoryを作る 1

ぼーっとしてなかなか集中力でず、禁断コーヒーに手を出してしまう。 シャキッ。集中できた。 けど、やっぱり集中力とか色々有限なんだなぁと思う。うーむ。 seq2seqを用いてRNNAE作ろうと思った。 前にもtensorflowで作ったことがあるので、楽勝だろうと思…

最近思うこと、研究は山登り。

研究は山登りに近いと思う。 ザッザと登頂に向けて、うんしょこらしょと登って行くイメージ。 今まで、仕事と同じようにやっていたけど、うまくいかなかった。 なので、土日は山登りするぞって感覚でいる。 今週だれてしまっていたので、 鬼速PDCA 山登りメ…

よっしゃ!今週で荒削りでも文章生成まで行くぞ!

ちまちまLFDAなどをやっており、データのデカさに悩ませられ、 データ作成だけで1ヶ月も使ってしまった。 もっとスマートなやり方すればらぶん3日で終わった。 教訓:愚直にやるな。スマートにやる方法を必死こいて考えろ あと、また鉄欠乏になってきたた…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。9

続き kenkyuublog.hatenadiary.jp 頭の中がやることで、やりたいことでごちゃごちゃしてイマイチ集中できず。 優先順位。一つひとつ! 部屋に入ったらやること。 ▪️①目標を叫ぶ(9月までに実験終わらし、文章にまとめる。1週間に40時間研究する)。 ▪️②…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。8

続き kenkyuublog.hatenadiary.jp 最近きちんと電車の時間は研究!って出来ていない。余計なことしてる。 電車の時間は研究以外のことはやらない!絶対だ。 そのほかのことは降りてから。 そして、今日のノルマが終わらなかったら、駅から離れて家に帰らない…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。7

kenkyuublog.hatenadiary.jp うだうだスケジューリングが下手で データのリムーブすら終わっていない状態 精度向上のアプローチの方向性を決めて、何をどう優先順位つけて、しかも一つ一つやる意識が足りなかった。無駄に力が分散していた。 ひとつ、ひとつ…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。6

続き kenkyuublog.hatenadiary.jp 今日やったこと。 LFDAのコヒーレンスの評価メトリクスについて書かれた論文のまとめ。 LFDAを使ったやつの大体の評価と、どういったパラメタでやればいいのかはわかったから。LFDA(LDA)が他タスクに生かすのにはどれぐら…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。5

続き kenkyuublog.hatenadiary.jp コヒーレンスの評価のプログラムを書いていた。 がげきおそ、途中で終わる。 普通1時間で描けるのに。 土日集中して長い時間できないのなんとかしなくちゃ 焦ってまとめて進めないで後で痛い目見るので、 一回LFDAプログラ…

研究の土台は、美容 (筋トレ・マッサージ と 料理 と 掃除)

最近思うこと 最近時間のかかる娯楽に時間を割けなくなったため(生き残ったのはピアノぐらい)、今年度は時間コスパの高い「美容を娯楽に」をテーマに生活していた。 具体的にやっていたのは下記メソッド(私命名) ・本メソッド(身に付けたいスキルの、初…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。4

続き kenkyuublog.hatenadiary.jp ●今日のやりたかったこと→その成果⇨なぜできなかった?なぜできた? ・コヒーレンスの評価→計算式をどうプログラムに反映すればいいのかわからず。類似度の中央値じゃダメなのか ⇨だらだらやってしまう。しっかり時間計って…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。3

続き kenkyuublog.hatenadiary.jp 遅すぎる 作業が。 今日中にコヒーレンスの評価がしたかったのに、それすらできていない。 意識に上る回数。研究のトリガーを沢山作らないとな。

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。

続き kenkyuublog.hatenadiary.jp 今週中にやりたいのは、 ★・twiiterの推定が途中で切れてるから、それをきっちり10万文やる! ★wikipediaで学習し、推定をtwitterにしてみる?(うまく行く気があまりしない) ・twitterデータの「こと」「もの」「その」…

LFDAを実験ようにふわっとしてやってたのを、改めて精密にやる。

ふわっと続いている。 kenkyuublog.hatenadiary.jp LFDAを終わり、そのデータを用いて色々いじったけど、結果があまりよくない。 通しでやってみた感触を大事に、LFDAの精度を上げる。 来週やることは2つ ・LFDAの精度を参考文献レベルに上げる。 ・git-hub…

kearsを使ってmultiな入力と出力NN 8

続き kenkyuublog.hatenadiary.jp 報告書の提出が終わり、またもこちらに戻ってきた。 ダミーデータで動いていたものの、そもそもLSTMを使ったmultiNNとかじゃあかんということに気づく。 やっぱり、自分で作りたいもの作るには、しっかり理解する必要がある…