どんなもの？ ・seq2seq型対話システムの応答に「多様性がない、情報量が少ない問題」「複数の生成候補から、トピックや情報量を考慮して生成をコントロールするのは無難しい」この二つのタスクに対して、「external memory」という外部メモリを利用する提案…

有名どころの Topic Augmented Neural Response Generation with a Joint Attention 先発（？）研究。 プレプリントっていうんでしょうか？ どんなもの？ seq2seq型の対話システムに、LDAを用いトピック情報を加え、トピック情報を含んだより意味のある応答…

３連休。見事にお布団でダラダラホゲホゲして終わった。 何というか、エネルギーが枯渇していて動けない感じだった。 ひたすらに眠く、２日間は本当にただただお布団で寝ていた。 季節の変わり目だからだろうか。 11月、気を引き締めていこう。 平日３時から…

今日、体調悪く1日布団から抜け出せずゴロゴロ。 夜にようやく起き上がり、作業に移る。 そのとき思ったのが、 鈍い脳みそで何やってもダメだ。 ということ。 今まで、なんてグダグダやってたんだ。と感じる。 LFDAに１ヶ月近くもかけてしまったのからも言え…

Open NMTがうまくいっていたのに、エラーが出て、tensorflowとか色々入れ直したら、openNMTのインストール自体もうまくいかなくなった ３時間を無駄に せっかく３時からいるのに。何気なさすぎるファイル処理とかで１時間かかっちゃうし 多分作業的なプログ…

続き kenkyuublog.hatenadiary.jp 発狂したかいあってTwitterAPIが完成する。 ただ、学校のPCの１台では無反応。 返答がNoneになる。

続き kenkyuublog.hatenadiary.jp 終わった！ 下記の内容のデータセットをつくった。原文,LFDA推定に使った単語,topic番号,topword,topwordの分散表現の平均（先生の方式使いたい）,TOPWORDの分散表現に近い単語,それぞれのtopicの推定確率, よし、これで ト…

やっぱり色々データ足りないなぁと思って Twiiter API再構築。 申請とかどうなのかな？って思ってたけど、使えるように。 けど、学校のマシンでできない、、、なんで〜〜〜 streamの変数がNONEなんだけど、 エラーじゃなくてNONEなんだけど。 のパソだと上手…

続き kenkyuublog.hatenadiary.jp LFDAノイズ減らしたり、パラメータ調整したやつ結果出たけど、topwordのコヒーレンスは上昇したけど、普通にクラスタリングは微妙な感じ。 でも、一回文章生成まで行きたい！自分のモチベーションのために。 ノイズ減らすと…

ぼーっとしてなかなか集中力でず、禁断コーヒーに手を出してしまう。 シャキッ。集中できた。 けど、やっぱり集中力とか色々有限なんだなぁと思う。うーむ。 seq2seqを用いてRNNAE作ろうと思った。 前にもtensorflowで作ったことがあるので、楽勝だろうと思…

研究は山登りに近いと思う。 ザッザと登頂に向けて、うんしょこらしょと登って行くイメージ。 今まで、仕事と同じようにやっていたけど、うまくいかなかった。 なので、土日は山登りするぞって感覚でいる。 今週だれてしまっていたので、 鬼速PDCA 山登りメ…

ちまちまLFDAなどをやっており、データのデカさに悩ませられ、 データ作成だけで１ヶ月も使ってしまった。 もっとスマートなやり方すればらぶん３日で終わった。 教訓：愚直にやるな。スマートにやる方法を必死こいて考えろ あと、また鉄欠乏になってきたた…

続き kenkyuublog.hatenadiary.jp 頭の中がやることで、やりたいことでごちゃごちゃしてイマイチ集中できず。 優先順位。一つひとつ！ 部屋に入ったらやること。 ▪️①目標を叫ぶ（９月までに実験終わらし、文章にまとめる。１週間に４０時間研究する）。 ▪️②…

続き kenkyuublog.hatenadiary.jp 最近きちんと電車の時間は研究！って出来ていない。余計なことしてる。 電車の時間は研究以外のことはやらない！絶対だ。 そのほかのことは降りてから。 そして、今日のノルマが終わらなかったら、駅から離れて家に帰らない…

kenkyuublog.hatenadiary.jp うだうだスケジューリングが下手で データのリムーブすら終わっていない状態 精度向上のアプローチの方向性を決めて、何をどう優先順位つけて、しかも一つ一つやる意識が足りなかった。無駄に力が分散していた。 ひとつ、ひとつ…

続き kenkyuublog.hatenadiary.jp 今日やったこと。 LFDAのコヒーレンスの評価メトリクスについて書かれた論文のまとめ。 LFDAを使ったやつの大体の評価と、どういったパラメタでやればいいのかはわかったから。LFDA（LDA）が他タスクに生かすのにはどれぐら…

続き kenkyuublog.hatenadiary.jp コヒーレンスの評価のプログラムを書いていた。 がげきおそ、途中で終わる。 普通１時間で描けるのに。 土日集中して長い時間できないのなんとかしなくちゃ 焦ってまとめて進めないで後で痛い目見るので、 一回LFDAプログラ…

最近思うこと 最近時間のかかる娯楽に時間を割けなくなったため（生き残ったのはピアノぐらい）、今年度は時間コスパの高い「美容を娯楽に」をテーマに生活していた。 具体的にやっていたのは下記メソッド（私命名） ・本メソッド（身に付けたいスキルの、初…

続き kenkyuublog.hatenadiary.jp ●今日のやりたかったこと→その成果⇨なぜできなかった？なぜできた？ ・コヒーレンスの評価→計算式をどうプログラムに反映すればいいのかわからず。類似度の中央値じゃダメなのか ⇨だらだらやってしまう。しっかり時間計って…

続き kenkyuublog.hatenadiary.jp 遅すぎる 作業が。 今日中にコヒーレンスの評価がしたかったのに、それすらできていない。 意識に上る回数。研究のトリガーを沢山作らないとな。

続き kenkyuublog.hatenadiary.jp 今週中にやりたいのは、 ★・twiiterの推定が途中で切れてるから、それをきっちり１０万文やる！ ★wikipediaで学習し、推定をtwitterにしてみる？（うまく行く気があまりしない） ・twitterデータの「こと」「もの」「その」…

ふわっと続いている。 kenkyuublog.hatenadiary.jp LFDAを終わり、そのデータを用いて色々いじったけど、結果があまりよくない。 通しでやってみた感触を大事に、LFDAの精度を上げる。 来週やることは２つ ・LFDAの精度を参考文献レベルに上げる。 ・git-hub…

続き kenkyuublog.hatenadiary.jp 報告書の提出が終わり、またもこちらに戻ってきた。 ダミーデータで動いていたものの、そもそもLSTMを使ったmultiNNとかじゃあかんということに気づく。 やっぱり、自分で作りたいもの作るには、しっかり理解する必要がある…

ブログの使い方についてちょっと悩んでいたけれど、 とりあえず。この日記は毎日やったことを書く日記とし、 有用なこともたまに書くぐらいのスタンスでいきたい。 有用なことを書くときは、しっかりとタイトルや構成などを考えたい。 ゆるく。ゆるく。 毎日…

エモい！と思ったものを忘れないように羅列してみる。 落合陽一（研究者etc） 報酬系をデザインするということに尽きる www.shigoto-ryokou.com 石黒浩（研究者） 趣味のような仕事で食べていけていいですね、とよく言われますが、もしそうなりたいなら、僕…

論文の書き方、サーベイの仕方、研究の進め方。 今までの学びを忘れないようにまとめてみます。 自分メモです。 論文の初めに、の書き方。 前の論文の構造をまるまんまパクれ。文章の意味だけをすり替えろ。 そして毎日やれ。スキルが確立するまでは。ピアノ…

うーーん、進みが激遅でモヤモヤする最近です。 inputとoutputをめちゃくちゃ早く回さないとなのに、全然できていない。 人より時間が取れないから、３倍ぐらいは頑張らないといけないのに。 このままじゃ9月までに実装一つをあげることができないぞっ ①多分…

思うように実験のためのデータが取れなくて、焦る。 でも、焦ってもいい結果は絶対出ない。焦ったら、何かが間違っている。 考え方なのか、計画なのか。それを見返す。 抽出部： ◽︎LFDA ◽︎AE?外部知識を利用したAE?ってなんだ、LFDA以外に抽出できるのあるの…

データが無くまたまた、日記。 とにかくブログを更新しないと気持ち悪くなるところまで、もっていきたい 。 LFDA、ダミーデータでやってみようかな。 コーヒーのせいか、寝起きが悪い。 コーヒーやめよう。 朝しかやる時間がないので、眠くても、 「今しかや…

今日はデータが手元になくて何もできていないのでただの日記。 遺伝的アルゴリズムや、もう一つの手法としてのAE（オートエンコーダ）や論文読みなどをしてもいいかも。 最近誰ているので、色々徹底し直したい。 とにかく鬼速PDCAを完成させることに注力！