生物と機械の間(自然言語処理研究と徒然。DeepにLerning中)

自然言語処理研究@レベル1。「コンピュタと人間の相互理解を深める」を大きなテーマにしています。タスクは対話システム。分子生物学から興味が移動したため、生物と機械の間を探しています。生物をモデルにしたプログラムが好きです。

multi modalな 入力でテキスト生成(対話文)を行う 7日目

 続き

kenkyuublog.hatenadiary.jp

 

もう、平熱が微熱に変わったのではと諦めることにした。

さて、multi modal な入力で応答文を生成するコードを探しているが、なかなか見つからない。

 

連想対話モデル: 発話文から連想した視覚情報を用いた応答文生成(DEIM 2018)

 

の人はどうやったんだろ、、、。

やっぱりen-decのencoderをシンプルに増やして、隠れそうでくっつけるって言うのは、翻訳でも同じなのかな。

 

明日は

論文2本まとめたあと

もうとりあえず翻訳のやつ実装してみよう!!!!

明日の朝で実装!