生物と機械の間(自然言語処理研究と徒然。DeepにLerning中)

自然言語処理研究@レベル1。「コンピュタと人間の相互理解を深める」を大きなテーマにしています。タスクは対話システム。分子生物学から興味が移動したため、生物と機械の間を探しています。生物をモデルにしたプログラムが好きです。

multi modalな 入力でテキスト生成(対話文)を行う 5日目

 続き

kenkyuublog.hatenadiary.jp

 

お熱上がる。へろへろ。

 

multi domain

multi encoder

multi modal

一体どれが参照したのかしら

って思っていたけど

 

multi modalに焦点を当てて

 

multi modalな翻訳タスクのコードは見つかった

GitHub - iacercalixto/MultimodalNMT: Multi-modal Neural Machine Translation in PyTorch

 

しかし、対話がない。

連想対話モデル: 発話文から連想した視覚情報を用いた応答文生成

この方どうやって構築されたんだろ。

完全に何もコード参照せず一からではないと思うし。

翻訳の関連研究やっぱり参照したのかな??

 

やっぱり、翻訳タスクが熱いから、ここのコードを参照すべきなのかな?

 

早くコード見たい!

 

変なこと言うと

論文⇄数式⇄コード

で先行研究を理解するのが、ミステリを読む類の面白さだと思う!