--.--.-- --:-- | EDIT
上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
Category: スポンサー広告
Permanent Link | Comment(-) | Trackback(-) | PageTop↑
2016.01.05 10:27 | EDIT
2015年12月21日に開催されたPRMUにて,DeepSurveyを発表しました.
昨年のcvpaper.challengeで読んだCVPRの論文を入力として論文化まで目指す仕組みです.



特徴は下記の通りです.

入力:読んだ論文を入力(知識)
1st アイディア:各自でアイディアを考案(知識をアイディアへ)
1st 議論:グループで議論(アイディアの集約)
2nd アイディア:集約した内容を基にさらに考案
2nd 議論:さらにアイディアの洗練化
1st 実装:ピックアップとハッカソン
2nd 実装:本格的な実装と実験
出力:論文

一般的なCNN (Convolutional Neural Networks) [1]と比較して,
「アイディア:畳み込み層」 「議論:プーリング」 「実装:全結合層」
と見ていただければわかりやすいです.
プーリング(議論)では,複数のアイディアをまとめたり良いアイディアをそのまま次の層の入力に与えているので,MaxプーリングやAverageプーリングの性質を同時に保有するLpプーリングに近いです.アイディア考案と議論を繰り返し,煮詰まってきたら実装に入るという戦略です.
現在の層の数の数え方は畳み込み層と全結合層なので,アーキテクチャとしては4層構成です.

そして,一番の特徴は「自らがニューロンの一部になる」という手法です.この枠組みにおいては,バーチャルではなくリアルな空間でグループ全体がひとつのニューラルネットのアーキテクチャとして動くことで最終的には論文を書くことができます.グループで考え,手を動かし,論文を書くことで成長してさらにネットワーク自体が成長するという性質も持っています.

今年度は実装や論文化の時間が少なくなってしまいましたが,次はより洗練させた論文の執筆や新規問題設定の提案まで踏み込めたらいいですね.
最近ではアーキテクチャの構造もよりディープになりつつある(VGGNet[2]: 16/19層,ResNet[3]: 50/101/152層)ので,より多くのアイディア考案,より多くの議論を重ねて,さらに洗練されたアイディア・問題設定・論文を出力できたらと思います.

現在,アーキテクチャについても議論を重ねている状況です.
次回作にもご期待ください.

[1] Y. LeCun, L. Bottou, Y. Bengio and P. Haffner: Gradient-Based Learning Applied to Document Recognition, Proceedings of the IEEE, 86(11):2278-2324, November 1998.
http://yann.lecun.com/exdb/publis/pdf/lecun-98.pdf

[2] K. Simonyan, A. Zisserman: Very Deep Convolutional Networks for Large-Scale Image Recognition, ICLR, 2015.
http://arxiv.org/pdf/1409.1556.pdf
http://www.robots.ox.ac.uk/~vgg/research/very_deep/

[3] K. He, X. Zhang, S. Ren, J. Sun: Deep Residual Learning for Image Recognition, arXiv technical report, 2015.
http://arxiv.org/pdf/1512.03385v1.pdf
http://research.microsoft.com/en-us/um/people/kahe/ilsvrc15/ilsvrc2015_deep_residual_learning_kaiminghe.pdf
スポンサーサイト
コメント:
コメント:を投稿する

トラックバック:
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。