論文サーベイメモ2

興味のある論文のAbstractを中心に読んでまとめたメモ。
以後、理解を深めるため論文を精読していく。

Unsupervised Learning Using Generative Adversarial Training And Clustering

段階的な特徴抽出方法と古典的なクラスタリングアルゴリズムによる教師なし学習を提案する。
GANを利用して特徴抽出を学習する。
しかし、GANはデータを自動でクラスタリングをするのに十分なモデルではない。（おそらくデータからノイズをドローするのが難しいから？)
そこで今回は特徴をクラスタリングするためにDiscriminatorに敵対して画像を生成するGANを利用する。
クラスタリングのアルゴリズムとしてはK-means法を利用する。
CIFAR-10, CIFAR-100, STL-10 データセットを利用して検証。
教師あり学習と同等の精度を確認、ワンショット学習より高い精度が得られた。

GENERATING ADVERSARIAL EXAMPLES WITH ADVERSARIAL NETWORKS

DNNモデルは入力に小さな摂動を加えたAdversarial Examplesの脆弱性があることが見つかっている。
このAdversarial ExamplesはDNNモデルの出力を誤ったものへと導く。
また別の攻撃手法としてAdversarial Examples自体を生成する手法も研究されているが、質が高く効率的な手法が提案されていなく今後の課題でもある。
本研究ではGANを利用してAdversarial Examplesを生成するAdvGANを提案。
オリジナルな実現値の分布を学習、近似させることによって、一度Generatorを学習すれば様々な実現値に対しても効率的にAdversarial Examplesを生成することができる。
このAdvGANはsemi white-box Attack と black-box Attackの状況に応用することができる。
semi white-box Attackではwhite-boxとは違い、Generatorを学習した後はモデルにアクセスする必要がない。
black-box Attackはモデルから蒸溜するように動的に学習、それに応じて最適化を行う。
Mnistデータセットを利用したblack-box attackの検証では92%という高い精度が得られた。

Deeper Depth Prediction with Fully Convolutional Residual Networks

本研究では単一のRGB画像からDepthマップを推定する問題を扱う。
単眼画像とDepthマップ間のあいまいなマッピングをモデル化するために、残差学習とFCN(Full Convolutionaly Network)を利用したモデル設計を提案する。
また、出力の画素を向上させるためにアップサンプリングを利用。
最適化にはDepthマップが一般的に利用されている値が使われているかを評価する逆Huver損失（外れ値に対してMSEよりかは敏感ではない性質を持つ)を利用する。
また、本手法はEnd-to-Endで学習されるためCRFのような後処理が必要にならない。
そのため、推定をリアルタイム推定することができる。
検証によって、既存手法よりも少ないパラメータと少ないデータで精度を高くすることを確認し有効性を示した。