心リハ太郎です。
先日紹介した山本さんの人工知能についての連載記事の新しい記事が掲載されていました。
この記事の中の過学習という考え方が面白かったので紹介します。
ディープラーニングを支える黒魔術「ドロップアウト」｜人工知能はどのようにして「名人」を超えるのか？｜山本一成｜cakes（ケイクス）
ディープラーニングは放っておくと「丸暗記」で解決しようとします。５万個のコップの写真（データ）があったら、その５万個の形をそのまま暗記し、絶対に間違えないように努力してしまいます。この状態を専門用語で「過学習」と言うのです。
丸暗記したディープラーニングは、学習した問題を非常によく解けるようになります。一方で、まったく未知の問題には、丸暗記すればするほど正解率が落ちていきます。これがすべての人工知能の研究者が恐れる「過学習」の状態です。
丸暗記では未知の問題に対処できないという問題があり、これを過学習というようです。
それに対する対処法の一例も書かれています。
では、どのようにすれば「過学習」を防げばよいでしょうか。
それには、ディープラーニングが暗記ではなく、特徴を抽出するように仕向ければいいのです。つまり、何かしらの本質をつかめる状態にするとよいということです。…
ディープラーニングが学習中に、ところどころ参加しているニューロンをランダムにドロップアウトさせるのです（ここで言うニューロンは、ディープラーニングの各層における、人間の脳のニューロンに当たるものを意味しています）。
学習中にランダムにニューロンをドロップアウトさせられることは、当たり前ですがディープラーニング側にとって厳しい状態です。とても「丸暗記」はできません。そこでディープラーニングは、必死になって入力の特徴をつかもうとするのです。
コンピュータに忘れるという人間らしさをミックスすることで、隠れた特徴を考えさせ、未知の状況でも人間を超える思考力を発揮させるディープラーニングの手法は、人間にも当てはまるのかも知れないなと思いました。
覚えても強制的に忘れさせることで特徴を理解できるようになり、むしろ応用力がついていくことが人間らしいとするならば、逆に人間も一字一句間違えず覚えることより、覚えるために何らかのパターンを読み取ろうとする思考を働かせることが重要であるのかもしれません。
そして多数のパターンの組み合わせで新しいものを産み出すというのは、スティーブ・ジョブズのiPhoneを産み出したことに通ずるようにも思うのです。
ジョブズが瞑想を行なっていたことはよく知られていますが、瞑想には自然と浮かんでくる思考を意識の外に一時的に追い出すことで、思考の整理を行う効果があります。
瞑想により敢えて意識外に思考を追い出すことで、無意識に特徴認識ができ、それがジョブズの独創性につながっていたのかも、なんて考えると面白いですね。
とにもかくにも丸暗記ではやはり未知の事態には対処できないわけで、我々もこうならこう、こうならこうというパターンだけで思考、行動し続けるだけでは自分の成長に繋がらないのかもしれません。
なかなか考えさせられる記事でした。
記事の著者、山本さんの本はこちらです。
また、人工知能についてはこの本が幅広くまとめてくれていて分かりやすいです。現在の状況についてざっと知りたい方におすすめです。
