「深層学習」を読んだけどディープラーニングの何たるかはわからなかった

AIだの自動運転だのと喧しいこの頃なので、流行に乗り遅れないよう技術解説本を読んでみた．「深層学習」という本で、専門書の取り扱い豊富な書店ではよく見かける．
空路や鉄路での移動が多いこの頃だったのでヒマーな時に読む．移動中は深層学習、昼間は手元作業者、夜はお酒、というお利口さんなんだかお馬鹿さんなんだか不明な生活パターンだ．

ところで、「DQN」という珍妙なワードが颯爽と飛び出してきたのはいつだったのかと調べたら、当ブログに書いたのは2015年2月だった．netではDQNは少し流行したけどしばらくしてDQNは消えた．DQNと同時期に「機械学習」「深層学習」「ディープラーニング」というワードも出回ったけど今では技術用語としては使われていてもニュースのワードとしては使われなくなったように思う．

そして今では、なんでもかんでもひっくるめてAIと呼ばれるようになっちゃったように思う．ひら的にはAIよりも機械学習やディープラーニングの方が技術の正体を表すには適切なワードである気がする．なぜならAIに物を教え込むという行為は、「多層ニューラルネットを自動的に最適化」させる事に他ならないからだ．

通称はなんであれ、人間が将棋でAIマシンに負けただの、人間が囲碁でAIマシンに負けただのと報じられ、AIに支配されたりAIに仕事を奪われたりする未来予想が人々の頭の隅にひっかかるようになってからまだ日が浅いのだ．ひら的にはDQN以降と考えるので、2015年初からカウントするとまだ３～４年しか経っていない．

その３～４年間にずーっと気になっていたことは、AIが超人気に者なれたのを下支えしている技術は何なのだ？ということだった．どんなブレークスルーがあったのだ？ということだった．
多層ニューラルネットという複雑奇怪な対象ではなく、線形フィルタの自動最適化は古くは1980年頃から通信の基地局では始まっていたとわたしは承知している．初期にはアナログトランスバーサルフィルタを自動最適化していたのだ．ご苦労様なことでｗ
storageではテープストリーマのイコライザを自動最適化したソニーのDDS3(1996年)が初めてだったはずだ．
つまり、フィルタの自動最適化というのは昔から在る技術なのである．それがニューラルネットの自動最適化に進歩するのにどうして2015年まで待たねばならなかったのか？

-----
それで「深層学習」を読んでみたのだった．

結論からいうと、ブレークスルーはこれだったのか！という悟りを得ることはできなかった．

しかし多層ニューラルネットの自動最適化ってのは鬼のように泥臭いということはわかった．

チェスや将棋や囲碁のAIは過去の棋譜を読んで学習すると云われる．だが、生まれたばかりのニューラルネットに勝手に学習させても最適化が適切に行われないようだ．ローカルミニマムにハマって馬鹿AIで成長が止まってしまうらしい．

馬鹿AIにならないようにする複雑怪奇なテクニックがいろいろある．その一つが事前学習である．ローカルミニマムにハマる危険の少ない単層ネットワークごとに軽く学習させて不要な結線を切っておく．その後に多層ネットワークで全体学習させると学習がうまくゆく．

こういう操作は人の幼児の脳の発達みたいだ．乳児の頃まではニューロンが相互に無秩序に接続されているが、成長につれて不要な接続が解けてゆき知能が発達してゆくそうだ．

今USではAI技術者の給料がスゲー高いそうで羨ましい．

「深層学習」を読んで、AI技術者が不足している理由を垣間見れたように思う．

馬鹿AIを回避するためには、事前学習や、層間接続の間引き方などのような「経験豊富な人間の心の目によるお膳立て」が不可欠なのだろう．つまり、賢く育ちうる多層ニューラルネットの基礎設計に人間の介入が不可欠なのではないだろうか？ 「棋譜を読んで自力で勉強してね」と云う前のお膳立てには人によるお世話が要るのだ．

わたしもAI設定の名人になりたいものだ．（うそ）

でもR言語ぐらいは味見してみたい．

-----

最後に「深層学習」の書籍としての感想を．

わたしは、適応信号処理、主成分分析、回帰分析、白色化、スパース、勾配降下法、などについては理解している．そういう立場からは、第6章 畳み込みニューラルネット まではわかりやすく書かれていて有り難い．

だが、第7章 再帰型ニューラルネット 以降は難易度が上がる．紙面が足りなかったのだろう、端折り過ぎていてわかりやすさがガタ落ちする印象だった．

なお「深層学習」は「機械学習プロフェッショナルシリーズ」のうちの一つである．

かしこ