ディープラーニングは最低限の数学で分かる | 日経 xTECH（クロステック）
赤石氏によれば、ディープラーニングで使う数学の分野はかなり限られるという。必要な分野だけ勉強すれば、最短コースでディープラーニングを理解できるのだ。
必要な数学は「微分・積分」「ベクトル・行列」「指数関数・対数関数」「多変数関数の微分（偏微分）」「確率・統計」の5分野。広そうに見えるが、各分野の中で使う概念はごく一部だ。例えば、積分はディープラーニングではほとんど使わない。基礎的な考え方をざっくり理解していれば十分だ。ベクトルや指数、対数などは、高校で習った基本を部分的に復習すれば事足りる（筆者を含め、多くの人が忘れているだろう対数は特に重要だ）。
一方の微分は、ディープラーニングの理解に欠かせない中核となる概念である。大学で習う「偏微分」まで、もう当たり前のようにどんどん出てくる。特に重要な概念に「合成関数の微分」がある。これが分かると、ディープラーニングの世界にぐっと近づいてくる。
私も今年になってから「AIで使う数学の復習」を始めた口ですが、まさか「指数・対数関数とは何か？」学び直すのに一年の半分近くを費やす展開になるとは思ってもいませんでした。しかもとりあえず「釣果」と呼べそうなのが、クラゲ１匹という有様…
毎年理論上、底（root）倍に成長する「想像上の放射相称生物（Imaginaly Radiata）」を想定する。現在のサイズ指数「０（底/底）」に対してこの生物は概ね昨年は指数「−１（1/底）」であり、年末には指数「１（底）」に達っすると目される。
- この生物が円形で、増加率の底が円周率π（=3.141592）だったとしたら、毎回成長前の円周が成長後の直径に一致する。例えば半径1/π（直径2/π、円周2）のサイズだと半径1（直径2、円周2π）、半径1（直径2、円周2π）だと半径π（直径2π、円周2π^2）に成長する。
＊指数関数π^xに当て嵌めると「x=-1の時1/π」「x=0の時1」「x=1の時π」。ちなみに指数関数e^xに対してpi^xはe^(x*log(pi))、その逆関関数log(x,base=pi)はlog(x)/log(pi)へと変換される。log(pi)は1.14473…
- この生物のサイズに指数関数的増大をもたらすのは複利計算（元金により生じた利子を次期の元金に組み入れ、元金だけでなく利子にも次期の利子が付く雪だるま式に増えていく計算式）なのだが、例えばそれがN段階の試行で進行するとし、全ての試行が成功するとサイズ指数「１（底）」に到達し、全て失敗するとサイズ指数「−１（1/底）」すなわちゼロ成長のまま留まると考える。するとサイズ指数「０（底/底）」を代表値として底の極限値の上限として「ネイピア数e（2.718281…）」が、下限として「1/e（0.3678794…）」が得られる。
＊指数関数e^xに当て嵌めると「e=-1の時1/e」「x=0の時1」「x=1の時e」。ここで興味深いのが自然対数の世界においては「完全な失敗」が失敗率1/e（0.3678794…）に該当するという辺り。従って(1/N)^Nの式で表される「ベルヌーイ試行（Bernoulli trial）」も「N回の試行でN回目に到達する成功確率は0.6321…（1-1/e）」となる。
＊自然対数の世界においてはあらゆる成長率に上限があり、あらゆる失敗率に下限が存在するとも？増率そのものは一定なので、この生物自体が自らの「過去における成長速度の緩慢さ」や自らの「未来における成長速度の急激さ」そのものを経験する事はない。これは「年輪を刻む樹木のうち生きているのは樹皮周辺のみ」とか「珊瑚礁のうち生きているのは珊瑚虫が活動している表面部分のみ」という概念にも対応。
そしてカンブリア爆発期（Cambrian Explosion、5億4200万年前〜5億3000万年前）に入り、地球上の生存競争において「眼と視覚情報を処理する脊髄」を獲得した左右相称動物（Bilateria）が優位に立つと「オイラーの原始量（Euler's primitive sweep）」とでも呼ぶべき概念が新たに重要な役割を担う展開を迎えるのです。
①任意の観測原点「０」を設置する。この時点ではまだ何も起こってはいない。
②何かが観測されると、対象「１」を起点にとして距離１の線分にして、その旋回範囲に（これを半径とする）円や球面を形成する「オイラーの原始量（Euler's primitive sweep）」が現出する。
③そしてかかる観測原点より半径分「１」あるいは半周分「π」離れた先に極限値「−１」が想定される。
＊ここで急浮上してくるのが「有意味なデータの抽出（Extract Significantly result of the data obsertion）」は「無視可能なデータの切り捨て（Reject Ignorableresult of the data obsertion）」と表裏一体の関係にあるという問題。ユークリッド幾何学的に「直線は２点間を結ぶただ一つの最短距離」という立場に立つなら「半周（π）分旋回した先の-1」なる定義は無意味。また逆にオイラーの公式の様に「e^θ=cosθ+isinθ」という立場に立つなら（直径は半径の倍なる概念を受容済みとはいえ）逆にそちらの定義が無意味となる。そもそもそれぞれの方法が導出する「−１」は本当に一致するのだろうか？
それ自体は何という事もありません。なにしろTVゲームに接した事があるなら、見覚えある筈です。インタラクティブ操作上のパースペクティブ視座の中心観測原点「０」をに据えたのがFPS（First-Person Shooter）、極限値「−１」に据えたのがTPS(Third-Person Shooter）と考えれば良いのです。
- 人類に 「オイラーの原始量（Euler's primitive sweep）」を再発見させたのは大航海時代（15世紀中旬〜17世紀中旬）到来にともなう地図の精緻化要求（対数の発見もそれに伴う天体観測技術や三角測量法の精緻化と深く関わる）だった。
- ところでこれまでの歴史関連投稿で「世界システム論（World-Systems Theory）」における「世界商品」なる概念を紹介してきた。
①最初は概ね王侯貴族や聖職者の威信材/奢侈の象徴に対する量産の試みとしてスタートする。
＊これに先行して（大航海時代開始の重要な原動力の一つとなった）香辛料を巡る歴史的動きも存在したが、こちらは「使用香辛料の地産地消化」という別のエンディングを迎えている。
②競争加熱によってその価格を数千分の位置に暴落させつつ日常品化（Commoditization）によってその役割を終焉。
コモディティ化（Commoditization） - Wikipedia
マルクス経済学の用語。所定のカテゴリ中の商品において、製造会社や販売会社ごとの機能・品質などの属性と無関係に経済価値を同質化することを指す。市場に流通している商品はメーカーごとの個性を失い、消費者にとってはどこのメーカーの品を購入しても大差のない状態となる。なお英語の「commodity」は日用品程度の意味しかないが、別儀としては必需品など生活に欠かせないものも指し、その分野の物品は消費者の生活にとってなくては困るものともなる事もある。
＊スノビズムは案外大事。工場でレースが量産される様になると（レースでフリフリの）メイド服が、海苔の大量養殖に成功すると（それをこれみよがしに使った）軍艦巻きが登場した。実は人工知能の歴史にもこうした側面が見れれない訳でも…
③その過程で新時代到来に不可欠な社会インフラが整備される事もある。例えば砂糖量産競争は産業革命導入に不可欠なカロリー革命を、文書行政や所謂「大福帳」需要を当て込んだ製紙量産競争は各国で出版文化の繁栄を、鉄道開発競争の加熱は（線路に併設される）電信網や（時刻表に従って生活する為の）携帯時計の普及を伴ったのである。
最近ではコンピューターの進化と普及がこの「世界商品」効果の後押しを受けている。信じられない速度で進行するCPU処理能力とメモリやストレージの容量増大及びその低廉化。そしてポリゴンゲーム普及の副産物としてGPU開発競争が加熱し、ベクトル処理能力の増大がディープラーニング技術の進化を中心とする第三世代人工知能ブームが起こったのである。
＊全ての手柄を物理学者や数学者が独占したがる科学史の世界では絶対言及うされない歴史的現実？ -
こうした全体像を踏まえた上で、改めてオイラーの原始量（Euler's primitive sweep）登場以降、生存競争に不可欠となった「有意味なデータの抽出（Extract Significantly result of the data obsertion）と無視可能なデータの切り捨て（Reject Ignorableresult of the data obsertion）の歴史的変遷」について考察を深める必要がある。
そう、次の目標は必然的に「想像上の左右相称動物（Imaginaly Bilateria）」の捕獲となってくるんですね…それにつけても「超自然原理（自然対数や円周率の様な超越数の世界）に導かれる形で人類未踏の領域（というか人類が化石でしか知り得ない世界）において展開してきた放射相称動物（ウニやクラゲの類）と左右相称動物（エビやカニの類）の対決の歴史」とか、まさにクトゥルフ神話の世界。実際、H.P.ラヴクラフト「狂気の山脈にて（At the Mountains of Madness、執筆1931年、発表1986年）」において南極で発見されたとされる「古のもの（Elder Thing、左右相称動物）」と「ショゴス（Shoggoth、古のものが人工的に生み出した不定形の使役生物）」と「クルウルウの末裔（Cthulhi、左右相称動物）」や「ミ＝ゴ（Mi-go、左右相称動物）」の三つ巴の生存競争の痕跡の元イメージはこれだったとも。
H.P.ラヴクラフト「狂気の山脈にて（At the Mountains of Madness、執筆1931年、発表1986年）」 - Wikipedia
＊テッド・チャン「あなたの人生の物語（Story of Your Life、1999年）」に登場するヘプタポッドもそうだが「知性化を獲得した放射相称動物」は明らかに鈍重で運動能力に限界があるので何らかの手段を用いて使役種族を精神支配しているケースが多い。
＊現実の地球上における放射相称動物の多くは「視覚とそれを処理する脊椎」を獲得し食物連鎖の頂点に立ったアノマノカリスの様な捕食動物に食べられない為に棘を尖らせ殻を硬くする方向に進化した模様…
それにつけても何ともSAN値が下がる話…実はクモヒトデとか子供の頃から苦手だったんですね…
え、さらにそんな生態の応用が進行中？
