はてなブログのアクセス解析によれば、最近以下の投稿が急浮上している様です。
この投稿内容で今だに気がかりなのはこの部分なんですね。
①それは1つ以上の入力を受け取り(1つ以上の樹状突起に相当)、その総和から出力(シナプス)を生成する。通常、各ノードの総和には重み付けがされ、活性化関数(activation function)もしくは伝達関数(transfer function)と呼ばれる非線形関数に渡される。
- b=バイアス値
- w=シナプスの重み付けベクトル
- x=入力ベクトル
- φ=活性化関数
②活性化関数としてはパーセプトロンが登場した頃の1950年代はステップ関数が多く、1986年のバックプロパゲーションの発表以降はシグモイド関数が最も一般的だったが、現在はReLU(ランプ関数)の方が良いと言われる。単調増加関数が選ばれる事が多いが、必ずしもそうしなければいけないという物でもなく動径基底関数なども採用される。
函数近似において、各々適当な点に関して球対称となる実数値函数からなる基底を考える時の各基底函数。一般に函数φが動径函数あるいは球対称 (radial) であるとは、φ(x) = φ(‖ x ‖), すなわちその値が偏角成分に依存せず動径成分(つまり原点からの距離)のみに依存して決まることを言う。従って動径基底函数は適当な点cを中心としてcからの距離のみに依存して決まる (φ(x; c) = φ(‖ x − c ‖))。ここで、ノルムはふつうユークリッド距離で考えるが、べつの距離函数を取ることもできる。
要するにピタゴラスの定理(Pythagorean Theorem)y=sqrt(1-x^2)の基底関数化。実際には用途に応じてもっと様々な円関数が用いられます。
で、これ。むしろ有限個数の観測結果集合からの「中心」の割り出しが主題に。
中心と分布勾配さえ割り出せたら「外れ値の誤差としての切り捨て」が可能となります。誤差関数(ERF=Error Function)や相補誤差関数 (ERFC=Complementary Error Function)の出番ですね。
ここから均等尺や対数尺に従う同心円空間が導出されると考える訳です。
さてこの考え方、今年じゅうにどれだけ発展させられるでしょうか?