「空気遠近法」とはこれですね…
最近あちこちで空気遠近法の話をする機会があったので、空気遠近法の原理についてまとめてみました。 pic.twitter.com/vpD8ALzLM2
— 吉田誠治 (@yoshida_seiji) 2020年11月21日
今回の投稿の発端は以下のTweet。
GPTでAI界隈が沸騰している。開発者も含めて誰も急激な性能向上の理由を理解出来ていない。普段は半年や1年で古くなるような時事ネタはあまり呟かないことにしているが、このところの動きがあまりに早く、未来に向けての不確実性が高まっているので、少し現時点でのシナリオ整理をしたい。(1/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
まず、現状を整理する。最近の成果はそのほとんどがトランスフォーマーと呼ばれるエンコーダ・デコーダモデルによる。注目すべきはこれが畳み込みや再帰といった並列計算を防げる仕組みを廃したために計算力の集約が可能になり、飛躍的に大規模なデータセットでの学習が可能になった事だ。(2/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
そこで起きたことが、スケーリング則の発見だ(2020年)。 (https://t.co/xmI6nbGNNl) つまり、計算量、データサイズ、モデルの規模の3つを同時に大きくしてゆくことで、あたかも上限なくモデルの性能が上がってゆくように見える現象だ。(3/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
さらに2022年になって、10の23乗から24乗回あたりの計算量を境に急激に性能が向上するという現象が確認された。ある程度予測可能なスケーリング則から非連続的なテイクオフに移行したように見えるため、今後何が起きるのかが見えにくくなっている(https://t.co/Qy96aMCs8E)。 (4/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
そこで一旦基本に戻る。機械学習モデルが出来るのは学習に使ったデータからの帰納だ(既に見たことがあることしか予測出来ない)。しかしGPT3/4は柔軟な応答や多段論法など一見学習データセットから直接的に導けるとは思えない演繹的なタスクを実行しているように見える。可能な説明は二つある。(5/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
1つ目は我々がこれまで演繹と思っていたものの大部分が帰納だったという可能性だ。例えばシマウマと聞いて縞模様のあるウマを想起するとき、ある特徴とあるモノとを組み合わせて別のモノを導き出すこれと同型のパターンはデータセットのどこかに含まれていた。(6/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
おそらく10の24乗FLOPSというのは人類が言語情報の形で蓄積した知識の総体から意味ネットワークを抽出するのに必要な計算量なのだろう。丁度その辺りの閾値を超え急激に意味ネットワークがつながり性能が向上した。この場合今後はシグモイド的(急激な上昇の後に停滞期が来る)に推移するだろう。(7/15
— 高橋恒一 (@ktakahashi74) 2023年3月20日
2つ目の可能性は、北川さん(@takuyakitagawa)やgoogleのブログにあるように、ネットワークモデルに創発的(相転移的)な現象が起きているということだ。つまり、計算力の適用によりデータセットには明示的に含まれていない新しい連関や意味ネットワークが生まれているという可能性だ。(8/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
数学で公理系から様々な定理や命題が生み出されるように、言語データに含まれる情報から新しい情報が生み出される。人類の頭脳がその一部しか探索してこなかったなら今後AIがもっと深くて広い知的探索を担うかもしれないシナリオだ。言語システム自体が演繹性を持つ可能性とも言える。(9/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
これらのどちらなのかは、あと数ヶ月から1、2年くらいで明らかになるかもしれない。(10/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
もし1つ目の可能性が正しい場合、計算量とモデル規模の伸びに対していずれ学習データ量が追従出来なくなり、「人類がこれまで言語その他の情報の形で書き溜めた知識の総体」を学習し切ったところで性能向上は頭打ちになるだろう。(11/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
2つ目の可能性が正しい場合には、当面は際限なく性能が向上するように見えるだろう。その場合、計算力に関する物理的な制約がクリティカルになることは何度か紹介している私の2018年の論文でシナリオ整理している通り( https://t.co/Lz2OdXsr8k )。(12/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
現在の言語モデルベースのAIは能動性や身体性が欠けている点で限界があるが、機械学習モデルにツールやセンサーを使いこなさせるための仕組み(認知アーキテキチャ)の研究は様々なところで取り組まれている。(13/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
ロボットやネットツールなどを使って能動学習を行うAIの開発に根本的な技術上の壁はないので、そうなれば理論上は「人類のこれまでの知識の総体」を上限とする理由が無くなり、物理現象の時定数
— 高橋恒一 (@ktakahashi74) 2023年3月20日
のみが制限として残る(上記論文参照)。このあたりがさらに先を見たシナリオ分岐に関係するだろう。(14/15)
余談) ちなみに、技術的にはあまり意味のない試算だが10の24乗FLOPsというのは人の脳を10の15乗FLOPs毎秒として1日8時間で90年分の思考にあたる。90年間ひたすらwikipediaやネット上の文章を読み続けた人がどれだけ博識かと想像すると直感的にはなんとなく理解できる閾値の規模だ。(15/15)
— 高橋恒一 (@ktakahashi74) 2023年3月20日
90年間ネットの情報に触れ続けた人、すごい厄介な陰謀論とかにハマってそう
— モチチャッピー (@Mochigai) 2023年3月20日
(スルーされがちなお堅い文章で書かれた)否定する反証情報も、エビデンス付きで取り込んでるだろうから、バランスは取れてるはず。
— ばび (@capriciousbaby1) 2023年3月21日
情報統制された中国育ちのAIだと、情報が偏っていて洗脳状態になるかもしれないが。
そして…
大変興味深い。以下の一連の投稿によれば、#ChatGPT は既に試算によっては「毎日8時間ずつ90年間Wikipedia やネットニュースの類を閲覧し続けた人」レベルの知識量に到達してるのだそうです。https://t.co/fedzXcwfgS
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
そんな説明をされるとめちゃくちゃあたまわるそうに感じるから不思議だ……
— 鴉野 兄貴 (@KarasunoAniki) 2023年3月21日
これがわかってると、こんな悪戯も仕掛けられるという実例。 pic.twitter.com/ljO5mR6S6z
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
歴史的背景にあるのはこういう話しですが、現在ネットから得られる情報だけからこうした過去を完全再現するのはほぼ不可能。 https://t.co/KzIdkvSVZ4
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
むしろ私が数年前に邂逅して呆れ果てた「21世紀の一向衆」論法が復活してくる可能性が増大してくる時間線が想像される? https://t.co/muhEIlxECk
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
そして…
そのはてなブログのURLほしいなって
— みちのく暇♀ 🌿やっぱり平和が一番 (@igu6dx) 2023年3月21日
2016年から毎日欠かさず続けてきた投稿のどれかについたコメントで、当人がそれを削除してるのでノーエビデンスといえばノーエビデンス。その独特の「空気遠近法」的思考様式に覚えた戦慄も、今回の件を契機に思い出したのは数年振り。
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
当時のはてなブログコメント欄の雰囲気を知ってる人なら容易に想像つくと思いますが、日本語がかなり不自由で考え方も自由権っぽくない連中で(おそらく金主撤退を契機に)まとめて消えた感じ。それは「勝利の瞬間」どころか「プロパガンダ費用効果が合わない」と見限られた瞬間でもあったという…
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
×日本語が不自由で考え方も自由主義圏っぽくない連中○そういう連中やスピリチュアル系の様な有象無象の集まり。件のコメントがあったのは2018年前後。国際的に無政府主義や第四世代フェミニズムが盛り上がっていた時期で…https://t.co/NWLXNkOY2b
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
当時の私のはてなブログは月間PV1万5千を下回る事はなかったのですが、それがわずか数年で3000を超える月の方が少ない惨状となったので、こうして主投稿の場をTwitterに移したという次第。まぁ「歴史観の空気遠近法」に関する話題自体は…
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
こういう投稿や… https://t.co/vZ50fBDVgu
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
こういう投稿でも出てくるので、もっと偏在してるっぽい。 https://t.co/ygZ89WlqnJ
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
そして…
「インターネット以前の歴史がなかった事にされる」というより「インターネット登場以前に実在した歴史的枠組みが存在しなかった事」になるのです。例えば1950年台日本では映画業界が人材も流行歌発信能力も音源著作権も全て独占しており、それを黎明期TV業界に渡すまいと画策してました。 https://t.co/wtv4VqK421
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
TV局側はこれに対抗しジャズ喫茶などに屯する愚連隊にアクセス。クレージー・キャッツやドリフターズの様なタレントを発掘し「シャボン玉ホリデー」に様な音楽バラエティ作品を成功させたのです。一方、著作権独占の突破口となったのが子供向け番組と洋楽分野だったのでした。https://t.co/qMsHjhDvwD
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
さらには「映画業界のデビルマン」東映が(同業他社との提起内容に抵触しない)子供向けアクション番組などで次期スターを育てたいという野望を備えていた事も追い風となりました。そう、この試みの落とし子が千葉真一…https://t.co/1nSh26VlXg
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
ちなみに #ChatGPT の1番目の答えにおける最初の躓き、それは今や誰も語らなくなった「当時の日本(特にジャズ喫茶に屯するタイプの)クリエーターの間に鬱積していた反米感情」です。「ビートルズやストーンズに脇目も振らずブルーズを演ってた」が格好良いとされた時代。https://t.co/iqr3GdGf1r
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
まぁ実際の音楽家の活動は柔軟で、ドリフターズがビートルズの前座を務めたり英米流行曲の代わりに聴いてたフランス歌謡からロックンロールを仕入れていた模様。そしてグループサウンズが上陸するとすかさず「偽外国人作戦」と「子供騙し作戦」が…https://t.co/84vQDZVvJD
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
その一方で #ChatGPT の3番目の推測「日本の子供達もジャズやファンクが好きだったから子供番組でも流れた?」は真逆で「ジャズ喫茶出身の音楽家が何も知らない子供達にそれが何か教える事なく日常の一部に組み込んだ」が正解。https://t.co/NCFdFkLXus
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
最大の問題はその後クレージーキャッツ映画やドリフターズ映画が何本も撮影されているのを見てもわかる様にやがて映画業界とTV業界は対立して潰し合うだけでなく、協業によるシナジー効果を目指す様になっていった事(ここにさらに角川春樹が参戦して有名なカドカワ商法が発足)。
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
従って「両者が争っていた過去」についての記述は、関係者以外には恐ろしく分かり難いディスクールで伝承される展開を迎えたのです。とはいえ「指の数が変」「楽器が弾けない」「麺が食べられない」問題に全て対処してきた人工知能様の事ですから…
— Yasunori Matsuki (@YazMatsuki) 2023年3月21日
そんな感じで以下続報…