とっさに思い出したのが、かつてAppleが発売したPDA(Personal Data Assistant)Newton(1993年~1998年)のゼスチャー入力…
PDAは、アップル・ニュートンの開発を推進した1990年代初頭のアップルコンピュータCEOだったジョン・スカリーによる造語である。
アップルコンピュータはこの装置に「メッセージパッド (MessagePad) 」という正式名称をつけていたが、この装置のオペレーティングシステムの名称であった「ニュートン」が、この装置と内蔵ソフトウェアを示す名称として世間では用いられていた。
頭の中で想像した "手書きの文字" をテキストとして出力する技術が開発されたよ!毎分90文字、スマホでの文字打ちに匹敵する出力速度だよ!リプで解説するね!
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
Francis R. Willett, et al. "High-performance brain-to-text communication via handwriting". Nature, 2021; 593, 7858, 249-254. pic.twitter.com/2z8sm8R0Xr
脳内に思い浮かべたものをそのまま現実世界に出せたらいいのに!なんて考えた事がある人は、多分私以外にもいるよね?ただ楽するだけじゃなくて、例えば病気や事故で障害を負い、表現方法に制限がある人々にとっては、自分の意思を伝える方法として手足の代わりになる重要なものになりうるよ!
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
脳内の情報は、脳の活動をきちんと測定して、それがどういう活動を意味するのか、と言うのを正しく分析すれば、理屈上は出力も思いのままになるよ!と言うのは簡単だけど、実際には脳の活動はとても複雑で、測定まではできても、それの解釈は複雑で、リアルタイムの処理ともなればとても難しいよ!
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
例えば、機械の腕を操作して物に近づけつかむという動作、あるいはコンピュータ上のカーソルを動かしてクリックする動作のような、あまり複雑ではない動きはかなりの精度となるけど、手書きやタイピングのような複雑で高速な動きは、処理が追い付かず、非常に低速の処理しかできなかったよ。
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
今回の研究は、こういったBCI (脳-コンピュータインターフェース / Brain–computer interfaces) の研究の積み重ねの1つの成果だよ。元となる研究としては、脳の中で腕を動かす事に関わる信号を受信して、カーソルを動かしてクリックによる文字入力というBCIの研究があったよ。
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
このBCIの研究では、毎分40文字という速度で文字を入力する事が出来て、これはこれまでの最速記録だったよ。でも、腕を動かして文字を入力する方法として、手書きと言う方法には案外アプローチが無かったよ。実際にそんな信号を受信できるのかについても、研究してみるまでわからなかった状態だよ。
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
そこで今回は、脊髄損傷によって首から下が麻痺している脊髄損傷患者の協力の元、手書きをする事を脳内で考える事によって、実際に文字として出力が可能かというBCI実験が行われたよ。まずは様々な文字を、文字として腕を動かして書く事を考えてもらい、その時の脳内の信号をデータ化したよ。 pic.twitter.com/Y0UtvGuuYp
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
次に、その膨大なデータを「回帰型ニューラルネットワーク復号手法」と呼ばれる機械学習を使う事で分析し、どの信号がどの文字に当たるかという部分を当てはめたよ。これらを使う事で脳内の信号を、コンピュータの文字入力へと変換する事に成功したよ! pic.twitter.com/Gh18xs9Hc4
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
この時の速度は毎分90文字で、もちろんこれまでよりもずっと早いし、同年代のスマートフォンの文字打ちの平均速度が毎分115文字な事と比較しても、少し遅いだけだから、とても高速だよね! pic.twitter.com/EhOHEfBj8c
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
研究チームは、次は筋萎縮性側索硬化症のような、しゃべる事が出来ない人の協力によってこれを試すつもりだよ。今回の研究が進めば、運動機能障害でコミュニケーションに制限がある人に対して、より意思表示の選択肢が広がる画期的なツールの実用化に繋がるかもしれないよ!
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
[画像引用元]
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
全てHoward Hughes Medical Instituteより (一部は動画のキャプチャ)https://t.co/twsapl9HYR
[文献情報]
— 彩恵りり (科学系ニュース解説アカウント) (@Science_Release) 2021年5月13日
Francis R. Willett, et al. "High-performance brain-to-text communication via handwriting". Nature, 2021; 593, 7858, 249-254. DOI: 10.1038/s41586-021-03506-2.https://t.co/T0LcEdJKx0
手で文字を書こうとする時の脳内の神経活動からその企図を解読して文章に変換する、脳–コンピューターインターフェース(BCI)が開発された。研究では、首から下が麻痺した人で、毎分90文字という文字入力速度を達成。これは、画面上で文字を選択する以前の方式より2倍速い。https://t.co/V1h67H5a0U
— Nature ダイジェスト/編集部 (@NatureDigest) 2021年5月13日
Nature ハイライト:文字をつづる:思い描いた書字動作を文章に変換する脳–コンピューターインターフェース | Nature | Nature Portfolio: https://t.co/w2WHPRnFVn
— Nature ダイジェスト/編集部 (@NatureDigest) 2021年5月13日
こういうbrain–computer interface (BCI)は健康人でも欲しいです。詳細は読んで無いけど、今回のは英単語のスペルをイメージするのかな?
— 智の羅針盤 "The compass of the wisdom" (@xzruLnOPQuxlse6) 2021年5月13日
日本語なら"ひらかな"をイメージして、それをコンピュータ側で仮名漢字変換(候補の選択は脳側)するみたいなことが将来出来ると思います。念じながらSNSする様に。
頭の中で考えた文字を直接読み取るのではなく、手書きしようとする脳内信号を読み取って文字化するというのは発想の転換で興味深い
— kirito (@kirito37652121) 2021年5月13日
英語の場合だとスペルを覚えている必要があるのかな 🤔
— 目指せ富裕層!🗣🗣 (@mezase_huyuusou) 2021年5月14日
とりあえずメモがてら…