視覚／聴覚のみによる交流、対面と比べコミュニケーションに難

新エネルギー・産業技術総合開発機構（NEDO）は3月31日、同機構が進める「人工知能活用による革新的リモート技術開発プロジェクト」において、極薄ハプティックMEMSによる触覚デバイスと触覚信号編集技術を組み合わせることで、指先で触れる触覚情報を手首で計測して他者に伝えることを可能とする双方向リモート触覚伝達システムを開発し、これを基盤とした実用例としてAR技能教育システムと心拍数共有アプリ「HearTalk」と、その性能を向上する技術を開発したと発表した。この研究は、産業技術総合研究所（以下、産総研）、東北大学、筑波大学、株式会社Adansonsの研究グループによるもの。

画像はリリースより
（詳細は▼関連リンクからご確認ください）

ものづくりの分野では、少子高齢化に伴い、職人の高度な技能の記録や伝承、自動化が求められている。しかし、繊細な技能動作に関わる体感の違いを比較し、わかりやすく教示することが大きな課題だった。特に、工具でものを削る、擦るといった動作により発生する繊細な触覚は、従来の力覚提示装置や振動装置で忠実に再現することは、ハードウェアの応答限界のために困難だった。また、コロナ禍では、インターネットを活用して離れた人と交流する機会が増加した。一方で、視覚と聴覚のみによる交流では、対面と比較してコミュニケーションが難しく、孤独感を訴える人もいた。

これらの課題を解決するために研究グループは、極薄ハプティックMEMSによる触覚デバイスと触覚信号編集技術を組み合わせた、双方向リモート触覚伝達システムの開発に取り組んだ。東北大学はリアルな触覚を再現するAR技能教育システムの開発を、筑波大学は疑似心拍振動による社会交流促進の実証と心拍数共有アプリの開発を、産総研は皮膚内部のゆがみを可視化する独自の触覚デバイス設計・評価技術の開発を、そして、Adansons社は自然言語を活用した人間とAIが双方向に「ネゴシエーション」する触覚信号分離／編集ソフトウェア開発を担った。

振動体感を、個人の触覚の伝わりやすさの違いを補正しながら共有可能なARシステムを実現

東北大学は、作業者が手で感じる振動体感を、手先から手首に伝わる振動波形を手首に装着した腕輪型デバイスで計測し、触覚の知覚量に基づく信号処理技術を用いることにより、作業者が感じる触覚の知覚量を数値化し、AR（Augmented Reality）システムを介して空間に投影することで、作業体感の可視化に成功した。

記録した触覚は、腕輪型デバイスに内蔵されたバイブレーターを用いて、振動体感を忠実にバイブレーターで再生することが可能。このように手首位置で振動体感を記録し、忠実に再生するには、記録する作業者と体験者間における手指からの振動の伝わりやすさの個人差を補正したり、小型のバイブレーターでも再生できる信号に変換する必要がある。開発した触覚知覚量に基づく触覚信号の強調技術を用いて、個人差を補正し、バイブレーターが提示する体感量を忠実に制御することが可能になった。これにより、世界で初めて、個人の触覚の伝わりやすさの違いを補正しながら、振動体感を共有可能なAR技能教育システムを実現した。

実験として、ヤスリがけの動作を記録しておいた教師役の運動と振動体感に基づき、3人の被験者がARシステムを用いて再現を試みた。振動体感を補正し、さらにARシステムで可視化することにより、ヤスリの接触角度とヤスリで加えた法線力の誤差およびそのばらつきが低減することから、被験者が教師の動作をより正確に再現できる可能性を示した。

Apple Watch向けアプリを開発、相手の心拍数の変化に触れる体験を提供

筑波大学は、これまでに開発した疑似心拍振動により、従来の覚醒の度合いを示す感情の表現に加え、「快―不快」の感情の表現が可能であることを実験により確認した。また、この疑似心拍振動を介してカメラやウェアラブルデバイスから計測した表情や心拍数などの生体信号を伝達することにより、相手の存在感が強まることを実験により確認した。

これらの実験の成果を基に、手軽に二者間で振動を介して心拍数を共有可能なiPhoneおよびApple Watchユーザー向けの心拍数共有アプリを一般公開した。ビデオゲームで対戦している際の二者間や、競技中のアスリートからコーチまたは視聴者など、さまざまな場面で相手の心拍数の変化に触れる体験を提供する。

皮膚内部のゆがみを可視化する独自の触覚デバイス設計・評価技術の開発

産総研では、独自に開発した極薄ハプティックMEMSデバイスによる振動刺激性能を向上させるために、皮膚ファントムと非接触式の計測装置を組み合わせることで、皮膚内部に生じるゆがみ分布を可視化・数値化する評価システムを構築した。これにより、振動がどのように伝達しているかを定量的、かつ正確に把握することを可能とした。

同評価システムでは、高速度カメラを用いた非接触式の測定法を採用しており、任意の振動波形について皮膚内を伝播するゆがみを可視化できる点が大きな特徴。また、この評価技術を活用し、デバイスの貼付構造や皮膚と振動板の接触界面を最適化することで、振動知覚能を向上させられることを筑波大学との共同研究で実証した。

人間の意図どおりにAIに伝える信号を抽出するための技術を開発

Adansonsは、独自の信号分離／特徴抽出技術「参照系AI」を活用し、触覚信号などのノイズが多く複雑な信号から、人間の意図どおりに伝えたい信号を抽出するための「体感ネゴシエーション」インターフェイスを開発した。

従来、ノイズが多い環境や、信号が複雑に混合されている場合、既存手法では専門知識を持ってしても人間の狙い通りにノイズを分離することは難しく、非常に複雑な処理が必要だった。

参照系AIは、人間の意図や現象の特性、特徴量に基づいて信号を分解することが可能であり、今回、触覚領域において、LLMや映像解析AIと組み合わせることで、より簡単に人間の意図がAIに伝えられるようになった。さらに、AI側からも信号の意味や種別を判定し、信号分解方法や抽出する目的信号を提案する「ネゴシエーション」機構を開発したことで、AIと人間が双方向に意思決定しながら、簡単に複雑な信号を分解、抽出できるようになった。

同技術により、リアルタイムでの動画の動きや信号の特徴に応じた音源分離や信号生成、高ノイズ下での特定信号モニタリングなどが容易になる。また、人間とAIの対話による意思決定プロセスにより、これまでのように無作為にAIが選別した結果を受動的に受け入れるだけの体験から、AI自体を人間が制御し、安全な処理を行うという体験が可能となる。

触覚体験を手軽に記録して共有できる社会の実現を目指す

事業終了後、東北大学は、触覚知覚量に基づく振動体感の定量化および信号強調技術のソフトウェアライブラリの企業向けの試験提供をすでに開始しており、2025年後半に技術をライセンスするスタートアップを創業する予定。また、記録した体感付きの動画をスマートフォンで配信するSDKや、触覚信号のオーサリングツールも提供する予定となっている。筑波大学は、心拍数共有アプリのアップデートにより、一対多を想定した心拍数のブロードキャスト機能や、一対一で心拍数を共有しながら対戦するミニゲームを追加する予定だ。

産総研は、この評価システムと最適化手法をさらに発展させることで、ウェアラブル機器やヘルスケア分野をはじめとするさまざまな応用領域へ極薄ハプティックMEMSデバイスを展開し、より自然で高度な触覚フィードバックを実現していく予定。さらに、Adansonsは信号分離／編集ソフトウェアでは、今後対応領域を拡大し使用感の向上を図りながら、より多くの人が、AIと対話しながら、安心感と納得感を持って信号を制御できる技術開発を実現していく計画だ。「これまで空間および時間を超えて伝承が困難であった体で感じる触覚体験を手軽に記録して共有できる社会の実現を目指す」と、研究グループは述べている。（QLifePro編集部）