研究内容

 

信号システムの理論と応用

  私たちの身の回りでは、目に見えないデータを信号という形でやり取りしています。例えば、スマートフォンで画像を相手に送る際には、画像の色を数値で表現し、その数字列の信号を相手に送ることで、相手も同じ画像を見ることができます。信号は画像以外にも、音声やテキスト、それらを応用したAIなど、様々な領域で用いられており、この情報化社会を支えています。 私たちの研究室では、この信号を数学的に解析し、扱いやすいように手を加える「信号処理」という分野の研究を行っています。例えば、研究内容の一つに、ノイズキャンセリングシステムがあります。消したい騒音をマイクで集音、プロセッサーで解析を行い、内蔵スピーカから位相反転信号を出力することで、音の干渉により騒音を消すことができます(下図左)。この内蔵スピーカの代わりに、我々の耳軟骨を振動させ耳に位相反転信号を出力させる技術が、開発を進める軟骨伝導ノイズキャンセリングシステムです(下図右)。こうすることでヘッドホンを使用せず、耳を塞がない状態で騒音を除去できます。しかしこのようなシステムを設計するためには、耳の伝達特性を解析し、その特徴をうまく利用した効率のよい処理アルゴリズムを開発しなければなりません。そこで、信号解析、システム解析、スペクトル解析などの数学的な理論を駆使して、人間のもつ予測・適応・学習などの柔軟かつ知的な情報処理機構を工学的に応用し、推定精度、追随性能の向上、計算量、処理速度の削減を目指したシステム設計について研究を行っています。ノイズキャンセリングの他にも、音声の明瞭化、画像補間、画像復元、ノイズ除去、信号特徴抽出を中心とする音声音響処理、画像処理、無線通信への応用に取り組んでいます。

軟骨伝導ノイズキャンセリングシステム

 

音声音響システム

  加齢と共に聴力は衰えます。会話を行う上で聴力低下は大きな負荷となり、会話が億劫になると孤立感を受けるようになります。補聴器はこの会話を支援するため音を増幅しますが、①イヤホンで耳に栓をする耳閉感が馴染めない、②内耳にまで疾患が及ぶ感音性難聴者は聞き間違いを起こす、といった課題を抱えています。

 ①耳軟骨の振動で音情報を与える新しい補聴器・音響デバイスの開発

我々の耳は主に軟骨でできています。この軟骨を振動させて、外耳道内に音を直接放射させるメカニズムを軟骨伝導と呼びます[1]。このメカニズムを補聴器やその他音響デバイスに応用し、耳を塞がないイヤホンの開発を目指しています。

②感音性難聴者の聞き間違いを防ぐ信号処理の開発

人間の音声は基本周波数による倍音構造をなしていますが、この周期性が乏しい音声ほど聞き間違いが生じることが分かってきました[2]。感音性難聴のメカニズムを探ると共に、デジタル信号処理による言葉の明瞭化を目指しています。

 参考文献

[1] R. Shimokura, et al., "Cartilage conduction hearing," J. Acoust. Soc. Am. 135, 1959-1966 (2014).

[2] R. Shimokura, et al., "Autocorrelation factors and intelligibility of Japanese monosyllables in individuals with sensorineural hearing loss," J. Acoust. Soc. Am. 141, 1065-1073 (2017)

 

説明可能な遠隔診断システムの構築

 身の回りのデータを解析してその状態を診断するシステムを開発しています. たとえば,患者の声を識別して症状を早期に診断することや植物の成長記録から収穫時期を予測することに取り組んでいます. このとき,周波数特性や数理モデル近似という信号処理を取り入れることで, 何を根拠に診断しているか説明可能なシステムを構築することに取り組んでいます.

遠隔医療のための医療診断支援システムの開発

 高齢者の増加や地域の医療の格差を背景に、通信システムを介して患者を診察する遠隔医療が注目されています. とくに音声は,患者の気持ちや症状を知るための大切な手がかりです. そこで私は,ノイズが含まれ歪みが生じやすい通話音声でも頑健に機能する診断システムを開発しています. 現在は,マルチモーダルな特徴量と構音障害の重症度の関係性について解析することや音声合成で架空の患者音声データセットを生成することについて取り組んでいます.

遠隔栽培のための植物モニタリングシステムの開発

 私たちの生活を支える第一次産業では,現地での農作業に多くの時間や労力を割いています. そこで私は,農業従事者の負担を軽減するような遠隔栽培システムの構築について研究しています. 現在は,植物の成長記録を機械学習で解析して将来的な収穫量や生育不良を予測することやメタバース空間に投影できるような3D植物モデルを数枚の生育画像から生成することに取り組んでいます.