聴覚テレプレゼンスロボット（テレヘッド）の研究

この研究の目的は、ユーザがあたかもその場に居るかのように離れた場所の音場をリアルに再現する、 聴覚テレプレゼンスシステムを実現することです。

これまでの３次元音場を再現する技術は、頭部の周りの音響伝達関数の精密な計測と、 複雑な信号処理およびそれに伴う膨大な演算量を必要とします。また、想定する受聴点は空間のある一点だけで、 かつ、頭部静止状態での受聴を前提としています。一方、私たちが提案するテレロボティクス方式は、 マイクロフォンを仕込んだダミーヘッドをユーザの頭部運動に追従させる方式です。 このテレロボティクス方式は、脳の聴覚情報処理が自らの身体形状と運動と密接に結びついていることを 利用したもので、精密な頭部伝達関数を事前に計測しなくても、複雑な信号処理をしなくても、受聴者の頭部や音源が動いても、 リアルな３次元音場を再現できます。ダミーヘッドという物理的な実体がユーザーの頭部運動を再現することによって、 その耳元での音圧が省略無しに実時間で「計算」されるとともに、脳が外界の様子を再構築するときに利用している頭部運動と 音情報との矛盾が少なくなるからです。このようなシステムをテレヘッド（TeleHead）と呼んでいます。

このようなテレヘッドシステムを用いて、音像定位の精度と頭部の動き、ダミーヘッドの形状、頭部伝達関数の正確さとの関係を明らかにしつつあります。

テレヘッドの構成

関連する主要な発表論文

• 平原達也, 吉崎大輔, 塚田孝充: "テレヘッド六号機の運動特性と騒音特性と音像定位性能," 日本音響学会誌 71(11)，563-570（2015） （J-STAGE）
• 吉崎大輔，塚田孝充，平原達也："テレヘッドIV号機およびVI号機の運動特性と音響特性," 電子情報通信学会 応用音響研究会資料 Vol.112, No.266, EA2012-72, 49-54 (2012) (abstract)
• 平原達也，森川大輔，今井悠貴，吉崎大輔，岩谷幸雄："テレヘッドを用いた音響テレプレゼンスシステム," 平成24年度電気関係学会北陸支部連合大会 講演論文集, G11 (2012) (PDF 169kB)
• 平原達也，森川大輔，岩谷幸雄："インターネット接続したテレヘッドによる聴覚テレプレゼンス," 日本音響学会 2011年秋期研究発表会 講演論文集, 651-652(2011) (PDF 278kB)
• 平原達也："テレヘッドを通じた空間音響事象の知覚," 日本音響学会 2009年秋期研究発表会 講演論文集, 1427-1428 (2009) (PDF 404kB)
• Iwaki Toshima, Shigeaki Aoki, Tatsuya Hirahara: "Sound Localization Using an Acoustical Telepresence Robot: TeleHead II, " Presence 17(4), 　365-375 (2008) (abstract)
• 戸嶋巌樹, 青木茂明, 平原達也:"頭部運動を再現する改良型ダミーヘッドシステム−テレヘッドII−," 日本音響学会誌 62(3), 244-254 (2006) (CiNii)
• 戸嶋巌樹, 植松尚, 青木茂明, 平原達也:"頭部運動を再現するダミーヘッド−テレヘッド−," 日本音響学会誌 61(4), 197-207 (2005) (CiNii)
• Hiroshi Kawano, Hideyuki Ando, Tatsuya Hirahara, Cheolho Yun, Sadayuki Ueha： "Methods for Applying a Multi-DOF Ultrasonic Servo Motor to an Auditory Tele-existence robot "TeleHead"," IEEE Trans. on Robotics 21(5), 790-800 (2005) (abstract)
• 川野 洋、安藤英由樹、平原達也、尹 喆鎬、上羽 貞行： "負荷接続状態の多自由度超音波モータの三自由度回転駆動制御手法−高臨場感伝達ロボット「テレヘッド」への適用−," 電子情報通信学会論文誌 J87-A(11), 1386-1394 (2004) (CiNii)
• Iwaki Toshima, Hishashi Uematsu, Tatsuya Hirahara："A steerable dummy head that tracks three-dimensional head movement: TeleHead," Acoustical Science and Technology 24(5), 327-329 (2003) (JSTAGE)

動的聴覚ディスプレイシステムの研究

動的聴覚ディスプレイシステムとは、受聴者の頭部運動に応じた頭部伝達関数（HRTF: Head-Related Transfer Function）を音源信号に畳み込んで動的バイノーラル信号を実時間で合成することによって 立体的な音像を呈示する聴覚ディスプレイシステムのことです。上で紹介したテレヘッドと同じような機能をディジタル信号処理で実現するものです。私たちは、Windows XP 上で動作する動的聴覚ディスプレイシステムを開発するとともに、 頭部運動に伴う HRTF の切り替えに因って生じるノイズの性質を明らかにしました。

テレヘッドはダミーヘッドを用意すればどのような音源信号にも対応できますが、このような聴覚ディスプレイシステムはあらかじめ頭部伝達関すを用意する とともに呈示する音源信号の距離と方位を与えなければなりません。また、頭部運動を反映させない静的な聴覚ディスプレイシステムは、受聴者自身者の正確な頭部伝達関数を用意したり、イヤホン特性などを補正して 正確なバーノーラル信号を合成しないと、なかなかうまく立体音像が再生されないという問題を抱えていました。しかし、動的バイノーラル信号を利用することによって、このような問題は解消され、 再生される立体音像はより精度が高くなることがわかりつつあります。

動的聴覚ディスプレイシステムの構成

関連する主要な発表論文

• 大谷真, 平原達也, 伊勢史郎："汎空間型動的聴覚ディスプレイ," 日本バーチャルリアリティ学会論文誌 12(4), 453-460 (2007) (アブストラクト）
  
• Makoto Otani, Tatsuya Hirahara: "Auditory Artifacts due to Switching Head-Related Transfer Functions of a Dynamic Virtual Auditory Display," IEICE Trnas on Fundamentals of Electronics, Communications and Computer Sciences E91-A(6), 1320-1328 (2008) (abstract)
  
• 大谷真, 平原達也："Windows 上で動作する動的聴覚ディスプレイ," 日本音響学会 2007年春期研究発表会 講演論文集, 711-712 (2007) (PDF 78kB)

頭部伝達関数に関する研究

私たちが音を聴いているとき、左右の耳にはすこしづつ異なった音が届いています。なぜならば、頭部や体によって音の反射、減衰、回折が起きているからです。 私たちの聴覚は、左右の耳に届いた音の大きさの差（両耳間音圧差）、音の到達時間の差（両耳間時間差）、そして音の周波数成分の差（両耳間スペクトル差）に基づいて音源の方向を「計算」しています。 これら３つの音響情報を反映する、音源から受聴者の鼓膜までの音響伝達特性を頭部伝達関数（HRTF: Head-Related Transfer Function）と呼んでいます。

通常このHRTFは、頭部が無い場合の音源から仮想的な頭部中心（両耳中心）位置に置いたマイクロフォンまでの伝達特性H₀(ω)と、頭部がある場合の音源から外耳道入口に置いたマイクロフォンまでの伝達特性H_R(ω)を無響室内で計測し、 HRTF(ω) = H_R(ω)/ H₀(ω)として求めたものを利用しています。音源の位置は、頭部中心を原点とした距離 r、水平角θ、仰角φを用いて与えられ、HRTFもHRもH0もこれらの関数となります。 聴覚ディスプレイに用いるHRTFを用意するためには音源を頭部の周りで移動させて計測を繰り返さねばならないために、大掛かりな計測設備と、長い計測時間と、被験者の我慢が必要になります。

私たちは東北大学電気通信研究所と共同でHRTFを計測する際の問題点を再検討するとともに、より短い時間で正確にHRTFを計測する技術の開発に取り組んでいます。

立体音像再生に必要な音響的特徴と頭部伝達関数

関連する主要な発表論文

• 平原達也, 大谷真, 戸嶋巌樹："頭部伝達関数の計測とバイノーラル再生にかかわる諸問題," Fundamentals Review 2(4), 68-85 (2009) (PDF 4732kB)
  
• Makoto Otani, Tatsuya Hirahara, Shiro Ise: "Numerical study on source-distance dependency of head-related transfer functions," J. Acoust. Soc. Am. 125(5), 3253-3261 (2009) (abstract)
  
• 平原達也, 大谷真, 矢入聡, 岩谷幸雄，戸嶋巌樹:"頭部伝達関数の陥穽," 日本音響学会 2008年春期研究発表会 講演論文集, 513-514 (2008) (PDF 390kB)
• 大谷真, 平原達也, 伊勢史郎:"水平面上の頭部伝達関数の距離依存性の数値的検討," 日本音響学会誌 63(11), 646-657 (2007) (CiNii）

バイノーラル信号再生用イヤフォンの研究

この研究の目的は、バイノーラル信号を用いて立体音像を再生する聴覚テレプレゼンスロボットや動的聴覚ディスプレイシステムで用いる最適なイヤフォンを明らかにすることです。 市場には様々な種類のイヤフォンがあふれ、その周波数特性や歪み特性などの音響特性は様々です。それらの中から、何種類かの耳覆い型ヘッドフォン、イントラコンカ型イヤフォン、 挿入型イヤフォンをえらび、種々の音響特性とバイノーラル信号による立体音像の再現精度を評価しました。その結果、音響特性はそれぞれ異なるものの、頭部運動を反映させた 動的バイノーラル信号を用いれば、いずれのイヤホンでも立体音像を高精度に再生できることがわかりつつあります。

イヤフォンの種類

関連する主要な発表論文

• Tatsuya Hirahara : "Discrepancies between actual-ear and artificial-ear responses," Proc. 20th International Congress on Acoustics, 474.1-474.4 (2010) (PDF 190kB)
• 平原達也、青山裕樹、大谷 真 : "イヤホンの音響特性とIEC60711カプラの問題点," 日本音響学会誌 66巻, 2号, 45-55 (2010) (CiNii)
• 平原 達也、青山 裕樹、大谷 真："動的バイノーラル信号の音像定位におけるイヤホンの実耳応答補正の効果," 日本音響学会 2008年秋期研究発表会 講演論文集, 511-512(2008) (PDF 354kB)
• 平原 達也、青山 裕樹、大谷 真："聴覚実験に用いるイヤホンの諸特性," 日本音響学会 2007年秋期研究発表会 講演論文集, 513-514 (2007) (PDF 195kB)
• Tatsuya Hirahara: "Physical characteristics of headphones used in psychophysical experiments," Acoustical Science and Technology 25(4), 276-285 (2004) (JSTAGE)
• 平原達也:"ヘッドホンの陥穽," 日本音響学会誌 55(5) 370-376 (1999) (CiNii）

ガラスビン打音の研究

この研究の目的は、ガラスビンを叩いたときに出る打音の性質と発生機構を明らかにすることです。単純なことのように思えますが、いろいろなことがよくわかっていません。
　ガラスビンを叩くとある高さ（ピッチ）の打音が出ます。ビンに水を注ぐと打音の高さはどうなるでしょう？ 高校の物理で習った「気柱の共鳴」を思い浮かべると、水を入れると空気の部分が短くなるから共鳴周波数は高くなるので打音の高さも高くなる、と考えてしまいます。 しかし、ガラスビンを叩いて出る打音は、ビンの中の空気の部分の振動による音ではなく、ガラスビン自身が振動して出る音なのです。 注水するとガラスビン全体の質量が増すので、ガラスビンの振動周波数は低くなり、打音の高さも下がります。この原理を利用すると、ガラスビンを使った楽器が作れます。

マレットで叩く岡沢式打音装置（左）とソレノイドで叩く村田式打音装置（右）

関連する主要な発表論文

• 平原達也, 村田剛史, 岡沢浩樹, "注水したガラスビン打音のピッチ, " 日本音響学会 2016年秋季研究発表会 講演論文集，1115-1116 （2016） （PDF 395kB）

体導音センサの研究

この研究の目的は、体内で発生し体内を伝播してきた音を体表で安定して検出する、小型で装着が容易な高感度の体導音センサを開発することです。 非可聴つぶやき声（NAM: Non-Audible Murmur）と呼ばれる耳では聞き取れない微弱な音声を頚部の体表で検出するNAMマイクの原理を基にして、 その感度向上、小型化、装着性向上を図ることによって、様々な体導音を検出できる新しいセンサを開発しています。 そして、心音、血流音、呼気音、蠕動音、歩行音など生活者の体内の状況や行動を反映する体導音を、 日常生活をしながら長時間に渡って検出することを目指しています。

なお、本研究は総務省の戦略的情報通信研究開発推進制度（SCOPE）の支援によるもので、 平成20年度より2年間、日本エレクトロニクスサービス株式会社と 奈良先端大科学技術大学院大学および神戸大学と共同で研究開発を実施しました。

空気を伝わる音を気導音、体の内部（骨や肉）を伝わる音を体導音と呼ぶ

関連する主要な発表論文

• Tatsuya Hirahara, Makoto Otani, Shota Shimizu, Tomoki Toda,Keigo Nakamura, Yoshitaka Nakajima, Kiyohiro Shikano: Silent-speech enhancement using body-conducted vocal-tract resonance signals, Speech Communication Vol.52, Issue 4, pp.301-313 (2010) (abstract)
• Tatsuya Hirahara, Tooru Ooya："High-sensitivity body-conducted sound sensor," Proc. International Conference on Natural Polymers, IL114.1-IL114.4(2010) (PDF 95kB)
• 平原達也，清水 奨太, 小幡 健一，岩城 一隆，増田 恵介："小型体導音センサの実装法," 2010年春期研究発表会 講演論文集, 705-706(2010) (PDF 231kB)
• 平原達也, 清水奨太："小型体導音センサによる種々の体導音検出," 2009年秋期研究発表会 講演論文集, 627-628(2009) (PDF 315kB)
• 清水奨太, 平原達也, 大谷真："小型体導音センサの構造と感度特性," 日本音響学会 2008年秋期研究発表会 講演論文集, 637-638 (2008) (PDF 279kB)

発声障碍者の音声コミュニケーション手段の研究

この研究の目的は、声を失った人が音声でコミュニケーションする技術を開発することです。 声帯機能が低下したり喉頭を摘出したりすると声を出せなくなり、日常生活に大きな支障をきたします。 しかし、声が出せなくなった場合でも、舌や唇や顎を運動させて口の構えをつくる調音機能が残存していれば、 声道内気流や微弱振動音源を用いて微弱な声道共鳴音を生成できるます。

この微弱な声道共鳴音は非可聴つぶやき声（NAM: Non Audible Murmur）と呼ばれ、 頸部に設置した高感度振動センサーで検出できます。このNAMを拡声したり通常の音声に変換する代用音声（TAS: Transformed Artificial Speech）技術を開発して、 発声障碍者が音声でコミュニケーションする手段を回復することを目指しました。

NAMを利用した代用音声システムの例

その結果、微小振動源や微弱な呼気を駆動音源として生成される微弱な声道共鳴音であるNAMを、体表装着型の高感度センサーで検出し、NAM信号を聞きやすい音声に変換する新しい代用音声技術を開発しました。 また、これまで未解明であったNAMの生成メカニズムと体内伝播特性を明らかにするとともに、体表装着型の高感度NAMセンサーの諸特性も明らかにしました。

なお、本研究は総務省の戦略的情報通信研究開発推進制度（SCOPE）の支援によるもので、 平成17年度より平成19年度まで奈良先端大科学技術大学院大学 と奈良県立医科大学と共同で研究開発を実施しました。

男性話者（左）と女性話者（右）が発話した非可聴つぶやき声（NAM）の
音圧波形とスペクトログラム

関連する主要な発表論文

• Tatsuya Hirahara, et al.："Silent-speech enhancement using body-conducted vocal-tract resonance signals," Speech Communication Vol.52, Issue 4, 301-313(2010) (abstract)
  
• Shota Shimizu, Makoto Otani, Tatsuya Hirahara："Frequency characteristics of several non-audible murmur (NAM) microphones," Acoustical Science and Technology 30(2), 139-142(2009) (PDF 153kB)
  
• Makoto Otani, Tatsuya Hirahara, Shota Shimizu, Seiji Adachi："Numerical simulation of transfer and attenuation characteristics of soft-tissue conducted sound originating from vocal tract," Applied Acoustics 70(3), 469-472(2009) (abstract)
• Makoto Otani, Shota Shimizu, Tatsuya Hirahara："Vocal tract shape of non-audible murmur production," Acoustical Science and Technology 29(2), 195-198(2008) (PDF 193kB)

日本語母音の音響的特徴に関する研究

この研究の目的は、日本語を母語とする話者が発話した日本語母音の静的および動的な音響的特徴を明らかにすることです。

日本語母音の音響特徴に関する研究は、千葉・梶山の先駆的な研究（1942）以来多数なされていますが、 粕谷ら(1968)によるソナグラムを用いた100名の母音の音響分析、および奥田ら(2002)の音声認識用大規模音声コーパスに含まれる3771名の母音分析を除いて、 比較的少数の母音データの分析にとどまり、話者や発話を体系的に統制した研究はありません。 そこで、話者の言語履歴、年齢、性別、音韻環境といった言語学的な統制をとって日本語母音を多数収録し、それらを詳細に音響分析することによって、 アメリカ英語母音に関するPeterson and Barney(1952) や Hillenbrand et.al.(1995)に相当する日本語母音のデータベースを蓄えつつあります。

この日本語母音のデータベースは、音響音声学的な基礎資料としてだけでなく、母音知覚の恒常性の研究、日本語学習者の発音訓練、 音声合成や認識といった音声科学・音声工学の研究を推進する基礎データとして役立てることができます。

日本語母音（男声）のフォルマント周波数分布の一例

関連する主要な発表論文

• Tatsuya Hirahara, Reiko Akahane-Yamada："Acoustic characteristics of Japanese vowels," Proc. 18th International Congress on Acoustics, Kyoto, IV-3287-3290 (2004) (PDF 357kB)