主に高齢者の心身状態を把握することを目的として，知的活動と関連性の大きい「話す」という行動を，そして健康状態と相関の高い「食べる」という行動を，皮膚接触型マイクから得られる音を用いて自動的に検出・認識するための研究を行っています。 この技術は高齢者の飲食時のむせ（咳嗽）の自動検出や，咀嚼や嚥下の質の自動評価にも応用しています。

音声＆食行動同時認識システムの概要

高齢者宅での咳嗽音＆食事音遠隔モニタリングシステム

画像（骨格情報），加速度・角速度そして音に関する情報を深層学習することで，工場での作業行動を自動認識し，作業誤りや習熟度を可視化するための研究に取り組んでいます。（一部はヤマハ発動機（株）との共同研究）

マイクとIMUセンサーを用いた作業行動の自動認識

DNNを用いた作業行動習熟度の可視化（作業の繰返し回数を色で表現）

食物を視認してから口へと運び， 嚥下するまでの一連の食行動について，生体音に加えて加速度センサの情報や画像情報を併せて収集することで，大規模かつ詳細な情報が付与された食行動のデータベース構築に取り組んでいます。 このデータベースは食行動に関する認識技術の改良だけでなく，保健・医療の観点から口腔機能の詳細な分析，特に高齢者における口腔機能低下の要因分析にも活用できるものと期待されています。 　
科研費挑戦的研究（開拓）"多元的センサー情報に基づく食行動研究基盤の構築" (2021-2024年度, 研究代表者：西村雅史）

食行動データの収録風景

人間中心デザインI，データマイニングI，データマイニングII，人間機械コミュニケーションプロトタイピングI，人間機械コミュニケーションプロトタイピングII，オープンイノベーション論，AI研究専門ゼミナールI，AI研究専門ゼミナールII，卒業研究，AIデザイン論（大学院）

日本音響学会東海支部・顧問
文科省科学技術専門家ネットワーク専門調査員
情報処理学会高齢社会デザイン研究会・運営委員
武蔵野大学しあわせ研究所客員研究員
電子情報通信学会ソサイエティ論文誌・常任査読委員
日本音響学会編集委員会・査読委員
ISCA, Scientific Review Committee for Interspeech
IEEE, Reviewer for ICASSP
情報処理学会音声言語情報処理研究会・運営委員（2024.3まで）
電子情報通信学会音声研究専門委員会・専門委員（2024.3まで）
国立研究開発法人産業技術総合研究所・客員研究員（2023.3まで）
日本音響学会東海支部・会計監査（2023.3まで）
日本音響学会東海支部・支部長（2021.3まで）
情報処理学会音声言語情報処理研究会・主査（2020.3まで）
情報処理学会メディア知能情報領域委員会・主査（2020.3まで）
電子情報通信学会ソサイエティ論文誌編集委員会・委員（2019.5まで）
電子情報通信学会編集顧問会・編集顧問（2014.6まで）
電子情報通信学会情報システムソサイエティ英文論文誌編集委員会・幹事（2012.5まで）

【ジャーナル論文（査読有） 2021年以降のみ】
1. “Visualization of the Proficiency Level of Assembly Work Using Inertial and Sound Sensors,” Tomoya Hirade, Takayuki Nakano, Takahiro Aoki, Yoshitaka Yamamoto, Masafumi Nishimura, Journal of Signal Processing, Vol.28, No.4, pp.137-140, 2024.7. DOI: https://doi.org/10.2299/jsp.28.137 (Selected Paper at NCSP'24)
2. "Hate Speech Detection by Using Rationales for Judging Sarcasm, " Maliha Binte Mamun, Takashi Tsunakawa, Masafumi Nishida and Masafumi Nishimura, MDPI, Applied Science 2024, 14, 4898. 2024.6, DOI: https://doi.org/10.3390/app14114898
3. “Regularizing Oversmoothing of Temporal Convolutional Networks for Action Segmentation into Human Assembly Operations,” Keisuke Nakamura, Yoshitaka Yamamoto, Masafumi Nishimura, Yuki Shiono, Reiki Shirasawa, Takayuki Nakano and Takahiro Aoki, Journal of Signal Processing, Vol.27, No.4, pp.75-79, 2023.7. DOI: https://doi.org/10.2299/jsp.27.75
4. "Information-gathering dialog system using acoustic features and user’s motivation," Ryota Togai, Takashi Tsunakawa, Masafumi Nishida, Masafumi Nishimura, IAES International Journal of Artificial Intelligence (IJ-AI) 12(1) 12-22 2023.3. DOI: https://doi.org/10.11591/ijai.v12.i1.pp12-22
5. "Screening of Mild Cognitive Impairment Through Conversations With Humanoid Robots: Exploratory Pilot Study,"
Kenta Yoshii, Daiki Kimura, Akihiro Kosugi, Kaoru Shinkawa, Toshiro Takase, Masatomo Kobayashi, Yasunori Yamada, Miyuki Nemoto, Ryohei Watanabe, Miho Ota, Shinji Higashi, Kiyotake Nemoto, Tesuaki Arai, Masafumi Nishimura, JMIR formative research 7 e42792 2023.1 DOI: https://doi.org/10.2196/42792
6. "ものづくり現場における組立作業の行動認識 —地域に根ざすファクトリーと産学連携の取組み紹介— ," 西村雅史, 山本泰生, 青木崇浩, 山口昌志, 人工知能学会学会誌 37(3) 280-285 2022.5.
7. "咽喉マイクを用いた大語彙音声認識のための特徴マッピングによるデータ拡張と知識蒸留," 鈴木貴仁, 緒方淳, 綱川隆司, 西田昌史, 西村雅史, 情報処理学会論文誌 62(6) 1373-1381 2021.6.
8. "Automatic Detection of Chewing and Swallowing, " Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura, MDPI, Sensors 2021 21(10) 3378-3378 2021.5, DOI: https://doi.org/10.3390/s21103378
9. "Tablet-Based Automatic Assessment for Early Detection of Alzheimer's Disease Using Speech Responses to Daily Life Questions," Yasunori Yamada, Kaoru Shinkawa, Masatomo Kobayashi, Masafumi Nishimura, Miyuki Nemoto, Eriko Tsukada, Miho Ota, Kiyotaka Nemoto, Tetsuaki Arai, Frontiers in Digital Health 3 653904-653904 2021.3, DOI: https://doi.org/10.3389/fdgth.2021.653904

【国際会議論文（査読有） 2021年以降のみ】
1. "Visualization of the Proficiency Level of Assembly Work Using Inertial and Sound Sensors," T.Hirade, R.Shirasawa, T.Nakano, T.Aoki, Y.Yamamoto, M.Nishimura, NCSP'24, pp.474-477 , 2024.3 (Student Paper Award受賞)
2. "Understanding Human Work Behavior by Action Segmentation Model with Feature Selection," Yuto Shimizu, Yoshitaka Yamamoto, Masafumi Nishimura, Yuki Shiono, Reiki Shirasawa, Takayuki Nakano, Takahiro Aoki, IEEE CSDE2023, 2023.12.
3. "Multi-Self-Supervised Learning Model-Based Throat Microphone Speech Recognition, " Kohta Masuda, Jun Ogata, Masafumi Nishida, Masafumi Nishimura, APSIPA2023, pp.1755-1759, 2023.11.
4. "Eating and Drinking Behavior Recognition Using Multimodal Fusion, " Amit Karmakar, Masafumi Nishida and Masafumi Nishimura, IEEE Global Conference on Consumer Electronics (GCCE2023), Proc. of GCCE2023, pp.210-213, 2023.10.
5. "Utterance-Style-Dependent Speaker Verification by Utilizing Emotions, " Hibiki Takayama and Masafumi Nishida; Satoru Tsuge ; Shingo Kuroiwa ; Masafumi Nishimura, IEEE Global Conference on Consumer Electronics (GCCE2023), Proc. of GCCE2023, pp.780-782 ,2023.10.
6. "Hate Speech Detection by Using Rationals of Judging Sarcasm," Maliha Binte Mamun, Takashi Tsunakawa, Masafumi Nishida, Masafumi Nishimura, ISFAR-SU2023, 2023.3.
7. "Eating & Drinking Behavior Recognition Using MS-TCN," Karmakar Amit, Masafumi Nishida, Masafumi Nishimura, ISFAR-SU2023, 2023.3. （Best Presentation Award受賞）
8. "Improved Throat Microphones Speech Recognition Using a Self-Supervised Learning Model," Kohta Masuda, Jun Ogata, Masafumi Nishida, and Masafumi Nishimura, NCSP2023, pp. 210-213, 2023.3.
9. "Temporal convolutional networks with feature selection for human manufacturing action analysis, " Yuto Shimizu, Yoshitaka Yamamoto, Masafumi Nishimura, Yuki Shiono, Reiki Shirasawa, Takayuki Nakano, Takahiro Aoki, NCSP2023, pp. 277-280, 2023.3.
10. "Timbre Uniformity Visualization for Percussion Training Using Contrastive Loss," Akinori Maeda, Masafumi Nishimura, NCSP2023, pp. 206-209, 2023.3.
11. "Tackling Over-smoothing on Temporal Convolutional Networks for OperatingWork Segmentation, " Keisuke Nakamura, Yoshitaka Yamamoto, Masafumi Nishimura, Yuki Shiono, Reiki Shirasawa, Takayuki Nakano, Takahiro Aoki, NCSP2023, pp. 178-181, 2023.3.（Best Student Paper Award受賞）
12. "Generation-based entity typing in knowledge graphs using a pretrained model, " Kosuke Aigo, Takashi Tsunakawa, Masafumi Nishida and Masafumi Nishimura, NCSP2023, pp. 98-101, 2023.3.
13. "Throat Microphone Speech Recognition Using wav2vec2.0 and Feature Mapping," Kohta Masuda, Jun Ogata (AIST), Masafumi Nishida, Masafumi Nishimura, Proc. of GCCE2022, pp.406-408, 2022.10.
14. "Identification of vocal tract state before and after swallowing using acoustic features," Aoi Sugita, Masafumi Nishida, Masafumi Nishimura, Yasuo Horiuchi, Shingo Kuroiwa, Proc. of GCCE2022, pp.780-781, 2022.10.
15. "Automatic Detection of Crushing Completion Timing of Food," Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno, Masafumi Nishimura, Proc. of IEEE Lifetech2022, pp.526-528, 2022.3.
16. "Feature Mapping of Throat Microphone Considering Speaker Information," Ryoga Murate, Masafumi Nishida, Takashi Tsunakawa, Masafumi Nishimura, NCSP 2022, 2PM2-2-3, 2022.3.
17. "Accelerated Stochastic Quasi-Newton Methods for Training Neural Networks, " S.Indrapriyadarsini, H.Ninomiya, M.Nishimura, ISFAR-SU2022, 2022.3. （Best presentation award受賞）
18. "Automatic Detection of Chewing and Swallowing Using Attention-Based Fusion," Akihiro Nakamura, Takato Saito, Daizo Ikeda, Ken Ohta, Hiroshi Mineno and Masafumi Nishimura, 2021 IEEE 10th Global Conference on Consumer Electronics (GCCE 2021, Proc. of GCCE2021, pp.404-406, 2021.10.
19. "Question Generation Using Knowledge Graphs with the T5 Language Model and Masked Self-Attention," Kosuke Aigo, Takashi Tsunakawa, Masafumi Nishida and Masafumi Nishimura, 2021 IEEE 10th Global Conference on Consumer Electronics (GCCE 2021, Proc. of GCCE2021, pp.111-113, 2021.10.
20. "Automatic Detection of Cough with Using DNN and Throat Microphone, " Bhuiyan Rakib, Masafumi Nishimura, 10th International Congress on Advanced Applied Informatics (IIAI AAI2021) , 2021.7.
21. "Automatic Detection of Chewing and Swallowing Using Multichannel Sound Information," Akihiro Nakamura, Takato Saito, Daizo Ikeda Ken Ohta, Hiroshi Mineno and Masafumi Nishimura, Proc. of LifeTech2021, pp.177-179, 2021.3.
22. "A Study for Detecting Mild Cognitive Impairment by Analyzing Conversations with Humanoid Robots, " Kenta Yoshii, Masafumi Nishimura, Kimura Daiki, Akihiro Kosugi, Kaoru Shinkawa, Toshiro Takase, Masatomo Kobayashi, Yasunori Yamada, Miyuki Nemoto, Ryohei Watanabe and Eriko Tsukada, Miho Ota, Kiyotaka Nemoto, Tetsuaki Arai, Shinji Higashi, Proc. of Lifetech2021, pp.348-351, 2021.3. （IEEE LifeTech2021 Excellent Paper Award for Oral Presentation, 1st Prize を受賞）

【特許 2021年以降のみ】
1. Evaluation Device, Evaluation Method, and Evaluation Program [出願番号] PCT/JP2022/046101 (2023年7月6日)
[備考] 国際出願, 公開番号：WO2023/127504
2. ビークルデータ処理装置、ビークルデータ処理方法およびビークルデータ処理プログラム [出願番号] 特願2022-200066 (2022年12月15日)
3. 評価装置、評価方法、及び評価プログラム [出願番号] 特願2021-212349 (2021年12月27日)
4. 評価装置、評価方法、及び評価プログラム [出願番号] 特願2021-024865 (2021年2月19日)
5. 評価装置、評価方法、及び評価プログラム [特許番号] 特許第7378770号 (2023年11月6日)
6. 嚥下音判定装置及び嚥下音判定方法 [特許番号] 特許第6963795号 (2021年10月20日)

【受賞歴 2021年以降のみ】
1. 東海総合通信局長表彰 （2023年6月)
[受賞者] 西村雅史 [授与機関] 総務省
受賞理由：情報通信の発展に貢献
2. 1st Prize, IEEE LifeTech2021 Excellent Paper Award for Oral Presentation A Study for Detecting Mild Cognitive Impairment by Analyzing Conversations with Humanoid Robots （2021年5月)
[受賞者] Kenta Yoshii and Masafumi Nishimura; and Others [授与機関] IEEE
[受賞理由] IEEE Lifetech2021 (国際会議）での研究発表に対する最優秀論文賞
3. 第23回学会発表奨励賞 母子相互作用場面における乳児の発声行動の分析 （2021年2月)
[受賞者] 成田あゆみ, 下嶋哲也, 北義子，西村雅史 [授与機関] 日本コミュニケーション障害学会
[受賞理由] 第46回学術講演会での演題に対する表彰

2号館3階 2303室

nisimura★asu.ac.jp （★をアットマークに変更ください）