大学概要【2021年度実施分】IoTを活用した表現教育モデル

外国語学部

IoTを活用した表現教育モデル
実施責任者:宮崎 新

本取組はIoT/ICTの活用による学生の学びの質向上を目指すNTT西日本との産学連携課題解決プロジェクトである。口頭発表中の表情や目線などの視覚情報と、内容、声質などの聴覚情報を可視化する取組を2018年度から行っている。IoTとICTの活用から視覚情報、聴覚情報を「見える化」することで、より効果的なフィードバックの生成、学生にとっての客観的な振り返りを促すための活用デザインを模索している。

ACTIVITY

1.教育現場におけるICT/IoT活用の概要把握

2022/01/31

教育現場での技術導入に関して説明する中村氏

2020年度に活動を実施することが出来なかったため、2021年度の初回では新たに学びのコミュニティ活動に参加した学生に対しての概要と、実際の教育現場でどのようにICT/IoTが活用されているのか、NTT西日本の担当者から説明された。特に現場への技術導入に関わる背景(ニーズの把握、システムの提案、交渉)などの基本を学ぶことで、参加学生は日常的に使っているシステムがどのように管理されているのか、教育に関わる技術導入に伴う課題などを学ぶことが出来た。

2.コミュニケーション科学基礎研究所との音声評価の取り組み

2022/01/31

ICT/IoTを表現教育に活用するため、NTTコミュニケーション科学基礎研究所との共同実験を開始した(「深層学習による発話の流暢性の評価に関する共同実験」)。今回の活動では、研究所の田中氏による音声解析の研究背景や、実社会における活用(例えば発話が困難な人の音声生成)についての説明を受けた。その上で、声の流暢さの測定に関しての評価付け(ラベリング)の作業を行った。これは個人の発話の自動評価システムの構築につながるもので、次の活動時に、評価データがどのように応用されたのか共有される予定である。

音声評価(ラベリング)作業の様子

田中氏による音声解析技術の説明

3.ラベリング評価のフィードバックと口頭発表実践

2022/02/24

対面での口頭発表実践に臨む様子

音声の印象を評価する(ラベリング)という取り組みから、どのようにICTやIoTなどの技術活用から音声データの生成や評価が行われているのか学ぶ機会となった。NTTコミュニケーション科学基礎研究所から、実際に参加学生が行った5413件にも及ぶ評価データに基づき、学習データの特定の項目に関しての予測が大幅に改善されたこと、一方、全体的にまだ音声評価の精度には課題が残る点が共有された。本年度の取り組みでは、この学習データを用い実際にIoT活用から口頭発表の印象評価を行うことが目標であったものの、実施には至らなかった。


活動のまとめとして、ここ2年ほどコロナの影響でオンライン上での口頭発表が増えたことを受け、改めて対面口頭発表の非言語(音声、アイコンタクト、ジェスチャーなど)について実践とディスカッションを行った。オンライン(Zoom)環境では画面上で聴き手を一瞥できること、自分の姿を常時モニターできること、マイクやイヤホンで音声が増幅されるため声量が抑えられていることが特徴となる。つまり、目線の動きや発声が限られている。これに対し、マスク着用の対面の際には発声法を変えなければいけないこと、アイコンタクトの範囲(実践では180度)を広く意識すること、視覚補助/パワーポイント利用に聴衆との位置関係(立ち位置)に注意を向けることなどが課題として挙げられた。

  • 情報工学部始動
  • 社会連携センターPLAT
  • MS-26 学びのコミュニティ