評価の技術

文字起こしだけで、日本語の文法を評価できる?

読みやすい文字起こしと実際に話した日本語は同じとは限りません。J-GRADEが文法評価で音声にも目を向ける理由を会話の例で紹介します。

高田健太多言語音声対話AI・会話能力評価の開発

「言いたいことは分かった。でも、本人はどんな日本語で伝えたのだろう」。会話を記録した文章を読むだけでは、この違いが見えにくいことがあります。

内容を読みやすく残すことと、本人の言葉の使い方を確かめることは、別の目的です。J-GRADEでは、意味が通る文章かどうかだけでなく、実際の発話を確かめるための別の材料も使う設計にしています。

この記事の目次を開く
音声の波形を見ながら分析方法を話し合う開発者のイラスト
評価の技術 J-GRADE MEDIA文字起こしだけで、日本語の文法を評価できる?

読みやすい文章が、話した形と同じとは限らない

例えば、「昨日、図書館に行く」という発話を「昨日、図書館に行きました」と整えたとします。内容を共有するには読みやすくても、本人が使った動詞の形は変わっています。これは違いを説明するための架空例で、特定のサービスで起きた結果ではありません。

学習者の発話に含まれる誤りが、文字起こしでは修正されてしまう問題は、音声認識の研究でも扱われています。この研究は英語を学ぶ児童が対象で、日本語やJ-GRADEの評価精度を示したものではありません。

会話の評価で知りたいのは、記録がきれいに読めるかではなく、本人がどのような言葉で伝えたかです。

J-GRADEは、文章だけの印象で終わらせない

J-GRADEでは、内容を読むための文字起こしに加え、音の形を確かめるための別の文字起こしを参照します。同じ質問に対する同じ応答として、会話の文脈と合わせて見るためです。

これは、文章の違いを見つけて、すべて誤りとして数えるためではありません。「図書館」と「としょかん」のような表記の違いもあれば、音声認識による違いもあります。どちらの記録も完全な正解と決めず、違いの意味を読み取る材料にします。

会話の記録について話し合う人たちのイラスト文法を見るときに確かめたいこと
  • 何を聞かれたか質問や、その場面の文脈と合わせて応答を見る。
  • どう伝えたか整った文章だけでなく、本人の発話の形にも目を向ける。
  • 言い直した後はどうか途中の言い間違いだけを切り取らず、修正後の表現も見る。
文法評価で見る観点の整理です。イラストは実際の分析画面ではありません。

一つの記録を読むだけでなく、本人の発話へ立ち返る材料を持つ。 ここがJ-GRADEの文法評価で重視している点です。音声認識やAIの解釈には誤りもあるため、この設計だけで文法判断の正しさが保証されるわけではありません。

短い返答や言い直しにも、会話としての意味がある

「どこで受け取りますか」と聞かれ、「受付で」と答える。短い返答ですが、必要な情報は伝わります。「私は受付で受け取ります」と毎回言わなければ会話にならない、ということではありません。

「来週に、いえ、来月に変更します」と言い直したなら、最後には来月と伝えています。途中の言葉だけを拾うと、自分で直せたことが見えなくなります。いずれも説明のための架空例です。

J-GRADEの評価方針では、話し言葉の省略や自己修正を、一律に文法の誤りとして加算しないようにしています。文章としての形だけでなく、相手との会話の中でどう使われたかを見るためです。

指導や会話確認に使える結果へ

学習者に伝えるなら、「文法が低かった」だけでなく、どの表現を次の練習で確かめるかまで考えたいところです。企業でも、文法上の特徴と、仕事に必要な内容を伝えられたかは分けて確認できます。

J-GRADEでは、課題でできたことと話し方の特徴を分ける設計を採っています。言葉が途切れたという話し方の特徴は、流暢さの観点で扱います。

まずはレポートの表示例で、結果がどのように説明されるかをご覧ください。学校・企業での会話評価を検討されている方は、デモ・導入について相談することもできます。

参考資料

この記事を書いた人

高田健太
高田健太Kenta Takada

PLUS IMPACT株式会社 代表取締役

丸紅でのミャンマー駐在、現地起業、500 Global・STATION Aiでの事業支援を経て、PLUS IMPACTを創業。多言語AI対話を活用するxCOREと、日本語会話能力を判定するJ-GRADEの企画・開発を推進している。言語や文化の違いを越えて対話を扱う技術と、発話の根拠を踏まえた会話力の評価に取り組む。

著者プロフィールを見る →