SoundUDを用いた実証実験で、多言語観劇支援アプリの有用性に期待

外国人に観劇を楽しんでいただくために

NICTで開発している多言語音声翻訳技術を、訪日外国人に観劇を楽しんでもらう為に利用できないかと、企業から問い合わせをいただくことがあります。しかし、セリフの音声翻訳をリアルタイムに行うには遅延もありますし、100%すべてを音声翻訳できるほどには、精度も十分ではありません。

では、そこに我々の技術はどのように使えるのか、その問題意識のもと、国内で演劇を上演するときの外国人対応の方法を調査したところ、商用施設では字幕を表示しているケースが多く見られました。

そこで、訪日外国人が日本の伝統文化芸能に興味を持ち、楽しんでいただける環境を整備していくため、我々の技術を多言語での字幕表示に活用しようと検討を開始しました。日本の伝統文化の一つである「地歌舞伎」が盛んな岐阜県の観光課に相談したところ、中津川市の馬籠宿には訪日客が多いとご紹介いただきました。2019年、中津川市の観光課の協力のもと、馬籠宿の馬籠座歌舞伎で多言語での観劇支援の実証実験をすることになりました。

多言語での字幕を表示するための方法として実証実験を請け負ってくださった企業から提案されたものの一つがSoundUDシステムの「おもてなしガイド」です。

劇場では舞台から多数のお客様に向かって情報を発信します。お客様が様々な国から来られた場合に、複数の言語をまとめて字幕表示すると、読み辛くなり、字幕を表示するエリアも広くなります。また伝統文化芸能は、日本独自の古い文化や言葉などが使われ、まだまだ自動翻訳では表現できない言葉が多くあります。「おもてなしガイド」を利用することで、「複数の言語で同時に、字幕として様々な国のお客様のお手元に届けられる」「正しく翻訳した文章を提示できる」ということを評価し、今回用いる実証実験用の多言語観劇支援ツールとして採択しました。

「おもてなしガイド」でセリフや場面、劇の背景を解説

会場となった馬籠座歌舞伎は、70人程度が着座で入れます。実証実験は、「おもてなしガイド」をインストールしたスマートフォンを来場した外国人観光客に貸し出し、地歌舞伎のセリフや場面、劇の背景、要約などの解説を、多言語でシーンに応じて表示するという形で実施しました。開演前には、トイレや写真撮影についての説明、それに「大向こう」や「おひねりの投げ方」など、地歌舞伎の楽しみ方の説明も提示しました。

地歌舞伎のセリフは現代語ではありません。日本語独自の言葉遊びのような表現も多く、直訳では外国人に伝わりません。どのように表現すれば伝わるのかを模索しながらのコンテンツ作りとなりました。

対応言語は、日本語、英語、中国語（繁体）、フランス語、スペイン語の５ヶ国語としました。

また、「おもてなしガイド」と並行し、外国人と地域の方とのコミュニケーション支援のためにNICTの多言語音声翻訳アプリ「VoiceTra（ボイストラ）」も活用しました。

芝居の内容が理解しやすいと好評

中津川市の観光課や地歌舞伎の保存会の方に好意的にご協力いただけたことで、実証実験は成功裏に終わり「おもてなしガイド」を利用して観劇した外国人観光客からは、「内容が理解できて楽しめた」と喜んでいただくことができました。たとえば、「おひねり」については「役者が見得を切ったところで、バサッと役者の足元に撒くように投げます。その様子が舞台に花が咲いたように見えることから、おひねりを花とも呼びます。」と解説します。このような説明があると、伝統芸能が少し身近に感じられ、演者と観客が一体になって楽しめる公演になります。

「おもてなしガイド」は、提示するコンテンツをサーバからダウンロードしてしまえば、あとはネットワークなしで利用できるのもよいと思います。

課題もいくつか見出せました。もともと観劇用システムではないので、劇に集中しつつも字幕を見るだけという状態にするのには、アプリを起動するだけではできず、いくつかの操作をしておく必要があります。また、今回はアプリを事前に端末にインストールしていましたが、実際に活用する場合には、設定などを簡便にすることで、より使い勝手がよくなると思います。

より安価で高精度な翻訳技術の開発を目指して

我々は多言語音声翻訳技術を高める研究をしています。その成果によって翻訳コストを少しでも減らし、安価で高精度な翻訳を提供できるようになれば、もっと外国語対応は広がるでしょう。SoundUDシステムについても、今後、コンテンツの翻訳の一部を機械による自動翻訳に任せるなどすることで、より安価に多言語化が図れるようになるのではないでしょうか。

また、SoundUDの仕様は、事前に登録した情報を出すシステムですが、少しの情報であれば直接トリガー信号に乗せて出せると、さらに便利になるかもしれません。その受信した情報を端末側で機械翻訳をすることで、多言語化も図れると考えられます。

先の実験結果を踏まえ、我々は現在、観劇に特化したアプリの開発・実証実験を計画しています。いずれは機械翻訳と組み合わせて翻訳コストを下げ、安価に運用できるシステムにしたいと考えていますが、この技術を商用化するには民間企業の協力が必要です。企業の皆様と、ぜひご一緒に研究開発ができればと考えています。