Google翻訳アプリに、Geminiの推論能力とマルチモーダル機能を活用した新機能が追加されました。これにより、ライブ翻訳が強化されるほか、70以上の多言語対応や語学学習機能の試験導入も発表されています。

ライブ翻訳で、会話の切り替えがシームレスに
今回強化されたライブ翻訳は、ユーザーが言語を指定し、話し始めるだけで翻訳が行われます。話した内容はすぐにテキストとして表示され、その直後に翻訳された内容も表示されます。これにより、話しながら同時に翻訳結果を確認することができます。また、音声での読み上げにも対応しています。
さらに会話の途切れやアクセント、イントネーションを識別し、会話を途切れさせずに正確な翻訳を行うことができる模様です。音声を分離する高度な音声認識モデルを活用することによって、空港やカフェといった、雑音が多い屋外でも問題なく利用できるとのことです。本機能は現在、米国やインド、メキシコで提供されています。
パーソナルな語学学習ツールとして「言語練習」を導入
Google翻訳では、語学学習ツールとして新機能「言語練習」がβ版として提供開始されました。
本機能では、ユーザーのレベルや目的に応じて、専用のリスニングおよびスピーキングの練習セッションが生成されます。課題はリアルタイムで生成されるため、語学スキルに応じた内容でユーザーが学習できる点も特徴です。
マルチモーダル機能とは
マルチモーダル機能は、文字・音声・画像・動画など、複数の情報形式(モード)を同時に収集・処理・理解できる人工知能(AI)の機能技術のことです。この機能を持つAIは、単一のデータソースだけでは捉えきれない複雑な情報を理解できるので、より高度な情報処理が可能になります。
参照元:Google翻訳、会話を続けながら訳す「ライブ翻訳」 語学学習機能も
また外国語を練習しない理由ができてしまった…。