Googleはパーソナル音声AIアシスタント「Gemini Live」に、画面上で視覚的なガイダンスを提供する新機能「ビジュアルガイダンス」を追加したと発表しました。
あわせて、GoogleカレンダーやGoogle ToDo リストなど、Googleが提供する各種アプリと連携できるようになりました。

カメラをかざすだけで“最適な選択肢”が示される
Gemini Liveは、まるで友達と話しているように、自然な会話を通じて質問に答えたり、アイデア出しを手伝ったりしてくれるAIパートナーです。
今回のアップデートでは、「ビジュアルガイダンス」という機能が加わりました。これは、カメラで写しているものをGeminiが認識し、画面上に直接、関連する情報をハイライトして表示してくれるものです。
例えば、料理中に戸棚にあるたくさんのスパイスの中から、レシピに合うものを探したいとき、カメラをかざすだけでGeminiが適切なスパイスの瓶を教えてくれます。

また、手持ちの工具の中から、適切な規格のレンチを選ぶ際にも、カメラをかざせばGeminiが最適な道具をハイライトして教えてくれます。

Googleアプリとの連携も拡大へ
さらに今回のアプデートでは、Googleカレンダー、Keep、Google ToDo リストなどとの連携も発表されています。今回追加されたアプリの他にも、今後はメッセージや電話、時計アプリが追加される予定です。
近日中にさらなるアップデートを予定
Googleは、Gemini Liveがより自然なやりとりを実現することを目指し、次のようなアップデートを予定しています。
- ユーザーの感情に応じて、口調を変えることによる自然で直感的なやりとり
- 場面に応じて速度やアクセントを使い分けるなど、Geminiの話し方をコントロール
- 物語の登場人物に合わせた感情的なストーリーテリング
なお、本アップデートは、Pixel 10 シリーズで8月28日の発売と同時に利用可能になっており、順次、AndroidやiOSデバイスに展開される予定です。
Gemini Liveとは
Gemini Live(ジェミニ・ライブ)は、Googleが提供する音声対話型AI機能です。キーボード入力ではなく音声で、AIとリアルタイムに自然な会話を楽しむことができます。ユーザーは会話中に話を遮ったり、途中で話題を変えたりすることも可能です。また、カメラ映像やスマートフォン画面の共有を通じて、視覚情報を活用したマルチモーダルな対話にも対応しています。対応端末はAndroidスマートフォンを中心に展開されています。
参照元:Gemini Live: A more helpful, natural and visual assistant
生成AI技術、テキスト、音声と来て、次はビジュアルか。