Gemini Liveに新機能「ビジュアルガイダンス」が実装。Googleアプリとの連携も拡大

Googleはパーソナル音声AIアシスタント「Gemini Live」に、画面上で視覚的なガイダンスを提供する新機能「ビジュアルガイダンス」を追加したと発表しました。

あわせて、GoogleカレンダーやGoogle ToDo リストなど、Googleが提供する各種アプリと連携できるようになりました。

Gemini Liveに新機能「ビジュアルガイダンス」が実装。Googleアプリとの連携も拡大
引用元:Gemini Live: A more helpful, natural and visual assistant

カメラをかざすだけで“最適な選択肢”が示される

Gemini Liveは、まるで友達と話しているように、自然な会話を通じて質問に答えたり、アイデア出しを手伝ったりしてくれるAIパートナーです。

今回のアップデートでは、「ビジュアルガイダンス」という機能が加わりました。これは、カメラで写しているものをGeminiが認識し、画面上に直接、関連する情報をハイライトして表示してくれるものです。

例えば、料理中に戸棚にあるたくさんのスパイスの中から、レシピに合うものを探したいとき、カメラをかざすだけでGeminiが適切なスパイスの瓶を教えてくれます。

Gemini Liveに新機能「ビジュアルガイダンス」が実装。Googleアプリとの連携も拡大
引用元:Gemini Live: A more helpful, natural and visual assistant

また、手持ちの工具の中から、適切な規格のレンチを選ぶ際にも、カメラをかざせばGeminiが最適な道具をハイライトして教えてくれます。

Gemini Liveに新機能「ビジュアルガイダンス」が実装。Googleアプリとの連携も拡大
引用元:Gemini Live: A more helpful, natural and visual assistant

Googleアプリとの連携も拡大へ

さらに今回のアプデートでは、Googleカレンダー、Keep、Google ToDo リストなどとの連携も発表されています。今回追加されたアプリの他にも、今後はメッセージや電話、時計アプリが追加される予定です。

近日中にさらなるアップデートを予定

Googleは、Gemini Liveがより自然なやりとりを実現することを目指し、次のようなアップデートを予定しています。

  • ユーザーの感情に応じて、口調を変えることによる自然で直感的なやりとり
  • 場面に応じて速度やアクセントを使い分けるなど、Geminiの話し方をコントロール
  • 物語の登場人物に合わせた感情的なストーリーテリング

なお、本アップデートは、Pixel 10 シリーズで8月28日の発売と同時に利用可能になっており、順次、AndroidやiOSデバイスに展開される予定です。

Gemini Liveとは

Gemini Live(ジェミニ・ライブ)は、Googleが提供する音声対話型AI機能です。キーボード入力ではなく音声で、AIとリアルタイムに自然な会話を楽しむことができます。ユーザーは会話中に話を遮ったり、途中で話題を変えたりすることも可能です。また、カメラ映像やスマートフォン画面の共有を通じて、視覚情報を活用したマルチモーダルな対話にも対応しています。対応端末はAndroidスマートフォンを中心に展開されています。

参照元:Gemini Live: A more helpful, natural and visual assistant

AMI(エイミー)

生成AI技術、テキスト、音声と来て、次はビジュアルか。