ひと言から、実行されたアクションへ
4つのステップで、どこにも魔法はありません。口を開いてから、その予定があなたのカレンダーに入るまでに起きていることです。
4つのステップ
-
頼みたいことを伝える
音声でもテキストでも、自分の言語で、ひと続きの文で。音声入力はiPhone本体で認識され、携帯から出るのはテキストだけで、音声そのものは出ません。
-
文を理解し、ツールを選ぶ
モデルは、あなたの文、Niaが覚えているあなたの情報、時刻とおおよその場所、そして63個のツールのカタログを受け取ります。何が必要で、どんな引数を使うかを決めます。
-
ツールがあなたの携帯で実行される
カレンダー、リマインダー、写真、マップ、HomeKit、ヘルスケアは、端末内でiOSのフレームワークを使って操作されます。サーバーはそのどれにもアクセスできません。
-
起きたことがカードで表示される
長い文章ではなく、実際の結果と、誰がそのアクションを終えたかを示すバッジ、可能なら取り消しボタンがついたカードです。
iPhoneで動くものと、サーバーで動くもの
境界線はあるべき場所にあります。生のデータが必要なものは携帯に残り、大規模なモデルが必要なものはサーバーにあり、そこにはテキストだけが届きます。
iPhoneで
- 音声入力とウェイクワード
- レシートの読み取りと会議の文字起こし
- テキストの翻訳
- Nia Studioのマスク
- あなたのアドレス帳
- カレンダー、リマインダー、写真、ヘルスケア、HomeKit
サーバーで
- 文を理解するモデル
- Google検索とリンクの読み取り
- 画像と動画の生成
- 意味検索のメモリーとあなたの書類
- 自動で実行される依頼
Gemini、そして同じやり取りの中にあるほかの4つの仕組み
ただモデルが答えているだけではありません。どのやり取りにも、知り得ることを広げるツールが備わっています。
Google検索
今日起きたことや、Niaが自分だけでは知り得ない情報のためです。回答には出典が表示されます。
リンクの読み取り
貼り付けたページを読みます。開けなかったリンクは答える前にその旨が伝えられ、読んでいないページの内容を語ることは禁じられています。
あなたの書類
ファイル名とページを示しながら答えます。APIがGoogle検索と書類の検索を同時にできないため、別のやり取りとして処理されます。
コード実行
計算やグラフのためのものです。テキストの中で結果を推測するのではなく、実際に計算します。
Niaは、していないことを「した」とは言いません
WhatsAppは「送信済み」ではありません
「送信待ち」の状態です。カードもその言葉どおりに伝えます。モデルは実際の状態を受け取り、それを別の言い方にすることは禁じられています。
ショートカットは「作成済み」ではありません
書き上がっていて、Appleの画面で「追加」を押すのを待っている状態です。押すまではそのショートカットは存在せず、カードもボタンの上でその旨を伝えます。
Spotifyの曲は「再生中」ではありません
Niaが正確な曲を特定し、Spotifyでそれを開きます。結果はどのアプリを開いたかを伝えるだけで、再生していると言うことはありません。
適用できなかった条件は、そう伝えます
MapKitは営業時間や評価を提供しないため、Niaは場所を伝えたうえで、どの条件を適用できなかったかを伝えます。開いていると勝手に決めつけることはありません。
内部の仕組み
Niaはどのモデルを使っていますか?
サーバー側でGeminiを使っています。モデルとやり取りするのはシステムの中でサーバーだけで、アプリの中にキーは一切ありません。1回のやり取りには、最新の出来事を調べるGoogle検索、貼り付けたリンクの読み込み、計算やグラフ作成のためのコード実行、あなた自身の書類を対象にした検索も含まれます。
Niaはオフラインでも使えますか?
iPhone上で完結する機能、つまり音声入力、ウェイクワード、テキストの翻訳、レシートの読み取りは使えます。モデルはサーバー上にあるため、依頼の内容を理解するには通信が必要です。
Niaの操作を取り消せますか?
ほとんどの操作は可能です。結果を伝えるカードには、取り消せる操作の場合は取り消しボタンがついています。作成した予定、リマインダー、アラーム、ルーティン、保存したばかりのメモリーなどです。送信済みのメールや削除した写真のように取り消せない場合は、嘘になるボタンを表示しません。
はじめましょうか
Niaをダウンロードして、最初のひと言を言ってみてください。無料プランにクレジットカードは要りません。
無料ではじめられます。iOS 18が必要です。スペイン語と英語で使えます。