從一句話到完成一個動作
四個步驟,沒有一個是魔法。這就是從你開口說話,到事件出現在你行事曆裡之間發生的事。
四個步驟
-
跟它說你想要什麼
用講的或打字,用你的語言,一句話就好。聽寫是在 iPhone 上辨識的:離開手機的只有文字,絕不是語音。
-
理解這句話,挑選工具
模型會收到你的話、Nia 對你的記憶、時間和大概的位置,還有 63 項工具的目錄。它會決定需要哪些工具,以及要用什麼參數。
-
工具在你的手機上執行
行事曆、提醒事項、照片、地圖、HomeKit 和健康,都是透過 iOS 的框架在裝置上操作。伺服器完全碰不到這些東西。
-
你會看到一張卡片,顯示發生了什麼事
不是一段文字:是一張卡片,顯示真實的結果、標示是誰完成這個動作,可以復原的話還有一個復原按鈕。
什麼在你的 iPhone 上執行,什麼在伺服器上
界線畫在該畫的地方:需要你原始資料的部分留在手機上;需要大型模型的部分在伺服器上,而且只收到文字。
在 iPhone 上
- 聽寫和喚醒詞
- 掃描收據和會議逐字稿
- 翻譯文字
- Nia Studio 的遮罩
- 你的聯絡資訊
- 行事曆、提醒事項、照片、健康、HomeKit
在伺服器上
- 理解這句話的模型
- Google 搜尋和讀取連結
- 生成影像和影片
- 語意記憶和你的文件
- 自動執行的委託
Gemini,同一輪對話裡還有四樣東西
不只是一個模型在回答。每一輪對話還會用到能擴展它知識範圍的工具。
Google 搜尋
查今天發生的事,或 Nia 自己不會知道的資訊。答案會附上出處。
連結讀取器
讀取你貼給它的網頁。打不開的連結會先被告知,它也絕不能描述一個沒有讀過的頁面。
你的文件
回答時會標出是哪個檔案的哪一頁。這是另外一次呼叫,因為 API 不接受同時搜尋 Google 和你的文件。
執行程式碼
用來算數字和畫圖表:是真的計算出來的,不是用文字猜一個結果。
Nia 不會說它做了沒做過的事
WhatsApp 沒有「已送出」這回事
它的狀態是準備好要送出,卡片上就是這樣寫的。模型收到的是真實狀態,絕不能換句話說得更好聽。
捷徑沒有「已建立」這回事
它已經寫好,等你在 Apple 的畫面上按下「加入」。在你按下之前,這個捷徑並不存在,卡片會在按鈕上方提醒你這件事。
Spotify 的歌沒有「正在播放」這回事
Nia 找出正確的歌曲,打開 Spotify 播放那首歌。結果只會說它打開了哪個 App,絕不會說歌正在播放。
套用不了的篩選條件,它會直接說
MapKit 不提供營業時間或評價,所以 Nia 會給你地點,並告訴你哪個篩選條件套用不了,而不是自己編一個營業時間。
內部是怎麼運作的
Nia 用的是哪個 AI 模型?
是 Gemini,跑在伺服器上,整個系統只有那裡會跟模型溝通:App 裡沒有存放任何金鑰。每一輪對話還會用到 Google 搜尋來查今天發生的事、讀你貼給它的連結、執行程式碼來算數字和畫圖表,還有在你自己的文件裡搜尋。
Nia 在沒有網路的時候能用嗎?
跑在 iPhone 上的部分可以:聽寫、喚醒詞、翻譯文字和掃描收據。模型在伺服器上,所以要聽懂你的要求還是需要網路連線。
Nia 做的事可以復原嗎?
幾乎都可以。只要那個動作能復原,結果卡片上就會有一個復原按鈕:建立的事件、提醒事項、鬧鐘、例行工作,或是剛存下的資料。不能復原的事,像是已經寄出的信或刪掉的照片,卡片就不會放一個騙人的按鈕。