- 首页
- 工作原理
Nia 工作原理: 从一句话到完成一个操作
四个步骤,没有一步是魔法。这就是从你开口,到日程出现在你日历里之间发生的事。
四个步骤
-
告诉它你想要什么
用语音或打字,说你自己的语言,一句话说完。如果 iPhone 能离线识别你的语言,听写就留在 iPhone 本机,否则由 Apple 在它的服务器上识别:到达 Nia 的是文字,从来不是音频。
-
理解这句话,挑选工具
模型接收到你的这句话、Nia 记住的关于你的信息、时间和大致地点,还有 59 个工具组成的目录。它决定需要哪些工具,用什么参数。
-
工具在你手机上执行
日历、提醒事项、照片、地图、HomeKit 和健康,用 iOS 的框架在设备本机上操作。服务器不能访问其中任何一个。
-
你会看到一张卡片,写着发生了什么
不是一段文字:是一张带着真实结果的卡片,标着是谁完成了这个操作,能撤销的时候还带一个撤销按钮。
什么在你的 iPhone 上运行,什么在服务器上?
界线画在该画的地方:需要你原始数据的部分留在手机上;需要大模型的部分放在服务器上,而且它收到的是文字。逐项说明见你的数据会怎样。
在 iPhone 上
- 离线听写和唤醒词
- 读一张小票、转录一场会议
- 翻译一段文字
- Nia Studio 的蒙版
- 你的通讯录
- 日历、提醒事项、照片、健康、HomeKit
在服务器上
- 理解这句话的模型
- Google 搜索和读取链接
- 生成图像和视频
- 语义记忆和你的文档
Gemini,同一轮对话里还带着另外四样东西
这不只是一个模型在回答。每一轮对话都带着能扩展它所知范围的工具。
Google 搜索
用来查今天发生的事,或者 Nia 自己不可能知道的信息。回答会附上来源。
链接阅读器
读取你贴给它的网页。打不开的链接会在回答之前告诉你,而且它不能描述一个自己没读过的页面。
你的文档
回答时会引用具体的文件和页码。这是单独一次调用,因为 API 不支持同时搜索 Google 和搜索你的文档。
代码执行
用于计算和图表:真的算出来,而不是在文字里估一个结果。
Nia 不会说自己做了没做的事
一条 WhatsApp 消息不是“已发送”
它是已备好待发,卡片就是这么写的。模型收到的是真实状态,不允许换一种说法。
没签名的快捷指令“添加”不了
Apple 只导入签过名的快捷指令,而签名功能还没有开启。所以你让 Nia 写一个时,卡片会在你点按之前就说明 iOS 不会导入它,而不是让你到了 Apple 的界面才发现。
Spotify 上的一首歌不是“正在播放”
Nia 会找到准确的那首歌,并打开 Spotify 播放它。结果只会说打开了哪个应用,从不会说正在播放。
没能应用的筛选条件,会直说
MapKit 不提供营业时间和评分,所以 Nia 会给你地点,并告诉你哪个筛选条件没能应用,而不是编一个“正在营业”出来。
内部是怎么工作的
Nia 用的是什么 AI 模型?
Gemini,跑在服务器上,这是整个系统里唯一和模型对话的地方:App 里不存有任何密钥。每一轮对话还会用到 Google 搜索来了解今天发生的事,读取你贴给它的链接,用代码执行来做计算和画图表,以及在你自己的文档里搜索。
Nia 能离线使用吗?
在 iPhone 本机运行的部分可以:唤醒词、iPhone 能离线识别你的语言时的听写、翻译文字和读小票。模型跑在服务器上,所以理解一次请求需要联网。
Nia 做的事我能撤销吗?
几乎都能。当一个操作可以撤销时,结果卡片上会有撤销按钮:创建的日程、提醒事项、闹钟、例行任务,或者刚保存的一条信息。不能撤销的时候,比如邮件已经发出、照片已经删除,卡片不会给一个骗人的按钮。
最后审阅: