Van een zin tot een uitgevoerde actie
Vier stappen, en in geen daarvan zit magie. Dit is wat er gebeurt tussen het moment dat je je mond opent en de afspraak in je agenda staat.
De vier stappen
-
Je zegt haar wat je wilt
Hardop of geschreven, in jouw taal en in één zin. Het dicteren wordt herkend op de iPhone zelf: wat de telefoon verlaat is de tekst, nooit het geluid.
-
Ze begrijpt de zin en kiest de tools
Het model krijgt je zin, wat Nia van je onthoudt, de tijd en de locatie bij benadering, en de catalogus van 63 tools. Ze beslist welke nodig zijn en met welke argumenten.
-
De tools worden uitgevoerd op je telefoon
Agenda, Herinneringen, Foto's, Kaarten, HomeKit en Gezondheid worden aangeraakt met de frameworks van iOS, op het toestel. De server heeft tot geen van deze toegang.
-
Je ziet een kaart met wat er is gebeurd
Geen alinea: een kaart met het echte resultaat, het label van wie de actie heeft afgemaakt, en een knop om hem ongedaan te maken als dat kan.
Wat op je iPhone draait en wat op de server
De grens ligt waar hij moet liggen: wat je ruwe gegevens nodig heeft, blijft op de telefoon; wat een groot model nodig heeft, leeft op de server, en ontvangt tekst.
Op de iPhone
- Het dicteren en het activeringswoord
- Een bonnetje lezen en een vergadering transcriberen
- Een tekst vertalen
- De maskers van Nia Studio
- Je contactenlijst
- Agenda, Herinneringen, Foto's, Gezondheid, HomeKit
Op de server
- Het model dat de zin begrijpt
- Het zoeken in Google en het lezen van links
- Afbeeldingen en video genereren
- Het semantische geheugen en je documenten
- De klussen die zichzelf uitvoeren
Gemini, met vier dingen erbij binnen dezelfde beurt
Het is niet alleen een model dat antwoordt. Elke beurt draagt tools bij zich die uitbreiden wat het kan weten.
Google-zoekopdracht
Voor wat er vandaag is gebeurd of voor een gegeven dat Nia niet zelf kan weten. Het antwoord toont de bronnen.
Linklezer
Leest de pagina die je haar plakt. De links die ze niet kan openen, worden haar genoemd voordat ze antwoordt, en het is haar verboden een pagina te beschrijven die ze niet heeft gelezen.
Je documenten
Antwoordt met het bestand en de pagina erbij. Gaat in een aparte aanroep, omdat de API niet toestaat tegelijk in Google en in je documenten te zoeken.
Code uitvoeren
Voor berekeningen en grafieken: rekent echt in plaats van het resultaat in de tekst te schatten.
Nia zegt niet dat ze iets heeft gedaan wat ze niet heeft gedaan
Een WhatsApp-bericht is niet “verstuurd”
Het is klaar om te versturen, en de kaart zegt het met die woorden. Het model krijgt de echte status en het is haar verboden dit anders te verwoorden.
Een Opdracht is niet “aangemaakt”
Hij is geschreven en wacht tot je op “Voeg toe” drukt in het venster van Apple. Tot je erop drukt, bestaat de opdracht niet, en de kaart zegt dat boven de knop.
Een nummer van Spotify “speelt” niet
Nia zoekt het exacte nummer op en opent Spotify erop. Het resultaat zegt welke app is geopend, nooit dat er iets afspeelt.
Een filter dat niet toegepast kon worden, wordt gezegd
MapKit toont geen openingstijden of beoordelingen, dus Nia geeft je de plekken en zegt welk filter ze niet kon toepassen, in plaats van te verzinnen dat ze open zijn.
Hoe het van binnen werkt
Welk AI-model gebruikt Nia?
Gemini, op de server, de enige plek in het systeem die met het model praat: in de app zit geen enkele sleutel. De beurt heeft daarnaast zoeken op Google voor wat er vandaag is gebeurd, het lezen van de links die je erin plakt, het uitvoeren van code voor berekeningen en grafieken, en zoeken in je eigen documenten.
Werkt Nia zonder verbinding?
De delen die op de iPhone draaien wel: het dictee, het activeringswoord, een tekst vertalen en een bonnetje lezen. Het model staat op de server, dus om een verzoek te begrijpen is verbinding nodig.
Kan ik ongedaan maken wat Nia doet?
Bijna alles. De kaart met het resultaat heeft een knop om het ongedaan te maken als de actie ongedaan te maken is: een aangemaakte afspraak, een herinnering, een wekker, een routine, een gegeven dat je net hebt bewaard. Als dat niet kan, zoals bij een verstuurde mail of een gewiste foto, biedt de kaart geen knop aan die zou liegen.
Zullen we beginnen?
Download Nia, zeg haar het eerste wat je nodig hebt en kijk wat er gebeurt. Het gratis abonnement vraagt geen creditcard.
Gratis om te beginnen. Vereist iOS 18. In het Spaans en het Engels.