Affärsproblem / kontext
Många datorbaserade arbetsuppgifter kräver att användaren växlar mellan program, mappar, webbläsare och dokument. VoicePilot undersöker hur röstkommandon i naturligt språk kan förenkla dessa arbetsflöden samtidigt som systemet behåller tydlig kontroll över vilka åtgärder AI:n får utföra. Projektet behandlar även utmaningen att kunna besvara frågor utifrån användarens egna dokument utan att språkmodellen får obegränsad åtkomst till operativsystemet.
Lösning
VoicePilot kombinerar taligenkänning, LLM-baserad tolkning av användarens avsikt, säker validering av åtgärder, dokumentsökning och ett begränsat agentbaserat arbetsflöde i en sammanhållen skrivbordsassistent. Användaren kan tala eller skriva kommandon för att öppna godkända program och mappar, genomföra webbsökningar, skapa anteckningar, spara och återkalla minnen, sammanfatta urklippsinnehåll samt ställa frågor om egna dokument.
Resultat
Den färdiga prototypen demonstrerar en säker end-to-end-arkitektur för en röstassistent med både enkla kommandon och agentbaserade arbetsflöden. Lösningen innehåller dokumentsökning med källhänvisningar, lokala AI-reservlösningar, konversationsminne, datorautomatisering och automatiserade tester.
