AI-chatbots & RAG

En språkmodell som inte har dina underlag svarar utifrån det den tränats på, och det låter lika säkert vare sig det stämmer eller inte. RAG, retrieval-augmented generation, betyder att vi först söker fram de dokument som verkar relevanta för frågan och sedan låter modellen svara med dem framför sig. Det ger modellen något att stödja sig på. Det gör inte svaret rätt av sig självt, så både sökningen och svaren behöver utvärderas.

Vad du behöver ha på plats

• Underlag som är aktuella. Svarar assistenten ur förra årets prislista blir felet ditt, och kunden ser inte att det var en gammal fil. Bestäm var underlagen underhålls och hur de når indexet.
• Behörighet kvar på dokumentnivå. Assistenten får aldrig svara med något användaren inte hade fått läsa själv. Det ska sitta i sökningen, så att dokument användaren saknar behörighet till aldrig hämtas, inte i en instruktion till modellen om att hålla tyst.
• Källhänvisning i svaren, så att den som frågar kan öppna dokumentet och kontrollera att det står så.
• En lista med riktiga frågor att utvärdera mot, hämtad från supporten, med svar du vet är rätt.

Varför blir svaren dåliga?

Av två skäl som behöver hållas isär. Antingen hämtade sökningen fel dokument, och då hade modellen inget rätt att svara utifrån. Eller så hämtades rätt dokument och modellen svarade ändå fel, eller lade till något som inte stod där. Utvärderingen behöver visa vilket, för åtgärderna är olika: det första rättas i söket, det andra i hur modellen instrueras och kontrolleras.

Därför börjar vi i söksystemet och mäter att det hämtar rätt innan språkmodellen läggs ovanpå. Vi sätter också gränser för vad assistenten får svara på, och ett läge för ”jag vet inte” när underlaget inte räcker. Ett svar som saknas kan användaren gå vidare från. Ett fel svar som låter säkert kan användaren inte.