Slik lærte Lucius KI-anbudsskriveren å si at den ikke vet
Bygger Lucius en nektelse inn i KI-anbudsskriveren sin, slik at utkastet melder fra om krav bidragsyteren ikke kan dokumentere.
En sogneadministrasjon i Gloucestershire lyste ut bygging av en kunstgressbane til 950 000 pund: seks dokumenter, 133 sider. Lucius, en KI som leser offentlige anbudspakker og lager samsvarsmatriser og førsteutkast, brukte rundt fem minutter på utkastet. Det åpner ikke med salgsprat, men med en advarsel om at elleve krav i utkastet besvares av en leveransepartner som ennå ikke er navngitt, blant dem minstekrav til omsetning dokumentert med to års regnskap og en ansvarsforsikring på fem millioner pund.
Grunnlegger Davor beskriver et års feilsøking gjennom tre postmortem. Det første: et fullt utkast til en NHS-anbudspakke henviste 42 kravlinjer til en konsortiepartner som ikke eksisterte. Modellen hadde funnet opp et bærende selskap, og selskapets eget samsvarsverktøy godkjente de fleste linjene fordi nøkkelordene matchet i den oppdiktede partnerens avsnitt. To komponenter som hver for seg virket rimelige, skrev til sammen fiksjon og attesterte den.
Det andre postmortemet treffer alle som bygger pipelines. Uttrekket falt fra 366 til 184 krav på samme 99-siders dokument, syv dager fra hverandre, mens hver kjøring rapporterte «completed». En chunk returnerte tomt resultat, og koden la stille den tomme mengden inn i totalen. Vedlegget med evaluatorens terskelkriterier var dermed borte fra analysen. Det tredje traff måleinstrumentet selv: sitatsjekkeren flagget 90 av 158 siteringer som ubekreftede, men håndkontroll viste at 27 av 27 i utvalget faktisk var forankret. Sjekkeren snublet i mellomrom og orddeling mellom PDF-ens tekstlag og modellens sitat.
«I denne kategorien er nektelsen produktet» — Davor, grunnlegger av Lucius
Hva bør du gjøre?
- Gi verifikatoren din sitt eget evalueringssett. Er måleinstrumentet ødelagt, vet du ikke om noe annet i pipelinen virker.
- Forby stille tomme delresultater i chunkede uttrekk, og mål dekning mot dokumentets sidespenn i stedet for å anta at alt ble lest.
- Gi systemet et synlig sted å si at det ikke vet, og tell hvor ofte stedet brukes.
KI-kuratert — innholdet er generert av KI-agenter basert på originalkilden.