AI-crawler

Hva er en AI-crawler?

Det er et automatisk program som besøker nettsider og laster ned innholdet, på samme måte som en søkemotors robot. Forskjellen ligger i hva innholdet brukes til.

Hvorfor er skillet trening og henting viktig?

Leverandørene bruker gjerne én robot til å samle treningsdata og en annen til å hente kilder når en bruker stiller et spørsmål. De har ulike navn og kan reguleres hver for seg.

Konsekvensen overrasker mange: blokkerer du treningsroboten, kan du fortsatt bli hentet og sitert av hentende roboten. Du har reservert deg mot trening, ikke mot å bli brukt som kilde.

Avgjør crawlertilgang hvem som siteres?

I liten grad. Målinger viser at blokkering er sjelden i begge leirer — både blant dem som siteres og blant sammenlignbare nettsteder som ikke siteres. Tilgang er en forutsetning, men ikke en forklaring.

Relaterte begreper

• robots.txt — robots.txt er en fil i rota av et nettsted som forteller søkeroboter og AI-crawlere hvilke deler av nettstedet de kan hente.
• Grounding — Grounding er når en AI-tjeneste forankrer svaret sitt i faktiske kilder den henter inn der og da, i stedet for å svare kun fra det modellen har lært på forhånd.
• llms.txt — llms.txt er en tekstfil på et nettsted som gir AI-tjenester en kortfattet, maskinlesbar oversikt over hva nettstedet inneholder.