robots.txt

Hva er robots.txt?

Filen består av regler knyttet til navngitte roboter: hvilke stier som er tillatt, og hvilke som ikke er det. Den er en anmodning, ikke en sperre — velvillige roboter følger den, andre gjør det ikke.

Hva er den vanligste feilen?

At det ligger to sett regler for samme robot uten at noen har oppdaget det. Enkelte leverandører setter automatisk inn en blokkering av AI-roboter, mens nettstedets egne regler lenger ned tillater de samme robotene.

Ved regler som er like spesifikke, er det den minst restriktive som gjelder. Resultatet blir da at nettstedet er åpent, selv om eieren tror det er stengt. Det motsatte forekommer også.

Bør AI-roboter slippes inn?

Det er en forretningsbeslutning, ikke en teknisk. Vil du bli sitert i AI-svar, må innholdet kunne hentes. Vil du ikke at innholdet skal brukes til trening, kan trenings- og hentecrawlere behandles ulikt, siden de ofte er forskjellige roboter.

Relaterte begreper

• AI-crawler — En AI-crawler er en robot som henter innhold fra nettsider på vegne av en AI-tjeneste, enten for å trene modellen eller for å svare på et spørsmål der og da.
• llms.txt — llms.txt er en tekstfil på et nettsted som gir AI-tjenester en kortfattet, maskinlesbar oversikt over hva nettstedet inneholder.
• Teknisk SEO — Teknisk SEO er arbeidet med at et nettsted kan hentes, leses og forstås av maskiner, uavhengig av hva innholdet handler om.