Innholdsfortegnelse
Når søkemotorer kommer til et nettsted begynner de å lete etter robots.txt -filen for å lese den. Det vil avhenge av innholdet slik at søkemotorens edderkopp fortsetter på nettstedet eller går til en annen.Roboten.txt -filen inneholder en liste over sider som er tillatt å indekseres av søkemotoren, som igjen begrenser selektiv tilgang til bestemte søkemotorer.
Agentbruker: Den brukes til å spesifisere hvilken robot som skal følge ordrene som presenteres.
Ikke tillat: Den brukes til å identifisere hvilke sider som skal utelukkes under analyseprosessen av søkemotoren. Det er viktig at hver side som skal ekskluderes må ha separate linjer og også begynne med / -symbolet. Med denne symbolikken blir det spesifisert; til "alle sider på nettstedet".
Det er ekstremt viktig at robots.txt -filen ikke har tomme linjer.
Noen eksempler er vist nedenfor;
- Når du vil ekskludere alle sider; Brukeragenten er: Ikke tillat: /.
- Hvis målet ikke er å ekskludere noen sider, må robotos.txt -filen ikke eksistere på nettstedet, det vil si at alle sidene på nettstedet vil bli besøkt likt.
- Når en bestemt robot er ekskludert, vil det være:
- Agentbruker: Robotnavn Ikke tillat: / Agentbruker: * Ikke tillat:
- Når en side er ekskludert; Agentbruker: * Ikke tillat: /directory/path/page.html
- Når alle sider i en katalog er ekskludert fra nettstedet med tilhørende undermapper, blir det; Agentbruker: * Ikke tillat: / directory /
En annen funksjon er å forhindre indeksering av duplisert innhold som finnes på nettstedet, for ikke å bli straffet.
Andre hensyn å ta i betraktning er at noen roboter kan ignorere instruksjonene i denne filen, og det må også være klart at filen er offentlig siden alle som skriver www.example.com/robots.txt kan ha tilgang til den.
Nå kan spørsmålet være; Hvordan generere robots.txt -filen?
Det er faktisk ganske enkelt siden det er et tekstdokument med navnet "robots.txt" og deretter laste det opp til roten til domenet til siden, det er der søkemotorene vil gå for å se etter at det skal leses.
En grunnleggende robots.txt -fil kan være:
Bruker agent: *
Ikke tillat: / private /
Instruksjoner genereres for å nekte tilgang til en katalog som vil være "privat" for alle søkemotorer.
Kommandoen bestemmer at den er adressert til alle roboter (User-agent: *), og angir at katalogen ikke er tillatt (Disallow: / private /).
Parameteren som brukes for Googles søkemotor er; Brukeragent: Googlebot
Som nevnt tidligere, brukes den i SEO for å begrense tilgangen til roboter til å kopiere innhold.Likte og hjalp du denne opplæringen?Du kan belønne forfatteren ved å trykke på denne knappen for å gi ham et positivt poeng
