Kjenner Googlebot

Googlebot er en robot som lar deg spore nettet til Google, er også kjent som Google -edderkoppen. På denne måten oppdager systemet de nye sidene som har blitt indeksert til databasen der de oppdateres, og det blir inkorporert tilbake i Google -indeksen.
Google bruker en stor mengde datautstyr for å gjennomsøke milliarder av sider som distribueres på nettet. Den er basert på en algoritmisk sporingsprosess, der dataprogrammer bestemmer nettstedene som skal spores, samt frekvens og antall sider det skal søkes på hvert nettsted. Prosessen begynner med en liste over tidligere genererte nettsider, som utvides basert på dataene som tilbys av nettstedskartene som webmasterne inneholder. Googlebot oppdager koblingene ved hvert besøk du gjør på disse nettstedene, og legger dem til på listen over sider som skal gjennomsøkes. Systemet oppdager nye nettsteder, endringer gjort i eksisterende og lenker som er utdaterte, og oppdaterer deretter Google -indeksen.
Hvordan Googlebot får tilgang til nettstedet
Googlebot du får vanligvis ikke tilgang til nettsteder mer enn én gang og i noen sekunder. Vanligvis laster systemet bare ned en kopi av hver side. Hvis du laster ned den samme siden flere ganger, skyldes det sannsynligvis at søkeroboten stopper og starter på nytt.
Googlebot er distribuert på flere datamaskiner, pluss at noen av edderkoppene kjører fra datamaskiner som ligger i nærheten av nettstedene de indekserer. Det kan være at sideloggene viser besøk fra flere datamaskiner som brukeragent.
Målet er å gjennomsøke det største antallet sider på et nettsted ved hvert besøk du foretar uten å bryte båndbredden til serveren.
Systemet finner nettsteder gjennom koblingene på sidene. Ved sporingsfeil kan de sees i verktøyene for nettredaktører levert av Google. Den viser problemene som oppstod ved gjennomgang av et nettsted. Det er en god idé å regelmessig kontrollere eventuelle gjennomsøkingsfeil som kan oppstå for å identifisere og fikse dem.
Siden IP-adressene som håndteres av Googlebot har en tendens til å variere fra tid til annen, er det ideelle å bruke roboten "user-agent" (Googlebot). Google -edderkoppen vil respektere retningslinjene som finnes i robots.txt -filen, men ondsinnede brukere kan ikke følge dem.