Har du opprettet en ny side på din hjemmeside og undrer dig over hvordan Google finder den? Det kaldes crawlere og er den metode Google bruger til at finde nye og opdaterede sider.

Googles forretningsidé er at levere de mest relevante resultater baseret på brugernes søgeadfærd. En del af denne prosess er at crawle sider og tilføje dem i Googles indeks, dvs. de vises offentligt, som et søgeresultat. Google bruger automatiserede programmer kaldet crawlere til at opdage og skanne nettet for nye sider. Når søgerobotten (eller crawleren) finder en ny side, følger den linkene på siden, for at finde andre sider, for at opbygge en liste over sider, som skal crawles. På denne måde katalogiserer søgeroboten din hjemmeside.

Crawl skaber et relevant søgeresultat

Denne proces er en vigtig del af Googles arbejde, da den giver verdens største søgemaskine mulighed for at opdage og indeksere nyt indhold, som derefter gøres tilgængeligt for brugerne gennem søgeresultater. Undervejs i processen opbygges et kort, der får robotten til at forstå sammenhængen mellem de forskellige sider, samt vurdere, hvilken side der er vigtigst. Slutresultatet er et søgeresultat, der konstant holdes opdateret og relevant. For at gøre det lettere for søgerobotterne, at forstå din hjemmeside er søgemaskineoptimering meget vigtig. Dette gøres blandt andet ved hjælp af et sitemap.