Googlebot, O Robô do google
Veja como o Google descobre e armazena o conteúdo da internet
Na internet, robots, ou robôs, são aplicativos que percorrem a internet em busca de conteúdo com o objetivo de indexar ou verificar alterações ocorridas desde a última “visita” (Saiba como funcionam os sites de busca, no início do tutorial). Robots também são conhecidos como “indexadores”, “bots” ou “crawlers”. Muito conhecidos na comunidade SEO, possuem até nome próprio. Os robots do Google são chamados de Googlebot, os robots do Bing de Bingbot, os robots do Yahoo de Yahoobot ou Yahoo! Slurp. Seguindo links de páginas, eles permitem aos sites de busca varrerem a internet para armazenar o conteúdo encontrado pelo caminho.
O que são links
Eles são comandos utilizados em páginas da internet que levam o internauta a outras páginas do mesmo site ou fora dele. Geralmente, o link aparece em destaque, com outra cor ou sublinhado.
Exemplo: clique no texto tutorial SEO e você será redirecionado ao início deste tutorial.
Como trabalha o Googlebot
Os robots começam seu trabalho em uma determinada página. Armazenam o conteúdo e mapeiam todos os links existentes nela. Em seguida, priorizam cada um dos links e começam a segui-los, a fim de armazenar o conteúdo e mapear os links encontrados, e assim sucessivamente.
Como controlar a ação do Googlebot
Nem todo o conteúdo de um site deve ser indexado pelos robots. Páginas de login, páginas repetidas e páginas de impressão são alguns exemplos. Existem algumas formas para impedir que o seu site seja visitado pelo Googlebot. Um deles é por meio do arquivo “robots.txt”. Temos neste tutorial, uma página dedicada ao robots.txt. Uma outra forma de controlar o acesso do Googlebot no site é pela Meta Tag “robots”.
