GOOGLEBOT, O ROBÔ DO GOOGLE


Veja como o Google descobre e armazena o conteúdo da internet

Na internet, robots, ou robôs, são aplicativos que percorrem a internet em busca de conteúdo com o objetivo de indexar ou verificar alterações ocorridas desde a última “visita” (Saiba como funcionam os sites de busca, no início do tutorial). Robots também são conhecidos como “indexadores”, “bots” ou “crawlers”. Muito conhecidos na comunidade SEO, possuem até nome próprio. Os robots do Google são chamados de Googlebot, os robots do Bing de Bingbot, os robots do Yahoo de Yahoobot ou Yahoo! Slurp. Seguindo links de páginas, eles permitem aos sites de busca varrerem a internet para armazenar o conteúdo encontrado pelo caminho.

O que são links

Eles são comandos utilizados em páginas da internet que levam o internauta a outras páginas do mesmo site ou fora dele. Geralmente, o link aparece em destaque, com outra cor ou sublinhado.

Exemplo: clique no texto tutorial SEO e você será redirecionado ao início deste tutorial.

Como trabalha o Googlebot

Os robots começam seu trabalho em uma determinada página. Armazenam o conteúdo e mapeiam todos os links existentes nela. Em seguida, priorizam cada um dos links e começam a segui-los, a fim de armazenar o conteúdo e mapear os links encontrados, e assim sucessivamente.

Como controlar a ação do Googlebot

Nem todo o conteúdo de um site deve ser indexado pelos robots. Páginas de login, páginas repetidas e páginas de impressão são alguns exemplos. Existem algumas formas para impedir que o seu site seja visitado pelo Googlebot. Um deles é por meio do arquivo “robots.txt”. Temos neste tutorial, uma página dedicada ao robots.txt. Uma outra forma de controlar o acesso do Googlebot no site é pela Meta Tag “robots”.

Anúncios

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s