Como usar o robots.txt: guia completo para iniciantes!

-
Um arquivo robots.txt informa aos robôs de rastreamento (ex: Google Bot) quais pastas, arquivos e páginas do seu site não podem ser acessados e analisados.
Por padrão, um robô pode acessar e analisar todo o conteúdo do site para entender o que deve ser indexado e exibido nos resultados de pesquisa, mas será que isso é bom?
Imagine que seu site tenha páginas de autenticação, arquivos .pdf temporários, pasta para download de arquivos, conteúdo em desenvolvimento e teste, ou páginas que devem ser acessadas apenas através de links diretos, nesse caso você pode considerar em dizer para o Google não rastrear esses materiais usando o robots.txt, poupando assim recursos do seu servidor e limitando o que é importante.
É importante lembrar que uma página do seu site protegida por robots.txt ainda poderá ser indexada se estiver vinculada a outros sites e com isso aparecer nos resultados de pesquisa. Se você quiser bloquear a indexação e exibição de uma página no Google, deverá usar a metatag noindex ou cabeçalho HTTP, como ensino aqui mesmo no meu site.
Outro ponto importante é saber que o robots.txt bloqueia apenas o rastreamento de robôs e tem foco em resultado de pesquisa. Se você…
Acesse o conteúdo completo sobre Como usar o robots.txt: guia completo para iniciantes! no site oficial do Aylton Inacio, que tem muito conteúdo sobre desenvolvimento web, analytics, bi, armazenamento e análise de dados, através de artigos, tutoriais e cursos online.

Comentários

Postar um comentário

Postagens mais visitadas deste blog

O que são Usuários, Sessões e PageViews no Google Analytics

-
Imagem
  Acesse o conteúdo original sobre “ O que são Usuários, Sessões e PageViews no Google Analytics ” no site oficial do Aylton Inacio. Se você tem um site comum, blog ou ecommerce, com certeza precisa medir e analisar o tráfego que ele recebe, e uma das melhores ferramentas para fazer isso é o  Google Analytics . Ao  configurar o Google Analytics no seu site , diversos dados são capturados em cada acesso do usuário e transformados em relatórios estratégicos, compostos por dimensões e métricas. Uma métrica é o que você deseja mensurar, já uma dimensão é a perspectiva de análise. Por exemplo, nos últimos 30 dias o meu site teve 10.000 usuários do estado do Rio de Janeiro. Neste caso temos a métrica Usuários e as dimensões Data e Estado.  Se preferir, acesse  “O que são Usuários, Sessões e PageViews no Google Analytics”  no YouTube. Dentro do Google Analytics existem diversas Métricas e Dimensões, e neste post você vai entender as diferenças entre  Usuários...
Leia mais

Como criar um mapa preenchido no Looker Studio

-
  Os mapas do   Looker Data Studio   permitem que você apresente seus dados separados por regiões geográficas, no Brasil ou mundo, de forma gráfica e interativa. O Google aproveitou uma ferramenta que tem há muito tempo, que é o Google Maps, e integrou com o Looker, assim temos recursos realmente valiosos de mapas. Hoje são 5 tipos de mapas para usar: Mapa de balão Mapa preenchido Mapa de calor Mapa de linhas Gráfico de mapa Neste tutorial vamos focar no  Mapa Preenchido  que permite a apresentação dos seus dados até o nível de cidade e preenchendo as áreas com cores, criando marcações bem visíveis e limitadoras. ▶ Se preferir, acesse  "Como criar um mapa preenchido no Looker Studio"  no YouTube. Acesse o conteúdo completo e original sobre “ Como criar um mapa preenchido no Looker Studio ” no site oficial do  Aylton Inacio .
Leia mais

Testes condicionais com Datas no Looker Data Studio

-
  O Looker Studio (Data Studio) permite a manipulação de campos Data de várias maneiras e é fundamental entender as possibilidades de testes condicionais. Neste post você vai aprender como fazer testes com operadores condicionais entre campos; entre um campo e uma data criada com função Date; funções como DATETIME_ADD para adicionar dias. ▶ Se preferir, acesse  "Testes condicionais com Datas no Looker Data Studio"  no YouTube. Para nossos exemplos, considere a seguinte tabela já com dois camp...   Acesse o conteúdo completo e original sobre “ Testes condicionais com Datas no Looker Data Studio ” no site oficial do  Aylton Inacio .
Leia mais