Robots.txt – Bloqueando conteúdos aos buscadores
Um robot, também chamado de spider ou crawler é um software que percorre a web automaticamente, seguindo links de site em site e indexando os conteúdos. Esses conteúdos serão depois listados nos resultados de buscadores como Google, Yahoo, MSN etc. O que freqüentemente ocorre, é que temos conteúdos ou arquivos que não queremos que apareçam [...]
