Para evitar que los buscadores indexen nuestras páginas solo se tiene que agregar un archivo llamado robots.txt en la raiz del sitio.
El contenido del archivo robots.txt debe de decir:
User-agent: *
Disallow: /
El primer parámetro nos dice el nombre del buscador, en este caso el asterisco aplica para todos, pero si se desea especificar el buscador aquí una pequeña lista:
- Google: googlebot
- MSN Search (Bing): msnbot
- Yahoo: yahoo-slurp
- Alexa/Wayback: ia_archiver
- Ask/Teoma: teoma
- DMOZ: robozilla
- GigaBlast: gigabot
- Scrub the web: scrubby
- Altavista: scooter
- Google image: googlebot-image
- Yahoo MM: yahoo-mmcrawler
- MSN Pic-Search: psbot
- Yahoo Blogs: yahoo-blogs/v3.9
Tambien pueden agregar una etiqueta META a su HTML.
< meta name="robots" content="noindex,nofollow" >
En esta página pueden encontrar un generador de robots.txt
Si te gusto, comparte la información
