Hosting Knowledge Base

Qué es el archivo robots.txt

Los archivos "robots.txt, sirven, básicamente, para restringir el acceso a un sitio por parte de los robots de los motores de búsqueda.

Estos robots funcionan continuamente de forma automática, y antes de acceder a las páginas de un sitio, verifican si existe un archivo robots.txt que les bloquee el acceso a determinadas páginas.

El archivo robots.txt no es obligatorio y algunos emisores de spam y otros usuarios malintencionados, pueden ignorarlo por completo. Por este motivo, es importante proteger la información confidencial con contraseñas.

Información adicional

Puede encontrar una guía sobre contraseñas seguras, en el siguiente artículo de nuestra base de conocimiento:

Guía de contraseñas seguras

El archivo robots.txt solo es necesario si su sitio incluye contenido que no desea que los motores de búsqueda, como por ejemplo Google, indexen. Si desea permitir la indexación de su sitio por completo, el archivo robots.txt no es necesario (ni siquiera uno vacío).

Si bien los motores de búsqueda no rastrearán, ni indexarán el contenido de las páginas bloqueadas por el archivo robots.txt, sí que indexará las URL que encuentre en otras páginas de la Web. Como consecuencia, la URL de la página y otros datos disponibles públicamente, como el texto de anclaje en enlaces que dirigen al sitio o el título de Open Directory Project (www.dmoz.org), podrían aparecer en los resultados de búsqueda.

Siliconsejo

Para impedir que aparezca cualquier contenido de una página en el índice de páginas web de Google, incluso si está vinculado a otros sitios, puede utilizar una metaetiqueta noindex o una etiqueta x-robots-tag. De este modo, siempre que Googlebot rastree la página, verá la metaetiqueta "noindex" y no incluirá esa página en el índice de páginas web. La cabecera HTTP "X-Robots-Tag" resulta especialmente útil para limitar la indexación de archivos que no sean HTML, como archivos gráficos y otro tipo de documentos.

Archivos adjuntos

No se han encontrado archivos adjuntos.

¿Cómo puntuaría esta respuesta?



Para publicar un comentario para este artículo, simplemente complete el formulario más abajo. Los campos marcados con un asterisco son obligatorios.


Comentarios de los visitantes

No hay comentarios publicados de visitantes. Publicar un comentario
  • SILICONTOWER, S.L.
  • ESB64611825
  • Rda.General Mitre 25 Bajos 2a
  • 08017 Barcelona