Generador de robots.txt gratuito

Kit de herramientas SEO

Generador de robots.txt


Predeterminado - Todos los robots son:  
    
Retardo de rastreo:
    
Mapa del sitio: (deje en blanco si no tiene) 
     
Robots de búsqueda: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directorios restringidos: La ruta es relativa a la raíz y debe contener una barra diagonal. "/"
 
 
 
 
 
 
   



Ahora, cree el archivo 'robots.txt' en su directorio raíz. Copia el texto anterior y pégalo en el archivo de texto.


Acerca de Generador de robots.txt

Free Robots.txt Generator & nbsp; le ayuda a crear un archivo robots.txt. & nbsp; & nbsp; Puede & nbsp; especificar qué archivos / URL son accesibles para los robots del rastreador del motor de búsqueda cada vez que & nbsp; visitan su sitio.

¿Qué es el archivo Robots.txt?

El archivo robots.txt es un archivo de texto sin formato que se adhiere al Estándar de exclusión de robots. Robot.txt contiene varias reglas sobre & nbsp; URL permitidas y rechazadas para visitas de bots de motores de búsqueda. & Nbsp;

Robots.txt se encuentra en el directorio raíz de su sitio web. Por lo tanto, el archivo robots.txt para https: //seocheckfree.com se encuentra en https://seocheckfree.com/robots.txt.

Cómo usar & nbsp; Robots.txt Generador?

Siga estos pasos para generar gratis el mejor Robots.txt:

  1. La configuración predeterminada está permitida para que todos los bots rastreen su sitio. Puede elegir rechazado si necesita que la mayoría de sus enlaces no sean permitidos para los motores de búsqueda.
  2. Especifique el retraso de rastreo de 0 a 120 segundos. Es el intervalo de tiempo que el robot rastreador rastrea cada URL. Puede establecer un intervalo lento si cree que las visitas de los bots tienen un impacto negativo en las cargas de su servidor.
  3. El generador de Robots.txt necesita la URL del mapa del sitio de su blog / sitio web. El XML de su mapa de sitio generalmente se encuentra en la raíz de su dominio example.com/sitemap.xls. Si no lo ha creado, proporcionamos XML Sitemap Generator para que lo haga fácilmente.
  4. Especifique el permiso de determinados robots de motores de búsqueda.
  5. Si tiene algunos directorios privados en su sitio web, especifíquelos en el & nbsp; campo Directorios restringidos .
  6. Crea tu Robots.txt presionando el botón. Puede elegir Crear y guardar como Robot.txt i Si desea que se descargue automáticamente en su computadora.
  7. Ahora, cree & # 39; robots.txt & # 39; archivo en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.
Si tiene algunos directorios privados en su sitio web, especifíquelos en el & nbsp; campo Directorios restringidos .
  • Crea tu Robots.txt pulsando el botón. Puede elegir Crear y guardar como Robot.txt i Si desea que se descargue automáticamente en su computadora.
  • Ahora, cree & # 39; robots.txt & # 39; archivo en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.
  • Si tiene algunos directorios privados en su sitio web, especifíquelos en el & nbsp; campo Directorios restringidos .
  • Crea tu Robots.txt pulsando el botón. Puede elegir Crear y guardar como Robot.txt i Si desea que se descargue automáticamente en su computadora.
  • Ahora, cree & # 39; robots.txt & # 39; archivo en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.
  • span style = "color: # 2ecc71;"> Crea tu Robots.txt pulsando el botón. Puede elegir Crear y guardar como Robot.txt i Si desea que se descargue automáticamente en su computadora.
  • Ahora, cree & # 39; robots.txt & # 39; archivo en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.
  • span style = "color: # 2ecc71;"> Crea tu Robots.txt pulsando el botón. Puede elegir Crear y guardar como Robot.txt i Si desea que se descargue automáticamente en su computadora.
  • Ahora, cree & # 39; robots.txt & # 39; archivo en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.
  • Si desea que se descargue automáticamente en su computadora.
  • Ahora, cree & # 39; robots.txt & # 39; archivo en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.
  • Si desea que se descargue automáticamente en su computadora.
  • Ahora, cree & # 39; robots.txt & # 39; archivo en su directorio raíz. Copie el texto anterior y péguelo en el archivo de texto.
  • Robots.txt importante para SEO

    SEO incluye rastreo, indexación y clasificación. La configuración correcta de robots.txt respalda firmemente los dos primeros aspectos. Robots.txt garantiza que los robots de los motores de búsqueda puedan rastrear la URL que queremos que aparezca e indexarla para obtener la mejor clasificación.

    Además, robots.txt puede evitar la aparición de URL que se clasificarán como contenido duplicado y no son necesarios para que la indexación aparezca en las páginas de resultados de búsqueda.

    Ejemplo de Robots.txt

    Robots.txt
    Agente de usuario: *
    Disallow: / search
    Allow: / search / howsearchworks
    Disallow: / admin
    Disallow: / user

    Robots.txt tester

    Los robots rastreadores de Google responden a robots.txt cada vez que visitan el sitio web. Para verificar si su archivo robots.txt está configurado correctamente, puede usar el probador robot.txt de Google Webmaster .

    Desventajas de Robots.txt:

    Si bien tiene muchas ventajas, un archivo robots.txt también tiene algunas limitaciones.

    Robots.txt no puede evitar el acceso a directorios específicos.

    Para aquellos de ustedes que usan el comando de rastreo no permitido en algunos directorios porque tienen archivos o contenido secreto, robots.txt es bueno para evitar que los bots accedan a ellos, pero no es lo suficientemente eficaz para que los visitantes accedan a esos directorios.

    No permitir todo; allí & nbsp; Todavía existe la posibilidad de que se pueda rastrear e indexar.

    Los archivos Robots.txt impiden que Google encuentre o indexe contenido, pero si se vincula una URL no permitida desde otra parte de la web, es posible que aún encontremos y indexarlo. Los resultados de búsqueda de Google seguirán mostrando la URL de la página y posiblemente otra información disponible públicamente, como el texto de anclaje de los enlaces que apuntan a la página. Usar la metaetiqueta noindex, el encabezado de respuesta o eliminar la página por completo son formas efectivas de evitar que su URL aparezca en los resultados de búsqueda de Google.

    Los resultados de búsqueda de Google seguirán mostrando la URL de la página y posiblemente otra información disponible públicamente, como el texto de anclaje de los enlaces que apuntan a la página. Usar la metaetiqueta noindex, el encabezado de respuesta o eliminar la página por completo son formas efectivas de evitar que su URL aparezca en los resultados de búsqueda de Google.

    Los resultados de búsqueda de Google seguirán mostrando la URL de la página y posiblemente otra información disponible públicamente, como el texto de anclaje de los enlaces que apuntan a la página. Usar la metaetiqueta noindex, el encabezado de respuesta o eliminar la página por completo son formas efectivas de evitar que su URL aparezca en los resultados de búsqueda de Google.