Generator Robots.txt Gratis

Aplikasi SEO Tool Gratis

Pembuat Robots.txt


Default - Semua Robot adalah:  
    
Penundaan Perayapan:
    
peta situs: (kosongkan jika tidak ada) 
     
Cari Robot: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Direktori Dibatasi: path ini relatif terhadap root dan harus berisi garis miring "/"
 
 
 
 
 
 
   



Sekarang, Buat file 'robots.txt' di direktori root Anda. Salin teks di atas dan tempel ke file teks.


Tentang Pembuat Robots.txt

Generator Robots.txt Gratis membantu Anda membuat file robots.txt. Anda dapat menentukan file/URL mana yang dapat diakses oleh bot perayap mesin telusur setiap kali mereka mengunjungi situs Anda.

Apa itu file Robots.txt?

File robots.txt adalah file teks biasa yang mematuhi Standar Pengecualian Robot. Robot.txt berisi beberapa aturan tentang URL yang diizinkan dan ditolak untuk kunjungan bot mesin telusur.

Robots.txt terletak di direktori utama situs web Anda. Jadi, file robots.txt untuk https://seocheckfree.com terletak di https://seocheckfree.com/robots.txt.

Cara Menggunakan Robots.txt Pembangkit?

Ikuti langkah-langkah berikut untuk menghasilkan Robots.txt terbaik secara gratis:

  1. Setelan default diizinkan untuk semua bot merayapi situs Anda. Anda dapat memilih ditolak jika Anda ingin sebagian besar tautan Anda tidak diizinkan untuk mesin telusur.
  2. Tentukan penundaan perayapan dari 0 hingga 120 detik. Ini adalah interval waktu bot perayap merayapi setiap URL. Anda dapat mengatur interval lambat jika Anda merasa kunjungan bot berdampak buruk pada pemuatan server Anda.
  3. Robots.txt Generator memerlukan URL peta situs blog/situs web Anda. XML peta situs Anda biasanya terletak di akar domain Anda example.com/sitemap.xls. Jika Anda belum membuatnya, kami menyediakan XML Sitemap Generator untuk melakukannya dengan mudah.
  4. Tentukan izin robot mesin telusur tertentu.
  5. Jika Anda memiliki beberapa direktori pribadi di situs web Anda, tentukan di antaranya om Direktori Terbatas bidang.
  6. Buat Robots.txt Anda dengan menekan tombol. Anda dapat memilih untuk Membuat dan Menyimpan sebagai Robot.txt ijika Anda ingin mengunduhnya secara otomatis ke komputer Anda.
  7. Sekarang, Buat 'robots.txt' file di direktori root Anda. Salin teks di atas dan tempel ke file teks.
Jika Anda memiliki beberapa direktori pribadi di situs web Anda, tentukan om Direktori Terbatas bidang.
  • Buat Robots.txt Anda dengan menekan tombol. Anda dapat memilih untuk Membuat dan Menyimpan sebagai Robot.txt ijika Anda ingin mengunduhnya secara otomatis ke komputer Anda.
  • Sekarang, Buat 'robots.txt' file di direktori root Anda. Salin teks di atas dan tempel ke file teks.
  • Jika Anda memiliki beberapa direktori pribadi di situs web Anda, tentukan om Direktori Terbatas bidang.
  • Buat Robots.txt Anda dengan menekan tombol. Anda dapat memilih untuk Membuat dan Menyimpan sebagai Robot.txt ijika Anda ingin mengunduhnya secara otomatis ke komputer Anda.
  • Sekarang, Buat 'robots.txt' file di direktori root Anda. Salin teks di atas dan tempel ke file teks.
  • span style="color:#2ecc71;">Buat Robots.txt Anda dengan menekan tombol. Anda dapat memilih untuk Membuat dan Menyimpan sebagai Robot.txt ijika Anda ingin mengunduhnya secara otomatis ke komputer Anda.
  • Sekarang, Buat 'robots.txt' file di direktori root Anda. Salin teks di atas dan tempel ke file teks.
  • span style="color:#2ecc71;">Buat Robots.txt Anda dengan menekan tombol. Anda dapat memilih untuk Membuat dan Menyimpan sebagai Robot.txt ijika Anda ingin mengunduhnya secara otomatis ke komputer Anda.
  • Sekarang, Buat 'robots.txt' file di direktori root Anda. Salin teks di atas dan tempel ke file teks.
  • jika Anda ingin itu diunduh secara otomatis ke komputer Anda.
  • Sekarang, Buat 'robots.txt' file di direktori root Anda. Salin teks di atas dan tempel ke file teks.
  • jika Anda ingin itu diunduh secara otomatis ke komputer Anda.
  • Sekarang, Buat 'robots.txt' file di direktori root Anda. Salin teks di atas dan tempel ke file teks.
  • Robots.txt penting untuk SEO

    SEO mencakup perayapan, pengindeksan, dan peringkat. Pengaturan robots.txt yang benar sangat mendukung dua aspek pertama. Robots.txt memastikan bahwa URL yang ingin kita tampilkan harus dapat dirayapi oleh bot mesin pencari dan diindeks untuk mendapatkan peringkat terbaik.

    Selain itu, robots.txt dapat mencegah munculnya URL yang akan dikategorikan sebagai konten duplikat dan tidak diperlukan agar pengindeksan muncul di halaman hasil pencarian.

    Contoh Robots.txt

    Robots.txt
    Agen-pengguna: *
    Larang: /search
    Izinkan: /search/howsearchworks
    Larang: /admin
    Larang: /user

    Penguji robots.txt

    Bot perayap Google merespons robots.txt setiap kali mereka mengunjungi situs web. Untuk memverifikasi apakah file robots.txt Anda disetel dengan benar, Anda dapat menggunakan penguji robot.txt dari Google Webmaster.

    Kekurangan robots.txt:

    Meskipun memiliki banyak kelebihan, file robots.txt juga memiliki beberapa keterbatasan.

    Robots.txt tidak dapat mencegah akses ke direktori tertentu.

    Bagi Anda yang menggunakan perintah perayapan yang tidak diizinkan pada beberapa direktori karena memiliki file atau konten rahasia, robots.txt pandai mencegah bot mengaksesnya tetapi tidak cukup efektif untuk membuat pengunjung mengakses direktori tersebut.

    Larang semua; di sana masih ada kemungkinan bahwa itu masih dapat dirayapi dan diindeks.

    File robots.txt mencegah Google menemukan atau mengindeks konten, tetapi jika URL yang tidak diizinkan ditautkan dari tempat lain di web, kami mungkin masih menemukan dan indeks itu. Hasil penelusuran Google akan terus menampilkan URL laman dan kemungkinan informasi lain yang tersedia untuk umum seperti teks jangkar dari tautan yang mengarah ke laman. Menggunakan tag meta noindex, header respons, atau menghapus halaman sama sekali adalah cara efektif untuk mencegah URL Anda muncul di hasil penelusuran Google.

    Hasil penelusuran Google akan terus menampilkan URL laman dan kemungkinan informasi lain yang tersedia untuk umum seperti teks jangkar dari tautan yang mengarah ke laman. Menggunakan tag meta noindex, header respons, atau menghapus halaman sama sekali adalah cara efektif untuk mencegah URL Anda muncul di hasil penelusuran Google.

    Hasil penelusuran Google akan terus menampilkan URL laman dan kemungkinan informasi lain yang tersedia untuk umum seperti teks jangkar dari tautan yang mengarah ke laman. Menggunakan tag meta noindex, header respons, atau menghapus halaman sama sekali adalah cara efektif untuk mencegah URL Anda muncul di hasil penelusuran Google.