Anda dapat mengirimkan URL ke alat Penguji robots.txt. Alat ini beroperasi sebagai Googlebot yang akan memeriksa file robots.txt dan memverifikasi apakah URL telah diblokir dengan benar.
Menguji file robots.txt
- Buka alat penguji situs Anda, dan scroll kode
robots.txtuntuk menemukan peringatan sintaksis dan error logika yang ditandai. Jumlah peringatan sintaksis dan error logika segera ditampilkan di bawah editor. - Ketik URL halaman pada situs Anda dalam kotak teks di bagian bawah halaman.
- Pilih agen pengguna yang ingin Anda simulasikan pada daftar tarik-turun di sebelah kanan kotak teks.
- Klik tombol UJI untuk menguji akses.
- Periksa untuk melihat apakah tombol UJI sekarang menjadi DITERIMA atau DIBLOKIR untuk mengetahui apakah URL yang Anda masukkan diblokir dari web crawler Google.
- Edit file di halaman dan uji kembali jika perlu. Perhatikan bahwa perubahan yang dilakukan pada halaman tidak tersimpan ke situs Anda. Lihat langkah berikutnya.
- Salin perubahan ke file robots.txt pada situs. Alat ini hanya menguji salinan yang dihosting pada alat dan tidak mengubah file aktual di situs Anda.
Batasan alat Penguji robots.txt:
- Alat ini hanya berfungsi dengan properti awalan URL; tidak berfungsi dengan Properti domain.
- Perubahan yang Anda lakukan di editor alat tidak tersimpan secara otomatis di server web. Anda perlu menyalin dan menempel konten dari editor ke file
robots.txtyang tersimpan di server. - Alat Penguji robots.txt hanya menguji
robots.txtdengan agen pengguna atau perayap web Google, seperti Googlebot. Kami tidak dapat memprediksi penafsiran web crawler lain atas filerobots.txtAnda.
Klik disini -> Webmasters tools robots testing tool
Penulis :
Baca juga:
"Berita Terbaru Lainnya"
"Berita Terbaru Lainnya"
