Salah satu pengaturan di blogger ada istilah robot txt apakah pengaturan ini sangat penting? apa pengaruhnya ke blog kamu? apakah blog kamu lebih cepat terindex oleh google?
Pengaturan robots.txt dan tag tajuk robot khusus di Blogger bertujuan agar mesin pencari (search engine) mudah merayapi (crawling) blog, sehingga artikel lebih cepat terindex.
Jika diatur dengan benar, maka blog akan menjadi SEO friendly. Sebaliknya, jika kurang tepat maka blog akan diabaikan oleh mesin pencari yang mengakibatkan artikel tidak muncul di hasil pencarian.
Oleh karena itu dibutuhkan pengaturan yang aman agar blog tidak mengalami efek negatif. Sebenarnya tidak perlu disetting pun robots.txt ini sudah aktif dengan sendirinya sejak blog pertama kali dibuat tetapi butuh waktu yang sangat lama untuk google bisa mengindex blog kamu. Lalu, Bagaimana cara untuk mengatur robot txt? berikut ini adalah:
Setting Robot TXT di Blogger
Pertama, buka Blogger > Lalu klik Setelan > Pilih Crawler dan pengindeksan > Lalu Aktifkan robots.txt kustom > Tambahkan kode dibawah ini pada robots.txt kustom.
User-agent: *
Allow: /
Disallow: /search
Sitemap: https://www.blogkamu.com/sitemap.xml| Nama | Keterangan |
|---|---|
| User-agent | Nama robot mesin pencari (web crawler software). |
| Disallow | Direktori atau halaman yang tidak diizinkan dirayapi oleh user-agent. |
| Allow | Direktori atau halaman yang diizkinkan dirayapi oleh user-agent. |
| Sitemap | Lokasi sitemap. Ganti dengan alamat blog kamu. |
Mencegah Perayapan Pada Halaman Tertentu
Menggunakan Robot.txt di atas sebenarnya sudah cukup, tetapi apabila kamu tetap ingin melakukan customasi pada Robot.txt, maka modifikasi Robot.txt dibawah bisa kamu pakai.
User-agent: *
Allow: /
Disallow: /search
Disallow: /p/contact.html
Disallow: /2009/01/test-postingan-pertama.html
Sitemap: https://www.blogkamu.com/sitemap.xmlMengatur Custom Robots Header Tags Di Blogger
Masih di menu yang sama Klik Aktifkan tag header robot kustom lalu ikuti gambar yang ada dibawah ini:
Jika sudah semuanya kemudian simpan.
Untuk mengecek apakah robots.txt sudah berubah dan sama dengan settingan diatas, kamu bisa mengeceknya dengan :
https://www.blogkamu.com/robots.txt
Posting Komentar