Setting Robots.txt dan Tag Tajuk Robot Khusus yang Aman di Blogger

Cara Setting Robots.txt dan Tag Tajuk Robot Khusus yang Aman di Blogger - Konfigurasi pengaturan pada Robot.txt dan Tag Tajuk Robot Khusus atau Tag Header Robot Khusus dimaksudkan agar postingan dapat dengan mudah dirayapi/terindek oleh mesin pencari. Dengan menerapkan hal ini, maka blog tersebut menjadi SEO friendly.

Pada artikel sebelumnya saya telah mengulas settingan robots.txt yang berbahaya jika diterapkan di blogger, dan pada kali ini saya akan berbagi solusinya agar penerapan robot.txt tidak menjadi berbahaya untuk kelangsungan blog anda.

Cara Setting Robots.txt Khusus yang Aman Untuk Blogger

1. Gunakan Robots.txt Default Saja

Settingan robots.txt default bawaan blogger inilah yang paling aman, tapi bukan berarti tidak efektif. Anda tidak perlu mengaktifkan settingan robots.txt di blog anda, karena untuk robots.txt default ini sudah aktif sejak anda pertama kali membuat blog tersebut. Cek dengan ini https://blog-anda.blogspot.com/robots.txt. Berikut robots.txt default dari blogger.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://blog-anda.blogspot.com/sitemap.xml

Keterangan:
User-agent: Mediapartners-Google {Penanda bahwa blog menggunakan AdSense}
Disallow: {Yang tidak dibolehkan tidak ada}
User-agent: * {Semua robot mesin pencari}
Disallow: /search {Tidak mengijinkan url setelah /search seperti ..../search/label dan ... search/search?updated...}
Allow: / {Yang diijinkan untuk dirayapi. Tanda (/) adalah nama blog.}
Sitemap: https://blog-anda.blogspot.com/sitemap.xml {Sitemap/peta situs blog.}

Kita focus pada kode Disallow: /search, artinya kita membatasi atau tidak mengijinkan perayapan dihalaman seperti https://blog-anda.com/search/label/SEO, karena link tersebut tidak menuju ke satu halaman satu artikel penuh.

2. Custom Robots.txt

Jika anda tetap ingin melakukan customasi pada robots.txt, maka modifikasi robots.txt di bawah ini dapat anda terapkan.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://blog-anda.blogspot.com/sitemap.xml

Customasi robots.txt di atas tidak mengijinkan mesin pencari untuk merayapi halaman About dan halaman Contact pada halaman statis. jika anda ingin halaman tertentu tidak dirayapi mesin pencari, maka anda tinggal menambahkan seperti cara di atas.

Cara Menerapkan Robots.txt di Blogger/Blogspot

Berikt ini langkah-langkah untuk menerapkan customasi robots.txt di blogger.
Setelah login, pilih blog yang ingin di customasi robots.txt-nya, lalu klik Setelan > Preferensi Penelusuran. Setelah itu aktifkan robots.txt khusus dan letakkan kode customasi robots.txt anda seperti ini.

Cara Setting Tag Tajuk Robot Khusus

Untuk mengaktifkan tag tajur robot khusus silahkan klik Setelah > Preferensi Penelusuran > Tag tajuk robot khusus. Kemudian lakukan settingan seperti pada gambar di bawah ini.

Settingan di atas bertujuan untuk membolehkan mesin pencari merayapi halaman beranda, default untuk pos dan laman (semua isi blog), namun tidak membolehkan mesin pencari untuk mengindeks laman arsip dan penelusuran (model pencarian yang terjadi di dalam blog).

Demikian artikel cara setting robot.txt dan customasi tag tajuk robot khusus di blog. Semoga artikel ini bermanfaat untuk kelangsungan blog anda.