P ada dashboard Blog platform Blogspot saat ini, Blogger mengizinkan dilakukannya custom file robots.txt atau membuat file robots.txt khusus. Ini luarbiasa. Kita kini dapat mengatur visibility semua posting di search engine. Maksudnya, kita punya authorisasi untuk setting artikel tertentu agar tidak terindeks (atau sebaliknya) oleh search engine.
Secara default, setiap blog Blogger mempunyai file robots.txt yang isinya seperti di bawah ini. Pada file robots.txt ada baris 'Disallow: /search' seperti berikut ini.
User-agent : Mediapartners-Google
Disallow :
User-agent : *
Disallow : /search
Allow : /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=UPDATED
Disallow :
User-agent : *
Disallow : /search
Allow : /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=UPDATED
Penjelasannya :
Mediapartners-Google
Mediapartners-Google adalah robot dari Google Adsense, dan biarkan seperti defaultnya karena jika Anda salah setting, maka iklan yang ditayangkan tidak akan menyesuaikan dengan content website Anda.Tanda (*)
Tanda bintang ini Artinya untuk semua robot.Disallow: /search
Pada konfigurasi defaultnya jelas terlihat bahwa label-label untuk semua artikel blog kita sudah di-setting untuk TIDAK terindeks dengan dituliskannya :- Disallow: /search.
Jadi misalnya Anda ingin supaya label terindeks jangan hanya mengisi dengan garis miring seperti ini :
- Disallow: /
Semua artikel dan label terindeks mesin pencari
Dan sebaliknya jika semua isi blog ingin dilacak oleh mesin pencari, maka menjadi seperti di bawah ini :User-agent : Mediapartners-Google
Disallow :
User-agent : *
Disallow :
Allow : /
Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Disallow :
User-agent : *
Disallow :
Allow : /
Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Dengan konfigurasi seperti di atas, semua artikel dan label akan terindeks oleh mesin pencari Google dan mesin pencari lainnya.
Memblok halaman tertentu
Untuk memblok robot di halaman tertentu (saya ambil contoh halaman Ihwal saya) Anda cukup menulis seperti berikut :User-agent : Mediapartners-Google
Disallow :
User-agent : *
Disallow : /p/ihwal.html
Allow : /
Sitemap : http://www.example.com/feeds/posts/default?orderby=updated
Disallow :
User-agent : *
Disallow : /p/ihwal.html
Allow : /
Sitemap : http://www.example.com/feeds/posts/default?orderby=updated
Menanggulangi Masalah Paginasi
Untuk solusi masalah paginasi yang muncul di blogspot setelah kita menghapus Disallow: /search maka kita bisa menggunakan konfigurasi seperti berikut untuk memblok halaman paginasi :User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Setelah mengubahnya pastikan semuanya sesuai seperti apa yang kita inginkan dengan mengunjungi
Ganti semua URL contoh di atas http://website-download.blogspot.com dengan URL blog blogger Anda.
PERHATIAN!
Gunakan dengan hati-hati. Jika salah menggunakan fitur ini, blog Anda bisa diacuhkan oleh mesin pencari. Jika Anda belum mengerti benar apa yang akan dilakukan, maka sebaiknya abaikan saja file robot.txt.
0 comments:
Post a Comment