Apa itu file Robots.txt?
- File Robots.txt ialah file dalam directory root suatu blog (website) untuk mengkontrol webpage tertentu agar DIINDEKS oleh spider search engine atau mengatur bagian-bagian tertentu blog agar TIDAK DIINDEKS.
Default robots.txt
Secara default isi file robots.txt terdapat baris 'Disallow: /search' seperti terlihat dibawah ini.
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=updated
Penjelasan default robots.txt
-
Adanya “Disallow: /search” menjadikan robot Google memblokir semua url yang datang dengan label 'search.'
-
Semua label blog beserta URL terkait dicekal (diabaikan) oleh search engine Google.
-
Inilah penyebab masalah meningkatnya jumlah URL dicekal.
-
Untuk memperbaiki URL Dicekal tersebut Anda perlu menghapus “/search”
Memperbaiki URL dicekal robot.txt via Blogger
Tutorial
2. Setelan >>> Preferensi dan penelusuran
3. Pada kolom Perayap dan pengindeksan, pilih Edit di bagian kanan robots.txt khusus
4. Pergi ke baris Disallow: /search
5, Hapus /search (sehingga terlihat seperti poin nomor 4 dibawah User-agent"*).
Hasil akhirnya seperti dibawah ini.
- User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Allow: /
Sitemap : http://website-download.blogspot.com/feeds/posts/default?orderby=updated
ALTERNATIF LAIN
- /search
Apa solusinya? Gunakan isi file robots.txt dibawah ini untuk memblok halaman paginasi.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://www.example.com/feeds/posts/default?orderby=updated
Ganti example.com dengan URL blog Anda (misalnya http://website-download.blogspot.com). Pastikan semua sesuai seperti yang kita inginkan dengan mengunjungi
- www.example.com/robots.txt. Atau sebagai contoh seperti ini.
- http://website-download.blogspot.com/robots.txt
Untuk melihat hasilnya, tunggu 4-5 hari sesuai jadwal crawler Googlebots.
Peringatan keras terkait penggunaan robots.txt
PERHATIAN!
Anda harus hati-hati. Kesalahan setting robots.txt dapat menyebabkan blog hilang dari indeks search engine Google.
Contoh kesalahan, misalnya mengisi “disallow:” dengan hanya garis miring saja.
- Disallow: /
Sama saja Anda tidak mengizinkan Googlebots menelusuri keseluruhan content. Akibatnya blog lenyap dari hasil pencarian Search Engine dan siapapun tidak akan menemukannya di Google.
Nangis Bombay, dahhh!!!
CATATAN
- Kita mengetahui URL dicekal melalui Webmaster tools. Google yang akan mengirim pesan bila terjadi kerusakan serius untuk segera diperbaiki.
- Setidaknya seminggu sekali memeriksa kesehatan blog di Webmaster tools untuk mengetahui ada tidak-nya kerusakan blog.
0 comments:
Post a Comment