Kegunaan Robots txt untuk SEO blog dan membantu web crawler mengoptimalkan SERPs (Search Engine Result pages).
Untuk praktek penggunaan robots.txt, untuk kali ini Anda harus memahami file robots.txt terlebih dahulu (apalagi jika Anda sebagai blogger biasa menerapkan “Learning by Doing” atau “Try and Error”). Karena kesalahan penggunaan ini berakibat sangat fatal bagi indeks halaman blog di SERP, yaitu TIDAK DI-INDEKS atau laman web yang dindeks bisa berkurang drastis.
Definisi
Robots.txt adalah file dengan content teks sederhana yang memberi informasi ke robot search engine tentang laman-laman dan folder-folder dalam dokumen website (blog) mana yang BOLEH atau TIDAK BOLEH di-indeks oleh Googlebots dan robot search engine lain.
Jika sama sekali tidak ditemukan file robots.txt, maka robots mesin pencari AKAN MENGINDEKS SEMUA HALAMAN, termasuk baris-baris, file teks “disallow” folder atau halaman tertentu yang (sebenarnya) Anda tidak menghendaki untuk diakses oleh robot-robot mesin pencari.
Sebagai contoh, adanya perintah 'Disallow: /contact.html' dalam file robots.txt untuk memastikan bahwa “HALAMAN KONTAK” tidak akan ditampilkan dalam SERPs (Search Engine Result Pages).
Beware “Disallow:/” line!
Mengapa harus sangat berhati-hati dengan baris dalam file robots.txt ini?
Kesalahan penggunaan baris “disallow” banyak terjadi karena para blogger dan webmaster pemula seringkali melakukan “Try and Error” atau “Learning by Doing” dalam proses belajar. Jika Anda termasuk di dalamnya dan coba-coba menuliskan Baris : 'Disallow: /' saja, tanpa diikuti tambahan halaman atau folder apapun, akan BERAKIBAT FATAL – dipastikan SELURUH ISI WEBSITE (semua halaman web) tidak akan diindeks oleh robots – artinya seluruh halaman blog atau website sama sekali tidak ada di halaman hasil pencarian semua search engine.
Maka biasakan Anda selalu memeriksa file robots.txt untuk memastikan bahwa perlakuan Anda terhadap baris disallow dalam file tersebut sudah benar. Dan untuk memastikan keberadaan file tersebut klik saja link ini : robots.txt file.
Manfaat file Robots.txt
Secara default file robots.txt ada dalam dokumen file situs. Jika file ini sama sekali tidak disentuh, maka semua isi blog akan diindeks robots web crawler. Ini tidak baik untuk SEO blog karena content tidak relevan dan tidak penting akan diindeks. Jadi lebih baik Anda menyodorkan file/folder/direktori mana yang tidak ingin dirayapi oleh robots Crawler mesin pencari.
- Meng-indeks dan membatasi halaman web yang ditargetkan
- Mempercepat proses peng-indeks-an
- Menambah nilai SEO pada website
- Mengantisipasi terjadinya duplikat content
- Menjaga file sistem dari peng-indeks-an
Indeksabilitas blog atau website
Seberapa banyak laman situs bisa ter-indeks? Sejauh mana mesin pencari dapat menemukan laman di situs Anda dan membaca teks pada webpage tersebut?
Indeksabilitas situs penting dalam menentukan laman mana yang akan dimasukkan ke SERPs (hasil pencarian search engine). Banyak blog bermasalah di indeksabilitas. Biasanya disebabkan struktur miskin navigasi dan penggunaan komponen yang memungkinkan tidak dapat diindeks (misal kesalahan penggunaan “disallow:/”).
Resiko paling fatal, situs Anda hilang dari halaman hasil pencarian mesin pencari dan resiko paling ringan yaitu sedikitnya jumlah webpage yang di-indeks.
0 comments:
Post a Comment