Cara Setting Robot.txt

Sebelum memulai tutorial cara setting robot.txt, saya sangat ingin mengucap alhamdulillah dan terima kasih bagi pengunjung blog saya ini – baik yang meninggalkan komentar ataupun hanya sekedar melintas – karena blog the Art of Seo dalam usianya yang menginjak minggu ke dua (20 Desember 2012), sudah mendapat total 363 penayangan, atau rata-rata 25,9 tampilan dalam sehari. Mungkin bukan hasil yang perlu dibanggakan bagi anda yang tentunya sudah cukup lama menggeluti dunia blogging, tapi bagi saya yang seorang blogger pelajar pemula ini, hal tersebut rasanya patut untuk saya syukuri.


Rencana awalnya, setelah blog ini mempunyai 10 posting atau setelah posting Cara Memasang Star Rating di Artikel Blog kemarin, saya akan istirahatkan blog ini sejenak sambil menunggu terindeks sepenuhnya oleh Google™, kenapa? karena bagaimana mungkin sebuah blog bertutur tentang SEO namun blog nya sendiri belum nampak di search engine?hehe.. namun karena beberapa pertimbangan lainnya, maka saya putuskan untuk tetap melanjutkan menulis artikel sambil berharap om Google™ cepat-cepat melirikkan matanya ke arah blog sederhana ini.

Saya rasa cukup basa-basi pembukanya, anda tidak kemari untuk membaca curhatan saya bukan?

Kostumisasi Setting Robot.txt

Meskipun bukan terhitung hal baru, namun banyak blogger tidak menggunakan fasilitas ini.
Sebelumnya, apa itu robot.txt? mari sejenak kita "mengintip" apa yang tertulis di http://support.google.com/blogger/bin/answer yang membahas mengenai robot.txt tersebut. Disebutkan bahwa costumisasi robot.txt memberikan sebuah perintah untuk search engine bagian mana saja dari blog kita yang boleh atau tidak boleh dirayapi.
Maka, itulah fungsi dari penyetingan robot.txt yang akan kita lakukan, untuk memudahkan robot merayapi dan mengindeks seluruh postingan yang kita miliki, dan mencegah dia merayapi halaman yang tidak perlu dirayapi.

Cara setting Robot.txt

Mari segera kita menuju ke menu setelan prefensi penelusuran blog anda, posisinya bisa anda temukan pada screen shot berikut ;

Pilih edit kemudian yes, sebelum anda menyalin kode berikut ;

User-agent: *

Disallow: /search

Allow:

 Sitemap: http://alamat blog anda.blogspot.com/feeds/posts/default?orderby=updated

Allow dan Disallow

Mari kita perhatikan kode di atas, mengapa dan untuk apa kode tersebut dibuat?

Pada baris pertama anda menemukan  User-agent: * , hal ini berarti anda memberikan perintah untuk semua robot crawler, namun jika anda hanya ingin memberikan batas perayapan untuk robot google maka ganti kode tersebut dengan User-agent: Google

Disallow: /search , memberikan perintah kepada robot untuk tidak perlu merayapi  label yang kemungkinan besar memberikan resiko duplicate content dan membahayakan pagerank anda. Anda dapat juga tambahkan  Disallow: /p di bawah atau di atas Disallow: /search jika anda tidak ingin halaman statis di blog anda ikut terindeks. Namun jangan membuat kode hanya Disallow: / karena hal tersebut akan membuat blog anda sama sekali tidak akan dirayapi.

Sedangkan fungsi allow adalah opsional. karena dengan perintah disallow maka semua direktori yang tidak termasuk disallow akan dirayapi oleh robot. Namun dengan menambahkan perintah  Sitemap: http://alamat blog anda.blogspot.com/feeds/posts/default?orderby=updated , diharapkan akan mempermudah dan melancarkan proses perayapan & pengindeksan artikel di blog kita.

Untuk penjelasan lengkap anda dapat mengunjungi http://support.google.com/webmasters/bin/answer.py?hl=id&answer=156449&from=35237&rd=1

 Perlukah setting robot.txt?

Hal tersebut sering menjadi pertanyaan dan perdebatan mengingat resiko besar yang akan membuat blog anda tidak terindeks sama sekali oleh search engine jika anda salah melakukan setting pada robot.txt , namun jika anda termasuk blogger yang jauh lebih khawatir dengan resiko duplicate content, maka silahkan ikuti tutorial di atas dengan berhati-hati.

Semoga cara seting robot.txt yang telah saya tulis bermanfaat bagi anda, jangan lupa untuk ikut membantu dengan melakukan share jika anda rasa artikel kali ini bermanfaat.
Terima kasih.

Artikel Cara Setting Robot.txt ini 100% bukan hasil copy paste
Dibaca oleh12606 pembaca dari 12727 pengunjung.
Ditulis Oleh Unknown
Semua artikel terproteksi DMCA.
Hanya script dan kode tutorial yang boleh di copy paste, dengan menyertakan sumbernya.
Artikel The Art of SEO lainnya bisa anda temukan pada menu related post berikut ;