Banyak pertanyaan di kalangan Blogger dan pengelola website tentang file robots.txt. Ada hal yang membingungkan ketika diajukan pertanyaan mengapa content website atau blog tidak boleh diindeks. Padahal dengan logika yang sederhana kita bisa bertanya :
Bukankah kita seharusnya senang jika search engine "membaca" dan mengindeks keseluruhan isi website blog tanpa kecuali?
Robots.txt dibuat agar content website tidak diindeks
- Kapankah kita harus menggunakan file robots.txt?
- File robots.txt dibutuhkan HANYA JIKA website mengandung content (posting) yang tidak ingin diindeks
- File robots.txt (sering salah dinamai robot.txt, – tanpa “s” sehingga berarti singular bukan jamak) diciptakan untuk disallow (membatasi) file (dan direktori) website sehingga spiders (robots) search engine tidak mengakses content tersebut.
Untuk melihat URL mana yang telah diblokir (ketika spiders atau robots atau Googlebots merayapi situs), silahkan kunjungi Google Webmaster Tools >> halaman Blocked URLs di bagian Health. Disini Anda juga bisa melihat isi file robots.txt.
Bagaimana cara setting file robots.txt website?
Jika ingin semua search engine mengindex semua file dan folder seluruh konten situs, maka tidak diperlukan file robots.txt. Isi file robots.txt secara bawaan (DEFAULT) seperti berikut :
- User-agent: Mediapartners-Google
Disallow:
- User-agent: *
Disallow: /search
- Sitemap: ht*p://NAMABLOG.blogspot.com/feeds/posts/default?orderby=updated
Untuk kepentingan SEO Anda bisa mengedit isi file robots.txt menjadi :
- User-agent: Mediapartners-Google
Disallow:
- User-agent: *
Disallow: /*?updated-max=*
- Sitemap: ht*p://NAMABLOG.blogspot.com/feeds/posts/default?orderby=updated
Atau alternatif snippet ini :
- User-agent: Mediapartners-Google
Disallow:
- User-agent: *
Disallow: /search?q=*
Disallow: /*?updated-max=*
- Sitemap: ht*p://NAMABLOG.blogspot.com/feeds/posts/default?orderby=updated
Sebaliknya jika Anda ingin mencegah isi sebuah halaman agar tidak terdaftar dalam indeks, bahkan jika situs lain juga ditautkan ke halaman tersebut, maka isi file robots.txt harus diedit. Dan Google tidak akan mengindeks konten halaman yang diblokir oleh robots.txt, namun Google masih mengindeks URL yang ditemukan Google dari link halaman situs lain.
Create a robots.txt file in website
File robots.txt ini berada di Root cPanel, untuk itu Anda harus punya akses ke root domain. File robots.txt yang paling simple hanya menggunakan 2 aturan, yaitu :
- User-agent: the robot the following rule applies to :
(terjemahannya, robot! aturan berikut ini berlaku untuk:) - Disallow: the URL you want to block
(terjemahannya : URL yang ingin diblok)
Kedua baris di atas dianggap satu entri di file. Anda dapat memasukkan entri sebanyak yang Anda mau. Anda dapat memasukkan baris Disallow ganda dan User-agents ganda dalam satu entri. Setiap bagian dalam file robots.txt terpisah dan tidak membangun bagian sebelumnya.
User-agent adalah robot search engines spesifik. Web Robots Database mendaftar banyak robot biasa. Anda dapat mengatur entri untuk diterapkan ke bot tertentu (dengan mendaftarkan nama) atau Anda dapat mengatur entry untuk diberlakukan pada semua bot dengan listing tanda *). seperti terlihat di bawah ini :
- User-agent: *
Google menggunakan beberapa bot yang berbeda (user-agents). Bot yang digunakan untuk pencarian web adalah Googlebot. Bot Google lain seperti Googlebot-Mobile dan Googlebot-Image mengikuti aturan yang Anda tetapkan untuk Googlebot, tetapi Anda dapat membuat aturan khusus untuk bot-bot khusus juga.
CONTOH 1 :
- User-agent: *
Disallow: /folder1/ - User-Agent: Googlebot
Disallow: /folder2/
CONTOH 2 berikut ini untuk pengaturan file robots.txt, misalnya penerapan agar HANYA Googlebot yang tidak boleh mengindeks SELURUH halaman :
- User-agent: Googlebot
Disallow: /
CONTOH 3 berikut ini untuk MELARANG semua bot (atau semua search engine) merayapi dan mengindeks SELURUH halaman :
- User-agent: *
Disallow: /
Kode di atas dapat dibaca “Semua search engine statusnya disallow” atau dibatasi.
Validasi file robots.txt of website
Robots.txt checker ialah validator untuk analisa syntax file robots.txt, untuk memastikan formatnya valid dan sesuai dengan patokan Robot Exclusion Standard. Google Webmaster membutuhkan waktu untuk merayapi kembali robots.txt yang baru saja dimodifikasi. Karena Crawler merayapi secara terjadwal. Untuk melihat hasil, amatilah “Blocked URLs” Webmaster Tools.
Sebagai tambahan, untuk memeriksa validitasi robots.txt, dilakukan melalui robots.txt Checker. Masukkan ht*p://namablog.blogspot.com/robots.txt, kemudian klik tombol Check robots.txt Kemudian untuk testing apakah halaman blog tidak diblok lagi, coba Fetch as Google — pada Webmaster Tools — akan mengindikasikan salah satu alamat dari posting kita.“Success” atau “Denied by robots.txt”
PERINGATAN : Error ALLOW pada blog Website Design
Merujuk warning “Line-6” – JANGAN GUNAKAN atribut ALLOW karena perintah tidak dikenal.
Allow: /
Unknown command. Acceptable commands are "User-agent" and "Disallow".
A robots.txt file doesn't say what files/directories you can allow but just what you can disallow. Please refer to Robots Exclusion Standard page for more informations.
Unknown command. Acceptable commands are "User-agent" and "Disallow".
A robots.txt file doesn't say what files/directories you can allow but just what you can disallow. Please refer to Robots Exclusion Standard page for more informations.
Edit file robots.txt website blog
Edit setting file robots dilakukan dengan membuka Dashboard Blogger pakai alamat Gmail. Pada menu Drop-down pilih sub-menu :
SETTING >> PREFERENSI PENELUSURURAN >> AKTIFKAN Robots txt khusus dengan pilih opsi YA
Seperti gambar berikut.:
By the way, selamat mencoba. Saya berharap ini bermanfat.
That's all we know
![](http://www.blogger.com/img/icon_delete13.gif alt="delete icon di web design){kind=icon}
.
.
.
.
.
.
.
.
![[Valid Atom 1.0]](https://lh3.googleusercontent.com/-AHjNV40KrDw/UextTozh8GI/AAAAAAAAMjU/UG7zSHdmatc/w88-h31-no/valid-atom.jpg "Validate my Atom 1.0 feed")
