Fungsi robots.txt

Daftar Isi [Lihat]

Fungsi robots.txt. - fungsi dari robots.txt adalah untuk mencekal, memblokir, membatasi mesin pencari ketika merambani halaman blog / website kita.

Halaman mana yang ingin kita publikasikan dan halaman mana yang ingin kita cekal, kita bisa mengatur hal tersebut melalui robots.txt ini.

Untuk apa dicekal?

Agar tidak terdapat duplikat konten di hasil pencarian, jadi yang muncul adalah satu postingan saja, bukan halaman archive ataupun halaman yang lain.

Fungsi robots.txt

Untuk cara pemasangan pada blog selain blogspot, semisal wordpress, sobat bisa menggunakan plugin (cari di google..) dan menuliskannya seperti perintah default seperti contoh di bawah, begitu juga untuk blog yang lain selain wordpress sobat harus meng-uploadnya terlebih dulu ke root directory server yang sobat gunakan.

Caranya, tulislah perintahnya pada notepad, jadi filenya berupa txt dengan nama robots.txt

Untuk blogspot, sobat bisa menggunakannya dengan cara tidak mengaktifkan opsi robots.txt tersebut, jadi biarkan nonaktif (dinonaktifkan).

Untuk melihatnya, sobat bisa dengan menuliskan /robots.txt dibelakang URL,

Contoh http://bloggerkauman.blogspot.com/robots.txt

Lalu tekan enter, dan sobat akan melihat perintah tersebut walaupun sobat tidak mengaktifkan opsi robots.txt ini.

Tapi bila sobat menginginkan pencekalan yang lain, sobat bisa mengaktifkan opsi ini, kemudian menuliskan perintah seperti defaut lalu menambahkan beberapa baris perintah yang diinginkan.

Untuk mengaturnya di blogspot:
Setelan > Preferensi Penelusuran > Pilih robots.txt khusus

Fungsi robots.txt

Seperti inilah, perintah umum dari robots.txt (default dari google) tersebut,

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search/
Allow: /

Sitemap: http://bloggerkauman.blogspot.com/sitemap.xml

Perintah robots.txt

Berikut ini penulis akan mencoba mengulas agar lebih jelas tentang arti dan beberapa perintah yang digunakan untuk penulisan robots.txt

User-agent:*
Nama bot yang dipanggil
Tanda * menandakan semua bot crawler

Disallow:
Tidak ada halaman yang dicekal

Disallow: /
Semua halaman dicekal
*bila terdapat nama path dibelakang / berarti kita melakukan pencekalan pada path tersebut, contoh
Disallow: /search
berarti kita melakukan pencekalan pada path search, atau dengan kata lain mesin pencari tidak diperbolehkan untuk merambani halaman yang dibelakang url nya bertuliskan /search seperti contoh http://bloggerkauman.blogspot.com/search/label/Tutorial%20blog?max-results=4
Karena halaman tersebut tidak perlu untuk dirambani dan tidak perlu untuk dipublikasikan.

Baca Juga

• Cara penulisan pencekalan Disallow:/p
• Agar custom domain blogger bisa diakses tanpa WWW

Akan tetapi bila menuliskan Disallow: / terus tanpa ditambahi nama path, maka kita telah mencekal semua halaman blog. (nah.. untuk apa kita mencekal semua halaman?)

Allow: /
Semua halaman diperbolehkan untuk dirambani, sama seperti Disallow:

Sitemap:
Alamat sitemap kita.

Masukkan alamat sitemap yang valid dan sama dengan alamat sitemap yang kita submit di google webmaster tools.

Selanjutnya, sobat bisa mencekal halaman yang lain seperti:
Disallow: /?m=0
Disallow: /?m=1
Disallow: /*archive.html

Disallow: /p/

Ada yang mau nambahi?
Silahkan tulis komentar dibawah..
Semoga artikel tentang fungsi robots.txt ini bermanfaat bagi blogger semua..
Happy Blogging!

Fungsi robots.txt, Robots.txt: Pengertian, Kegunaan, dan Cara Membuatnya, Memahami Fungsi File Robots.txt, Robots.txt, Pengertian, Fungsi, Cara Kerja, dan Perbedaan Dengan SEO, Pengantar robots.txt, Mengenal Apa itu Robots.txt dan Bagaimana Mengaturnya, Panduan Lengkap tentang Cara Setting robot txt di WordPress, Panduan cara menggunakan Robots.txt untuk pemula, Apa itu Robots.txt dan Panduan Singkat Tentang Robots.txt, Apa itu robots.txt? Bagaimana Cara Menggunakannya?, Apa itu Robots.txt ? Fungsi Robots.txt pada Website dan Blog, Spesifikasi robots.txt

Related Posts