Bagaimana Cara Agar Mesin Pencari Tidak Mengindex Halaman Tertentu di Blog?

Setelah saya membahas spesifikasi mesin pencari seperti Google, sekarang ada yang lanjut bertanya "Gimana caranya supaya postingan gak muncul di Google?".

---

Berkat pertanyaan tersebut, artikel bantuan ini di buat...
Bagi kamu yang belum tau kenapa harus nge-blok webcrawler atau mesin pencari supaya enggak merayapi beberapa halaman penting di blog, ini dia jawabannya:

• Faktor SEO
• Privasi
• Struktur website
• Profesionalitas

Gak semua halaman harus muncul di mesin pencari, seperti: halaman about, kontak, search, subscribe, form dan lain-lain.

Cara mencegah mesin pencari mengindex halaman penting di website / blog (secara umum):

Setting robot.txt

Pernah denger kan? Mungkin saking seringnya kamu denger, sampai gak tau fungsinya apa. :D

Dengan mengkonfigurasi file robot.txt di halaman website, maka mesin pencari akan menyesuaikan sesuai dengan kode atau instruksi yang kamu tuliskan di file tersebut.

berikut kode robot.txt:

User-agent: *
Disallow: 

Keterangan: user agent bisa kamu ganti sesuai dengan keinginan, robot mana yang mau kamu blok? misalnya kamu ingin nge-blok Google, maka kodenya seperti berikut:

User-agent: Googlebot
Disallow: /

Disallow berfungsi untuk mesin pencari atau sebuah robot berhenti merayapi halaman tersebut, kamu bisa isi disallow dengan link URL halaman yang gak mau di index atau di rayapi.

Contohnya, saya gak mau halaman search saya di index Google, maka kodenya menjadi:

User-agent: Googlebot
Disallow: /search

Mudah kan?

Semua juga bisa melakukan hal semacam ini, gak usah menjadi anak IT untuk dapat merubah konfigurasi website. Tinggal baca artikel bantuan ngeblog di IBH, semuanya teratasi.

Berikut ini daftar nama-nama webcrawler yang tersebar di internet (user-agent):

• AhrefsBot
• Baiduspider
• Ezooms
• MJ12bot
• YandexBot

Tapi yang terpercaya dan paling terkenal hanya ada 3 user-agent:

• Googlebot
• Yahoo! Slurp
• bingbot

Tentukan pilihanmu, mana yang harus kamu izinkan, mana yang kamu larang. Semuanya kembali lagi ke teknik SEO yang paling baru dan sesuai dengan algoritma terkini.

Jika ada pertanyaan terkait robot.txt atau mesin pencari, silahkan berkomentar dan jangan ragu!