Penjelasan Dan Nama Perayap Mesin Pencari

Pada dasarnya, setiap mesin pencari mempunyai system yang disebut sebagai spider atau robot mesin pencari atau biasanya kita sebut sebagai robot perayap search Engine yang bertugas menemukan setiap URL yang ada pada blog atau website kita melalui tautan yang terhubung di situs kita agar nanti konten yang kita miliki bisa muncul di dalam mesin pencari. namun, tidak semua halaman atau konten yang kita miliki bisa ditampilkan di mesin pencari, itu karena robot perayap sangat menghargai file robots.txt yang ada di blog dan website kita. sehingga kita bisa mengatur mana yang harus ditampilkan dan tidak di halaman pencari. nah, ada baiknya kamu mengenal nama perayap yang mengunjungi blog atau website kita yang biasa disebut User-agent di dalam file robot txt agar nantinya kamu bisa melakukan control pada perayap yang mengunjungi situs kamu.

bagi kamu yang ingin belajar robots.txt, silahkan baca posting saya tentang penjelasan dan cara membuat robots.txt. mari kita mulai pelajaran tentang mengenal nama perayap search engine.

Nama Perayap Google

1. Googlebot

perayap yang satu ini bertugas untuk mengambil dan mengirim URL yang diminta oleh para pengguna dengan cara mengetikkan kata kunci di halaman pencarian. dan bukan hanya itu, perayap ini juga bertugas untuk mengirim setiap URL untuk di index ke dalam mesin pencari, dan melakukan update jika ada perubahan konten pada URL lama lalu kemudian dikirim ke system google lagi untuk proses selanjutnya.

2. Googlebot-News

perayap ini digunakan khusus untuk para pemilik website atau blog berita. seperti yang kamu tahu, google mempunyai mesin pencari berita. nah, jika kamu tidak ingin konten kamu muncul di halaman pencarian berita (bukan halaman pencari yang biasa digunakan). kamu bisa mengatur beberapa kontenmu agar tidak tampil di halaman pencari berita.

Contoh halaman pencari berita

3. Googlebot-Image

Perayap ini khusus digunakan untuk melakukan index pada gambar-gambar yang ada di website dan blog kamu lalu kemudian dikirim ke system untuk proses selanjutnya. lihat contoh gambar di bawah ini. maka dari itu sebuah gambar haruslah mempunyai alt dan title image agar dikenali oleh bot yang satu ini.

Contoh halaman pencari gambar

4. Mediapartners-Google

perayap yang satu ini tugasnya melakukan cek pada iklan yang biasa kita kenal sebagai Adsense, Doubleclick, dan sebagainya. tugas perayap ini tidak hanya sebatas melakukan cek. tapi juga melakukan index pada halaman URL agar tahu bahwa halaman website dan blog mana yang pantas untuk menampilkan iklan.

5. AdsBot-Google

perayap yang satu ini bertugas untuk melakukan cek pada nilai rank halaman atau halaman landas kita yang biasa disebut sebagai pagerank. dan perayap ini juga mengatur laman teratas blog atau website kita. kesalahan dalam setting robot.txt akan menyebabkan halaman atau URL dan bahkan blog atau website kita tidak akan mendapatkan nilai ranking yang benar atau malah turun. jadi saran saya biarkan saja default jika tidak ingin melakukan kesalahan.

nah itulah nama perayap google beserta penjelasannya. selanjutnya saya akan sebutkan nama perayap dari Bing (Yahoo). kedua website tersebut sudah bekerja sama. jadi jika kita ingin website atau blog kita terindex di yahoo, maka kita harus submit blog dan website kita di alat webmaster bing.

Nama Perayap Bing Dan Yahoo

Msn Bot dari bing dan Msn.

Yahoo Slurp dari Yahoo.

hanya itu nama perayap yang ada di bing msn dan yahoo sejauh yang saya ketahui. mungkin ada juga nama yang lain yang tidak saya ketahui. tapi, tugasnya pun sama. yaitu merayapi URL  blog dan website kita agar di index lalu kemudian di proses oleh system dan pada akhirnya muncul di mesin pencari.

demikian pembahasan kita tentang Penjelasan tentang perayap yang disebut sebagai robot atau spider dari masing-masing mesin pencari yang terkenal. sampai bertemu lagi pada posting saya yang lain, dan berikutnya kita akan membahas tentang pembuatan robots.txt. salam hangat dari saya.