Cara Membuat File Robots.txt Serta Penjelasannya

Sebenarnya untuk membuat file robots txt itu mudah, kita cukup menyimpan file yang kita buat dari notepad dengan nama robots yang mempunyai ekstensi txt lalu kemudian di simpan di direktori website kita agar nantinya kita bisa melakukan control terhadap halaman yang ingin kita tampilkan di mesin pencari. yang susah itu sebenarnya adalah penulisan perintah atau isi yang ada di dalam file robot tersebut. sebelum kita membuatnya, kita harus mengenal terlebih dahulu nama robot yang ada di mesin pencari. nah, hari ini saya akan jelaskan kepada kamu tentang Robots txt beserta manfaatnya. buat kamu yang belum kenal dengan perayap beserta namanya, silahkan baca posting saya tentang perayap mari kita mulai.

Penjelasan robots.txt.

robots.txt (case sensitive) adalah sebuah file yang dibuat agar kita bisa melakukan control kepada robot search engine supaya kita bisa melakukan pengaturan halaman yang ingin kita tampilkan di mesin pencari. file ini digunakan untuk memberitahukan atau memerintahkan para mesin perayap tentang halaman mana yang boleh dirayapi dan tidak boleh dirayapi yang biasa disebut sebagai Crawl. setiap search engine mempunyai perayap/robot yang digunakan untuk mengambil url dan memprosesnya agar para pengguna yang mengetikkan kata kunci bisa menemukan blog atau website kesayangan kita.

dan setiap robot mempunyai namanya masing-masing. bagi kamu yang belum tahu nama robot mesin pencari, baca posting saya tentang nama perayap atau robot mesin pencari.

kegunaan robot txt juga sangat bermanfaat. agar halaman pribadi atau data-data yang penting tidak ditampilkan di halaman pencari, maka kita pasti akan membutuhkan file robots.txt untuk melakukan pemblokiran akses perayap, dan perlu kamu ingat, jangan sampai salah dalam menuliskan nama file. jika salah maka perayap tidak akan mengenali file robot yang kamu buat dan akhirnya seluruh halaman kamu baik itu penting atau tidak penting akan ditampilkan di mesin pencari. jadi, penulisan nama file yang benar adalah robots.txt (ada huruf s pada nama robot serta ekstensi txt) dan semua harus ditulis dalam huruf kecil serta diletakkan di dalam direktori utama blog atau website kamu.

contoh : urlkita.com/robots.txt

Cara Membuat File robots.txt.

untuk kode yang dituliskan pada robots txt sebenarnya banyak. tapi biasanya hanya ada 3 yang paling sering digunakan dan sangat penting. sebelum membuat file ini, sebaiknya kamu sudah mengenal nama user agent seperti yang telah saya sebutkan sebelumnya. karena pada pembuatan robot txt nanti. kita akan memberitahukan halaman sesuai dengan nama bot mesin pencari masing-masing (user agent).

Catatan : kamu juga bisa menggunakan tanda bintang (*) yang berarti semua nama user agent seperti google, bing msn, dan yahoo.

1. Allow (robots.txt)

kode ini memberitahukan kepada para robot (bot) mesin pencari agar url tertentu yang ada di dalam kode ini boleh untuk di rayapi. contoh bentuk penulisan kode allow adalah sebagai berikut.

Allow: /

tanda backslash (/) yang ada di allow memberitahukan bahwa url home (utama) kita boleh untuk dirayapi. dan itu artinya seluruh url yang ada di halaman utama termasuk artikel dan sebagainya boleh dirayapi dan di index oleh mesin pencari. selain tanda backslash, kamu boleh menuliskannya secara lengkap. tapi karena file robots txt kita sudah berada di dalam direktori website atau blog yang kita miliki dan sudah dipastikan url home kita di kunjungi terlebih dahulu oleh mesin pencari. maka, kita cukup menuliskan tanda tersebut. sebelum melakukan indexing pada halaman blog maupun website yang kita miliki, biasanya para mesin robot akan mencari file robots.txt, jadi pastikan file tersebut ada di blog maupun website kamu. untuk url yang lengkap, lihat contoh di bawah ini biar kamu lebih paham, kode diatas sama dengan seperti ini.

Allow: http://contoh.com/

karena file robots txt sudah disimpan dalam direktori website atau blog kita, maka kita hanya perlu menuliskan tanda backslash pada kode allow. begitu juga dengan halaman yang lain yang ada di dalam blog atau website kita. supaya kamu lebih mengerti. saya akan tuliskan beberapa contoh. misalnya kita punya halaman url seperti berikut.

http://contoh.com/artikelcontoh.html

maka kita cukup menuliskannya seperti ini.

Allow: /artikelcontoh.html

artinya, url kita yang bertuliskan http://contoh.com/artikelcontoh.com diperbolehkan untuk dirayapi oleh mesin pencari. sekarang kamu sudah paham kan? hebat dan terbaik jika sudah mengerti. hehehe

2. Disallow (robots.txt)

kode yang satu ini adalah kebalikan dari allow, kode ini memberitahukan kepada robot mesin pencari agar tidak merayapi url tertentu yang ada di dalam blog atau website kita. gunanya untuk menghalangi robot agar tidak melakukan index pada halaman penting kita. jika kita salah dalam menulis kode ini, maka akan mengakibatkan url blog dan website kamu tidak akan tampil di halaman pencari. jadi berhati-hatilah dalam menuliskan kode ini. untuk contoh halaman yang tidak ingin di index karena penting seperti data member, data login, dan sebagainya. maka bentuk penulisannya seperti ini.

Disallow: /datamembers.html

Disallow: /login.php

Disallow: /search

nah, tentang data member pasti kamu tahu kan. dan kita sebagai pemilik blog dan website juga tidak ingin jika url datamembers.html kita ditampilkan di halaman search engine karena berisi informasi penting. maka dari itu kode Disallow sangat dibutuhkan untuk melakukan control terhadap halaman yang tidak ingin dimunculkan di dalam mesin pencari. selain itu, kode ini juga membantu perayap untuk mempercepat proses index di halaman artikel. kamu sendiri tahu jika url yang ada di search atau label sama dengan url artikel blog kamu. maka kita block saja halaman label dan search (blogger) karena hal tersebut tidak memberikan nilai lebih untuk blog kita. nah, sudah berpikiran yang sama dengan saya? hebat lagi.

3. tanda bintang (*)

kode ini menyatakan semua url tertentu yang ada di dalam blog website kita bisa dirayapi atau tidak boleh dirayapi. kode ini hampir sama dengan tanda backslash yang sudah saya jelaskan sebelumnya. manfaat dari tanda ini sangat banyak. kamu bisa melakukan control terhadap url yang mempunyai nama panjang dan berbeda atau di dalam kategori URL tertentu. lihat contoh url dibawah ini.

contoh.com/artikel1kokpanjangsekaliya/aku/halaman.html

contoh.com/artikel1kokpanjangsekaliya/aku/halamantidakpenting1.html

contoh.com/artikel1kokpanjangsekaliya/kamu/halamanpenting2.html

contoh.com/artikel1kokpanjangsekaliya/kamu/halamankupalingpenting3.html

nah, bagaimana kalau url tersebut mencapai hingga ratusan bahkan ribuan yang tidak mungkin kita tuliskan semua di dalam robot txt karena batas penulisan maksimal adalah 10.000 kata dan hal tersebut juga akan menghabiskan waktu jika menuliskannya satu per satu. dan bagaimana kita meminta perayap untuk melakukan index pada salah satu halaman kita yang ada di kategori artikel1/aku, maka dari itu kita membutuhkan tanda bintang yang bisa membantu kita mengatasi masalah ini. kalau misalnya kita tuliskan seperti berikut.

Allow: /artikel1kokpanjangsekaliya

maka perayap akan mengindeks seluruh url yang ada di kategori artikel1kokpanjangsekaliya. walaupun itu "aku" atau "kamu". sedangkan kita hanya ingin 2 url saja yang bertulisan "aku" terindeks, maka pasti akan sangat merepotkan jika menuliskannya secara satu per satu. nah, agar kamu bisa mengatur halaman tertentu di kategori yang sama agar perayap tahu mana yang boleh dirayapi dan tidak boleh dirayapi, maka kita tuliskan seperti ini.

Allow:  /*/aku

Disallow: /*/kamu

jadi, seluruh url "artikel1kokpanjangsekaliya" yang berisi "aku" akan di indeks oleh bot (spider). sedangkan pada url "artikel1kokpanjangsekaliya" yang berisi "kamu" tidak akan di index oleh bot. dengan menuliskan kode seperti diatas, maka akan menghemat waktu yang kamu miliki serta mengurangi penulisan kode yang panjang. bagaimana? sudah mengerti kan. bagus.

sekarang kamu sudah paham dan mengerti cara membuat file robots.txt. sebagai tambahan ilmu. kamu bisa melihat contoh lengkap penulisan robots.txt standar yang sudah dibuatkan oleh blogger di bawah ini.

User-agents: *

Allow: /

Disallow: /search

kode robot txt tersebut standar diberikan oleh blogger untuk kita. dan sangat membantu kita dalam indeks robot.

demikian pembahasan kita tentang penjelasan dan cara membuat file robot txt. semoga ilmu ini bermanfaat buat kamu. jangan lupa untuk makan dan minum selagi belajar, jagalah kesehatan dan salam hangat dari saya (Uya Sur).