Mensetting robots.txt Di Blogger
Sebenarnya untuk robots.txt secara default sudah ada di dalam blog kita, namun untuk memberikan info yang lebih detail maka kita akan mensetting robots.txt yang kita miliki di blogger atau blogspot agar lebih "Seo friendly". robots.txt dikenal sebagai alat untuk memberikan info yang detail agar search engine bisa memilih mana laman yang harus ditampilkan dan mana yang tidak boleh ditampilkan. Kesalahan menggunakan robots.txt akan mengakibatkan halaman kamu tidak di indeks oleh mesin pencari. Jadi kegunaan robots.txt ini untuk memberitahukan kepada mesin pencari untuk merayap dan tidak merayapi halaman tertentu dari website atau blog. untuk mengetahui nama robot dari mesin pencari, silahkan baca posting saya tentang tentang perayap atau robot search engine.
Update baru: tutorial ini sudah sangat lama dan tidak perlu diterapkan lagi karena sekarang sudah ada tag canonical dari blogger. jadi blog kamu aman dari duplikasi konten. sebagai saran dari saya. cukup di baca saja tapi jangan diterapkan karena akan mengakibatkan halaman mobile friendly kamu tidak di rayap oleh mesin pencari sehingga pada akhirnya tidak tampil di mesin pencari. karena sekarang mesin pencari sendiri sudah menyarankan kita untuk menggunakan template mobile friendly. alasannya, karena hampir 90% pengguna seluler mengunjungi blog kita. saya harap kamu mengerti dan membaca update baru ini.
Jika kamu mempunyai halaman privasi seperti halaman login dan sebagainya, maka dengan setting robots.txt akan membuat halaman privasi tersebut tidak akan ditampilkan di search engine. Selain robots.txt, ada juga pengaturan khusus yang di sebut .htaccess dan biasanya digunakan pada website sendiri. karena posting saya hanya membahas tentang robots. txt. Maka saya tidak akan membahas tentang .htaccess. Mari kita mulai tutorial ini.
Kita akan membuat kode yg disebut robots.txt untuk tidak menampilkan halaman arsip dan beberapa halaman lain yg sama dengan konten kita agar tidak terjadi duplikasi dengan konten asli kita. sebagai contoh kita mempunyai konten asli lengkap dengan judulnya. Lalu saat kita ketik di mesin pencari, maka hasilnya adalah konten asli dan judul posting kita ditampilkan. Saat kita gulir ke bawah, ternyata halaman arsip kita yang mengarah ke konten yang sama juga ikut muncul di halaman pencarian. Inilah alasan kenapa kita menggunakan robots.txt untuk memerintahkan perayap agar halaman konten yang sama tidak ditampilkan. dan agar pencarian di search engine bisa lebih detail dan spesifik.
Ketik atau copy kode di bawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://uyasur.blogspot.com/sitemap.xml
ganti tulisan warna merah dengan url blog kamu. Kemudian login ke blogmu. Dan pilih menu setelan > preferensi penelusuran.
Pastekan kode yang telah kamu copy tadi ke dalam setting robots.txt. Lihat contoh gambar di bawah ini.
Kemudian setting tag tajuk robot khusus seperti gambar di bawah ini.
Tentang Penjelasan kode robot txt
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Kita memberitahukan kepada googlebot (perayap dari mesin pencari google) dengan menulis disallow untuk tidak merayapi halaman seluler kita karena mengarah kepada konten yang sama dengan desktop, dan hal ini dilakukan agar konten sama tersebut tidak ditampilkan di mesin pencari. Kode m=0 dan m=1 itu adalah URL yg mengarah ke tempat sama namun dalam bentuk seluler, sehingga terjadi duplikasi konten saat ditampilkan pada search engine. Tanda bintang * di belakang tanda tanya itu menandakan semua URL yang bertanda m=0 dan m=1 diblokir. Contoh uyasur.blogspot.com/mobile?m=1. Maka segala bentuk mobilku.html?m=1 ataupun mobilku.html?m=0 tidak akan ditampilkan di hasil pencarian karena tanda bintang tadi. Tenang saja. Itu tidak akan mempengaruhi konten asli kita. karena konten asli kita seperti ini. Uyasur.blogspot.com/mobilku.html tanpa ada m=1 dan m=0. saat kita buka URL tersebut dengan handphone, maka halaman mobile akan tetap ditampilkan khusus buat pengguna seluler. dan langsung di arahkan ke m=1.
User-Agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/sitemap.xml
Kita memberitahukan kepada semua perayap user-agent agar tidak merayapi halaman arsip serta tombol "older post" dan "newer post". tanda bintang sudah saya jelaskan sebelumnya, di user-agent: *, memberitahukan bahwa desktop, ponsel cerdas, dan handphone klasik (semua jenis perayap) untuk tidak merayapi halaman arsip tersebut. karena halaman arsip sama dengan konten asli kita. kemudian kita memberitahukan kepada perayap bahwa ini sitemap utama blog kita. kalau kita melakukan submit sitemap yang banyak. seperti atom.xml dan feeds/posts/default. maka hanya sitemap yang ada pada robots.txt menjadi sitemap utama dan akan dirayapi untuk pertama kali. karena sitemap hanya khusus digunakan sebagai peta konten asli kita. maka hanya akan di rayapi tanpa menampilkannya ke dalam hasil pencarian.
update:
untuk kode m=1 m=0.
jika dihalaman pencarian tidak terduplikasi, maka kamu tidak perlu menuliskannya. jika terduplikasi, misalnya kita ketik di mesin pencari ada m=0 dan m=1 (tidak ada url utama) maka tuliskan m=1 (seluler), tapi jangan tuliskan m=0 (desktop). ini dilakukan agar m=0 tetap tampil dan hanya m=1 yang dihilangkan, kedua url itu mengarah ke tempat yang sama. tapi jika sudah terlanjur. gunakan alat hapus url yang ada di webmaster untuk menghapus url yang sudah ditampilkan. pastikan url tersebut di blokir. jika tidak, maka akan tampil kembali walaupun sudah di hapus.
jika kamu hanya ingin para pengguna seluler melihat url asli di halaman pencarian (di handphone mereka). misalnya urlsaya.blogspot.com/artikelku.html (tanpa m=0 dan m=1). maka tuliskan saja kedua kode tersebut. ini dilakukan agar saat pengguna handphone browsing dan melakukan pencarian, mereka tidak melihat url m=0 dan m=1, tapi akan melihat url blog asli kita. contoh url yang mereka lihat di halaman pencarian mobile mereka, url uyasurcom/index.html?m=1. lalu di posisi bawah url tersebut ada juga url yang mengarah ke tempat sama. url uyasurcom/index.html.
antara m=1 dan tanpa menggunakan m=1 sama kan? maka dari itu diperlukan lah robots.txt agar url konten tidak terjadi duplikasi saat di tampilkan di halaman pencarian.
biasanya untuk pengguna hp akan di arahkan ke m=1 walaupun url yang dipilih tanpa m=1 (tergantung jenis handphone pengguna). jadi blog kamu tetap mobile friendly. tapi seperti yang saya ketahui, sekarang blogger sudah menggunakan cara khusus, jadi mungkin kamu harus cek terlebih dahulu di mesin pencari, jika memang muncul keduanya melalui handphone kamu, maka tuliskan salah satunya. tapi jika tidak muncul, maka kamu tidak perlu menuliskannya lagi. sekarang kan ada kode baru untuk menghindari duplikasi konten. disebut canonical. tapi ada baiknya kita lakukan cek kembali menggunakan handphone kita.
untuk kode search/ diatas, label atau kategori kita juga tidak akan ditampilkan di mesin pencari karena perintah disallow. dan lagi pula tidak akan memberikan nilai lebih dan mungkin malah akan membuat para pengguna bingung saat konten yang sama ditampilkan. untuk label agar lebih sederhana, dituliskan seperti ini saja.
disallow: search/
untuk halaman arsip yang mempunyai url /search/label/*?updated-min= juga akan di blokir. sedangkan, untuk widget arsip blog yang menggunakan mode semat, tidak akan ada url /search/label/*?updated-min=. urlnya akan berubah menjadi urlkita/archive_2015_01.html. untuk memblokir halaman arsip yang di semat. kita cukup gunakan kode tag tajuk robot khusus yang telah dijelaskan oleh saya sebelumnya. mungkin akan saya tuliskan tutorial tentang cara membuat robot.txt nanti pada posting saya yang lain biar kamu mengerti tentang kode yang dituliskan tersebut.
update baru : seperti yang telah saya janjikan. kamu bisa belajar cara membuat robot.txt beserta penjelasannya.
kesimpulannya, dengan cara ini kamu bisa mengatur halaman mana yang ingin kamu tampilkan di halaman pencarian dan memilih mana yang tidak ingin kamu tampilkan di halaman pencarian. saya harap sekarang sudah jelas. jika masih belum mengerti, silahkan bertanya. Demikian penjelasan dan pengalaman saya dalam membuat robot.txt. tapi saya lebih suka kode robot yang diberikan oleh blogger. jadi saya biarkan saja kalau memang ada duplikasi url di mesin pencari. he...
tapi saya rasa tidak mungkin jika ada kode canonical. jadi url tersebut tidak akan duplikasi. Sampai bertemu lagi di artikel saya yang lain.
Update baru: tutorial ini sudah sangat lama dan tidak perlu diterapkan lagi karena sekarang sudah ada tag canonical dari blogger. jadi blog kamu aman dari duplikasi konten. sebagai saran dari saya. cukup di baca saja tapi jangan diterapkan karena akan mengakibatkan halaman mobile friendly kamu tidak di rayap oleh mesin pencari sehingga pada akhirnya tidak tampil di mesin pencari. karena sekarang mesin pencari sendiri sudah menyarankan kita untuk menggunakan template mobile friendly. alasannya, karena hampir 90% pengguna seluler mengunjungi blog kita. saya harap kamu mengerti dan membaca update baru ini.
Jika kamu mempunyai halaman privasi seperti halaman login dan sebagainya, maka dengan setting robots.txt akan membuat halaman privasi tersebut tidak akan ditampilkan di search engine. Selain robots.txt, ada juga pengaturan khusus yang di sebut .htaccess dan biasanya digunakan pada website sendiri. karena posting saya hanya membahas tentang robots. txt. Maka saya tidak akan membahas tentang .htaccess. Mari kita mulai tutorial ini.
Kita akan membuat kode yg disebut robots.txt untuk tidak menampilkan halaman arsip dan beberapa halaman lain yg sama dengan konten kita agar tidak terjadi duplikasi dengan konten asli kita. sebagai contoh kita mempunyai konten asli lengkap dengan judulnya. Lalu saat kita ketik di mesin pencari, maka hasilnya adalah konten asli dan judul posting kita ditampilkan. Saat kita gulir ke bawah, ternyata halaman arsip kita yang mengarah ke konten yang sama juga ikut muncul di halaman pencarian. Inilah alasan kenapa kita menggunakan robots.txt untuk memerintahkan perayap agar halaman konten yang sama tidak ditampilkan. dan agar pencarian di search engine bisa lebih detail dan spesifik.
Ketik atau copy kode di bawah ini.
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://uyasur.blogspot.com/sitemap.xml
ganti tulisan warna merah dengan url blog kamu. Kemudian login ke blogmu. Dan pilih menu setelan > preferensi penelusuran.
 |
| menu setelan |
 |
| menu setelan preferensi penelusuran |
Pastekan kode yang telah kamu copy tadi ke dalam setting robots.txt. Lihat contoh gambar di bawah ini.
 |
| setting robot txt |
Kemudian setting tag tajuk robot khusus seperti gambar di bawah ini.
 |
| tag tajuuk robot khusus |
Tentang Penjelasan kode robot txt
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Kita memberitahukan kepada googlebot (perayap dari mesin pencari google) dengan menulis disallow untuk tidak merayapi halaman seluler kita karena mengarah kepada konten yang sama dengan desktop, dan hal ini dilakukan agar konten sama tersebut tidak ditampilkan di mesin pencari. Kode m=0 dan m=1 itu adalah URL yg mengarah ke tempat sama namun dalam bentuk seluler, sehingga terjadi duplikasi konten saat ditampilkan pada search engine. Tanda bintang * di belakang tanda tanya itu menandakan semua URL yang bertanda m=0 dan m=1 diblokir. Contoh uyasur.blogspot.com/mobile?m=1. Maka segala bentuk mobilku.html?m=1 ataupun mobilku.html?m=0 tidak akan ditampilkan di hasil pencarian karena tanda bintang tadi. Tenang saja. Itu tidak akan mempengaruhi konten asli kita. karena konten asli kita seperti ini. Uyasur.blogspot.com/mobilku.html tanpa ada m=1 dan m=0. saat kita buka URL tersebut dengan handphone, maka halaman mobile akan tetap ditampilkan khusus buat pengguna seluler. dan langsung di arahkan ke m=1.
User-Agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /
Sitemap: http://urlanda.blogspot.com/sitemap.xml
Kita memberitahukan kepada semua perayap user-agent agar tidak merayapi halaman arsip serta tombol "older post" dan "newer post". tanda bintang sudah saya jelaskan sebelumnya, di user-agent: *, memberitahukan bahwa desktop, ponsel cerdas, dan handphone klasik (semua jenis perayap) untuk tidak merayapi halaman arsip tersebut. karena halaman arsip sama dengan konten asli kita. kemudian kita memberitahukan kepada perayap bahwa ini sitemap utama blog kita. kalau kita melakukan submit sitemap yang banyak. seperti atom.xml dan feeds/posts/default. maka hanya sitemap yang ada pada robots.txt menjadi sitemap utama dan akan dirayapi untuk pertama kali. karena sitemap hanya khusus digunakan sebagai peta konten asli kita. maka hanya akan di rayapi tanpa menampilkannya ke dalam hasil pencarian.
update:
untuk kode m=1 m=0.
jika dihalaman pencarian tidak terduplikasi, maka kamu tidak perlu menuliskannya. jika terduplikasi, misalnya kita ketik di mesin pencari ada m=0 dan m=1 (tidak ada url utama) maka tuliskan m=1 (seluler), tapi jangan tuliskan m=0 (desktop). ini dilakukan agar m=0 tetap tampil dan hanya m=1 yang dihilangkan, kedua url itu mengarah ke tempat yang sama. tapi jika sudah terlanjur. gunakan alat hapus url yang ada di webmaster untuk menghapus url yang sudah ditampilkan. pastikan url tersebut di blokir. jika tidak, maka akan tampil kembali walaupun sudah di hapus.
jika kamu hanya ingin para pengguna seluler melihat url asli di halaman pencarian (di handphone mereka). misalnya urlsaya.blogspot.com/artikelku.html (tanpa m=0 dan m=1). maka tuliskan saja kedua kode tersebut. ini dilakukan agar saat pengguna handphone browsing dan melakukan pencarian, mereka tidak melihat url m=0 dan m=1, tapi akan melihat url blog asli kita. contoh url yang mereka lihat di halaman pencarian mobile mereka, url uyasurcom/index.html?m=1. lalu di posisi bawah url tersebut ada juga url yang mengarah ke tempat sama. url uyasurcom/index.html.
antara m=1 dan tanpa menggunakan m=1 sama kan? maka dari itu diperlukan lah robots.txt agar url konten tidak terjadi duplikasi saat di tampilkan di halaman pencarian.
biasanya untuk pengguna hp akan di arahkan ke m=1 walaupun url yang dipilih tanpa m=1 (tergantung jenis handphone pengguna). jadi blog kamu tetap mobile friendly. tapi seperti yang saya ketahui, sekarang blogger sudah menggunakan cara khusus, jadi mungkin kamu harus cek terlebih dahulu di mesin pencari, jika memang muncul keduanya melalui handphone kamu, maka tuliskan salah satunya. tapi jika tidak muncul, maka kamu tidak perlu menuliskannya lagi. sekarang kan ada kode baru untuk menghindari duplikasi konten. disebut canonical. tapi ada baiknya kita lakukan cek kembali menggunakan handphone kita.
untuk kode search/ diatas, label atau kategori kita juga tidak akan ditampilkan di mesin pencari karena perintah disallow. dan lagi pula tidak akan memberikan nilai lebih dan mungkin malah akan membuat para pengguna bingung saat konten yang sama ditampilkan. untuk label agar lebih sederhana, dituliskan seperti ini saja.
disallow: search/
untuk halaman arsip yang mempunyai url /search/label/*?updated-min= juga akan di blokir. sedangkan, untuk widget arsip blog yang menggunakan mode semat, tidak akan ada url /search/label/*?updated-min=. urlnya akan berubah menjadi urlkita/archive_2015_01.html. untuk memblokir halaman arsip yang di semat. kita cukup gunakan kode tag tajuk robot khusus yang telah dijelaskan oleh saya sebelumnya. mungkin akan saya tuliskan tutorial tentang cara membuat robot.txt nanti pada posting saya yang lain biar kamu mengerti tentang kode yang dituliskan tersebut.
update baru : seperti yang telah saya janjikan. kamu bisa belajar cara membuat robot.txt beserta penjelasannya.
kesimpulannya, dengan cara ini kamu bisa mengatur halaman mana yang ingin kamu tampilkan di halaman pencarian dan memilih mana yang tidak ingin kamu tampilkan di halaman pencarian. saya harap sekarang sudah jelas. jika masih belum mengerti, silahkan bertanya. Demikian penjelasan dan pengalaman saya dalam membuat robot.txt. tapi saya lebih suka kode robot yang diberikan oleh blogger. jadi saya biarkan saja kalau memang ada duplikasi url di mesin pencari. he...
tapi saya rasa tidak mungkin jika ada kode canonical. jadi url tersebut tidak akan duplikasi. Sampai bertemu lagi di artikel saya yang lain.
bang bang. :D emang bahaya sih ni bang kalo ampe salah stel :D
ReplyDeleteane baca bolak balik masih belum ngeh bang :v
ReplyDeletebagian mana yang belum di mengerti bang? hahahahhaa. lah sini biar ane bantu jelasin. sebutin ja bagian yang belum dimengerti. ntar ni mau ane update yang baru sekalian penjelasan yang lebih rinci tentang robot txt nih.
Deletekok di blog sampean tidak menggunakan robot txt seperti tutorial di atas mas??
ReplyDeleteblog saya tidak terduplikasi bang. cara diatas digunakan kalau kita blog mobile kita double pas di lihat di search engine. untuk search updated itu udah saya tuliskan begini. disallow: /search yang artinya setiap URL urlkita/search/semua akan di blok. semua yang di depan search akan diblok. cara diatas digunakan jika kita ingin sebagian kayak label dan yang lain tidak di blok. kalau yang saya sebutkan tadi, label juga ikut terblok. karena Url label begini . search/label, nah maka dari itu digunakanlah cara diatas. gimana bang? paham?
DeleteGini, mas blog saya tidak ada ada setting untuk memblok m=1 dan m=0 pada robot txt tapi di template ada kode script HTML yang maksudnya memblokir kedua fitur itu. Pertanyaan saya apakah harus saya hapus kode script itu ?
ReplyDeletejadi begini bang insan, kode m=1 dan 0 itu digunakan untuk browser mobile (Hp) seperti nokia atau samsung tipe dulu (bukan handphone tipe sekarang). menurut saya tidak perlu dihapus kedua kode yg ada di html, karena perayap hanya membaca kode yg ada di robots.txt sebagai settingnya dan tidak akan melakukan index pada url m=1 dan 0. bang insan juga bisa cek apakah blog bang insan support hp (mobile) atau tidak. bisa di cek langsung di google.
ReplyDeletetapi, kalau ada masalah saat dibuka di handphone (mobile) tipe dulu. maka hapus saja kedua kode tersebut. untuk mengetahuinya, bang insan harus masuk ke blognya melalui handphone tipe dulu. kalau hp tipe android dan iphone sudah tidak memerlukan kode m=1 dan 0. karena hp tipe baru sudah bisa memproses layar seperti desktop sehingga tampilan pas. sedangkan hp tipe dulu belum bisa dan akhirnya harus scroll ke atas dan bawah serta ke kiri dan kanan untuk membaca. makanya kode tersebut digunakan agar blog bang insan bisa pas di hp tipe dulu. seperti itu maksudnya dan semoga membantu.