Kumpulan Kode Robots.txt Blogger SEO Friendly

Kumpulan Kode Robots.txt Blogger SEO Friendly - Kita bahas kembali mengenai penggunaan robots.txt pada blogger, kali ini saya akan memberikan beberapa kode yang bisa digunakan untuk membuat file robots.txt di blogger. Pada kesempatan sebelumnya saya sudah pernah menjelaskan pengertian dari robots.txt untuk mengingatnya kembali Anda bisa baca kembali artikel tersebut.

Baca Juga : Apa Itu Robots.txt ? Inilah Pengertian dan Fungsinya

Disini saya akan memberikan contoh sederhana mengenai kumpulan file robots txt yang mungkin bisa Anda coba diterapkan pada situs web Anda khususnya blogger. Tentunya setelah Anda membaca artikel ini mungkin Anda ingin menerapkannya atau mencobanya memasang pada blog Anda, saya sudah pernah menjelaskannya cara menggunakan file robots.txt ini namun file tersebut masih standar, jadi disini Anda akan menemukan beberapa kode alternatif file robots.txt yang bisa Anda gunakan untuk blog Anda, untuk cara memasangnya Anda bisa baca artikel sebelumnya.

Baca Juga : Cara Setting Robots.txt Khusus di Blogspot

Seletah paham pengertian dari robots.txt dan tahu cara menggunakannya kini kita coba untuk menggunakan file robots.txt yang berbeda dari bawaannya. Saya ingatkan kembali bahwa file robots.txt ini berfungsi untuk mengontrol situs web kita dalam mesin penelusuran, jika situs web Anda memiliki data yang penting dan tidak ingin dirayapi dan diindeks mesin telusur salah satu solusinya yaitu dengan menggunakan robots.txt ini. Langsung saja kita simak kumpulan kode robots.txt seo friendly untuk blogger dibawah ini.
Kumpulan Kode Robots.txt Blogger SEO Friendly

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATED

Kode robots.txt diatas merupakan kode standar atau default yang biasanya banyak digunakan oleh blogger, file robots.txt tersebut memberitahukan kepada semua mesin telusur yang ditandai dengan tanda * (asterisk) dan memberikan perintah disallow /search yang berarti semua mesin telusur tidak boleh merayapi dan mengindeks folder /search contohnya /search/label/ dan seterusnya.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow:
Allow: /

Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATED

Apa bedanya kode diatas dengan file robots.txt yang pertama ? Tentu saja beda, kode ini menunjukan bahwa semua mesin telusur boleh merayapi dan melakukan indeks kepada seluruh laman yang ada pada sebuah web karena perintah disallow semuanya kosong, sehingga robots tidak dilarang untuk merayapi seluruh laman web.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label/*?updated-min=
Disallow: /search/label/*?updated-max=
Allow: /

Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATED

Kode diatas hampir sama dengan robots.txt yang pertama, namun kode ini tidak melarang seluruh folder /search untuk tidak dirayapi dan diindeks karena kode ini memberikan larangan yang lebih spesifik lagi seperti pada file robots.txt diatas dan folder .../search/label/... masih bisa dirayapi dan diindeks oleh web crawler.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /p/about.html
Allow: /

Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATED

Kode robots.txt ini berfungsi untuk memblokir halaman tertentu di mesin telusur. Diatas merupakan contoh jika kita ingin memblokir laman .../p/about.html pada hasil penelusuran mesin pencari.

User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0

User-agent: *
Disallow: /search

Sitemap: http://www.caramanual.com/feeds/posts/default?orderby=UPDATED

Kode robots.txt ini memberikan perintah kepada robot yang dimiliki Google yaitu googlebot untuk tidak merayapi folder /search folder /?m=1 dan /?m=0 dimana kode m=1 dan m=0 berlaku untuk penelusuran dengan menggunakan perangkat mobile. Jadi, blog Anda tidak akan tampil dengan versi mobile jika menggunakan kode robots.txt ini. Namun, saya sarankan jika Anda memiliki blog dengan menggunakan template yang sudah resposive dan memiliki tampilan khusus mobile, Anda tidak perlu menggunakan file robots.txt ini. Tetapi, file robots.txt ini dapat mengatasi duplikat konten khususnya konten versi mobile dan konten versi desktop.

*Update: 04/05/2018

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.caramanual.com/sitemap.xml

Untuk saat ini saya menggunakan file robots.txt ini, kode robots.txt ini tidak jauh beda dengan kode yang pertama hanya sedikit saya modifikasi sesuai kebutuhan saya sendiri, untuk penggunaannya bisa disesuaikan tergantung pada kebutuhan Anda sendiri.

Catatan:
Jangan lupa di bagian sitemap, apakah blog Anda menggunakan HTTP atau HTTPS.

Nah, kode diatas merupakan kumpulan file robots.txt yang seo friendly, dari beberapa kode di atas Anda masih bisa mengkreasikannya supaya lebih baik, misalnya kode pertama dan kedua Anda gabungkan mungkin hasilnya akan bagus untuk blog Anda, tapi hal tersebut harus disesuaikan dengan kebutuhan Anda sendiri.

Related Posts

Berlangganan update artikel terbaru via email:

12 Responses to "Kumpulan Kode Robots.txt Blogger SEO Friendly"

  1. saya pake cara yang kedua mas, ternyata ga tepat ya..

    ReplyDelete
    Replies
    1. tergantung kebutuhan juga mba, kalau yang kedua itukan mengizinkan semua robot untuk mengindeks seluruh laman web kita, kalau memang itu diperlukan ya tidak masalah, hehe...

      Delete
  2. silahkan mba, hati-hati dalam menggunakannya ya...

    ReplyDelete
  3. saya kurang begitu mengerti mas kalau masalah beginian hehee tapi mau coba juga sih :D

    ReplyDelete
    Replies
    1. kalau mau coba harus ngerti dulu mas :)

      Delete
    2. nah iya tuh bener mang Yono, hehe
      tak kenal maka tak sayang

      Delete
  4. kalau saya pakai cara yang paling atas.. standard ya :)

    ReplyDelete
  5. sayaa pake robots.txt yg standar, tapi kok banyak duplikat kontennya di webmaster. gimana itu mas?

    ReplyDelete
  6. Admin sendiri pake yang mana ni...?

    ReplyDelete
    Replies
    1. Konten sudah saya update kembali dan disana terdapat file robots.txt yang saya gunakan saat ini.

      Sekedar informasi, untuk mengetahui file robots.txt yang digunakan oleh blog lain cukup tambahkan /robots.txt pada url atau domain blog tersebut.

      Delete
    2. Kenapa update terbarunya Mediapartners-Google dihilangkan...?

      Delete
    3. Mediapartners-Google disana isi disallownya kosong jadi sama saja tanpa ada perintah, kalau di isi dengan tanda slash atau / maka perayap google tidak akan menampilkan iklan di situs tersebut.

      Berhubungan saya menggunakan iklan adsense dari google, jadi saya menghilangkan kode tersebut atau jika ingin tetap menggunakan Mediapartners-Google supaya iklan tampil maka hilangkan perintah / pada bagian disallow.

      Delete

Jika ada yang masih kurang jelas, silahkan untuk bertanya pada kolom komentar di bawah ini atau dengan menghubungi kami di halaman kontak.

1. Centang kotak Notify me untuk mendapatkan notifikasi komentar.
2. Komentar kami moderasi, dan tidak semuanya dipublish.
3. Semua komentar dengan menambahkan link akan dihapus dan tidak akan dipublikasikan.

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel