Cara Mengatasi Peringatan Diindeks, Meski Diblokir Oleh Robots.txt

Cara Mengatasi Peringatan Diindeks, Meski Diblokir Oleh Robots.txt

Ada berbagai macam masalah cakupan indeks pada webmaster atau google search console yang baru.

Beberapa hari yang lalu saya mendapatkan sebuah peringatan pada google search console yaitu valid dengan peringatan.

Itu artinya bahwa halaman tersebut valid atau benar adanya namun perayap google tidak bisa atau tidak diizinkan untuk merayapi halaman tersebut, sehingga muncul sebuah pesan peringatan.

Status peringatan dengan alasan diindeks, meski diblokir oleh robots.txt bukan masalah serius yang perlu Anda perbaiki.

Masalah ini perlu Anda tinjau kembali, apakah halaman yang diblokir oleh robots.txt tersebut memang tidak seharusnya atau tidak begitu penting untuk dirayapi oleh mesin telusur google?

Jika memang tidak begitu penting maka lebih baik dibiarkan saja.

Untuk pengguna platform blogger, masalah ini muncul karena halaman tersebut misalnya halaman label di blokir oleh file robots.txt yang Anda gunakan, selain itu juga bisa disebabkan oleh meta tag yang digunakan pada template blog Anda.

Ada beberapa cara untuk mengatasi masalah peringatan indeks yang diblokir oleh robots.txt, untuk lebih jelasnya mungkin bisa Anda simak tutorialnya di bawah ini.

Apakah Masalah Peringatan Indeks Yang Diblokir Robots.txt Perlu Segera Diperbaiki?

Tergantung,

Mengapa saya bilang begini, karena masalah peringatan indeks ini ada berbagai macam.

Jika masalah yang Anda alami sekarang seperti saya, lihat pada gambar di bawah ini:

Halaman yang diindeks meski diblokir robots txt

Contoh Error:
https://www.caramanual.com/search/label/Tutorial
https://www.caramanual.com/search/label/Tutorial?&max-results=8

Ini disebabkan karena saya menggunakan tag meta di bawah ini pada template blog saya, sedangkan pada file robots.txt yang saya gunakan, saya tidak memblokir apapun.

<b:if cond='data:blog.pageType in {&quot;archive&quot;} or data:blog.searchLabel or data:blog.searchQuery'>
<meta content='noindex,nofollow' name='robots'/>
</b:if>

Arti dari tag meta di atas adalah bahwa setiap halaman arsip, halam label, dan halaman hasil pencarian atau penelusuran tidak akan diindeks dan atau rayapi oleh mesin penelusuran google.

Sehingga ketika googlebot mencoba untuk merayapi blog atau website Anda maka peringatan ini akan muncul karena google tidak diizinkan untuk merayapi halaman tersebut.

Menurut saya sendiri,

Halaman arsip, label, dan hasil pencarian di blog memang tidak perlu diindeks, oleh sebab itu saya membiarkan peringatan ini.

Namun, jika hal ini terjadi pada halaman postingan atau halaman produk-produk yang kita miliki.

Maka Anda sangat perlu untuk memperbaiki masalah ini dengan secepat mungkin.

Oleh sebab itu saya mengatakan bahwa masalah peringatan diindeks meski diblokir oleh robots.txt ini tergantung dari halaman mana yang bermasalah.

Jadi jika halaman tersebut tidak begitu penting untuk diindeks di google, maka peringatan ini bisa Anda abaikan saja sedangkan jika Anda ingin halaman/postingan/produk atau jasa yang Anda miliki ingin tampil atau muncul di google maka segeralah perbaiki masalah ini.

Bagaimana Cara Mengatasi Peringatan Diindeks, Meski Diblokir Oleh Robots.txt?

Ada dua cara agar status peringatan pada google search console hilang.

Namun sebelum melakukan langkah-langkah ini alangkah baiknya Anda meninjau sendiri untuk beberapa halaman di blog atau website Anda mungkin ada yang tidak perlu diindeks.

Misalnya halaman label, halaman pencarian, dan halaman arsip yang memang sebaiknya tidak perlu diindeks.

Alasannya karena halaman ini bukan merupakan halaman asli yang artinya dapat berubah-ubah, selain itu halaman ini juga memiliki kunjungan yang lebih sedikit sehingga tidak perlu untuk diindeks.

Namun jika Anda masih ingin tetap agar status peringatan diindeks, meski diblokir oleh robots.txt ini hilang, silahkan ikuti langkah-langkah di bawah ini.

1. Periksa kembali file robots.tx yang digunakan

Silahkan periksa kembali file robots.txt yang Anda gunakan, apakah ada perintah disallow seperti gambar berikut ini:

Robots txt khusus

Jika ada perintah disallow seperti itu silahkan dihapus atau diganti menjadi allow, caranya bisa Anda lihat di bawah ini:

1. Masuk ke Blogger.com
2. Klik Setelan > Preferensi penelusuran
3. Lalu pada bagian robots.txt khusus silahkan klik Edit
4. Jika ada perintah Disallow: /search silahkan dihapus

Disallow: berarti tidak diizinkan
/search berarti seluruh halaman yang berada pada folder .../search/...

Jadi,

Disallow: /search artinya seluruh halaman yang berada pada folder /search tidak diizinkan untuk dirayapi.

5. Anda juga bisa mengubah perintah disallow menjadi allow, namun jika seperti ini lebih baik dihapus saja
6. Terakhir silahkan klik Simpan perubahan

Jika Anda masih menggunakan google search console dengan tampilan yang lama, silahkan buka URL berikut ini:

https://www.google.com/webmasters/tools/robots-testing-tool

Kemudian pilih property atau blog yang ingin Anda ubah file robots.txt nya.

Baca juga: Kumpulan Kode Robots.txt Blogger SEO Friendly

2. Periksa kembali tag meta yang digunakan

Untuk pengguna wordpress dan blogger sebaiknya periksa kembali tag meta pada tema yang digunakan pada blog atau website Anda.

Jika tidak ingin muncul peringatan diindeks, meski diblokir oleh robots.txt alangkah baiknya hindari penggunaan tag meta noindex.

Baca juga: Tag Meta Yang Dipahami Google

Untuk pengguna blogger, silahkan ikuti langkah-langkahnya di bawah ini untuk menghapus tag meta noindex.

1. Masuk ke Blogger.com
2. Klik Tema > Edit HTML
3. Kemudian cari kode noindex (gunakan ctrl + f untuk mempercepatnya)
4. Jika ketemu silahkan hapus kode tersebut, contohnya seperti ini:

<meta content='noindex' name='robots'/>

Hapus semua kode tersebut.

5. Pastikan kode noindex yang dihapus berada pada bagian <head>...sampai...</head>
6. Jika sudah tidak ada lagi kode noindex pada bagian <head> sampai </head> silahkan klik Simpan template

Segera Lakukan Validasi Perbaikan

Jika Anda telah melakukan perbaikan dengan kedua cara di atas, maka segera lakukanlah validasi perbaikan.

Agar tim webmaster google melakukan pemeriksaan terhadap laporan validasi yang Anda ajukan.

Jika validasi yang Anda lakukan sudah benar maka status peringatan mengenai masalah cakupan indeks akan hilang dari aku google search console Anda.

Untuk melakukan validasi perbaikan caranya seperti berikut ini:

1. Masuk ke google search console yang baru
2. Kemudian pilih website atau blog Anda pada bagian Telusuri properti
3. Lalu klik Liputan > klik pada Valid dengan peringatan > kemudian klik pada status Peringatan

Validasi dengan peringatan

4. Kemudian klik Validasi Perbaikan

Validasi perbaikan

5. Selesai, silahkan tunggu hasilnya

Itulah artikel mengenai cara mengatasi peringatan diindeks, meski diblokir oleh robots.txt silahkan Anda coba. Semoga bermanfaat.
Cara Manual Cuman hobi nulis tentang tutorial blog jadi deh blog cara manual.

54 Komentar untuk "Cara Mengatasi Peringatan Diindeks, Meski Diblokir Oleh Robots.txt"

  1. Berati kalau diboarin aja nggk papa ya gan

    BalasHapus
    Balasan
    1. Tergantung juga mas, kalau memang halaman/post tersebut tidak perlu di index dibiarkan saja juga gak masalah.

      Hapus
  2. Mantap ni infonya makasi mas 😉😉

    BalasHapus
  3. kalau misalnya yang muncul peringatan itu linknya domain/search, lebih baik diperbaiki atau dibiarkan saja gan ?

    BalasHapus
    Balasan
    1. Halo,

      Untuk folder /search jika terdeteksi error sebenarnya tidak masalah, tapi jika ingin di perbaiki coba periksa file robots.txt yang digunakan pada settingan blogger dan google webmaster versi lama.

      Hapus
  4. Salam
    Saya sempat khawatir juga gan akan berdampak pada hasil pencarian blog saya juga tergolong baru di custom domain dari laporan webmaster search/label tertunda
    Oke gan terima kasih penjelasanya sukses selalu

    BalasHapus
    Balasan
    1. Halo,
      Silahkan periksa lagi bagian mana yang di blokir, kalau memang bagian label atau kategori saya kira tidak masalah, asal jangan bagian postingan yang di blokir.

      Hapus
  5. Jadi, intinya jika bukan halaman postingan yang diblokir itu tidak masalah dan tidak perlu dikhawatirkan ya mas?

    BalasHapus
    Balasan
    1. Halo,
      Iya betul mas, jadi kita perlu cek manual dulu halaman mana yang diblokir robots.txt, kalau selain postingan / artikel menurut saya tidak masalah.

      Hapus
  6. sangat membantu solusinya,good

    BalasHapus
  7. kalo mengatasi artikel yang tidak di index gimana ya gan? saya kan buat blog baru, yang di index hanya halaman statis saja, saya pake template viomagz, sama kaya punya agan, makasih

    BalasHapus
    Balasan
    1. Biasanya kalau blog baru memang perlu waktu untuk di index google, terus sering update artikel juga minimal 1 hari 1 post. Atau bisa baca artikel ini:
      https://www.caramanual.com/2018/05/artikel-cepat-terindex.html

      Selain itu, cek juga di templatenya apakah ada meta tag robots noindex, kalau ada bisa di hapus saja.

      Hapus
  8. oh jadi bisa dibiarkan saya ya mas.

    BalasHapus
    Balasan
    1. Dibiarkan juga tidak masalah, tapi kita perlu cek dulu halaman apa yang diblokir robots.txt

      Hapus
  9. Apa yang ditulis sangat membantu sekali, terima kasih

    BalasHapus
  10. saya kira ini masalah serius jadi langsung saya search di google masalah ini. eh ternyata setelah saya baca di artikel blog ini. cuman masalah sepele karena yang tidak di index cuman halaman label doang. artikel yang bermanfaat. boleh nanya ? ini template beli / free ?

    BalasHapus
  11. mohon dibantu gan, ane cari2 Menu Validasi Perbaikan kok tidak ketemu ya?
    Cakupan indeks > klik pada Valid dengan peringatan > kemudian klik pada status
    ini gk ada gan

    BalasHapus
    Balasan
    1. Halo,
      Artikel sudah saya perbaiki, silahkan di cek kembali.
      Untuk tulisan Cakupan indeks sekarang berubah menjadi Liputan saya juga telah menyertakan gambar agar lebih mudah dipahami.
      Terima kasih.

      Hapus
  12. makasih gan sudah membantu, tapi sekarang susah webmaster baru

    BalasHapus
  13. Hallo mas,apa saya harus menggunakan salah satu cara diatas,atau dua2nya?

    BalasHapus
    Balasan
    1. Kalau yang saya alami itu cukup hanya dengan pakai cara pertama saja, karena kemungkinan template blogger sekarang sudah tidak pakai meta robots noindex lagi.

      Jadi intinya jika ingin memperbaiki ini, silahkan gunakan cara pertama. Untuk cara kedua bisa menjadi opsional saja, tapi perlu di cek di bagian templatenya untuk memastikan tidak ada meta tag noindex.

      Hapus
  14. masih newbie gan. kalau diindex apa akan muncul peringatan itu lagi, jadi lebih baik dihilangkan atau gmn gan masih bingung

    BalasHapus
    Balasan
    1. Kalau diindex tentu peringatan tersebut tidak akan muncul lagi.

      Lalu sebaiknya dihilangkan atau didiamkan saja?
      Menurut saya kembali lagi tergantung errornya terjadi dibagian mana? kalau hanya untuk label atau query dari hasil pencarian itu tidak masalah apabila didiamkan. Tetapi jika yang errornya adalah halaman postingan, halaman statik, atau homepage itu perlu segera diperbaiki.

      Hapus
  15. makasih, masalah saya terselesaikan

    BalasHapus
  16. Ini informasi yang saya cari-cari. Terimakasih banyak.

    BalasHapus
  17. makasih gan kebanyakan bingung banyak yang mengalami peringatan seperti ini apa karena banyaknya label yach

    BalasHapus
  18. Mas saat mengaktifkan robot txt, di kotak dialog ko kosong ya
    Tidak ada instruksi apapun, itu bgusnya ttep dinonatktifkan atau gimana ya ???

    BalasHapus
    Balasan
    1. Halo,

      Silahkan untuk membaca artikel ini:
      https://www.caramanual.com/2016/11/apa-itu-robotstxt-inilah-pengertian-dan.html
      https://www.caramanual.com/2016/11/kumpulan-kode-robotstxt-blogger-seo.html
      https://www.caramanual.com/2016/11/cara-setting-robotstxt-khusus-di.html

      Hapus
  19. makasih gan.. sangat membantu...

    BalasHapus
  20. Makasih gan, sangat membantu

    BalasHapus
  21. saya juga menemukan kendala seperti artikel diatas mas, kendala yang ditemukan pada " search/label. Namun setelah membaca ulasan diatas saya menjadi lega karena kebingungan apakah harus diperbaiki atau jangan.Akhir nya keraguan saya terjawab sudah,salam hangat dan bari berbagi informasi bermanfaat, makasih mas...

    BalasHapus
  22. Terimakasih Gan sempat kawatir karena dapat peringatan dari robots.txt, kasusnya sama yg di blokir /search/ atau pencarian lebel, jadi di biarin aja ya gan, terimakasih ya atas infonya :)

    BalasHapus
  23. Mantap Bos Artikel nya 👍👍

    Google itu terlalu kaku dan banyak aturan nya.. tidak mau berkaca dari kejadian Google+ yg udah tamat. Cepat atau lambat akan di tinggalkan juga,

    Google masih beranggapan manusia harus tunduk thd mesin dan menuruti kemauan mesin.. lambat laun akan seperti koran yg di tinggalkan 😁

    BalasHapus
  24. Kalau untuk WordPress bagaimana cara memperbaikinya Mas Gan ?

    BalasHapus
    Balasan
    1. Halo,

      Untuk wordpress dan blogger intinya sama saja, tinggal cari bagian mana yang diblokir. Namun di sini kadang pengguna wordpress menggunakan sebuah plugin tambahan misalnya Yoast SEO dan All in One SEO.

      Nah, kalau mas nya pakai plugin seperti itu yang mengatur perintah robots silahkan di periksa lagi plugin tersebut, dan jika perintahnya disallow atau nofollow silahkan ubah menjadi follow.

      Terima kasih.

      Hapus
  25. nice shering gan, kalau ads tidak tampil gimana ya

    BalasHapus
    Balasan
    1. Ads maksudnya gimana mba?
      Iklan adsense tidak tampil gitu ya? coba bisa baca artikel ini: https://www.caramanual.com/2018/10/cara-mengatasi-iklan-adsense-yang-tidak-muncul.html

      Hapus
  26. Halo Mas
    saya mau nanya masalah
    Artikel ditemukan - tapi tidak diindexs

    saya punya 100 an artikel sedang yg valid sekitar 90 an nah yg sisanya statusnya DiKECUALIKAN , pas saya baca artikel si mas ada meta tag noindex yg harus di hapus , seperti contoh ini meta TAG saya


    apa perlu dihapus juga untuk kalimat noindexnya , jika ya hapus dari mana ke mana

    noindexnya di bagian search lable - ismobile - archive , maaf gak bisa kirim meta tag



    terima kasih

    BalasHapus
    Balasan
    1. Halo,

      Kalau mau hapus meta tag, misalnya perintah noindex.

      Contoh:
      <meta content='noindex,nofollow,noarchive,nosnippet,noimageindex' name='robots'/>

      Tinggal hapus saja perintah yang saya tandai huruf tebal.

      Hasilnya:
      <meta content='nofollow,noarchive,nosnippet,noimageindex' name='robots'/>

      Atau kalau isi dari content hanya perintah noindex silahkan hapus semua kode di atas.

      Hapus
  27. bener banget gan, blog saya juga mengalami hal yang sama. makasih pencerahannya

    BalasHapus
  28. User-agent: Mediapartners-Google
    Disallow:

    maaf mas kode itu lebih baik di terapkan atau jangan ?.

    BalasHapus
    Balasan
    1. Halo,

      Kalau menurut saya lebih baik dihapus saja karena tidak ada perintahnya.

      Hapus
  29. Blog saya terjadi error begini setelah ganti template. Pas templatenya diubah kembali, tetap aja masih error. Mudah-mudahan cara ini bisa work. Makasih infonya gan.

    BalasHapus
    Balasan
    1. Halo,

      Silahkan periksa robots di template yang baru, pasti ada perintah noindex atau nofollow silahkan di hapus saja, lalu minta validasi perbaikan..

      Hapus
  30. maaf mas kalau di webmaster punya saya ada Dikecualikan oleh tag ‘noindex’ itu terjadi pada urlblogsaya/search/label/C karena saya memasang meta tag pada template blog nya..apakah itu berpengaruh untuk blog saya di mata google dan apakah harus di hapus meta tag itu ??

    kemudian ada Di-crawl - saat ini tidak diindeks pada urlblogsaya/feeds/posts/summary
    cara ngatasi nya gimana yah mas ??

    BalasHapus
    Balasan
    1. Balik lagi mas, sesuai kebutuhan apakah label perlu di indeks atau tidak ? keputusannya ada di mas. Apabila memang tidak ingin di indeks juga tidak masalah, kecuali bagian post wajib di indeks.

      Hapus
  31. Mau tanya gan
    Ane cek di webmaster klo di crawl tapi tidak di indeks apakah harus submit url lagi atau gmn ya gan....maklum gan masih newbie😁

    BalasHapus
    Balasan
    1. Maksudnya url di cek di webmaster sudah terindeks, tapi di cek di google url tersebut tidak ada?

      Apabila seperti itu, memang butuh waktu yang cukup lama. Apa perlu di submit ulang? menurut saya tidak perlu, tapi kalau mau di submit ulang tidak masalah dan cukup 1 kali saja.

      Selain itu hindari penggunaan url yang terlalu panjang usahakan ada di 5 kata saja atau paling panjang cukup 7 kata pada url.

      Hapus
  32. maaf mas kalau robots.txt seperti ini disarankan tidak menurut mas ?
    User-agent: Mediapartners-Google
    Disallow:
    User-agent: Googlebot
    Disallow: /search
    Disallow: /?m=1
    Disallow: /?m=0
    Disallow: /*?m=1
    Disallow: /*?m=0
    User-agent: *
    Disallow: /search
    Sitemap: URL BLOG/sitemap.xml

    BalasHapus
    Balasan
    1. Halo,

      File robots.txt bisa disesuaikan dengan kebutuhan kita sendiri. Untuk file robots.txt di atas akan memblokir hasil penelusuran untuk versi mobile.

      Menurut saya memblokir hasil penelusuran versi mobile untuk saat ini sangat tidak tepat sehingga robots.txt di atas tidak perlu diterapkan, karena lebih dari 53% trafik website saya berasal dari smartphone.

      Alasan lainnya adalah, hampir banyak template blogger yang sudah support atau mendukung tampilan khusus versi mobile, jadi tidak perlu diblokir untuk tampilan versi mobile.

      Namun point pentingnya dari robots.txt di atas adalah kita dapat mencegah terjadinya duplikat konten.

      Mengenai file robots.txt bisa lihat disini : https://www.caramanual.com/2016/11/kumpulan-kode-robotstxt-blogger-seo.html

      Hapus
  33. Trimakasih ini sangat bermanfaat sekali khususnya buat saya yang masih baru

    BalasHapus
  34. siang mas, saya juga mengalami seperti ulasan diatas, diindex, meski diblokir robot txt. pemasalahannya juga pada " search/label. sudah saya pebaikin seperti cara diatas, namun tag robotnya sy nonaktifkan. apakah itu nantinya bermasalah lagi mas ? dan "diindex, namun diblokir robot txt" apakah berpengaruh jika buat daftar google ads ?

    mohon penjelasannya mas.

    BalasHapus
    Balasan
    1. Halo,
      Apabila tag robotnya sudah dihapus maka tidak akan muncul lagi masalah di atas.
      Untuk pendaftaran google adsense tidak ada pengaruhnya meski halaman search/label diblokir robots.txt

      Hapus
Jika ada yang masih kurang jelas, silahkan untuk bertanya pada kolom komentar di bawah ini atau dengan menghubungi kami di halaman kontak.

1. Centang kotak Notify me untuk mendapatkan notifikasi komentar.
2. Komentar kami moderasi, dan tidak semuanya dipublish.
3. Semua komentar dengan menambahkan link akan dihapus dan tidak akan dipublikasikan.

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel