Google selalu ingin meningkatkan pengalaman penggunanya, jika sebuah website ingin direkomendasikan google di hasil pencariannya atau biasa disebut SERP (Search Engine Result Page) maka website tersebut juga dituntut untuk meningkatkan pengalaman penggunanya. Dan Error 404 alias hilang ini masuk dalam kategori tidak membuat nyaman pengguna.
Error 404 Pesan Google
Perlunya memperbaiki error 404 ini karena ada pesan google seperti berikut ini: 
Googlebot mengidentifikasi peningkatan signifikan jumlah URL di https://www.pondokjeruk.com/ yang mengembalikan kesalahan 404 (tidak ditemukan). Hal ini mungkin menandakan gangguan atau kesalahan konfigurasi, yang dapat menyebabkan pengalaman buruk bagi pengguna. Hal ini akan menyebabkan Google meniadakan URL tersebut dari hasil penelusuran. Jika URL ini tidak ada, tak diperlukan tindakan apa pun.
Walaupun tidak apa-apa tidak mengurus hal ini namun kalau banyak ya akhirnya kalimat warna merah diatas akan dianggap terjadi oleh google. Berikut ini lanjutan saran search console:
Jika URL tersebut memang seharusnya ada, tinjau konfigurasi server untuk memastikan bahwa URL mengembalikan 200 OK (Anda mungkin memerlukan bantuan dari pengosting atau administrator server untuk melakukannya). Jika URL tersebut tidak valid atau seharusnya tidak ada, tinjau sumber URL. Perbaiki tautan apa pun ke URL ini dari dalam situs web Anda dan pertimbangkan untuk menghubungi situs eksternal yang ditautkan ke URL tersebut. Pertimbangkan untuk mengalihkan URL yang tidak valid ke laman yang tepat di situs Anda, jika dapat dikenali.
Kenapa Perlu Memperbaiki Error 404?
Jika error 404 ini ditaut dari website lain, mungkin kita tidak akan terlalu disalahkan oleh google, tapi jika error 404 ini berasal dari halaman di website kita sendiri, ini dianggap mengganggu pengalaman pengguna. Dan ternyata dari pengalaman, seringkali googlebot masih "goblog" dalam membaca javascript. sehingga seringkali googlebot menganggapnya sebagai tautan putus dan akhirnya error 404 kesimpulan yang diambilnya.
Sebenarnya googlebot sudah sangat maju, dulu hanya membaca halaman HTML, tapi sejak smartphone semakin menguasai internet, googlebot juga membaca javascript meskipun google mengakui sering kesulitan membaca halaman situs yang dibuat dengan AJAX, sehingga google menyarankan menggunakan AJAX harus hati-hati jika ingin halaman terindex baik. Harus ada link HTML yang tetap membuat seluruh halaman bisa ditelusuri googlebot.
Contoh Error 404 Karena Javascript
Itu hanya ulasan singkat tentang googlebot dan ajax yang masih belum akrab, masalah yang akan dibahas sekarang sebenarnya adalah googlebot seringkali salah menafsirkan javascript, dan lucunya salah menafsirkan script yang dibuatnya sendiri untuk komentar blogger. Berikut ini contohnya:
delete-comment.g?blogID=
URL diatas coba kamu lihat di search console google kamu, apakah ditemukan error, biasanya dikatakan ditaut dari halaman yang ada komentarnya. Kesalahan itu muncul karena googlebot salah dalam membaca script bawaan blogger sendiri, berikut potongan scriptnya:
... d.baseUri+"/delete-comment.g?blogID="+d.blogId ...
Nah URL putus semacam itu juga dicatat sebagai kesalahan kan kamvret jadinya, mau dibetulkan gimana coba lha itu dimasukkan otomatis oleh blogger.
Kalau di blog Pondok Jeruk, kesalahan seperti itu muncul banyak karena scriptnya banyak mengandung URL putus yang sebenarnya adalah bentuk agar parameternya dinamis, lha kan jadi error 404-nya nambah lagi. Kalau dibuang ya gak berfungsi dong script yang sudah capek bikin, apalagi kalau scriptnya bikin nyaman pengguna.
Isi robots.txt Memperbaiki Error 404
Akhirnya cari akal dengan memblokirnya via robots.txt yang selama ini gak dipakai fiturnya di blogger. Sebelumnya di identifikasi dulu kesalahan dari laporan search console lalu blokir URL child yang tidak mungkin ada di blog. Susah jelasinnya, pokoknya contohnya seperti berikut ini error 404 yang terjadi di blog ini:
https://www.pondokjeruk.com/s72-c/
https://www.pondokjeruk.com/submit?url=
https://www.pondokjeruk.com/delete-comment.g?blogID=
https://www.pondokjeruk.com/embed/
https://www.pondokjeruk.com/feeds/posts/default/-/
https://www.pondokjeruk.com/url?url=
https://www.pondokjeruk.com/s64-c/
https://www.pondokjeruk.com/w125-h125-p-k-no-nu/
https://www.pondokjeruk.com/%3E
https://www.pondokjeruk.com/s113/
https://www.pondokjeruk.com/w25-h25-p-k-no-nu/
https://www.pondokjeruk.com/s1600/
https://www.pondokjeruk.com/w450-h150
https://www.pondokjeruk.com/share
https://www.pondokjeruk.com/tool?canonicalUrl=Setelah diidentifikasi dan dicari darimana halaman tersebut ditaut yang dilaporkan googlebot, ternyata berasal dari javascript yang mengandung URL. Kalau di Search Console ditampilkan cuma buntutnya ya, seperti: s72-c/ cuma maksudnya yang lengkap seperti diatas itu.
Memasukkan robots.txt di Blogger Dashboard
Cara membetulkannya adalah dengan memblokirnya via robots.txt, aktifkan fitur ini. Kalau bingung lihat gambar berikut ini:
Aktifkan dan isi saja tapi sesuaikan dengan blog masing-masing, lain script lain URL yang dianggap hilang oleh googlebot, tapi pasti ada, karena script ambil darimanapun tidak akan terhindar mengandung URL.
Berikut ini file robots.txt untuk menangani kendala untuk masalah diatas, sesuaikan saja untuk blog kamu.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /s72-c
Disallow: /submit?url=
Disallow: /delete-comment.g?blogID=
Disallow: /embed
Disallow: /feeds/posts/default/-
Disallow: /url?url=
Disallow: /s64-c
Disallow: /w125-h125-p-k-no-nu
Disallow: /%3E
Disallow: /s113
Disallow: /w25-h25-p-k-no-nu
Disallow: /s1600
Disallow: /w450-h150
Disallow: /share
Disallow: /tool
Allow: /
Sitemap: https://www.pondokjeruk.com/sitemap.xmlKalau sudah disimpan di blogger, lalu centang error di search console, dan tandai sudah diperbaiki. Selesai dah masalahnya, hanya tinggal menunggu googlebot menelusuri kembali.
Catatan:
Error 404 karena hal ini bisa muncul lagi, apalagi kalau menambah script baru. Tidak menambah script baru saja bisa saja nambah link error 404 kalau sebelumnya ada yang kelewatan. Kalau ada muncul lagi di search console, ya edit lagi robots.txt lalu tambahkan URL baru yang akan diblokir. Kasus ini bukan hanya terjadi di platform blogger, di wordpress, joomla, drupal, codeigniter dan lainnya sama saja, hanya cara membuat robots.txt-nya saja beda caranya kalau self hosting, biasanya langsung ke file manager edit filenya.
Tidak hanya error dari javascript, dari apapun asalkan dilaporkan ditaut dari halaman blog kita sendiri, dan tidak mungkin ada URL dimaksud, blokir saja. Beres!
Sekian dulu, ini adalah catatan memperbaiki error 404 via robots.txt, semoga berguna juga bagi yang lain, karena menurut para ahli SEO, link broken itu bikin loyo di mesin pencari.
