Crawling
adalah Cara Googlebot menemukan halaman yang diperbaharui dan akan menambahkannya
ke indeks Google. Proses penjelajahan dimulai dengan sebuah daftar URL halaman
web, yang dihasilkan dari proses berdasarkan perayapan sebelumnya ( indeks ),
dan ditambah dengan Sitemap data yang diberikan oleh webmaster. Googlebot akan
melihat isi website tersebut, mendeteksi link pada setiap halaman dan
menambahkannya ke dalam daftar perayapan halaman ( indeks ) . Situs baru, dan perubahan
pada situs yang ada, dan link mati dicatat dan digunakan untuk memperbarui
indeks Google.
Catatan
: Untuk mengetahui LINK mati atau rusak sangatlah sulit. Pemecahannya adalah
buang artikel lama Anda ( yang menurut Anda lama atau sudah kadaluarsa
informasinya ) karena tidak menutup kemungkinan terdapatnya link mati atau
rusak. Umumnya bagi BLOG penyedia download software atau banyak menggunakan
eksternal link.
Cara
mengatasi crawl error menggunakan webmaster tool, salah satu cara optimasi blog adalah
dengan cara menghapus kesalahan perayapan yang terjadi saat Google melakukan
crawling terhadap blog Anda. Semua berjuan agar proses crawling Blog Anda menjadi
lancar, Setiap kesalahan perayapan (crawl error) akan menghambat dan mengganggu
search engine dalam proses meng-crawl dan mengindeks blog Anda.
Penyebab
paling umum crawl error
adalah menghapus artikel yang sudah dipublish dan telah terindeks oleh google. Ketika
seseorang mengklik link ( yang sudah anda hapus ) maka Mesin Pencari Google akan mengindeks link
error dan akan muncul halaman yang bertulisan Crawl Error 404 Not Found,
artinya URL yang diminta tidak ditemukan.
Jika crawl
error terjadi pada kotak komentar
penyebabnya ketika ada pengunjung yang meninggalkan link artikelnya di blog Anda
dan artikel tersebut dihapus oleh pemiliknya maka muncul peringatan Url Not
Found (tidak ditemukan).
MENGATASI CRAWL ERROR PADA BLOG
► 1. Login
ke halaman Dashboard
Google Webmaster Tools.
► 2. Pilih
blog yang ingin anda periksa
► 3. Kemudian
pada sidebar sebelah kiri, klik KESEHATAN
► KESALAHAN
PERAYAPAN
► 4. Centang
semua crawl error
► 5. Klik
Tandai sebagai yang Telah diperbaiki
► 6. Kemudian
Klik Ok
Akan ada pesan : Kesalahan
ini tidak akan dicantumkan lagi (tetapi mungkin akan muncul kembali jika
masalah tidak diatasi)
Jadi
jika pada kesempatan berikutnya anda mengecek lagi tapi masih tersisa beberapa
crawl error yang tidak bisa diperbaiki. Maka lakukan langkah 1 (satu) sampai 3
(tiga) diatas, sehingga langkah yang ke
► 4. Klik Not
Found.
► 5. Anda
akan dibawa ke halaman Crawl Errors. Di halaman ini akan ditunjukkan URL yang
Not Found. Kemudian Anda Copy URL tersebut.
► 6.
Kemudian masuk ke Pengoptimalan ► Hapus URL
► Kemudian klik Buat Permintaan Penghapusan Baru
► 7. Lalu Paste URL Not found yang dicopy tadi,
Kemudian klik Terus ( Continue )
► 8. Lalu
akan ada 3 pilihan dalam menghapus URL
► URL akan
dihapus dari hasil pencarian Google dan cache
► URL akan
dihapus dari cache saja
► URL akan
dihapus dari direktori Google
► 9. Kemudian
Klik untuk Kirim Permintaan
Error 404 100% disebabkan oleh link rusak atau broken link