Cara meghapus crawl error pada Google Webmaster Tools

Cara meghapus crawl error pada Google Webmaster Tools - Setelah pada postingan saya yang lalu tentang Cara Mendaftarkan Blog ke Google Webmaster Tools, kali ini saya akan mulai membahas cara mengoptimalisasi blog dari Google Webmaster Tools. Bila anda belum mendaftarkan blog anda ke Google Webmaster Tools, silakan Mendaftarkan Blog anda ke Google Webmaster Tools. OK,, kembali ke laptop,, salah satu cara optimalisasi adalah dengan cara menghapus crawl yang error yang terjadi saat Google Search Engine melakukan crawling terhadap blog kita.
Lalu, mengapa proses crawl yang error ini perlu dihapus? Ya, tentu saja agar proses crawling yang dilakukan search engine terhadap blog kita menjadi lancar. Karena proses crawl yang error akan menghambat dan mengganggu search engine ketika men-crawl dan mengindex blog.

>> Macam-macam Crawl Error Pada Google Webmaster Tools
Berikut ini adalah beberapa crawl error yang pernah saya temui :

A. Not Found

Error ini terjadi karena server tidak dapat menemukan halaman yang diminta pada sebuah blog/web. Penyebab error ini biasanya karena penghapusan halaman pada blog. Jadi, untuk menghindari terjadinya error not found, sebaiknya jangan menghapus postingan maupun halaman yang telah terpublish. Jika anda menemukan crawl error yang ada di blog anda, maka segeralah dihapus agar proses crawling berjalan lancar.

Adapun cara menghapus crawl error yang not found adalah sebagai berikut :
1. Login ke halaman Dashboard Google Webmaster Tools.

2. Klik tulisan Not Found.

3. Anda akan dibawa ke halaman Crawl Errors. Di halaman ini akan ditunjukkan URL yang Not Found. Copy URL-URL tersebut.

4. Kemudian masuk ke Site Configuration >> Crawler access >> Remove URL, lalu klik Create a new removal request.

5. Paste URL Not found yang dicopy tadi, Kemudian klik Continue.

6. Lalu akan muncul 3 pilihan dalam menghapus URL
    >> Remove page from search result and cache
         URL akan dihapus dari hasil pencarian Google dan cache
    >> Remove from cache only
          URL akan dihapus dari cache saja
    >> Remove directory
          URL akan dihapus dari direktori Google

7. Klik Submit Request

Proses penghapusan URL yang Not found ini memerlukan waktu yang lama. Saya pernah menghapus URL yang not found seperti ini dan baru terhapus setelah hampir 1 bulan sejak melakukan langkah-langkah diatas. :D. Akan tetapi dampak dari penghapusan crawl error ini sangat besar, proses crawling blog akan makin lancar dan hasilnya bagus.

B. Restricted by robots.txt

robots.txt adalah file yang digunakan oleh Googlebot (robot search engine-nya Google) sebagai pedoman dalam melakukan crawling terhadap isi blog. File robots.txt dapat menentukan bagian mana yang boleh dicrawl dan bagian mana yang tidak diperbolehkan untuk dicrawl. Bagian restricted by robots.txt artinya bagian tersebut dibatasi aksesnya oleh file robots.txt agar tidak dicrawl spiderbot. Sebenarnya bagian restricted by robots.txt ini tidak dihapus juga tidak masalah, karena tidak mengganggu proses crawling. :D

Sekian postingan saya mengenai Cara mengatasi Crawl Error di Google Webmaster Tools. Semoga artikel ini bermanfaat bagi sobat blogger semua. Mungkin artikel ini belum lengkap, masih ada beberapa dalam proses crawl error yang belum saya temukan. Lain kali jika ada tambahan akan saya tambahkan, atau mungkin jika anda menemukan proses crawl error lain silakan berkomentar dibawah.