Laba-laba mesin pencari tidak pintar. Laba-laba / bot diprogram untuk terus merangkak di sekitar mesin pencari sampai mereka menemukan konten yang dapat mereka indeks. Mereka tidak akan berhenti dan menunggu sampai Anda memperbaiki tautan yang rusak itu. Itu bukan pekerjaan mereka. Ini adalah pekerjaan ANDA untuk memastikan mesin pencari dapat spider situs Anda.
Agar halaman situs Anda dapat dirayapi, mereka harus membawa pengunjung ke lokasi yang berbeda. Pengunjung harus dapat dengan mudah menavigasi di dalam situs Anda atau dibawa ke tautan / situs eksternal. Jika Anda memiliki tautan yang salah atau rusak, ini secara serius mengurangi kemampuan perayapan situs Anda dan situs Anda dapat secara permanen disaring dari SERP (halaman hasil mesin pencari).
14 Masalah Teknis Membunuh SEO Anda
Kesalahan crawlability adalah apa yang membunuh SEO Anda - jangan membuat kesalahan berikut atau mengucapkan selamat tinggal pada ditemukan di mesin pencari.
• Perhatikan file robots.txt - Itulah cara termudah untuk mengacaukan kemampuan perayapan Anda. File Robots.txt mengarahkan spider mesin pencari cara melihat situs Anda. Satu kesalahan dapat membuat Anda keluar dari mesin pencari secara permanen, jadi berhati-hatilah saat bekerja dengan file-file ini.
• Jangan menggunakan terlalu banyak variabel di URL Anda - Google dapat merayapi tautan yang panjang tetapi masih bukan penggemar URL yang panjang. Lebih baik menggunakan URL pendek - mereka diklik lebih sering di SERPs
• Jangan menambahkan ID Sesi di URL - Jika Anda menggunakan ID Sesi di URL Anda, simpan di cookie. Laba-laba tidak akan merayapi URL dengan ID Sesi - mereka menyumbat SERP
• Hati-hati terhadap kode mengasapi - Ini bisa menjadi masalah BESAR. Laba-laba pandai memisahkan kode versus konten, tetapi juga tidak mempersulit mereka. Jangan gunakan terlalu banyak kode sehingga konten Anda tidak mudah ditemukan.
• Laba-laba tidak dapat mengikuti tautan Flash atau menjalankan JavaScript - Desain yang menggunakan Flash dan JavaScript akan menghentikan laba-laba di treknya. Mereka juga tidak dapat membaca teks atau gambar di dalam Flash. Tetap menggunakan tautan HTML (tautan sebaiknya berupa teks atau gambar)
Cara Memperbaiki Kesalahan Penelusuran
• JANGAN mengubah URL Anda kecuali jika rusak. Ingatlah tips berikut yang disebutkan di atas. Buat mereka singkat, jangan gunakan terlalu banyak variabel, tinggalkan ID Sesi, dll.
• Saat membuat URL, gunakan kata kunci dan tanda hubung untuk memisahkan kata kunci. Laba-laba mengenali tanda hubung sebagai spasi - jangan gunakan garis bawah, dll. Jangan buat URL Anda terlihat spam dengan kata kunci.
• Perbaiki kanonikisasi domain Anda. Apakah Anda akan menggunakan www.business.com atau business.com? (jangan gunakan keduanya!) Domain mana yang mendapatkan tautan paling banyak, dll? Itulah URL yang harus Anda gunakan sebagai domain utama Anda. Jika Anda menggunakan domain sekunder, pastikan Anda menyertakan 301 redirect kembali ke domain utama Anda.
• Gunakan SEO Browser untuk memeriksa bagaimana mesin pencari melihat situs Anda
Manfaat Peta Situs
Peta Situs adalah file XML yang mencantumkan URL beserta metadata setiap URL. Ini memungkinkan mesin pencari untuk menjelajah situs secara efisien. Peta Situs adalah cara mudah bagi webmaster untuk memberi tahu mesin pencari tentang halaman di situs mereka yang tersedia untuk dirayapi.
Jika Anda ingin ditemukan dengan mudah oleh mesin pencari, bangun sistem navigasi yang efisien. Struktur navigasi yang logis dan mudah akan membuat laba-laba lebih mudah merangkak di sekitar situs Anda.