Pada dasarnya ada dua jenis mesin pencari. Yang pertama adalah oleh robot yang disebut web crawler atau spider.
Kebanyakan Mesin Pencari menggunakan spider untuk mengindeks situs web. Ketika Anda menyelesaikan halaman pengiriman yang diperlukan untuk setiap mesin pencari, spider spesifik mereka akan mengindeks seluruh situs Anda. :Spider: atau :crawler web: adalah program otomatis yang dijalankan oleh mesin pencari yang mengunjungi situs web, membaca konten, meta tag, dan mengikuti tautan yang terhubung dengan situs. Laba-laba mengembalikan semua informasi itu kembali ke indeks pusat mesin pencari. Beberapa laba-laba hanya akan melihat beberapa level halaman di setiap situs sehingga tidak ada gunanya membuat situs web 500 halaman.
Bagaimana Cara Pencarian Google? Mesin pencari? Laba-laba? Perayap Web?
Laba-laba secara berkala akan kembali ke situs untuk memeriksa informasi baru atau perubahan pada informasi yang ada. Mesin pencari menentukan periode ini sendiri, tetapi dengan salah satu mesin pencari utama seperti Google, Anda dapat mengatur meta tag khusus untuk memberitahu laba-laba untuk kembali setelah jangka waktu tertentu.
Laba-laba itu seperti daftar isi dalam sebuah buku, konten aktual, tautan, dan referensi untuk semua situs web yang ditemukannya selama pencarian diindeks. Beberapa mesin pencari seperti Google dapat mengindeks miliaran halaman per hari.
Ketika Anda meminta mesin pencari untuk menemukan informasi, itu sebenarnya mencari melalui indeks yang telah dibuat dan tidak benar-benar mencari di Web. Mesin pencari yang berbeda menghasilkan peringkat yang berbeda karena tidak setiap mesin pencari menggunakan algoritma yang sama untuk mencari melalui indeks.
Salah satu hal yang dipindai oleh algoritma mesin pencari adalah frekuensi dan lokasi kata kunci pada halaman web, tetapi juga dapat mendeteksi isian kata kunci buatan atau spamdexing.
Kemudian algoritma menganalisis cara halaman terhubung ke halaman lain di Web. Dengan memeriksa bagaimana halaman saling bertautan, sebuah mesin dapat menentukan apa halaman tersebut, jika kata kunci dari halaman yang terhubung mirip dengan kata kunci di halaman asli.
Jika Anda menghasilkan konten berkualitas maka Anda tidak perlu terlalu khawatir karena mesin pencari akan dengan cepat memutuskan apakah situs Anda relevan dan berharga