Pertama, sedikit definisi yang menjelaskan:
Search Engine Spiders atau Crawlers - Perayap web (juga dikenal sebagai spider web) adalah program yang menelusuri World Wide Web dengan cara metodis dan otomatis. Perayap web terutama digunakan untuk membuat salinan dari semua halaman yang dikunjungi untuk diproses lebih lanjut oleh mesin pencari, yang akan mengindeks halaman yang diunduh untuk menyediakan pencarian cepat.
Perayap web adalah satu jenis bot, atau agen perangkat lunak. Secara umum, ini dimulai dengan daftar URL untuk dikunjungi. Ketika mengunjungi URL-URL ini, ia mengidentifikasi semua hyperlink di halaman dan menambahkannya ke daftar URL yang akan dikunjungi, menjelajah Web secara rekursif sesuai dengan serangkaian kebijakan.
Cara Membuat Google Mesin Pencari Default Saya di Edge Browser di Windows 10
Robots.txt - Standar pengecualian robot atau protokol robots.txt adalah konvensi untuk mencegah laba-laba web yang berperilaku baik dan robot web lainnya mengakses semua atau sebagian situs web. Informasi yang menentukan bagian-bagian yang tidak boleh diakses ditentukan dalam file yang disebut robots.txt di direktori tingkat atas situs web.
Protokol robots.txt adalah murni nasihat, dan bergantung pada kerja sama robot web, sehingga menandai area situs Anda di luar batas dengan robots.txt tidak menjamin privasi. Banyak administrator situs web yang ketahuan mencoba menggunakan file robot untuk membuat bagian pribadi dari sebuah situs web tidak terlihat oleh seluruh dunia. Namun file tersebut harus tersedia untuk umum dan mudah diperiksa oleh siapa saja dengan browser web.
Pola robots.txt dicocokkan dengan perbandingan substring sederhana, jadi harus berhati-hati untuk memastikan bahwa direktori pencocokan pola memiliki karakter akhir ';/'; ditambahkan: jika tidak semua file dengan nama yang dimulai dengan substring itu akan cocok, bukan hanya yang ada di direktori yang dimaksud.
Meta Tag - Meta tag digunakan untuk menyediakan data terstruktur tentang data.
Pada awal 2000-an, mesin pencari membelok dari ketergantungan pada Meta tag, karena banyak situs web menggunakan kata kunci yang tidak pantas, atau isian kata kunci untuk mendapatkan setiap dan semua lalu lintas yang mungkin.
Namun, beberapa mesin pencari masih mempertimbangkan Meta tag ketika memberikan hasil. Dalam beberapa tahun terakhir, mesin pencari telah menjadi lebih cerdas, menghukum situs web yang curang (dengan mengulangi kata kunci yang sama beberapa kali untuk mendapatkan dorongan dalam peringkat pencarian). Alih-alih naik peringkat, situs web ini akan turun dalam peringkat atau, pada beberapa mesin pencari, akan ditendang keluar dari mesin pencari sepenuhnya.
Buat indeks situs - Tindakan merayapi situs Anda dan mengumpulkan informasi.
Bagaimana file robots.txt dan meta tag membantu Anda?
Di robots.txt, Anda dapat memberi tahu ';perayap web'; yang berbahaya untuk meninggalkan situs web Anda sendiri, dan memberikan petunjuk bermanfaat kepada yang ingin Anda jelajahi di situs Anda. Berikut ini adalah contoh cara melarang perayap web untuk mencari situs Anda:
# ini mengidentifikasi mesin wayback
Agen-pengguna: ia_archiver
Larang: /
ia_archiver adalah nama perayap untuk mesin wayback yang mungkin pernah Anda dengar, dan / setelah disallow memberitahu ai_archiver untuk tidak mengindeks situs Anda. # Memungkinkan Anda untuk menulis komentar untuk diri sendiri sehingga Anda dapat melacak apa yang Anda ketik.
Ketik tiga baris di atas ke dalam notepad dari komputer Anda dan simpan di direktori root situs web Anda sebagai robots.txt. Perayap web mencari dokumen ini terlebih dahulu di situs web sebelum melakukan hal lain. Ini membantu crawler untuk melakukan tugasnya, dan membantu pemilik situs web memberi tahu laba-laba apa yang harus dilakukan. Misalnya, Anda memiliki beberapa data yang tidak ingin dilihat perayap. (Suka konten duplikat untuk halaman pengarah browser lainnya)
Anda dapat mencegah perayap agar tidak mengindeks direktori ';duplikat'; dengan mengetikkan ini ke file robots.txt Anda. Atau jika Anda ingin membuat file robots.txt dibuat untuk Anda, kunjungi www.rietta.com/robogen. Untuk memvalidasi file robots.txt Anda untuk memastikan itu berfungsi dengan baik, Anda dapat mengunjungi www.searchengineworld.com/cgi-bin/robotcheck.cgi
Agen pengguna: *
Larang: / duplikat /
* Setelah agen pengguna mengatakan bahwa tindakan ini berlaku untuk semua perayap dan / duplikat / setelah pelarangan memberitahu semua perayap untuk mengabaikan direktori ini dan tidak mencarinya. Untuk setiap agen-pengguna dan melarang garis harus ada ruang kosong di antara mereka agar berfungsi dengan benar. Jadi ini adalah bagaimana Anda akan membuat dua perintah di atas menjadi file robots.txt:
# ini mengidentifikasi mesin wayback
Agen-pengguna: ia_archiver
Larang: /
Agen pengguna: *
Larang: / duplikat /
Satu hal yang perlu diperhatikan yang sangat penting: Siapa pun dapat mengakses file robots.txt dari suatu situs. Jadi, jika Anda memiliki informasi yang tidak ingin dilihat siapa pun, jangan masukkan ke file robots.txt. Jika direktori yang tidak Anda inginkan dilihat orang lain tidak ditautkan dari situs web Anda, perayap tidak akan mengindeksnya.
Alternatif untuk memblokir pengindeksan situs Anda adalah dengan meletakkan tag meta ke halaman. Ini terlihat seperti ini:
Anda memasukkan ini ke dalam tag halaman web Anda. Baris ini memberi tahu robot crawler untuk tidak mengindeks (mencari) halaman dan tidak mengikuti hyperlink apa pun pada halaman. Jadi, sebagai contoh, perayap robot crawler tidak mengindeks halaman, tetapi ikuti hyperlink di halaman ini.
Tahukah Anda bahwa Google memiliki tag sendiri?
Kelihatannya seperti ini: Ini memberi tahu perayap robot Google untuk tidak mengindeks halaman, tidak mengikuti salah satu tautan, dan tidak mencegah menyimpan versi cache dari situs web Anda. Anda ingin ini dilakukan jika Anda sering memperbarui konten di situs Anda. Ini mencegah pengguna web melihat konten usang yang tidak di-refresh karena penyimpanan dalam cache.
Anda dapat menggunakan tag untuk secara khusus berbicara dengan robot Google untuk menghindari komplikasi atau jika Anda mengoptimalkan situs Anda untuk mesin pencari Google. Ini menyimpulkan artikel bulan ini.
Sampai artikel selanjutnya semoga harimu menyenangkan!
Kontraktor pengembangan web (Desain Web dan Hosting)
Kehadiran Internet
http://www.TheInternetPresence.com Cara Mengubah Mesin Pencari Default Sebagai bagian dari strategi pemasaran Internet yang komprehensif, sebuah perusahaan yang menyediakan Optimasi Mesin Pencari bisa menjadi keuntungan penting. Perusahaan-perusahaan ini ahli dalam meningkatkan posisi mesin pencari Anda, secara konsisten mengawasi posisi-posisi itu dan menyesuaikan pendekatan mereka jika mereka memiliki bulan dengan hasil yang tidak menguntungkan.
Perusahaan Optimasi Mesin Pencari menginvestasikan sejumlah besar waktu dan energi dan menggunakan pengetahuan khusus, sehingga mungkin lebih bermanfaat untuk mengalihdayakan keterampilan mereka daripada upaya mempertahankan posisi mesin pencari yang ditinggikan secara mandiri.
Dalam bisnis ada perusahaan besar dan ada juga apel busuk!
Untuk memilih perusahaan optimisasi mesin pencari yang murah dan efisien, penting untuk mengetahui pertanyaan yang tepat untuk diajukan dan untuk mengetahui faktor penentu apa yang harus dicari..
Sementara meninjau pilihan Anda dari perusahaan mesin pencari optimasi, mulailah dengan mempertimbangkan bagaimana mereka bermaksud untuk meningkatkan status mesin pencari Anda.
Perusahaan yang menggunakan halaman berjubah, pintu atau jembatan untuk meningkatkan posisi Anda harus dicoret dari daftar Anda. Metode seperti ini bertentangan dengan hampir semua kebijakan mesin pencari dan setidaknya situs web Anda akan dikecam dengan keras, dan bahkan lebih buruk lagi, mungkin sepenuhnya dihapus dari indeks mesin pencari..
Halaman, yang terselubung, dirancang untuk tidak dilihat oleh pengunjung situs web yang sering - tidak terlihat. Halaman berjubah dikodekan secara spesifik untuk mengidentifikasi spider mesin pencari dan mengarahkan mereka ke halaman ini, yang dibuat untuk meningkatkan peringkat mesin pencari Anda secara salah.
Konsep serupa digunakan untuk halaman doorway atau bridge, meskipun ini sering terletak di server alternatif. Jika mereka mengetahui fakta bahwa situs web Anda berisi halaman berjubah, Google - salah satu mesin pencari utama dan utama Internet, akan menghilangkan situs web Anda dari indeks mereka.
Jangan pernah mengontrak bisnis apa pun ke perusahaan yang menggunakan modus operandi ini!
Pertimbangan penting tambahan adalah untuk memastikan bahwa tidak ada konflik kepentingan dengan perusahaan yang Anda kontrak, di dalamnya mereka bekerja untuk pesaing Anda saat mereka dalam pekerjaan Anda. Jaminan ini dalam dokumen tertulis dan pastikan itu mengikat secara hukum. Orang dapat memahami bahwa konflik kepentingan dapat secara kritis membahayakan keberhasilan strategi optimasi mesin pencari. Penting untuk diingat bahwa ada perusahaan-perusahaan yang akan memasarkan layanan mereka kepada pemain lain di bidang Anda berdasarkan keberhasilan mereka dengan situs web Anda.
Sejarah hasil perusahaan adalah fitur penting yang mungkin ingin Anda tindak lanjuti. Tapi jangan mengambil kata-kata mereka untuk itu!
Hasil mereka dapat dibumbui untuk mengontrak bisnis Anda. Gali lebih dalam pernyataan keberhasilan mereka dengan mengajukan beberapa pertanyaan yang relevan dan mengkonfirmasi tanggapan mereka.
Kemungkinan pertanyaan yang diajukan:
1. Tanyakan pada mesin mana mereka telah mewujudkan hasil teratas mereka. Anda ingin melihat hasil terbaik pada mesin paling populer. Popularitas mesin pencari dapat berubah ketika seluruh Internet berubah, jadi buka halaman Nielsen Netratings untuk Mesin Pencari Pencarian. Ini dapat dilihat di http://www.searchenginewatch.com/article.php/2156451.
2. Temukan kata kunci dan frasa yang mereka pertahankan menerima hasil yang sangat baik. Kata-kata tidak populer cenderung menghasilkan peringkat tinggi. Sebagai contoh, beberapa orang akan mencari kata kunci :kalung anjing: yang akan menghasilkan peringkat popularitas tinggi. Idealnya Anda menginginkan hasil yang sangat baik dengan kata kunci populer. Lihat www.wordtracker.com, untuk perangkat lunak Wordtracker. Langganan tersedia dari 1 hari hingga satu tahun, atau menggunakan percobaan gratis mereka. Perangkat lunak Wordtracker mengukur seberapa populer kata kunci dan frasa tertentu dengan memanfaatkan statistik mesin pencari otentik.
3. Lihatlah situs yang dinyatakan sukses oleh perusahaan, tetap buka mata untuk mendapatkan hasil yang baik. Apa yang ingin Anda temukan untuk seluruh situs adalah berbagai peringkat berbeda pada sejumlah mesin pencari terpisah yang memanfaatkan berbagai kata kunci dan frasa. Anda berhak meminta laporan tentang klien yang perusahaan nyatakan telah dilakukan dengan baik. Laporan tersebut harus mencerminkan peringkat yang baik pada banyak mesin pencari yang lebih populer untuk banyaknya frasa dan kata kunci populer yang berbeda.
4. Pastikan perusahaan pengoptimalan mesin pencari yang Anda selidiki telah menyelesaikan pekerjaan yang mereka duga telah lakukan. Ada perusahaan yang ingin mengontrak bisnis Anda dan menggunakan kesuksesan perusahaan lain sebagai milik mereka. Yang terbaik adalah menghubungi bisnis tempat mereka mengklaim hasil, dan menanyakan siapa perusahaan pengoptimalan mesin pencari mereka. Resep untuk drive optimisasi mesin pencari yang sukses adalah memiliki eksposur maksimum atas berbagai macam mesin pencari populer dengan memanfaatkan beragam frasa dan kata kunci. Ini adalah alat pemasaran yang hebat untuk mendukung kesuksesan!
5. Ingatlah untuk meminta perusahaan pengoptimalan mesin pencari potensial Anda untuk memberi Anda laporan yang menggambarkan peringkat di banyak mesin pencari populer untuk jangka waktu minimum 6 bulan. Penting untuk mengontrak perusahaan yang mengakui bahwa pemasaran mesin pencari adalah praktik yang berkelanjutan dan yang juga terus memantau peringkat mesin pencari Anda. Jika peringkat mesin pencari Anda turun, perusahaan itu juga harus memodifikasi taktiknya untuk mempertahankan peringkat tinggi.
6. Laporan lain yang menurut Anda bermanfaat untuk diminta adalah contoh laporan bulanan yang menunjukkan pemeriksaan posisi yang konstan. Sangat penting bahwa peringkat diekstraksi dari mesin pencari yang lebih populer. Ini relatif mudah untuk mendapatkan hasil yang luar biasa untuk sejumlah kecil mesin pencari kecil - ini bukan hasil yang mengesankan. Juga memastikan bahwa hasil yang mereka sajikan sebenarnya untuk mesin pencari populer saat ini serta dikonfigurasi untuk pemahaman langsung. Misalnya, dimungkinkan untuk disajikan sebagai grafik selama periode waktu minimum 6 bulan yang menunjukkan data berikut:
- Analisis bulanan dari 50 posisi teratas.
- 5 halaman teratas setiap bulan.
Tentukan apakah perusahaan potensial ini memantau setiap posisi atau halaman ini, serta apakah laporan sampel ini memasukkan temuan dan saran untuk situs tertentu. Dengan menindaklanjuti faktor-faktor ini, dipastikan bahwa perusahaan tidak hanya akan mengumpulkan posisi statistik Anda tetapi juga dengan penuh semangat memantau dan mengubah strategi mereka..
Anda tidak hanya membutuhkan perusahaan yang mengumpulkan informasi untuk Anda. Yang Anda butuhkan adalah perusahaan yang merupakan kontributor utama kampanye pemasaran mesin pencari Anda.
Kendala keuangan dapat berdampak pada pilihan perusahaan Anda, namun perusahaan pengoptimalan mesin pencari sangat penting untuk kampanye pemasaran yang sukses. Ini memainkan peran penting dan sama sekali bukan ';baik untuk memiliki';.
Adalah kepentingan terbaik Anda untuk mempekerjakan perusahaan yang akan melakukan pekerjaan yang cermat dan konsisten untuk situs web Anda dan mungkin cocok untuk Anda membayar lebih untuk pekerjaan yang sempurna. Alternatifnya adalah mencari perusahaan yang relatif baru. Mereka umumnya mampu memberikan kualitas dan pekerjaan yang dapat diandalkan. Perlu diingat bahwa Anda mempertaruhkan uang di saku Anda di perusahaan tanpa sejarah yang dapat diandalkan!
Sebelum menempuh rute itu, minta perusahaan untuk memberi Anda sejumlah referensi.
Referensi adalah indikator yang baik dari perusahaan yang dapat diandalkan. Sebaiknya jangan mempekerjakan perusahaan yang tidak akan memberi Anda referensi apa pun, dan jangan menganggap ';kerahasiaan'; sebagai alasan! Bahkan dokter memberikan referensi ketika ditanya! Bersikeras setidaknya dua referensi - satu saat ini dan satu dari beberapa waktu lalu.
Buat persiapan sebelum menindaklanjuti referensi ini sehingga Anda tidak membuang waktu yang tidak perlu. Ringkas dan to the point dengan pertanyaan Anda.
Tanyakan bagaimana mereka mengalami perusahaan, khususnya referensi untuk:
- aksesibilitas perusahaan dalam menjawab pertanyaan,
- kemampuan untuk memberikan solusi terhadap masalah,
- kemampuan dalam memenuhi tenggat waktu.
Tanyakan kepada mereka untuk penilaian kinerja umum perusahaan.
Tentukan apakah perusahaan meminta referensi untuk mengubah situs web mereka dengan cara yang patut dicatat yang memengaruhi lalu lintas ke situs mereka. Idealnya Anda menginginkan perusahaan pengoptimalan mesin pencari yang menemukan jalan tengah antara kebutuhan mesin pencari dan persyaratan pengunjung situs..
Pertanyaan paling penting untuk mengajukan referensi adalah apakah perusahaan menerima keuntungan lebih besar dengan mempekerjakan perusahaan mesin pencari. Tidak ada bedanya apakah Anda diposisikan di bagian atas daftar atau bagian bawah jika Anda belum meningkatkan laba Anda!