Web Crawlers
Web Crawlers Pengertian web crawler–atau sering juga disebut spiders— adalah sebuah tool untuk mengindeks dan mengunduh konten dari internet, lalu disimpan ke dalam database mesin pencari. Sehingga saat ada orang yang mencari suatu informasi, mesin pencari akan langsung menampilkan hasil yang relevan dari database tersebut. Jika Anda masih kebingungan, coba bayangkan seorang pustakawan. Pustakawan ini bertugas merapikan buku-buku yang ada di perpustakaan agar pengunjung mudah menemukan buku yang mereka cari. Buku-buku ini dirapikan berdasarkan kategori dan topik pembahasannya. Sehingga, pustakawan harus melihat judul dan deskripsi singkat dari buku itu terlebih dahulu sebelum menempatkannya ke rak yang sesuai. Web crawler mengumpulkan/mengindeks informasi apa saja yang sekiranya berguna di internet. Dari konten artikel, gambar, video, suara hingga alamat email dan RSS Feed. 1. SELECTION POLICY Sebuah studi tahun 2009 menunjukkan ...