Nedir Tarayıcı tabanlı veri kazıma mı?

Tarayıcı tabanlı veri kazıma işleminin gerçekte ne anlama geldiği

Tarayıcı tabanlı veri kazıma Bu yöntem, bir web sayfasının gerçek bir tarayıcı sekmesinde tamamen oluşturulduktan sonra okunması yoluyla veri toplama yöntemidir. Yapılandırılmış veri için uzak bir sunucuya istek göndermek yerine, araç tarayıcınızın ekrana çizdiği aynı içeriği inceler. Canlı olarak okur Belge Nesne Modeli, Tarayıcının HTML, CSS ve JavaScript'ten oluşturduğu öğeler ağacı.

Bu önemlidir çünkü modern siteler nadiren bitmiş bir sayfa gönderir. İnce bir HTML iskeleti gönderirler, ardından JavaScript yükleme sonrasında içeriği ekler. Basit bir sunucu isteği sadece iskeleti görür, başka hiçbir şey görmez. Tarayıcı bitmiş sayfayı görür, içinde çalışan bir veri çekme programı da öyle. Tarayıcı zorlu işlemeyi yapar ve veri kazıyıcı yalnızca sonucu okur..

Pratikte, tarayıcı tabanlı veri kazıma genellikle Chrome uzantısı veya başsız bir tarayıcıda küçük bir komut dosyası olarak çalışır. Çoğu insanın karşılaştığı sürüm uzantıdır, çünkü zaten açık olan oturumu, çerezleri ve görünümü kullanır. Yapılandırılacak sunucu yok, yönetilecek API anahtarı yok.

Bir yakalamanın ardındaki dört adım

Arka planda, tarayıcı tabanlı bir veri çekme aracı basit bir döngü izler. Hiçbir şeyi bozmaz ve trafiği gizlemez: sayfanın zaten gösterdiği şeyi okur.

1. Sayfa oluşturuluyor. Google Haritalar'da arama yaptığınızda, tarayıcı siteye ait JavaScript kodunu çalıştırarak sonuçları, haritaları ve detayları görüntüler.

2. Veri kazıyıcı DOM'u okur. Sekme içinde çalışan bu kod, öğe ağacını dolaşır ve tanıdığı alanları çeker: adlar, adresler, telefon numaraları, derecelendirmeler ve bağlantılar. Daha kapsamlı bir liste için notumuza bakın Google Haritalar veri alanları açıklandı..

3. Verileri yapılandırır. Sayfadaki dağınık metin, her kayıtta bir işletme olacak şekilde temiz satırlara dönüştürülür ve dışa aktarmaya veya CRM'ye hazır hale getirilir.

4. Sonucu devrediyor. Vonsel ile yakalanan liste, rastgele bir elektronik tablo yerine haritalandırılmış bir kontrol paneline akar, böylece veriler geldiği anda kullanılabilir hale gelir.

Tarayıcı tabanlı, API tabanlı ve sunucu tabanlı veri çekme yöntemleri

Web verilerini toplamanın üç yaygın yolu vardır ve bunlar farklı noktalarda birbirlerinin avantaj ve dezavantajlarını telafi eder. Aşağıdaki tablo, başvurabileceğiniz hızlı bir referanstır.

Bir sağlayıcı uç noktayı kullanıma sunduğunda, API kazıma işlemi temizdir Google Places API, Ancak, arama başına ödeme yaparsınız ve şartlar ve kotalar dahilinde kalırsınız. Sunucu tabanlı veri kazıma, büyük toplu işler için ölçeklenebilir, ancak yalnızca gerçek bir tarayıcıda kendilerini oluşturan sayfalarla mücadele eder. Tarayıcı tabanlı veri kazıma, neredeyse hiç kurulum gerektirmeden dinamik, oturuma bağlı sayfalar için bu boşluğu doldurur. Daha ayrıntılı bir inceleme için okuyun Chrome uzantısı mı yoksa API kazıma mı..

Dinamik harita için doğru araç

Google Haritalar bu yöntemin tipik bir örneğidir. Sonuçlar kaydırdıkça yüklenir, tıkladığınızda ayrıntılar genişler ve ilk HTML yanıtında neredeyse hiçbir şey bulunmaz. Tarayıcı tabanlı Chrome uzantısı veri çekme aracı Sayfanın tamamlanmasını bekler ve ardından tamamlanmış kartları okur. Daha geniş bir kavram için bakınız Google Haritalardan veri çekme nedir..

Uzantı Chrome içinde çalıştığı için, tarayıcının kendi koruma mekanizmalarını ve davranışlarını da devralır; bu nedenle içerik komut dosyaları Uzantıların sayfa verilerini okumasının standart yolu budur. Herhangi bir koleksiyon yönteminde olduğu gibi, önce sayfanın şartlarını okuyun: Kullanım kılavuzumuzda bu yöntemin uygun olup olmadığına dair bilgi bulabilirsiniz Google Haritalardan veri kazımak yasaldır Pratik konuları kapsar.

Sayfayı okumak sadece ilk adımdır

İşte burada önemli olan ayrım ortaya çıkıyor. Tarayıcı tabanlı veri kazıma araç: Bu, dinamik bir sayfayı okumanın akıllıca bir yoludur. Ancak ham isim ve sayı listesi amaç değildir. Tek başına, kazınmış bir CSV dosyası sadece işlenmeyi bekleyen bir metindir.

O son Bundan sonra yapmanız gereken şey bu. Vonsel, yakalamayı tam bir sürecin giriş noktası olarak ele alıyor eşleştirilmiş CRM. Her işletme bir haritada yer alır ve bunu halka açık yorumlarla zenginleştirebilir, sorunlu noktaları ortaya çıkarmak için Yorum Zekası'nı çalıştırabilir ve genel bir toplu e-posta yerine her işletmeye özel olarak hazırlanmış yapay zeka destekli bir e-posta oluşturabilirsiniz.

Ayrıca, daha önce kaydettiğiniz verileri yeniden açabilir, daha fazla işletme ekleyebilir, daha önce kaydettiğiniz girişlere yorumlar ekleyebilir ve çektiğiniz her şeyin geçmişini tutabilirsiniz. İşte bu, ham bir liste ile gerçekten satış yapabileceğiniz, katma değerli ve bağlamlandırılmış bir veritabanı arasındaki farktır.

Tarayıcı tabanlı veri kazıma (scraping) tek paragrafta

Tarayıcı tabanlı veri kazıma, bir sayfa gerçek bir tarayıcı sekmesinde görüntülendikten sonra, kişinin gördüğü aynı içeriği kullanarak veri toplar. Google Haritalar gibi dinamik, JavaScript ağırlıklı sitelerde mükemmel sonuç verir, API anahtarlarına veya sunuculara ihtiyaç duymaz ve genellikle Chrome uzantısı olarak çalışır. Canlı bir haritadan temiz bir listeye giden en hızlı yoldur ve Vonsel ile bu liste, yerleşik incelemeler ve e-posta zekası içeren haritalı bir CRM'ye dönüşür.