IP adresiniz ifşa mı kazıdığınızda Google Haritalar?

Google'ın aslında gördüğü şey

Tarayıcınız her sayfa yüklediğinde IP adresi İstekle birlikte seyahat eder. İnternet, yanıtı size bu şekilde yönlendirir. Google Haritalar'ı açıp tek bir restorana bakmak, yüzlerce restoran kaydını yakalamakla aynı şekilde IP adresinizi açığa çıkarır. Kazıma işlemi, gizli bir ek ifşa katmanı oluşturmaz. IP adresiniz zaten görünür durumdaydı.

Dolayısıyla başlıkta yer alan sorunun dürüst cevabı şu: evet, IP adresiniz görünür, ancak normal internet gezintisi sırasında olduğundan daha fazla değil. İlginç soru ise şu değil ikisinden biri IP adresiniz görülüyor trafiğin nasıl göründüğü. Haritalarda insan hızında gezinen bir kişinin görüntüsü, aynı adresten dakikada binlerce istek gönderen bir komut dosyasına hiç benzemez.

Bu ayrım önemlidir çünkü Google, çoğu büyük hizmet gibi, otomatik kötüye kullanımı izler. Tek bir IP adresinin on saniye içinde aynı uç noktayı beş yüz kez istediğini fark etmek için adınızı bilmesine gerek yoktur. Savunmaları tetikleyen şey IP adresi değil, bu davranışsal parmak izidir.

Tarayıcı üzerinden veri yakalama ve sunucu tarafında veri kazıma karşılaştırması

Kendi tarayıcınızdan veri çekmek ile kiralık bir sunucudan veri çekme programı çalıştırmak arasında gerçek bir fark vardır. Bir tarayıcı uzantısı kullandığınızda, Haritalar'ın zaten ekranınıza gönderdiği verileri okuyorsunuz demektir. Bağlantı, tarayıcınızın normal bağlantısıdır; normal IP adresi, normal çerezler ve normal oturum söz konusudur. Ağda olağanüstü bir şey olmuyor.

Sunucu tarafı veri çekme araçları ve API tarzı araçlar farklıdır. Genellikle birçok müşteriyi, bir hizmetin işaretlemesi daha kolay olan paylaşımlı veri merkezi IP'leri üzerinden yönlendirirler; bu nedenle yükü dağıtmak için proxy havuzlarına ve dönen adreslere güvenirler. Bu mekanizma tam olarak ham otomatik trafiğin göze çarpması nedeniyle mevcuttur. Tarayıcı yakalama, gerçek bir oturumdaki gerçek bir kişi gibi görünerek bunun büyük bir kısmını atlatır.

Bunların hiçbiri tarayıcı yakalamayı görünmez kılmaz ve bu şekilde pazarlanmamalıdır. Bu sadece trafik profilinin normal kullanıma daha yakın olduğu anlamına gelir. Engellemelerin nereden geldiği hakkında daha detaylı bilgi için kılavuzumuza bakın Google Haritalar'dan veri çekme engellemelerinden nasıl kaçınılır..

Savunma mekanizmaları neden ve ne zaman devre dışı kalır

CAPTCHA'lar ve hız sınırlaması, Google'ın kendi hizmetini otomatik aşırı yüklenmeye karşı koruma yöntemleridir. Bunlar size kişisel olarak yöneltilmiş cezalar değildir. CAPTCHA, aslında "şu anda insan mısınız?" diye soran bir kontrol noktasıdır. Hız sınırlaması ise, bir kaynak çok fazla ve çok hızlı istekte bulunduğunda devreye giren bir yavaşlatmadır. Her ikisi de büyük web servislerinin trafiği nasıl ele aldığına dair belgelenmiş davranışlardır ve Chrome ekibi, uzantıların nasıl hız sınırlaması getirdiğini açıklamaktadır ağ istekleri Öncelikle.

Onları yanıltan kalıp tahmin edilebilir: tek bir adresten gelen, birbirinin aynı isteklerin seline benzer bir durum, duraklama yok, insan ritmi yok. Onları yanıltmayan kalıp ise, bir aramayı kaydırdığınızda, sonuçların yüklenmesini beklediğinizde ve devam ettiğinizde doğal olarak ürettiğiniz kalıptır. İşte tüm argüman bu Bir kişinin Haritalar'ı gerçekte nasıl kullandığına dair hız yakalama bitiş çizgisine doğru yarışmak yerine.

Eğer bir CAPTCHA ile karşılaşırsanız, bu genellikle yasa dışı bir şey yaptığınızın değil, yavaşlamanız gerektiğinin bir işaretidir. Mekanizmayı ayrıntılı olarak açıklıyoruz CAPTCHA'lar ve hız sınırlamaları hakkında açıklamalar, ve bununla bağlantılı olarak hesap güvenliği sorunu Google Haritalardan veri çekmek yasaklanmanıza neden olabilir mi..

Tek bir aramanın neden asla tüm bir şehri göstermediği

Er ya da geç herkes Haritalar aramasının yaklaşık 120 sonuçtan sonra durduğunu fark eder. Bu, halka açık arayüze yerleştirilmiş bir ürün sınırlamasıdır, bir kusur veya size karşı bir engel değildir. Google, tek bir sorgunun tüm metropol alanını aynı anda döndürmemesi için sonuçları sayfalara ayırır.

Pratik çözümün IP adresinizle hiçbir ilgisi yok. Geniş bir alanı daha küçük, dürüst aramalara bölüyorsunuz: mahalleye göre, kategoriye göre, posta koduna göre, sonra topladığınız verileri birleştiriyorsunuz. Bu, bir kişinin bir şehri, her seferinde bir bölgeyi, nasıl keşfedeceğine benziyor ve normal kullanım sınırları içinde kalıyor. Bunun mantığını ayrıntılı olarak ele alıyoruz Google neden 120 sonuçla sınırlıyor..

İyi bir eklenti bunu zahmetsiz hale getirir. Vonsel ile bir aramayı yakalayabilir, daha sonra başka bir mahalle eklemek için aynı veriyi tekrar açabilir ve birçok küçük sorgu üzerinden tek bir temiz liste oluşturmaya devam edebilirsiniz. Bu devam ettirme ve genişletme akışı, yakaladığınız her şeyin geçmişiyle birlikte, ham bir veri dökümü ile gerçekten bir bölgeyi çalıştırabileceğiniz bir veritabanı arasındaki farkı yaratır.

GDPR, hizmet şartları ve sağduyu

Burada iki ayrı soru birbirine karışıyor. Birincisi, verileri toplamak yasal mı? İkincisi, toplandıktan sonra bu verilerle ne yapmanıza izin veriliyor? Halka açık işletme bilgilerine genellikle erişilebilir, ancak bunları nasıl saklayacağınız ve kullanacağınız, aşağıdaki gibi kurallarla düzenlenir GDPR'nin kişisel veri tanımı Bir ilanda, adı geçen bir mülk sahibi veya kişisel cep telefonu numarası gibi bir birey yer aldığında.

Google ayrıca kendi ürünleri için de beklentiler belirliyor ve Google Haritalar Platformu Hizmet Şartları Haritalar üzerinde büyük ölçekte uygulama geliştirmeyi planlıyorsanız, okumaya değer. Bu yazı eğitim amaçlıdır, yasal tavsiye niteliğinde değildir; bu nedenle uyumluluk sorusuna dikkatli bir işletmenin yapacağı gibi yaklaşın: yetki alanınızı bilin, vazgeçme seçeneklerine saygı gösterin ve iletişim için yasal bir dayanak oluşturun. Genel bakışımız Google Haritalardan veri kazımanın yasal olup olmadığı ve GDPR açısı Daha derine in.

İşin güven verici yanı, sorumlu kullanım ve düşük teknik riskin genellikle birbiriyle örtüşmesidir. Meşru bir amaçla saklanan, insan kontrolünde gerçekleştirilen kamuya açık işletme listelerinin toplanması, hem Google'ın savunma mekanizmalarına hem de gizlilik yasasının ruhuna saygı duyar. Dikkatsiz ve yüksek hacimli veri kazıma ise her ikisini de zorlar.

Maruz kalma ve riski nasıl düşük tutabilirsiniz