あなたのIPアドレスは公開されていますか？ こすりつけるとき Googleマップ？?

Googleが実際に見ているもの

ブラウザがページを読み込むたびに、 IPアドレス リクエストとともにIPアドレスが送信されます。インターネットはこのようにして応答をあなたに送り返します。Googleマップを開いてレストランを1軒検索するだけでも、100軒のレストランを検索した場合とまったく同じようにIPアドレスが公開されます。. 削り取ることは、秘密の露出層を追加するものではありません. あなたのIPアドレスは既に表示されていました。.

つまり、見出しの質問に対する正直な答えは、「はい、あなたのIPアドレスは表示されますが、通常のブラウジング時と変わりません」です。興味深い質問は、 かどうか あなたのIPアドレスは確認されています。 交通状況はどのようなものか. 人間が地図アプリを人間の速度でクリックする様子は、同じアドレスから毎分数千件のリクエストを送信するスクリプトとは全く異なるように見える。.

この区別が重要なのは、Googleは他の多くの大規模サービスと同様に、自動化された不正利用を監視しているからです。Googleはユーザーの名前を知らなくても、単一のIPアドレスが10秒間に同じエンドポイントに500回アクセスしたことを検知できます。防御システムを作動させるのは、IPアドレスそのものではなく、こうした行動パターンなのです。.

ブラウザキャプチャとサーバーサイドスクレイピングの比較

自分のブラウザからスクレイピングするのと、レンタルサーバーからスクレイパーを実行するのとでは、明確な違いがあります。ブラウザ拡張機能を使用する場合、マップが既に画面に送信したデータを読み取るだけです。接続はブラウザが行う通常の接続であり、通常のIPアドレス、通常のCookie、通常のセッションが使用されます。ネットワーク上で特別なことは何も起こりません。.

サーバーサイドスクレイパーやAPIスタイルのツールは異なります。これらのツールは、多くの顧客を共有データセンターIPアドレス経由でルーティングすることが多く、サービス側で検出されやすいため、プロキシプールやアドレスのローテーションを利用して負荷分散を図っています。こうした仕組みが存在するのは、生の自動化されたトラフィックが目立つためです。ブラウザキャプチャは、実際のセッションにおける実際の人間のアクセスに見えるようにすることで、こうした問題の多くを回避します。.

これによってブラウザキャプチャが不可視になるわけではなく、そのように販売されるべきでもありません。単にトラフィックプロファイルが通常の利用状況に近くなるというだけです。ブロックの発生源についてさらに詳しく知りたい場合は、ガイドをご覧ください。 Googleマップのスクレイピングブロックを回避する方法.。.

防御が破れる理由と、

CAPTCHAとレート制限は、Googleが自動化された過負荷から自社サービスを守るための措置です。これらはあなた個人に対する罰則ではありません。CAPTCHAは、事実上、あなたが今人間であるかどうかを確認するチェックポイントです。レート制限は、あるソースがあまりにも多くのリクエストを短時間で送信した場合に作動する速度低下です。どちらも、大規模なウェブサービスがトラフィックを処理する際の既知の動作であり、Chromeチームは拡張機能がどのように問題を引き起こすかについて説明しています。 ネットワークリクエスト そもそも。.

彼らを惑わすパターンは予測可能です。1 つのアドレスからの同一のリクエストの洪水、一時停止なし、人間のリズムなしです。彼らを惑わさないパターンは、検索結果をスクロールし、結果が読み込まれるのを待ってから次に進むときに自然に発生するパターンです。これが、 ユーザーが実際に地図をどのように利用しているかに合わせて、キャプチャのペースを調整する ゴールを目指して競うのではなく。.

CAPTCHAに引っかかった場合、それは通常、違法行為をしたという兆候ではなく、ペースを落とすようにという合図です。その仕組みについては、 CAPTCHAとレート制限について解説, 、そしてアカウントの安全性に関する関連問題 GoogleマップのスクレイピングでBANされることはありますか？.。.

なぜ一度の検索では都市全体が返されないのか

遅かれ早かれ、誰もがGoogleマップの検索結果が約120件で止まってしまうことに気づくでしょう。これは、サービス上の制限であり、不具合でもユーザーへの妨害でもありません。Googleは検索結果をページ分割することで、1回の検索で都市圏全体の結果が一度に表示されないようにしています。.

実際の解決策はIPアドレスとは全く関係ありません。広いエリアを、近隣地域、カテゴリ、郵便番号など、より小さく、より正確な検索に分割し、収集したデータを統合します。これは、人が実際に都市を探索する方法（一度に1つの地区ずつ）を反映しており、通常の利用の範囲内に収まります。その根拠については、以下で詳しく説明します。 Googleが検索結果を120件に制限する理由.。.

優れた拡張機能を使えば、この作業は簡単です。Vonselでは、1つの検索結果を取得し、後で同じスクレイピングを再開して別の地域を追加し、多数の小さなクエリにわたって単一のクリーンなリストを構築し続けることができます。この再開と拡張のフローに加え、取得したすべてのデータの履歴があることで、単なる生データと、実際に地域を運用できるデータベースとの違いが生まれます。.

GDPR、利用規約、そして常識

ここでは2つの別々の問題が絡み合っています。まず、データを収集することは合法か。次に、収集したデータをどのように使用できるか。公開されている企業情報は一般的にアクセス可能ですが、その保管方法や使用方法は、次のような規則によって規制されています。 GDPRにおける個人データの定義 掲載情報に、所有者名や個人の携帯電話番号など、個人に関する情報が含まれている場合。.

Google は自社製品に対する期待値も設定しており、 Google マップ プラットフォーム利用規約 大規模なマップ構築を計画している場合は、読む価値があります。この記事は教育的なものであり、法的助言ではありません。したがって、コンプライアンスの問題は、慎重なビジネスのように扱ってください。管轄区域を理解し、オプトアウトを尊重し、アウトリーチの法的根拠を維持してください。概要 Googleマップのデータをスクレイピングすることは合法か そして GDPRの観点から さらに深く掘り下げる。.

安心できる点は、責任ある利用と低い技術的リスクは概ね両立する傾向があるということです。正当な目的のために保存される、人間のペースで行われる公開ビジネスリスティングの取得は、Googleの防御策とプライバシー法の精神の両方を尊重しています。無謀な大量スクレイピングは、その両方に負担をかけます。.

露出とリスクを低く抑える方法