Статья

В работе рассматривается проблема минимизации сетевого расстояния в распределённом веб-сканировании и её перенос в архитектуру современного высокопроизводительного краулера. Показано, что эффективность распределённого обхода определяется не только числом исполнительных узлов, но и качеством делегирования адресных областей тем узлам, которые обладают наименьшей сетевой задержкой по отношению к целевым серверам. Проанализированы принцип сетевой близости, иерархическое делегирование по IP-префиксам, механизмы ограниченного зондирования, динамической перекалибровки и балансировки нагрузки. Особое внимание уделено тому, как данный подход влияет не только на время загрузки страниц, но и на состояние очередей, потребление памяти, стоимость защищённых соединений и устойчивость всей системы. Сделан вывод, что сетево-осознанное делегирование позволяет превратить распределённый краулер из статически расщеплённой инфраструктуры в самонастраивающуюся среду обхода веба.