Пробиваемость хрумера

Сегодня 9 октября, версия хрумера 7.07, база ссылок  скачана откуда то из публичного источника, поскольку спарсить новую базу у меня не получилось. Поисковые системы  банили все попытки выдернуть ссылки. В итоге удалось собрать только  1000 ссылок. Собственно пост про то, какой пробив у хрумки по паблик базам, без прокси и соксов со стандартными настройками. Смотрим сркины по катом

База большая, но моего терпения хватило только на 20к, результат:

Как уже говорил выше, гнал по дефолтным настройкам без проксей в 400 потоков со скоростью 350 ссылок/минуту.

А в качестве бонуса, за беспонтовоть поста прикрепляю базу по которой я прогонял.Она RU, в ней 580329 строк, на дубли не проверял.  LinksList id28

 

  • Тоже тут пытался выдергивать руками ссылки — полный аншлаг. Через 20 штук Gogole подсовывает капчу, страх не покидал меня ибо бан ИП получить не хочется. Ваш пост заинтересовал, но яиз него действительно ничерта не понял как парситься

    • Huex

      Бан на ip от Google действует несколько часов, вроде
      Парсить надо с соксами, ибо с публичными проксями ничего не получается

  • Шнапс

    есть для Зенно парсилка. дубасит уже 3 суток в 5 потоков (у меня такая зена пятипоточная) со злыми ключами типа inurl. использую небольшую хитрую методу, ниодной капчи еще не схватил, набрал уже 1.100.000 ссылок. могу уступить ну скажем за 1000 рублей =)

  • Andy

    парсил хрефером без проксей и смс. 3-е суток, 200 капчей. мне норм. всё зависит от списка признаков и ключевых слов.

  • Andy

    парсил хрефером без проксей и смс. 3-е суток, 200 капчей. мне норм. всё зависит от списка признаков и ключевых слов.