Сегодня 9 октября, версия хрумера 7.07, база ссылок скачана откуда то из публичного источника, поскольку спарсить новую базу у меня не получилось. Поисковые системы банили все попытки выдернуть ссылки. В итоге удалось собрать только 1000 ссылок. Собственно пост про то, какой пробив у хрумки по паблик базам, без прокси и соксов со стандартными настройками. Смотрим сркины по катом
База большая, но моего терпения хватило только на 20к, результат:
Как уже говорил выше, гнал по дефолтным настройкам без проксей в 400 потоков со скоростью 350 ссылок/минуту.
А в качестве бонуса, за беспонтовоть поста прикрепляю базу по которой я прогонял.Она RU, в ней 580329 строк, на дубли не проверял. LinksList id28