Сегодня снова занялся парсином базы под хрумер с помощью чудо проги хрефер. Поскольку в последних версиях хрефера, реализована возможноть парсить одновременно несколько ПС. Я задействовал 4 поисковые системы : 1. Goolge 2. yahoo 3. bing 4. Altavista.
Гугл в плане парсинга оказался самым трудным и после 5 часов парсинга отдал всего лишь 5% от общей базы напарсенного (при прошлом парсинге гугл мне больше 5% тоже не отдал). Яху и альта примерно по одинаково, а лидером оказался Бинг, отдав 44% от общей базы напарсенного.
Гугл жадный на парсинг, особенно когда запросы к нему одинаковые и не человеческие вроде таких inurl:showuser. Здесь двоякая ситуация. С одной стороны использование таких запросов хорошо сказывается на качестве бызы, с другой стороны гугл не дает много ссылок при таких запросах, особенно когда прокси паблик. Парсить гугл нужно обычными запросами, без всяких intitle inurl и.т.д, тогда и процент будет побольше, либо парсить запросами intitle inurl, но покупать прокси нормальные.