Создание доров на профилях — готовим почву

Начинаю серию из трех статей про хрумак и как им пользоваться. Первая статья будет посвящена сбору доноров, для последующего постинга в них, точнее, сбор форумов для создания на них профильных дорвеев.

Вкратце опишу всю технологию. Парсятся по определенным признакам форумы с полем в профиле, куда можно вставить html и ссылки. Далее настраивается Хрумак, немного изменяются пути, для того чтобы хрумер заполнял это поле, которое было отпарсено специально для него. И последняя статья будет о том как эти профильные доры лучше загнать в индекс.

Итак, выше был краткий обзор что будет в постах, а теперь непосредственно сам процесс парсинга.  Первое что необходимо сделать — это найти необходимы форумы, с открытым полем about me, в этом  поле можно вставлять как html так и ссылки.

Ищутся такие ресурсы довольно посто. Собираются признаки станиц, которые нам нужны. Первое что приходит в голову это «About me»  (вводится с кавычками) поскольку форумы будут собираться именно с этим словом.  Далее общий признак, который покажет всякие профили  intitle:Viewing Profile и финальный признак это признак форума, к примеру распространенный движок форумов IP.Board. Признак правильнее указать так «Powered by IP.Board». Соединив все воедино, получится такой запрос  для гугла:

«About Me» intitle:Viewing Profile «Powered by IP.Board»


7 760 000
Результатов для такого запроса. Итак теперь необходимо проверить несколько результатов выдачи. Есть ли в них нужное поле и открыто ли оно. Желательно попробовать зарегистрироваться и вручную попробовать создать профильный дор. Если это получится то признак, который удалось добыть — нормальный.

Мне попались в выдаче такие вот профили, все они открытые, на одном даже есть видео, значит дор туда точно залезет

Седьмой в выдаче профиль уже содержал профильный дор. Всегда интересно посмотреть на чужие доры и поизучать их.

Стоит отметить количество просмотров профиля. При кликабильности в 5% , который считается довольно низким, можно предположить, что  с этого дора пришло 85 человек. Когда ниходится чужой дор сразу хочется посмотреть его бэки, делается это просто, сервис яху в помощь, в этот раз я тоже не удержался глянул чем двигался дор.

Из скрина видно что дор двигался в основном китайскими гостевыми  и комментариями в блогах. В принципе это классический пример, про который я сейчас и рассказываю.

Убедившись что признак нормальный, собирается еще несколько признаков. Оптимально штук 10, чтобы база получилась хорошей и парсилось быстрее. При подборе признаков лучше не злоупотреблять такими операторами как inurl, intitle, гугл их не очень любит и чаще выдает каптчу. Лучше подбирать прямые вхождения используемые на странице — они указываются в скобках.

Как только признаки собраны, нужно настроить хрефер. Единственно что я меняю в настройках — это меняю галочку чтобы хрефер собирал форумы по принципу additive words + words тоесть, сначала конструкция форума к примеру «About Me» intitle:Viewing Profile «Powered by IP.Board» , плюс обычное слово. Обычные слова в хрефере можно либо задать самому, либо спарсить из гугла

Сверху, на скрине, как раз представлен пример words с гугла. Чем больше слов напарсится, тем больше у вас получится база.  Преред запуском конечно необходимо набрать немного проксей, без никуда.

Если все сделано правильно, то через некоторое время должна получится большая, хорошая база.

На скрине, я выделил ту фразу, которая является опорной при парсинге форумов. Справа в links — количество ссылок которое удалось спарить с фразы.

Вот в принципе и все. Завтра буду писать как заточить хрумак под эти базы.