Вышло обновление программы для парсинга поисковых систем Hrefer 3.0 Professional

Возможна установка не более, чем на 2 компьютера для одного аккаунта.

Список нововведений и исправлений в Hrefer 3.0

+ исправлен и улучшен парсинг Google
+ реализована поддержка в engines.ini масок типа [...]кусок_ссылки[...] для параметра NextPage, см. пример для поисковика Rambler
+ в отладочном режиме (кол-во потоков = 1) теперь логи сохраняются отдельно для каждого запроса и каждой страницы
+ расширены опции парсинга, анонимности, интерфейса
+ добавлена возможность одновременного парсинга сразу нескольких поисковиков
+ реализована функция создания новой (пустой) базы Words Database – кнопка “Create New!”
+ статистика во вкладке “Words Database” теперь отображается в реальном времени в процессе парсинга
+ оптимизирована процедура сохранения новых ссылок в базу
+ реализована фильтрация повторных прокси / сокс
+ в engines.ini добавлен параметр RemoveLinks для удаления ссылок из контента, мешающих корректному парсингу
+ внесены коррективы в алгоритм перехода на следующую страницу поиска
+ исправлено сохранение опции “Reject domains with level lower than 2″
+ скорректировано использование SOCKS
+ исправлен сбор слов, когда включено использование SOCKS
+ исправлен парсинг Google Mobile
+ расширен мониторинг обновления и проверки прокси, а также доработаны опции, с этим связанные
+ улучшен PR-чекер
+ исправлен переход на следующую страницу при парсинге Bing
+ реализована система автообновления engines.ini через центральный сервер, меню “Help -> Check for updates”
+ исправлен парсинг Altavista (этот поисковик был куплен компанией Yahoo)
+ добавлены 2 различных режима для одновременного парсинга нескольких поисковых систем
+ для парсинга Google добавлена возможность сортировки выдачи по временнОму показателю – “Past day”, “Past week” и т.п.
+ обновлён googlehost.txt

Рабочий интерфейс программы Hrefer 3.0 Professional:

Рабочий интерфейс программы Hrefer 3.0 Professional

 

Hrefer 3.0 Professional идет в комплекте с программой XRumer

Пример 1

Как видно разные парсеры, включая хрефер не стоят без дела, а работают круглые сутки 461047 показа в месяц, и это только поисковая система Яндекс. К чему это я веду, к тому, что поисковые системы учитывают запросы хрефера, а значит можно попытаться этим воспользоваться.

В поисковиках есть такая функция, как подсказка при наборе слова (запроса). Я думаю подсказка, это похожее самое часто набираемое словосочетание.

Пример 2

 

Смысл спама хрефером в том, чтобы сделать симуляцию поиска с большого списка ип адресов.
Поисковые запросы, можно сделать типа такого: хрумер 7 x-rumer.ru, в теории при наборе xrum в поисковой строке, должно появиться в подсказке хрумер 7 x-rumer.ru. Для этой манипуляции я думаю, Вам может потребоваться очень больше количество ип адресов.

Чтобы нормально можно было парсить поисковые системы необходимы прокси, так как с одного IP много не напарсишь, при частом обращение с одного IP к выдаче, этот IP уходит в банн и ему в
итоге ничего не отдается.

Как решать эту проблему? Покупать прокси, что конечно можно, но тратить на них деньги… В общем, покупать прокси я не хотел, а если использовать фришные прокси, что идут в паблик, этот процесс становился очень медленным и проблемный, что очень тормозил весь процесс парсинга поисковых систем, от чего я и отказался в итоге.

Теперь я парсю гугл на прямую, следующим способом, по которому у меня получается напарсить 100к уникальных форумов за ночь. Так что с проксями я больше нигде не встречаюсь.

Для этого вам необходим парсер от хрумера – Hrefer. Если у вас нет его, то можно купить его здесь, он прилагается к XRumer, а он стоит $570, что является очень гуманной ценой за такой софт для рассылки и отличный парсер поисковых систем. Вообщем Hrefer Вы получаете бесплатно, при покупке самого хрумера, парсер идет в подарок!

Вооружившись Hrefer’ом можно приступать к сбору нужной информации из поисковых систем. Плюс к этому вы должны иметь интернет провайдера предоставляющего своим клиентам динамический IP адрес.

Приступим. Я включаю в хрефере 300 потоков.

Приступим. Я включаю в хрефере 300 потоков.

 

Выключаю в опциях использовать прокси полностью.

Выключаю в опциях использовать прокси полностью.

Добавляю в хрефер разно тематических кеев, да по больше, и начинаю парсить.

Через некоторое время, чего и следовало ожидать, вижу – все, больше не парсится (гугл забанил мой IP и выдачу больше не отдает), после чего – отключаюсь от интернета, хрефер при этом вообще не трогаю, он там что-то жалуется, что его от интернета отключили, но все равно пытается парсить.

Далее снова подключаюсь к интернету заново, при этом во время подключения, я получаю новый IP адрес, с которого можно продолжать парсить. После подключения, хрефер сам, без моей помощи, продолжает парсить, но уже с нового IP.

Поначалу идет хорошо, как 50к уникальных форумов набирает, начинает идти туго, очень много в дубли уходит, но за ночь такого геморроя с подключением и отключением от интернета, 100к форумов набирается.

Далее, для облегчения процесса подключения-отключения от интернета можно использую программу для автодозвона, я использую эту программу – VDialer3. Основная ее функция заключается дозваниваться до интернета и отключаться в нужное время, что мне как раз и необходимо делать для парсинга.

В этой звонилке основные настройки ставлю, такие: перезванивать при обрыве связи.

Основные настройки ставлю, такие: перезванивать при обрыве связи.

 

И разорвать связь после Х секунд (я ставлю 210 секунд).

И разорвать связь после Х секунд (я ставлю 210 секунд).

Таким образом, получается, замкнуты круг, с таймером в 3.5 минуты, этого времени вполне хватает хреферу выкачать из гугла нужную мне информацию, после чего IP уходит в банн, софтина сама разрывает соединение и подключается заново, получая при этом новый IP адрес, с которого можно продолжать парсить.

После таких не хитрых манипуляция и издевательств над своим провайдером, можно оставить компьютер в покое, и смело идти спать, а с утра получить свежую база проиндексированных
форумов.

Ничего сложного нет! И таким способом, с помощь Хрефера и без использования прокси, можно успешно парсить поисковые системы!

Всем удачного парсинга

Основные характеристики программы:

• Автономный сбор и проверка прокси-серверов (HTTP-прокси, SOCKS)

• Возможность работы с 7-ю популярными поисковыми системами: Yandex, Google, MSN, Yahoo, Altavista, Blogsearch.Google, Boardreader

• Гибкость настроек, возможность добавления новых поисковых систем путём простого добавления 4-х строчек в файл описания поисковых систем

• Возможность настройки шаблонов для поиска, включены несколько исходных шаблонов: “все форумы”, “только phpBB”, “только Invision Power Board”, “только YaBB”, “только VBulletin”, “гостевые книги”, “блоги”, “WiKi” и т.п.

• Инструмент быстрой сортировки базы ссылок по Google PageRank (PR) тремя различными способами

• Инструмент автоматического сбора ключевых слов для парсинга

• Возможность сбора до 100 миллионов ссылок

• Возможность задания задержки между запросами

• Простота в использовании (на настройку программы уйдёт не более 5-10 минут), полная автономность, высокая скорость сбора ссылок

Минимальные технические требования:

Windows 98/2000/2003/XP/Vista, процессор 1ГГц, ОЗУ 256Мб Hrefer прилагается к программному комплексу XRumer (оплаченной версии) бесплатно.