Домашняя страница Undo Do New Save Карта сайта Обратная связь Поиск по форуму
МИР MS EXCEL - Гость.xls

Вход

Регистрация

Напомнить пароль

 

= Мир MS Excel/Сбор информации с Яндекс Маркета(Парсинг) - Мир MS Excel

Регистрация · Логин: · Пароль: · · Забыли пароль?
Страница 1 из 11
Модератор форума: _Boroda_, Pelena, Manyasha, SLAVICK 
Мир MS Excel » Вопросы и решения » Вопросы по VBA » Сбор информации с Яндекс Маркета(Парсинг) (Макросы/Sub)
Сбор информации с Яндекс Маркета(Парсинг)
SLAVICK Дата: Четверг, 07.07.2016, 00:37 | Сообщение № 1
Группа: Модераторы
Ранг: Старожил
Сообщений: 1841
Репутация: 614 ±
Замечаний: 0% ±

2007,2010,2013,2016
Всем привет. :D .
Пришлось мне столкнутся со страшным зверем: ЯМом.(Яндекс Маркетом).
Под спойлером - немного предыстории:

С построением алгоритма и правильных ссылок - вроде разобрался. Программа работает. Но есть одно НО:
При большом количестве запросов случаются баны.
Для их обхода использую прокси серверы + таймаут, но и это не на долго помогает.
Сначала Яндекс выдает капчу, но потом хуже - на сколько я понял происходит блокирование сервера, поскольку практически сразу все прокси начинают "сыпаться"
Что интересно, разные способы запроса - работают по разному:
WinHttp.WinHttpRequest.5.1 - самый быстрый, но и валится первым и практически не поднимается
MSXML2.ServerXMLHTTP.6.0 - как то через раз срабатывает.
InternetExplorer.Application - дольше всего отрабатывает, но самый живучий.
еще аналог последнего:
встроенный браузер:

Последний я всунул в форму, чтобы можно было (удобно) вводить капчу.
Для сбора сейчас проверка идет в вышеприведенной последовательности.

Собственно вопрос:
как или чем (ручками не предлагать :D ) можно собрать информацию с ЯМ чтобы избежать блокирования.
По моим подсчетам для сбора всей инфы по шинам - нужно примерно 100 000 запросов. * 2а региона. И такое каждый месяц %) .
Примера пока нет, поскольку на данный момент вопрос больше теоретический.
К сообщению приложен файл: 6744422.jpg(53Kb)


Иногда все проще чем кажется с первого взгляда.
 
Ответить
СообщениеВсем привет. :D .
Пришлось мне столкнутся со страшным зверем: ЯМом.(Яндекс Маркетом).
Под спойлером - немного предыстории:

С построением алгоритма и правильных ссылок - вроде разобрался. Программа работает. Но есть одно НО:
При большом количестве запросов случаются баны.
Для их обхода использую прокси серверы + таймаут, но и это не на долго помогает.
Сначала Яндекс выдает капчу, но потом хуже - на сколько я понял происходит блокирование сервера, поскольку практически сразу все прокси начинают "сыпаться"
Что интересно, разные способы запроса - работают по разному:
WinHttp.WinHttpRequest.5.1 - самый быстрый, но и валится первым и практически не поднимается
MSXML2.ServerXMLHTTP.6.0 - как то через раз срабатывает.
InternetExplorer.Application - дольше всего отрабатывает, но самый живучий.
еще аналог последнего:
встроенный браузер:

Последний я всунул в форму, чтобы можно было (удобно) вводить капчу.
Для сбора сейчас проверка идет в вышеприведенной последовательности.

Собственно вопрос:
как или чем (ручками не предлагать :D ) можно собрать информацию с ЯМ чтобы избежать блокирования.
По моим подсчетам для сбора всей инфы по шинам - нужно примерно 100 000 запросов. * 2а региона. И такое каждый месяц %) .
Примера пока нет, поскольку на данный момент вопрос больше теоретический.

Автор - SLAVICK
Дата добавления - 07.07.2016 в 00:37
krosav4ig Дата: Четверг, 07.07.2016, 01:45 | Сообщение № 2
Группа: Друзья
Ранг: Старожил
Сообщений: 1347
Репутация: 547 ±
Замечаний: 0% ±

Excel 2007, 2013
Здравствуйте, а в эту сторону не смотрели?


(_)Õvõ(_)
 
Ответить
СообщениеЗдравствуйте, а в эту сторону не смотрели?

Автор - krosav4ig
Дата добавления - 07.07.2016 в 01:45
SLAVICK Дата: Четверг, 07.07.2016, 02:25 | Сообщение № 3
Группа: Модераторы
Ранг: Старожил
Сообщений: 1841
Репутация: 614 ±
Замечаний: 0% ±

2007,2010,2013,2016
Спасибо.
Смотрели :D . На нее в первую очередь
- я до последнего пытался не влезать в это дело.
У нас сейчас с 1С-ником игра - кто первый победит ЯМа :D .
Я ему ее и скинул месяц назад, и он на ее основе тоже сделал парсинг.
Проблема в том что она уже не первой свежести - ЯМ уже наменял все по десять раз - самое главное защиту усилил.

Саму программу уже и я и наш 1С-ник сделали.
НО
Там та же проблема - делаешь 1000-2000 тыщи запросов и начинается веселье - а нам нужно 100 000. killed .


Иногда все проще чем кажется с первого взгляда.
 
Ответить
СообщениеСпасибо.
Смотрели :D . На нее в первую очередь
- я до последнего пытался не влезать в это дело.
У нас сейчас с 1С-ником игра - кто первый победит ЯМа :D .
Я ему ее и скинул месяц назад, и он на ее основе тоже сделал парсинг.
Проблема в том что она уже не первой свежести - ЯМ уже наменял все по десять раз - самое главное защиту усилил.

Саму программу уже и я и наш 1С-ник сделали.
НО
Там та же проблема - делаешь 1000-2000 тыщи запросов и начинается веселье - а нам нужно 100 000. killed .

Автор - SLAVICK
Дата добавления - 07.07.2016 в 02:25
Мир MS Excel » Вопросы и решения » Вопросы по VBA » Сбор информации с Яндекс Маркета(Парсинг) (Макросы/Sub)
Страница 1 из 11
Поиск:

Яндекс цитирования
© 2010-2016 · Дизайн: MichaelCH · Хостинг от uCoz · При использовании материалов сайта, ссылка на www.excelworld.ru обязательна!