Цель заброшена

Автор не отписывался в цели 6 лет 9 месяцев 28 дней

Бизнес и Финансы

Довести до ума скрейпер сайтов

Т.к. ява скрипты разбирать долго, создал скрейпер на языке питон, который умеет выполнять js. Инструменты Selenium+ phantomjs безголовый браузер, управляемый скриптами, плюс прокси mitmdumpчтобы выцепить не готовый текст страницы, а определённый ajax ответ, содержащий всю информацию.

Далее довести это всё до ума, чтобы работало на автомате, сменяло последующий прокси динамически и сохраняло данные трафика в har формате в отдельные файлы, закрывалось и запускалось снова с новым запросом. Так же разобраться с cookies, ибо пока до них руки не дошли, как фантом с ними работает не вдавался в подробности.

Далее настроить азаимодействие с екселем, кусок старого парсера на VBA с регулярками использовать для обработки HAR информации и сведения в таблицы.

 Критерий завершения

Скрейпер работает и собирает статистику по ценам

 Личные ресурсы

Время

 Экологичность цели

Сбор статистики для анализа рынка автозапчастей

  • 644
  • 26 февраля 2018, 05:44
Регистрация

Регистрация

Уже зарегистрированы?
Быстрая регистрация через соцсети
Вход на сайт

Входите.
Открыто.

Еще не зарегистрированы?
 
Войти через соцсети
Забыли пароль?