Мета закинута

Автор не відписував в цілі 6 років 8 месяців 28 днів

Бізнес та Фінанси

Довести до ума скрейпер сайтов

Т.к. ява скрипты разбирать долго, создал скрейпер на языке питон, который умеет выполнять js. Инструменты Selenium+ phantomjs безголовый браузер, управляемый скриптами, плюс прокси mitmdumpчтобы выцепить не готовый текст страницы, а определённый ajax ответ, содержащий всю информацию.

Далее довести это всё до ума, чтобы работало на автомате, сменяло последующий прокси динамически и сохраняло данные трафика в har формате в отдельные файлы, закрывалось и запускалось снова с новым запросом. Так же разобраться с cookies, ибо пока до них руки не дошли, как фантом с ними работает не вдавался в подробности.

Далее настроить азаимодействие с екселем, кусок старого парсера на VBA с регулярками использовать для обработки HAR информации и сведения в таблицы.

 Критерій завершення

Скрейпер работает и собирает статистику по ценам

 Особисті ресурси

Время

 Екологічність мети

Сбор статистики для анализа рынка автозапчастей

  • 636
  • 26 лютого 2018, 05:44

Реєстрація

Можливості
безмежні.
Настав час
відкрити свої.

Уже зарегистрированы?
Вхід на сайт

Заходьте.
Відкрито.

Ще не зареєстровані?
 
Підключіться до будь-якого з ваших акаунтів, ваші дані будуть взяті з акаунту.
Забули пароль?