Цель заброшена
Автор не отписывался в цели 6 лет 9 месяцев 28 дней
Довести до ума скрейпер сайтов
Т.к. ява скрипты разбирать долго, создал скрейпер на языке питон, который умеет выполнять js. Инструменты Selenium+ phantomjs безголовый браузер, управляемый скриптами, плюс прокси mitmdumpчтобы выцепить не готовый текст страницы, а определённый ajax ответ, содержащий всю информацию.
Далее довести это всё до ума, чтобы работало на автомате, сменяло последующий прокси динамически и сохраняло данные трафика в har формате в отдельные файлы, закрывалось и запускалось снова с новым запросом. Так же разобраться с cookies, ибо пока до них руки не дошли, как фантом с ними работает не вдавался в подробности.
Далее настроить азаимодействие с екселем, кусок старого парсера на VBA с регулярками использовать для обработки HAR информации и сведения в таблицы.
Критерий завершения
Скрейпер работает и собирает статистику по ценам
Личные ресурсы
Время
Экологичность цели
Сбор статистики для анализа рынка автозапчастей
- 644
- 26 февраля 2018, 05:44
Не пропустите новые записи!
Подпишитесь на цель и следите за ее достижением