Добавить новость
smi24.net
Все новости
Март
2019

Код парсинга на python с использованием списка прокси

0
Нужен код на Python получения и сохранения страницы с обходом капчи за счет использования списка прокси серверов + список из сотни прокси серверов для разового использования (на 1 день)

Входные данные:
список бесплатных прокси (например отсюда https://awmproxy.com/freeproxy.php)
список useragents

Требуемый алгоритм:
1) с использованием случаного прокси и useragent входит на указанный адрес
2) сохраняет страницу в словарь или файл
3) меняет прокси, чтобы не забанили и капча не появилась
4) повторяет действие со следующей страницей
5) эти действия должны выполняться в несколько потоков

Срок: сегодня до 20ч !














Музыкальные новости






















СМИ24.net — правдивые новости, непрерывно 24/7 на русском языке с ежеминутным обновлением *