Проект представляет собой парсер веб-сайта документов PEP на базе фреймворка Scrapy. В рамках проекта реализован парсер, собирающий сводные данные по PEP. Данные сохраняются в два csv-файла: в первом файле сохраняется список всех PEP (номер, название и статус), во втором - сводные данные по статусам РЕР (сколько найдено документов в каждом статусе).
Клонируйте репозиторий, перейдите в папку, создайте виртуальное окружение и активируйте:
python3 -m venv env
. venv/bin/activate
Обновите менеджер пакетов (pip) и установите зависимости из файла requirements.txt:
(venv) python3 -m pip install --upgrade pip
(venv) pip install -r requirements.txt
scrapy crawl pep
Парсер выводит собранную информацию в два файла .csv в папку results/:
-
В первом файле (
pep_{Date}.csv) - список всех PEP: номер, название и статус. -
Во втором файле (
status_summary_{Date}.csv) содержится сводка по статусам PEP — сколько найдено документов в каждом статусе (статус, количество) и общее количество всех документов.
Удобно работать/тестировать в интерактивной оболочке Scrapy Shell: ◾ Через командную строку в директории scrapy_parser_pep запустите скрипт:
scrapy shell 'URL'
Где URL — веб-страница или путь до локального HTML-файла После запуска Scrapy Shell в терминал будут выведены логи запроса и краткая справка по доступным объектам и командам
Selivanov Dmitry