Асинхронный парсер документов PEP

Парсер документов PEP на базе фреймворка Scrapy. Парсер должен выводить собранную информацию в два файла .csv:

• В первый файл выводится список всех PEP: номер, название и статус.
• Второй файл содержит сводку по статусам PEP — сколько найдено документов в каждом статусе (статус, количество). В последней строке этого файла в колонке «Статус» стоит слово Total, а в колонке «Количество» — общее количество всех документов.

Установка и настройки

• Шаг первый: клонируем репозиторий

git clone git@github.com:Nurbek878/scrapy_parser_pep.git

• Переходим в папку с проектом

cd scrapy_parser_pep

• Создаем и активируем виртуальное окружение

python -m venv venv 
source venv/bin/activate 

• Обновляем менеджер пакетов pip

pip install --upgrade pip 

• Устанавливаем необходимые зависимости

pip install -r requirements.txt

• Запускаем парсер

scrapy crawl pep

Стек

• Python
• Scrapy

Автор

• @nurbek878