Проект содержит парсер PEP основанный на фреймворке Scrapy, собирвает данные обо всех документах PEP, считает количество PEP в каждом статусе и общее количество PEP, сохраняет результат в табличном виде в csv-файл.
Эти инструкции помогут вам склонировать репозиторий и настроить виртуальное окружение для разработки.
Убедитесь, что на вашем компьютере установлены следующие программы:
-
Клонируйте репозиторий:
Откройте терминал и выполните команду:
git clone https://github.com/k0sdm1/scrapy_parser_pep.git
-
Перейдите в директорию проекта:
cd scrapy_parser_pep -
Создайте виртуальное окружение:
python -m venv venv //Windows python3 -m venv venv //Linux
-
Активируйте виртуальное окружение:
Windows
.\venv\Scripts\activate
Linux
source venv/bin/activate -
Установите зависимостей:
pip install -r requirements.txt
-
Для запуска находясь в основной директории выполните команду.
scrapy crawl pep
Парсер PEP: k0sdm1