Skip to content

Commit 10d092f

Browse files
Boris-codeBoris-code
committed
更新文档
1 parent 267efb7 commit 10d092f

2 files changed

Lines changed: 46 additions & 14 deletions

File tree

‎README.md‎

Lines changed: 25 additions & 8 deletions
Original file line numberDiff line numberDiff line change
@@ -5,19 +5,36 @@
55
![](https://img.shields.io/github/stars/Boris-code/feapder?style=social)
66
![](https://img.shields.io/github/forks/Boris-code/feapder?style=social)
77

8+
![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2022/03/04/16463743547431.jpg)
9+
810
## 简介
911

10-
**feapder** 是一款上手简单，功能强大的Python爬虫框架，使用方式类似scrapy，方便由scrapy框架切换过来，框架内置3种爬虫：
12+
**feapder是一款上手简单，功能强大的Python爬虫框架**
1113

12-
- `AirSpider`爬虫比较轻量，学习成本低。面对一些数据量较少，无需断点续爬，无需分布式采集的需求，可采用此爬虫。
14+
读音: `[ˈfiːpdə]`
1315

14-
- `Spider`是一款基于redis的分布式爬虫，适用于海量数据采集，支持断点续爬、爬虫报警、数据自动入库等功能
16+
### 1.拥有强大的监控，保障数据质量
1517

16-
- `BatchSpider`是一款分布式批次爬虫，对于需要周期性采集的数据，优先考虑使用本爬虫。
18+
![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/09/14/16316112326191.jpg)
1719

18-
**feapder**支持**断点续爬**、**数据防丢**、**监控报警**、**浏览器渲染下载**、数据自动入库**Mysql**或**Mongo**，还可通过编写[pipeline](source_code/pipeline)对接其他存储
20+
![-w501](http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/12/20/16084718974597.jpg)
1921

20-
读音: `[ˈfiːpdə]`
22+
![-w416](http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/12/29/16092335882158.jpg)
23+
![-w657](http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/12/20/16084718683378.jpg)
24+
25+
监控面板：[点击查看详情](http://feapder.com/#/feapder_platform/feaplat)
26+
27+
### 2. 简单易用，框架内置3种爬虫，适应各种需求场景
28+
29+
- `AirSpider` 轻量爬虫：学习成本低，可快速上手
30+
31+
- `Spider` 分布式爬虫：支持断点续爬、爬虫报警、数据自动入库等功能
32+
33+
- `BatchSpider` 批次爬虫：可周期性的采集数据，自动将数据按照指定的采集周期划分。（如每7天全量更新一次商品销量的需求）
34+
35+
**feapder**对外暴露的接口类似scrapy，可由scrapy快速迁移过来。支持**断点续爬**、**数据防丢**、**监控报警**、**浏览器渲染下载**、**海量数据去重**等功能
36+
37+
### 3. 文档地址
2138

2239
- 官方文档：http://feapder.com
2340
- 国内文档：https://boris-code.gitee.io/feapder
@@ -101,8 +118,8 @@ FirstSpider|2021-02-09 14:55:14,620|air_spider.py|run|line:80|INFO| 无任务，
101118

102119
## 爬虫工具推荐
103120

104-
1. 验证码识别库：https://github.com/sml2h3/ddddocr
105-
2. 爬虫在线工具库：http://www.spidertools.cn
121+
1. 爬虫在线工具库：http://www.spidertools.cn
122+
2. 验证码识别库：https://github.com/sml2h3/ddddocr
106123

107124
## 微信赞赏
108125

‎docs/README.md‎

Lines changed: 21 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -7,17 +7,32 @@
77

88
## 简介
99

10-
**feapder** 是一款上手简单，功能强大的Python爬虫框架，使用方式类似scrapy，方便由scrapy框架切换过来，框架内置3种爬虫：
10+
**feapder是一款上手简单，功能强大的Python爬虫框架**
1111

12-
- `AirSpider`爬虫比较轻量，学习成本低。面对一些数据量较少，无需断点续爬，无需分布式采集的需求，可采用此爬虫。
12+
读音: `[ˈfiːpdə]`
1313

14-
- `Spider`是一款基于redis的分布式爬虫，适用于海量数据采集，支持断点续爬、爬虫报警、数据自动入库等功能
14+
### 1.拥有强大的监控，保障数据质量
1515

16-
- `BatchSpider`是一款分布式批次爬虫，对于需要周期性采集的数据，优先考虑使用本爬虫。
16+
![](http://markdown-media.oss-cn-beijing.aliyuncs.com/2021/09/14/16316112326191.jpg)
1717

18-
**feapder**支持**断点续爬**、**数据防丢**、**监控报警**、**浏览器渲染下载**、数据自动入库**Mysql**或**Mongo**，还可通过编写[pipeline](source_code/pipeline)对接其他存储
18+
![-w501](http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/12/20/16084718974597.jpg)
1919

20-
读音: `[ˈfiːpdə]`
20+
![-w416](http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/12/29/16092335882158.jpg)
21+
![-w657](http://markdown-media.oss-cn-beijing.aliyuncs.com/2020/12/20/16084718683378.jpg)
22+
23+
监控面板：[点击查看详情](http://feapder.com/#/feapder_platform/feaplat)
24+
25+
### 2. 简单易用，框架内置3种爬虫，适应各种需求场景
26+
27+
- `AirSpider` 轻量爬虫：学习成本低，可快速上手
28+
29+
- `Spider` 分布式爬虫：支持断点续爬、爬虫报警、数据自动入库等功能
30+
31+
- `BatchSpider` 批次爬虫：可周期性的采集数据，自动将数据按照指定的采集周期划分。（如每7天全量更新一次商品销量的需求）
32+
33+
**feapder**对外暴露的接口类似scrapy，可由scrapy快速迁移过来。支持**断点续爬**、**数据防丢**、**监控报警**、**浏览器渲染下载**、**海量数据去重**等功能
34+
35+
### 3. 文档地址
2136

2237
- 官方文档：http://feapder.com
2338
- 国内文档：https://boris-code.gitee.io/feapder

0 commit comments

Comments
 (0)