-
Notifications
You must be signed in to change notification settings - Fork 56
Open
Labels
✨enhancementNew feature or requestNew feature or request
Milestone
Description
- 关于自定义UA
我订阅我自己站点时,被防火墙拦了,看了下日志
阅读器请求时直接用了 Go 的默认的UA:Go-http-client/1.1
这个UA在很多WAF风控中是当自动化爬虫看待的,频率稍高就阻断了。
感觉最好请求时(刷新订阅,抓取,FreshRSS同步,获取全文等)可以把自己模仿成一个chrome浏览器
- 关于自定义cookies
一些网站/论坛的订阅源,要么需要登录才能获取原文不登录只能看到摘要。要么里面的图片视频等媒体需要登录(账号体系存在分级)
而且我看阅读器有Xpath抓取做源的功能,那就更需要能够自定义cookies,并且允许订阅源服务器设置 Cookies (有些网站周期性刷新cookies)了。
Metadata
Metadata
Assignees
Labels
✨enhancementNew feature or requestNew feature or request
Projects
Status
In progress