Skip to content

[FEATURE] 请求增加自定义请求时的UA和cookies功能 #442

@tjsky

Description

@tjsky
  • 关于自定义UA

我订阅我自己站点时,被防火墙拦了,看了下日志
阅读器请求时直接用了 Go 的默认的UA:Go-http-client/1.1
这个UA在很多WAF风控中是当自动化爬虫看待的,频率稍高就阻断了。

感觉最好请求时(刷新订阅,抓取,FreshRSS同步,获取全文等)可以把自己模仿成一个chrome浏览器

  • 关于自定义cookies

一些网站/论坛的订阅源,要么需要登录才能获取原文不登录只能看到摘要。要么里面的图片视频等媒体需要登录(账号体系存在分级)
而且我看阅读器有Xpath抓取做源的功能,那就更需要能够自定义cookies,并且允许订阅源服务器设置 Cookies (有些网站周期性刷新cookies)了。

Metadata

Metadata

Assignees

No one assigned

    Labels

    Projects

    Status

    In progress

    Milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions