独立站如何解决User-Agent访问500的问题

因为一些银行对独立站的通道订单的审查，需要获取独立站的爬取权限，银行应用扫描工具 austreme，访问网站不带User-Agent（用户代理）的请求会返回“500 Internal Server Error”。这是因为独立站加了一层防护，目的是为了保护网站被风险爬虫抓取数据。

取消网站的agent检测限制（http_user_agent），要怎么办呢？

针对这个问题，shopoem单独做了技术开发。商户通过独立站的后台，可以自己管控是否开放给外部爬取。登录后台，系统配置，基础配置

选择关闭防爬和高风险IP限制

1. 开启时，系统将智能屏蔽不友好爬虫以及高风险IP访问您的店铺，保护安全；

2. 关闭时，将允许上述爬虫和IP访问，适用于允许扫描工具访问店铺等临时场景。

碰到这个问题，关闭限制即可，建议是扫描过后，就开启限制，可以最大限度的保护网站的安全。