获取大数据资讯，爬虫是实施的渠道，但是这个渠道有的时候，会被一些反爬虫机制给阻挡。大型的成熟网站的反爬虫技术就更加难以攻破，那么，我们除了可以用ip代理之外，还能够怎么应对不同的反爬虫呢?

1、动态性网页页面如何反网络爬虫
有的时候将目标网页页面抓取下来，发现关键的信息内容空白一片，只有框架代码，这是由于该网站的信息是根据客户Post的XHR动态性返回内容信息，处理这类问题的方式就是根据开发者工具(FireBug等)对网站流开展分析，找到单独的内容信息request(如Json)，对内容信息开展抓取，获取所需内容。

2、限定一些IP浏览
免费的ip代理能够从许多网站获取到，既然网络爬虫能够运用这些ip代理开展网站抓取，网站也可以运用这些ip代理反向限制，根据抓取这些IP保存在服务器上来限制运用ip代理开展抓取的网络爬虫。针对IP限制，一般建议选用付费的ip代理服务。

3、根据Headers反网络爬虫
从客户请求的Headers反网络爬虫是最常见的反网络爬虫策略。许多网站都会对Headers的User-Agent开展监测，还有一部分网站会对Referer开展监测(一些资源网站的防盗链就是监测Referer)。
如果遇到了这类反网络爬虫机制，能够直接在网络爬虫中添加Headers，将浏览器的User-Agent复制到网络爬虫的Headers中;或是将Referer值修改为目标网站域名。针对监测Headers的反网络爬虫，在网络爬虫中修改或是添加Headers就能很好的绕开。

4、客户行为反网络爬虫
有一部分网站是根据监测客户行为，比如同样IP短期内内数次浏览同样网页页面，或是同样账户短期内内数次开展同样操作。
大部分网站都是前一种情况，针对这种情况，选用IP代理就能够处理。我们能够将ip代理监测之后保存在文件当中,但这类方式并非可取，ip代理失效的可能性很高，因此从专门的ip代理网站实时抓取，是个非常好的选择。
针对第二种情况，能够在每一次请求后任意间隔几秒钟再开展下一次请求。一些有逻辑性系统漏洞的网站，能够根据请求几次，撤出登录，再次登录，再次请求来绕开同样账号短期内内不能数次开展同样请求的限制。
还有针对cookies，根据检查cookies来判断客户是不是有效客户，需要登录的网站常选用这类技术。更深层次一点的还有，一些网站的登录会动态性更新验证，登录时，会任意分派用以登录验证的authenticity_token，authenticity_token会和客户提交的登录名和密码一起发送回服务器。

网站对爬虫的打击，一直都在升级，我们的应对也要跟进才行，不然爬虫很难进行下去。ip代理就是很好的选择。

飞鱼ip自营服务器节点遍布全国，满足您任何换ip地址大数据服务需求，电脑ip和手机ip可随时更换，ip地址请求时间<1秒，更快更稳定。支持自动清理cookie、自定义可运行指定程序、一键换ip，高速、高匿、稳定。