中财网慈溪三合注塑机厂:如何处理Cookie验证
来源：百度文库 编辑：中财网 时间：2024/04/29 19:07:22
在做Web数据抓取时，有时会遇到一些页面进行了Cookie验证，爬虫拿不到正确的页面。
在开始之前，先介绍一个利器：火狐的抓包插件-Live HTTP headers
如何安装Live HTTP headers（假设你已经安装Firefox了）？
火狐工具栏：工具，附加组件，获取附件组件标签，搜索”Live HTTP headers“，找到后点击”安装“，安装成功后会提示重启Firefox，重启后插件安装完毕。
如何启动Live HTTP headers？
火狐工具栏：工具，点击菜单中的Live HTTP headers，界面如下图所示。
当我们在Firefox中打开新的链接或者页面JS与服务器进行了交互（Ajax）后，在Live HTTP headers中就会显示出浏览器发出的请求报文以及服务器的应答报文，如下图所示。
如果想暂停抓取（比如，已经出现我们感兴趣的报文时），去掉Capture前的勾即可。点击Clear按钮可以清除掉列表中的数据。 如何重新发送某个HTTP请求？选中该请求，然后点击Replay按钮，会出现一个HTTP请求编辑窗口，如下图所示。 
在这里我们可以对请求的数据进行任意的修改，点击Replay按钮当前的请求报文就会被重新发送。服务器的响应会出现在当前浏览器的活动标签页上。 Live HTTP headers的介绍就到这里，下面开始正题。 例如，http://www.groupon.com/huntsville/ 这个页面(一个团购站)，爬虫直接爬取始终得不到正确的数据。 我们初次访问的时候，会出现一个确认提示窗口（我们要抓取的是一个团购页面，不是现在显示的页面），如下图所示。 
我们用Live HTTP headers来模拟这个请求（如下图所示），服务器应答相同的页面。 
当我们点击页面中的Continue按钮、输入电子邮箱确定后，就看到了正确的页面（如下图所示）了。 
这时我们再重新输入http://www.groupon.com/huntsville/，出现的还是上面的正确页面（没有再次出现确认页面）。 根据经验可以判断这个网站检测了Cookie：第一次访问的时候它在Cookie中没有检测到某个标记，所以它重定向到一个确认页面。当我们点击Continue并输入邮箱确认后，它在Cookie中设置了这标记，所以当第二次访问http://www.groupon.com/huntsville/时没有出现确认页面而是直接显示了目标页面。 因此，如果我们的爬虫直接去爬取http://www.groupon.com/huntsville/，得到的将是确认页的HTML，无法采集的正确的信息。 刷新当前页面，并用Live HTTP headers捕获发出的报文，如下图所示。 
可以看到这次的HTTP请求头与上次相比多了Cookie字段。 我们再次提交该请求，发现浏览器显示的还是正确的页面。 将Cookie字段删除（如下图所示）重新提交，确认页面又出现了。 
看来，玄机就藏于Cookie中了。
Cookie: adchemy_id=; division=huntsville; b=d9c83b52-4d41-11e0-acfb-0050569540c9; s=d9c84a48-4d41-11e0-acfb-0050569540c9; visited=true; _thepoint=ee1f3ef0522d06f05c475a21b4efc9d6; __utma=44473723.477787770.1300000481.1300000481.1300000481.1; __utmb=44473723.13.8.1300000750575; __utmc=44473723; __utmz=44473723.1300000481.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _chartbeat2=5zbqenbjyupzen6c; __utmv=44473723.|2=Exp-deal_page_030311=price_for_value%2F0=1,
一种保守的做法就是在我们爬虫的请求头中加入上面的Cookie字段，这样肯定是没有问题的。但是这里面有很多的冗余数据可以去掉，留下标记参数即可。
如何确定标记参数呢？
我们可以将上面的Cookie参数挨个放入进行测试，直到返回正常页面为止。
一般来说，参数的名称都是有意义的，因此我们可以根据名称猜测，比如本例中 visited=true; 这个参数的可能性是最大的，因此我们可以先测试这个参数（如下图所示）。
经过测试发现，这个标记参数正是 visited=true;。 知道这个后，我们在爬虫中加入这个参数就能抓到正确的页面了。