Python破解各路反爬措施，强势采集拉勾网数据！
发布于2019-10-11 11:11 阅读(979) 评论(0) 点赞(5) 收藏(3)
拉勾网这个网页的反爬机制：
保持cookie与网页来源的说明，如果不加网页的来源会造成一个IP频繁的假象。
为什么说是假象呢？因为当你用浏览器再次访问是哭正常访问的，自行测试即可。
不建议小白阅读此文，不建议不喜欢动手的人阅读此文，因为不做的话，永远不知道事情的真相。
由于网页源代码中并没有我们需要的信息：
那么我们进行抓包测试：
完整视频教程，请进此群。
发现此包中的确包含了我们想要的信息。
注意：
这个post请求当中 表单数据first 是不变的，pn代表页码，当然kd代表我们需要查找的关键词。
请求这个url必须带上referer，这个报文代表我们的url来源。还有我们的浏览器来源user-agent用户代理也要添加！
这样请求，你会发现还是无法正常的获取到数据，那么别忘记我前面说的，保持cookie。在此处有人会直接复制cookie报文，但是别忘了cookie是有时效性的，所以怎么办？
最好的办法就是 提前访问此url的来源，从来源中把cookie取下来，添加到这个请求当中。
最好筛选数据即可：
这篇文章我不准备给出源代码，因为我希望还不会的可以自己去做一下。
更多技术文章，请关注公众号：
所属网站分类: 技术文章 > 博客
作者：3434erer
链接：https://www.pythonheidong.com/blog/article/133901/d647c82f230405deff1b/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力