python爬虫中的ip代理设置
发布于2019-08-07 09:46 阅读(821) 评论(0) 点赞(5) 收藏(4)
设置ip代理是爬虫必不可少的技巧；
查看本机ip地址；打开百度，输入“ip地址”，可以看到本机的IP地址；
本文使用的是goubanjia.com里面的免费ip；
使用时注意要注意传输协议是http还是https，代码如下；
# 用到的库 import requests # 写入获取到的ip地址到proxy proxy = { 'https':'221.178.232.130:8080' } # 用百度检测ip代理是否成功 url = 'https://www.baidu.com/s?' # 请求网页传的参数 params={ 'wd':'ip地址' } # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36' } # 发送get请求 response = requests.get(url=url,headers=headers,params=params,proxies=proxy) # 获取返回页面保存到本地，便于查看 with open('ip.html','w',encoding='utf-8') as f: f.write(response.text)
打开存入的“ip.html”查看内容如下；
done.
所属网站分类: 技术文章 > 博客
作者：loo
链接：https://www.pythonheidong.com/blog/article/9498/3e4a7b1ddefcea699503/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力