python爬虫我们该掌握哪些基本python用法
发布于2019-08-17 20:29 阅读(569) 评论(0) 点赞(2) 收藏(2)
1.Python 基础语法一定要熟练
2.熟练操作 列表list 字典dict 元组tuple 集合set 之间相互转换
3.如何创建文件 读写文件 常见的文件类型 .txt .json
4.python高级特性
1.对 列表 元组 字符串 切片操作
2.列表生成式
3.yield关键字 生成器 如何使用
4.弄明白列表 字典 元组 集合那些可组建迭代器
5.lambda表达式的妙用之处
6.map如何使用 如果你还会使用reduce函数高效处理数据那更好
7.sorted方法对列表里面的字典安装某一key属性来排序
8.装饰器如何使用 省赛出现过
9.正则表达式的基本使用 了解Urllib库基本使用
10.使用正则表达式对html源码进行解析 练习3-5个爬虫案例
11. requests使用get post方法区别
12.如何使用代理ip去访问目标网站 这里有一个测试网站http://httpbin.org
13. 在request模块下获取cookie 打印cookie
14.如何伪装headers和根据不同的data参数获取不同的服务器响应
15.使用beautifullsoup 解析网页源代码 练习3-5个爬虫案例
16.了解ajax工作原理 如何请求ajax接口获取json数据 服务器上3个题都是这个类型
把他做熟悉外加3个网站爬取，对json数据解析基本就过关了
17.利用xpath 解析网页源代码 练习5个爬虫案例
18.了解TCP协议编程 如何向flume source端口发送数据
19.对先用初始url获取数据再递归构建url爬取网页进行单独训练
20.对图片网站进行爬取，保存图片等
所属网站分类: 技术文章 > 博客
作者：comeonbady
链接：https://www.pythonheidong.com/blog/article/48417/8bab0f6f761435a89b29/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力