Python爬虫1-使用urlopen
发布于2019-08-07 16:50 阅读(740) 评论(0) 点赞(2) 收藏(3)
GitHub代码练习地址：https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac01_urlopen.py
爬虫简介
- 爬虫定义：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），
是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
- 两大特征
- 能按作者要求下载数据或者内容
- 能自动在网络上流窜
- 三大步骤：
- 下载网页
- 提取正确的信息
- 根据一定规则自动跳到另外的网页上执行上两步内容
urllib
- 包含模块
- urllib.request: 打开和读取urls
- urllib.error： 包含urllib.request产生的常见的错误，使用try捕捉
- urllib.parse: 包含解析url的方法
- urllib.robotparse: 解析robots.txt文件
所属网站分类: 技术文章 > 博客
作者：74873487
链接：https://www.pythonheidong.com/blog/article/11789/05a80e4eb33b5b722f8b/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力