写 Python 爬虫的助手
发布于2019-08-31 21:40 阅读(1625) 评论(0) 点赞(5) 收藏(1)
写爬虫变成了这样：
from gspider.base import BaseSpider
from gspider.fields import PQField
class PythonDocSpider(BaseSpider):
title = PQField('h1') # select `h1` element from the page, you can use other css selectors too
content = PQField('p')
spider = PythonDocSpider(
'https://docs.python.org/3/library/base64.html'
)
>>> print(spider.title)
>>> 19.6. base64 — Base16, Base32, Base64, Base85 Data Encodings ¶安装：
git clone https://github.com/ericls/gspider
cd gspider
python setup.py install或者直接 clone 进自己的脚本目录，再解决requests和pyquery两个依赖
更多信息:
Project Name: Gspider. (Pretty random name, isn't it?)
GitHub Repo: __https://github.com/ericls/gspider__
原文：http://leeeric.com/post/a-python-web-crawler-helper/
所属网站分类: 技术文章 > 博客
作者：23dh
链接：https://www.pythonheidong.com/blog/article/74332/39831ea411db864804cc/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力