+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2019-07(3)

2019-08(101)

2019-09(105)

2019-10(16)

2019-11(4)

利用正则表达式爬取豆瓣读书top250书籍信息 附有详细分析

发布于2019-12-07 22:50     阅读(894)     评论(0)     点赞(8)     收藏(0)


  
import csv
from lxml import etree
import requests

fp=open('C:\\Users\我的电脑\Desktop\doubanbook.csv','wt',newline='',encoding='utf-8')
writer=csv.writer(fp)         #创建csv
writer.writerow(('name','url','author','publisher','date','price','rate','comment'))  #在csv文件中写下这一行

urls=['https://book.douban.com/top250?start={}'.format(str(i) for i in range(0,250,25))]  #构造链接
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'
}

for url in urls:
    html=requests.get(url,headers=headers)
    selector=etree.HTML(html.text)                    #解析获得的html文件
    infos=selector.xpath('//tr[@class="item"]')       #//标签[@class=名称] 用来锁定标签
    for info in infos:                                #xpth用的是先大后小原则,即先得到相对上级的tr,再得到后续的标签
        name=info.xpath('td/div/a/@title')[0]
        url=info.xpath('td/div/a/@href')[0]
        book_infos=info.xpath('td/p/text()')[0]
        author=book_infos.split('/')[0]
        publisher=book_infos.split('/')[-3]
        date=book_infos.split('/')[-2]
        price=book_infos.split('/')[-1]
        rate=info.xpath('td/div/span[2]/text()')[0]
        comments=info.xpath('td/p/span/text()')      #text()转换为text形式
        comment=comments[0] if len(comments) != 0 else "空"    #判断评论是否为空
        writer.writerow((name,url,author,publisher,date,price,rate,comment))

fp.close()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32

爬取的网址 https://book.douban.com/top250?start=25



所属网站分类: 技术文章 > 博客

作者:好难受

链接: https://www.pythonheidong.com/blog/article/170250/

来源: python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

8 0
收藏该文
已收藏

评论内容:(最多支持255个字符)