程序员最近都爱上了这个网站  程序员们快来瞅瞅吧!  it98k网:it98k.com

本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

暂无数据

为什么这个程序爬取不出数据来呀?也不显示错误就是爬不出数据

发布于2021-06-24 11:52     阅读(550)     评论(0)     点赞(0)     收藏(0)


# requests ->pip install requests
# BeautifulSoup ->pip install BeautifulSoup4
import requests
from bs4 import BeautifulSoup
# 通过request请求到电影票房的网页
text = requests.get("https://www.endata.com.cn/BoxOffice/BO/Year/index.html").text
# 使用BeautifulSoup进行解析
main_page=BeautifulSoup(text, "html.parser") # 后面这个是html的解析器

bs = main_page.find("div", attrs={"id": "TableList"})
# find找的是一个标签
# find_all找的是一堆标签
f = open("电影票房.csv", mode="a") # 用a的原因是我要把之前爬取的数据保留
trs = bs.find_all("tr")
for tr in trs: # 拿到每一个tr ,每一行
    lst = tr.find_all("td") # 找到每一个td
    if len(lst) != 0:
        for td in lst: # 拿到每一个td,每一列
            # print(td.text) #拿到td标签中的文本信息,就是我们要的电影信息
            f.write(td.text.strip())  # strip() 默认去掉左右两端的空白(空格,换行符,制表符)
            f.write(",")
        f.write("\n")


所属网站分类: 技术文章 > 问答

作者:334455662029

链接:https://www.pythonheidong.com/blog/article/991437/c72b85f7306f24e65ee7/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

0 0
收藏该文
已收藏

评论内容:(最多支持255个字符)