程序员最近都爱上了这个网站  程序员们快来瞅瞅吧!  it98k网:it98k.com

本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

标签  

日期归档  

暂无数据

爬虫学习之抓取手机销量排名

发布于2021-07-21 23:26     阅读(964)     评论(0)     点赞(0)     收藏(0)


最近苹果手机新热点,iPhone13系列有望支持息屏显示。关注了一网友们的评论,大家都表示这难道不是安卓早就支持的吗?怎么在苹果这里还只是有望实现呢?而且很多使用苹果手机的用户表示能不能在手机的信号和充电问题是多花点心思。

小编最近在学习Python的一些相关知识,爬虫是其中有趣的一项,然后今天看到这个话题,就来这里分享下学习战果。尝试爬取一下淘宝手机的销量数据,这里说下,淘宝的反爬虫有点厉害,光是登陆我就研究了小一天。还有网站封ip也是让人很头疼,被迫在网上寻了一家优质代理(www.16yun.cn),不知道爬虫小伙伴们有没有使用过他们家。对于我这种新手,他们也是很耐心的服务,还根据我的需求推介了适合的产品,动态转发代理。

接下来我们就来分享下学习参照“Python3爬虫示例访问淘宝。

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "https://taobao.com/"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://taobao.com/"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

对输出的淘宝数据进行整理分析,续30天内各类手机销量情况,华为系列高居第一。好啦,今天的学习打卡记录就完了,大家学习爬虫有什么经验可以一起交流下。




所属网站分类: 技术文章 > 博客

作者:laical

链接:https://www.pythonheidong.com/blog/article/1003456/68f620b42ed14c3b7df9/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

0 0
收藏该文
已收藏

评论内容:(最多支持255个字符)