程序员最近都爱上了这个网站  程序员们快来瞅瞅吧!  it98k网:it98k.com

本站消息

站长简介/公众号

  出租广告位,需要合作请联系站长

+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

python 爬虫 爬百度贴吧 爬下来的汉字是ascii怎么破

发布于2019-09-06 11:08     阅读(1230)     评论(0)     点赞(17)     收藏(5)


import urllib2
from lxml import etree
url = "http://tieba.baidu.com/f?ie=utf-8&kw=%E8%81%8A%E5%9F%8E&red_tag=y1218768893"
request = urllib2.Request(url)
response = urllib2.urlopen(request).read()
html = etree.HTML(response)
resulr = html.xpath('//div[@class="threadlist_title pull_left j_th_tit "]/a/text()')

 

 

 

 

[u'\xe6\xb1\x82\xe5\x90\xa7\xe4\xb8\xbb\xe7\x95\x99\xe6\x83\x85\xef\xbc\x8c\xe8\x8e\x98\xe5\x8e\xbf\xe6\x9f\xbf\xe5\xad\x90\xe5\x9b\xad\xe9\x95\x87\xe5\xb9\xbc\xe5\x84\xbf\xe5\x9b\xad\xe5\x8f\x88\xe5\xbc\x80\xe5\xa7\x8b\xe6\x94\xb6\xe5\x8f\x96\xe6\x9a\x96\xe8\xb4\xb9\xe4\xba\x86\xef\xbc\x8c\xe5\x92\x8b\xe6\x8a\x95\xe8\xaf\x89\xe5\xa5\xb9\xe6\x9c\x89\xe5\x9b\xbe', u'\xe8\x81\x8a\xe5\x9f\x8e\xe4\xb8\xbb\xe5\x9f\x8e\xe5\x8c\xba\xe2\x80\x9c\xe5\x85\xa8\xe5\xa4\xa9\xe5\x80\x99\xe2\x80\x9d\xe7\xa6\x81\xe6\x94\xbe\xe7\x83\x9f\xe8\x8a\xb1\xe7\x88\x86\xe7\xab\xb9 \xe5\xaf\xb9\xe5\xa9\x9a\xe5\xae\xb4\xe9\x85\x92\xe5\xba\x97\xe8\xbf\x9b\xe8\xa1\x8c\xe7\x9b\x91\xe7\x9d\xa3\xe7\xae\xa1\xe7\x90\x86', u'\xe5\xb8\x82\xe4\xb8\xad\xe5\x8c\xbb\xe9\x99\xa2\xe9\x85\x8d\xe5\x88\xb6\xe4\xb8\x8d\xe5\x90\x88\xe6\xa0\xbc\xe8\x8d\xaf\xe5\x89\x82', u'\xe8\xb0\x81\xe8\x83\xbd\xe8\xb5\xb0\xe5\x80\x9f\xe6\x9d\xa1\xe5\x80\x9f\xe7\x82\xb9\xe9\x92\xb1\xe7\xbb\x99\xe6\x88\x91\xe5\x95\x8a\xef\xbc\x81\xe6\x80\xa5\xe7\x94\xa8', u'\xe9\xa6\x96\xe4\xbb\x98\xe4\xb8\x89\xe4\xb8\x87\xe8\x83\xbd\xe4\xb9\xb0\xe8\xbe\x86\xe4\xbb\x80\xe4\xb9\x88\xe8\xbd\xa6', u'\xe6\x9c\xac\xe4\xba\xba93\xe5\xb9\xb4\xe5\xa5\xb3\xe7\x94\x9f\xef\xbc\x8c\xe5\x96\x9c\xe6\xac\xa2\xe6\x97\x85\xe8\xa1\x8c\xe7\xbb\x93\xe4\xbc\xb4', u'\xe6\x97\xa5\xe9\xa3\x9f\xe4\xb8\x89\xe9\xa2\x97\xe6\x9e\xa3\xef\xbc\x8c\xe7\x99\xbe\xe5\xb2\x81\xe4\xb8\x8d\xe6\x98\xbe\xe8\x80\x81', u'\xe7\xbb\x93\xe4\xbc\xb4\xe6\x97\x85\xe8\xa1\x8c\xef\xbc\x8c\xe8\xb5\xb0\xe5\xbf\x83\xe4\xba\xa4\xe5\x8f\x8b?', u'\xe4\xba\xba\xe7\x94\x9f\xe5\xbe\x97\xe6\x84\x8f\xe9\xa1\xbb\xe5\xb0\xbd\xe6\xac\xa2\xef\xbc\x81\xe5\xb1\x9e\xe4\xba\x8e\xe6\x88\x91\xe7\x9a\x84\xe6\x88\x91\xe9\x83\xbd\xe4\xbc\x9a\xe6\x8b\xbf\xe5\x9b\x9e\xe6\x9d\xa5\xef\xbc\x81', u'2017\xe5\xb9\xb4\xe7\x9a\x84\xe6\x9c\x80\xe5\x90\x8e\xe4\xb8\x80\xe4\xb8\xaa\xe6\x9c\x88\xef\xbc\x8c\xe5\x8a\xa0\xe6\xb2\xb9\xe5\x90\xa7\xef\xbc\x81', u'\xe8\x81\x8a\xe5\x9f\x8e\xe4\xb8\x8a\xe9\x97\xa8:weemmg', u'\xe5\x90\xa7\xe4\xb8\xbb\xe4\xbb\xac\xe5\x9c\xa8\xe5\x90\x97\xef\xbc\x9f\xe9\xba\xbb\xe7\x83\xa6\xe5\xb8\xae\xe6\x8a\x8a\xe6\x88\x91\xe5\x8f\x91\xe7\x9a\x84\xe4\xb8\x80\xe4\xb8\xaa\xe5\xb8\x96\xe5\xad\x90\xe5\x8f\x96\xe6\xb6\x88\xe5\x8a\xa0\xe7\xb2\xbe\xe6\x88\x96\xe8\x80\x85\xe7\x9b\xb4\xe6\x8e\xa5\xe5\x88\xa0\xe9\x99\xa4\xef\xbc\x9f\xef\xbc\x9f', u'\xe6\x88\x91\xe6\x83\xb3\xe7\x9f\xa5\xe9\x81\x93\xe6\x80\x8e\xe4\xb9\x88\xe8\x83\xbd\xe9\x95\xbf\xe6\x97\xb6\xe9\x97\xb4\xe9\x81\xbf\xe5\xad\x95\xef\xbc\x8c\xe6\x9c\x80\xe5\xa5\xbd\xe4\xb8\x8d\xe5\x90\x83\xe8\x8d\xaf\xef\xbc\x8c\xe4\xb9\x9f\xe4\xb8\x8d\xe5\xb8\xa6\xe5\xa5\x97', u'\xe5\x90\xa7\xe4\xb8\xbb\xe4\xb9\xa6\xe7\x94\xbb\xe5\xb0\x8f\xe7\x8e\x8b\xe5\xad\x90\xe5\x9c\xa8\xe5\x90\x97\xef\xbc\x9f\xe9\xba\xbb\xe7\x83\xa6\xe6\x8a\x8a\xe6\x88\x91\xe5\x8f\x91\xe7\x9a\x84\xe4\xb8\x80\xe4\xb8\xaa\xe5\xb8\x96\xe5\xad\x90\xe5\x8f\x96\xe6\xb6\x88\xe5\x8a\xa0\xe7\xb2\xbe\xe6\x88\x96\xe8\x80\x85\xe7\x9b\xb4\xe6\x8e\xa5\xe5\x88\xa0\xe9\x99\xa4', u'\xe6\xb3\xb0\xe8\xbf\xaa', u'\xe5\x88\x9a\xe6\x89\x8d\xe5\x85\xad\xe7\x82\xb9\xe5\xa4\x9a\xe7\x9a\x84\xe6\x97\xb6\xe5\x80\x99\xe5\x9c\xa8\xe5\xbb\xba\xe8\xae\xbe\xe4\xb8\x9c\xe8\xb7\xaf\xe4\xba\xbf\xe6\xb2\xa3\xe7\x94\x9f\xe6\xb4\xbb\xe5\xb9\xbf\xe5\x9c\xba\xe9\x97\xa8\xe5\x8f\xa3\xe7\x9a\x84\xe5\x8d\x81\xe5\xad\x97\xe8\xb7\xaf\xe5\x8f\xa3\xe7\x9c\x8b\xe8\xa7\x81\xe7\x83\xa7\xe7\xba\xb8', u'\xe5\xa4\x9c\xe6\xb7\xb1\xe4\xba\x86\xef\xbc\x8c\xe7\x9d\xa1\xe4\xb8\x8d\xe7\x9d\x80\xe7\x9a\x84\xe8\x80\x81\xe9\x93\x81\xe6\x9d\xa5..\xe8\x81\x8a\xe5\x9f\x8e', u'\xe6\x9c\x89\xe5\x8d\x96\xe4\xba\x8c\xe6\x89\x8b\xe8\xbd\xa6\xe7\x9a\x84\xe5\x90\x97', u'\xe7\x99\xbd\xe5\xa4\xa9\xe6\x88\x91\xe6\x98\xaf\xe7\x99\xbd\xe8\xa1\xa3\xe5\xa4\xa9\xe4\xbd\xbf\xef\xbc\x8c\xe6\x99\x9a\xe4\xb8\x8a\xe6\x88\x91\xe6\x98\xaf\xe6\x81\xb6\xe9\xad\x94\xe5\xa4\xa9\xe4\xbd\xbf\xe3\x80\x82', u'\xe8\xbd\xac\xe8\xae\xa9\xe4\xb8\x80\xe5\x8f\xb0\xe5\x90\x89\xe5\x88\xa9\xe9\x87\x91\xe5\x88\x9a   2015\xe5\xb9\xb4\xe6\x96\xb0\xe6\xac\xbe   15\xe5\xb9\xb4\xe4\xb8\x8a\xe7\x89\x8c   \xe4\xbd\xbf', u'\xe8\x81\x8a\xe5\x9f\x8e\xe6\x9c\x89\xe5\x85\xbc\xe8\x81\x8c\xe5\x90\x97\xef\xbc\x8c\xe4\xb8\xba\xe4\xbb\x80\xe4\xb9\x8858\xe4\xb8\x8a\xe9\x83\xbd\xe7\x9c\x8b\xe4\xb8\x8d\xe5\x88\xb0', u'\xe6\x9c\x89\xe6\xb5\x8e\xe5\x8d\x97\xe5\x9b\x9e\xe8\x81\x8a\xe5\x9f\x8e\xe7\x9a\x84\xe8\xbd\xa6\xe5\x90\x97\xef\xbc\x8c\xe8\xbf\x99\xe4\xb8\xaa\xe7\x82\xb9', u'\xe4\xb8\x9c\xe6\x98\x8c\xe5\xad\xa6\xe9\x99\xa2\xe7\x9a\x84\xe6\x9c\x89\xe5\x87\xa0\xe4\xb8\xaa', u'\xe5\x90\x84\xe4\xbd\x8d\xe8\x80\x81\xe5\x93\xa5\xe6\x88\x91\xe7\x8e\xb0\xe5\x9c\xa8\xe9\x83\xbd\xe4\xb8\x8d\xe6\x95\xa2\xe7\x9c\x8b\xe5\xa4\xb4\xe6\x9d\xa1\xe4\xba\x86\xe3\x80\x82\xe8\xa1\x80\xe5\x8e\x8b\xe5\xae\xb9\xe6\x98\x93\xe9\xab\x98\xe3\x80\x82\xe6\x88\x90\xe5\xa4\xa9\xe5\xa5\x97\xe8\xb7\xaf\xe3\x80\x82\xe4\xbb\x8a\xe5\xa4\xa9\xe8\xae\xa9\xe8\xbf\x99', u'\xe6\xaf\x8f\xe5\xa4\xa9\xe5\x8a\xaa\xe5\x8a\x9b\xe4\xb8\x80\xe7\x82\xb9\xe7\x82\xb9\xef\xbc\x8c\xe6\x94\xb6\xe8\x8e\xb7\xe4\xb8\x8d\xe6\xad\xa2\xe4\xb8\x80\xe7\x82\xb9\xe7\x82\xb9', u'\xe8\x81\x8a\xe5\x9f\x8e\xe7\x9a\x84\xe6\x9c\x8b\xe5\x8f\x8b\xe4\xbb\xac\xef\xbc\x8c\xe4\xbd\xa0\xe4\xbb\xac\xe6\x9c\x89\xe6\xb2\xa1\xe6\x9c\x89\xe8\xae\xa4\xe8\xaf\x86\xe8\xbf\x99***\xe5\xa8\x98\xe4\xbb\xac\xe7\x9a\x84\xef\xbc\x8c\xe5\xa5\xb9\xe5\x9c\xa8\xe5\xbe\xae\xe4\xbf\xa1\xe4\xb8\x8a\xe8\xaf\xb4\xe6\x94\xbe\xe6\x89\x8b', u'\xe6\x8b\x9b\xe5\xb7\xa5\xe6\x89\xbe\xe5\xb7\xa5\xe4\xbd\x9c\xe8\xbf\x9b\xe6\x9d\xa5\xe7\x9c\x8b\xe7\x9c\x8b', u'\xe6\x9c\x89\xe5\x8f\x91\xe6\x94\xbe\xe6\x89\x8b\xe5\xb7\xa5\xe6\xb4\xbb\xe5\x8f\xaf\xe4\xbb\xa5\xe5\xb8\xa6\xe5\x9b\x9e\xe5\xae\xb6\xe5\xb9\xb2\xe7\x9a\x84\xe5\x90\x97', u'\xe6\x9c\x89\xe5\x8f\x91\xe6\x94\xbe\xe6\x89\x8b\xe5\xb7\xa5\xe6\xb4\xbb\xe5\x8f\xaf\xe4\xbb\xa5\xe5\xb8\xa6\xe5\x9b\x9e\xe5\xae\xb6\xe5\xb9\xb2\xe7\x9a\x84\xe5\x90\x97', u'\xe8\x81\x8a\xe5\x9f\x8e\xe5\x93\xaa\xe9\x87\x8c\xe6\x9c\x89\xe8\x83\xbd\xe5\x8a\x9e\xe4\xb8\x8d\xe7\x94\xa8\xe5\xae\x9e\xe5\x90\x8d\xe5\x88\xb6\xe7\x9a\x84\xe6\x89\x8b\xe6\x9c\xba\xe5\x8d\xa1\xef\xbc\x8c', u'\xe5\x90\xa7\xe4\xb8\xbb\xe8\xaf\xaf\xe5\x88\xa0\xe3\x80\x82\xe6\xb1\x82\xe4\xb8\xaa\xe8\x8b\xb9\xe6\x9e\x9c\xe6\x89\x8b\xe6\x9c\xba\xe6\x9c\x89\xe7\x9a\x84\xe4\xbb\xa3\xe4\xbb\xb7\xe5\x95\x8a\xef\xbc\x8c\xe9\xbb\x91\xe4\xba\xba\xe5\x8b\xbf\xe6\x89\xb0\xef\xbc\x8c', u'\xe5\xa5\xbd\xe4\xb9\x85\xe4\xb8\x8d\xe8\xa7\x81\xe4\xba\x86\xef\xbc\x81\xe5\x90\xa7\xe5\x8f\x8b\xe4\xbb\xac\xe9\x83\xbd\xe5\xa5\xbd\xe5\x90\xa7\xef\xbc\x81', u'\xe7\xa6\x8f\xe5\x88\xa9\xe7\xac\xac\xe4\xba\x8c\xe5\xbc\xb9\xef\xbc\x8c\xe7\x94\xb7\xe5\xb7\xa6\xe5\xa5\xb3\xe5\x8f\xb3\xe4\xb8\x8a\xe4\xbc\xa0\xe6\x89\x8b\xe9\x83\xa8\xe6\xb8\x85\xe6\x99\xb0\xe7\x85\xa7\xe7\x89\x87\xe3\x80\x82', u'\xe8\xb6\x85\xe5\xa5\xbd\xe5\x90\x83\xef\xbc\x8c\xe4\xbd\xa0\xe7\x9f\xa5\xe9\x81\x93\xe6\x98\xaf\xe4\xbb\x80\xe4\xb9\x88\xe8\x8b\xb9\xe6\x9e\x9c\xe4\xb9\x88', u'\xe6\x9c\x89\xe6\xb2\xa1\xe6\x9c\x89\xe7\x8b\x90\xe8\x87\xad\xe7\x9a\x84\xe6\x9c\x8b\xe5\x8f\x8b\xef\xbc\x8c\xe4\xbd\xa0\xe6\x98\xaf\xe6\x80\x8e\xe4\xb9\x88\xe6\x94\xb9\xe5\x96\x84\xe7\x8b\x90\xe8\x87\xad\xe7\x9a\x84\xe5\x91\xa2\xef\xbc\x9f', u'\xe5\x86\xbb\xe7\x96\xae\xe6\x82\xa3\xe8\x80\x85\xe7\x9a\x84\xe7\xa6\x8f\xe9\x9f\xb3', u'\xe5\x88\xa0\xe6\x88\x91\xe8\xb4\xb4\xe7\x9a\x84\xe6\x9c\x89\xe7\x88\xb9\xe5\x90\x97\xe4\xbd\xa0', u'\xe6\x8a\xa5\xe5\xba\x9f\xe8\xbd\xbf\xe8\xbd\xa6\xe9\x9d\xa2\xe5\x8c\x85\xe8\xb0\x81\xe6\x9c\x89\xe8\x81\x94\xe7\xb3\xbb\xe6\x96\xb9\xe5\xbc\x8f\xe7\x95\x99\xe4\xb8\x8b\xe4\xba\x86', u'\xe5\x86\x9b\xe6\xa3\x89\xe6\x9c\x8d9.5\xe6\x88\x90\xe6\x96\xb0\xe3\x80\x82\xe7\x81\xab\xe7\xae\xad\xe5\x86\x9b\xe9\x80\x80\xe5\xbd\xb9\xe6\x9c\x8d\xe8\xa3\x85', u'\xe5\xaf\xbb\xe6\xb1\x82\xe5\x90\xa7\xe4\xb8\xbb\xe5\x88\xa0\xe5\xb8\x96', u'\xe6\x9c\x89\xe6\xb2\xa1\xe6\x9c\x89\xe6\x83\xb3\xe5\xbc\x80\xe6\x9c\x8d\xe8\xa3\x85\xe5\xba\x97\xe7\x9a\x84 \xe6\x9c\x89\xe6\x9c\x8d\xe8\xa3\x85\xe5\xba\x97\xe8\xbd\xac\xe8\xae\xa9 \xe8\xb0\x81\xe9\x9c\x80\xe8\xa6\x81', u'\xe4\xb8\xaa\xe4\xba\xba\xe6\x94\xb6\xe8\xbe\x8609\xe6\xac\xbe\xe7\x9a\x84\xe5\x8a\xb3\xe6\x81\xa9\xe6\x96\xaf\xe9\x85\xb7\xe6\xb4\xbe', u'\xe5\x88\x86\xe4\xba\xab\xe8\xa7\x86\xe9\xa2\x91', u'\xe8\xa6\x81\xe4\xb9\xb0\xe8\xbd\xa6\xe9\x99\xa9\xe4\xba\x86\xef\xbc\x8c\xe6\x9c\x89\xe4\xbb\x8b\xe7\xbb\x8d\xe7\x9a\x84\xe5\x90\x97', u'\xe9\x99\xaalia\xe4\xb8\x8d\xe8\xa7\x86\xe9\xa2\x91\xef\xbc\x8c\xe5\x8f\xaf\xe8\xaf\xad\xe9\x9f\xb3\xef\xbc\x8c"\xe5\x8f\xaa\xe6\x9c\x89\xe4\xbd\xa0\xe8\x83\xbd\xe5\x90\xac\xe8\xa7\x81\xe6\x88\x91\xe7\x9a\x84\xe5\xa3\xb0\xe9\x9f\xb3\xe5\x8f\xac\xe5\x94\xa4\xe5\xb8\x88!\xe2\x80\x9d\xe4\xbb\xbb\xe6\x80\xa7', u'\xe8\xb0\x81\xe8\xae\xa4\xe8\xaf\x86\xe5\xbc\xa0\xe5\xb0\x8f\xe7\x87\x95\xef\xbc\x8c\xe5\x90\x8e\xe6\x9d\xa5\xe6\x94\xb9\xe5\xbc\xa0\xe5\xa6\x8d\xef\xbc\x8c87\xe5\xb9\xb4\xe7\x9a\x84\xef\xbc\x8c\xe5\x90\x8e\xe6\x9d\xa5\xe5\x8e\xbb\xe5\x8c\x97\xe4\xba\xac\xe4\xb8\xb0\xe5\x8f\xb0\xe5\xb7\xa5\xe4\xbd\x9c\xef\xbc\x8c\xe7\x8e\xb0\xe5\x9c\xa8']

Process finished with exit code 0
新人刚学 勿喷 别打击



所属网站分类: 技术文章 > 博客

作者:iuie9493

链接:https://www.pythonheidong.com/blog/article/97967/feb04d521a7367ab0da9/

来源:python黑洞网

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

17 0
收藏该文
已收藏

评论内容:(最多支持255个字符)