Python3.x：BeautifulSoup()解析网页内容出现乱码

问题：

start_html = requests.get(all_url, headers=Hostreferer)
BeautifulSoup(start_html.text, "html.parser")

　出现乱码；　

解决方案：

　将BeautifulSoup(start_html.text, "html.parser")替换为BeautifulSoup(start_html.content, "html.parser")，即可；

start_html = requests.get(all_url, headers=Hostreferer)
BeautifulSoup(start_html.content, "html.parser")

原文地址：https://www.cnblogs.com/lizm166/p/8284131.html

时间： 2024-11-06 03:55:33

Python3.x：BeautifulSoup()解析网页内容出现乱码的相关文章

Python3.x的BeautifulSoup解析html常用函数

Python3.x的BeautifulSoup解析html常用函数 1,初始化: soup = BeautifulSoup(html) # html为html源代码字符串,type(html) == str 2,用tag获取相应代码块的剖析树: #当用tag作为搜索条件时,我们获取的包含这个tag块的剖析树: #<tag><xxx>ooo</xxx></tag> #这里获取head这个块 head = soup.find('head') # or # hea

python3用BeautifulSoup抓取id='xiaodeng',且正则包含‘elsie’的标签

# -*- coding:utf-8 -*- #python 2.7 #XiaoDeng #http://tieba.baidu.com/p/2460150866 #使用多个指定名字的参数可以同时过滤tag的多个属性 from bs4 import BeautifulSoup import urllib.request import re #如果是网址,可以用这个办法来读取网页 #html_doc = "http://tieba.baidu.com/p/2460150866" #req

Asp 使用 Microsoft.XMLHTTP 抓取网页内容(没用乱码)，并过滤需要的内容

Asp 使用 Microsoft.XMLHTTP 抓取网页内容,并过滤需要的内容 Asp 使用 Microsoft.XMLHTTP 抓取网页内容无乱码处理,并过滤需要的内容示例源码: <% Dim xmlUrl,http,strHTML,strBody xmlUrl = Request.QueryString("u") REM 异步读取XML源 Set http = server.CreateObject("Microsoft.XMLHTTP") http.

Python3.X BeautifulSoup([your markup], "lxml") markup_type=markup_type))的解决方案

1 random.seed(datetime.datetime.now()) 2 def getLinks(articleUrl): 3 html = urlopen("http://en.wikipedia.org"+articleUrl) 4 bsOdj = BeautifulSoup(html) 5 return bsOdj.find("div",{"id":"bodyContent"}).findAll("a

Python3中BeautifulSoup的使用方法

BeautifulSoup的使用我们学习了正则表达式的相关用法,但是一旦正则写的有问题,可能得到的就不是我们想要的结果了,而且对于一个网页来说,都有一定的特殊的结构和层级关系,而且很多标签都有id或class来对作区分,所以我们借助于它们的结构和属性来提取不也是可以的吗? 所以,这一节我们就介绍一个强大的解析工具,叫做BeautiSoup,它就是借助网页的结构和属性等特性来解析网页的工具,有了它我们不用再去写一些复杂的正则,只需要简单的几条语句就可以完成网页中某个元素的提取. 废话不多说,接下

Python3安装BeautifulSoup

原料:python3或者以上 BeautifulSoup4以上 1.在DOS窗口输入: python f:\python36\beautifulsoup4-4.5.1\setup.py install 说明BeautifulSoup暂时安装成功. 运行提示bs支持python2不支持python3,需要用命令2to3 -w bs4将bs4转换成python3支持的 2:关键步骤: 将beautifulsoup4-4.5.1下的bs4文件夹剪切到python下的Lib目录执行:2to3 -w b

python 使用 BeautifulSoup 解析html

下载地址:http://www.crummy.com/software/BeautifulSoup/bs4/download/4.3/beautifulsoup4-4.3.2.tar.gz 说明:这个版本使用python 2.7比较好. install: 解压缩,然后运行python setup.py install linux系统还可以:sudo apt-get install Python-bs4 官方文档: http://www.crummy.com/software/BeautifulS

python3 使用matplotlib画图出现中文乱码的情况

python3使用matplotlib画图,因python3默认使用中unicode编码,所以在写代码时不再需要写 plt.xlabel(u'人数'),而是直接写plt.xlabel('人数'). 注意: 在有中文的地方加上中文相关的字体,不然会因为没有字体显示成放框,因为默认的使用的字体里没有中文的,使用例子如下: # -*- coding: utf-8 -*- import pandas as pd import numpy as np from pandas import Series,D

BeautifulSoup解决中文网页乱码

以下代码,在执行结果中的中文出现乱码. from bs4 import BeautifulSoup import urllib2 request = urllib2.Request('http://www.163.com') response = urllib2.urlopen(request) html_doc = response.read() soup = BeautifulSoup(html_doc) print soup.find_all('a') 因为中文页面编码是gb2312,gb