BeautifulSoup请求的html内容之后得到一个空的对象

今天写爬虫的时候,遇到了一个奇怪的问题,请求得到html内容之后,将对象使用Beautiful处理之后,竟然得到了空的内容。

import requests
from bs4 import BeautifulSoup

headers = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36‘,‘Upgrade-Insecure-Requests‘:‘1‘}

url = ‘http://www.zimuku.net/detail/69369.html‘
s = requests.get(url,headers=headers)
html = s.content
soup = BeautifulSoup(html,‘lxml‘)
print soup

最终打印的结果为


<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="utf-8"/>
<meta content="no-transform" http-equiv="Cache-Control"/>
<meta content="IE=edge" http-equiv="X-UA-Compatible"/>
<meta content="width=device-width, initial-scale=1" name="viewport"/>
</head></html>

headers也带了~一直以为是获得html对象的时候出现了问题,但后来在打印出html的时候发现,所获得的内容是正常的。

<!DOCTYPE html>
<html lang="zh-CN">
<head>
<meta charset="utf-8">
<meta http-equiv="Cache-Control" content="no-transform"/>
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1">
<meta name="keywords" content="生活大爆炸 第九季,The Big Bang Theory, 简体中文 繁體中文 English 双语 字幕下载"/>
<meta name="description" content=""/>
<title>生活大爆炸 第九季(第21集--简繁英双语--SSK字幕组)The.Big.Bang.Theory.S09E21.720p.HDTV.X264-DIMENSION[rarbg].zip 简体中文 繁體中文 English 双语 字幕下载 - 字幕库(zimuku.net)</title>
<link href="/images/v2/css/bootstrap.min.css?ver=1224" rel="stylesheet" media="screen" type="text/css"/>
<link href="/images/v2/css/global.css?ver=0414" rel="stylesheet" media="screen" type="text/css"/><link href="/images/v2/css/ajaxlogin.css" rel="stylesheet" media="screen" type="text/css"/>
<script type="text/javascript" src="/images/v2/js/jquery-1.11.3.min.js"></script>
<script type="text/javascript" src="/images/v2/js/bootstrap.min.js"></script>
<script type="text/javascript" src="/images/v2/js/jquery.lazyload.min.js"></script>
<script type="text/javascript" src="/images/v2/js/common.js?03232"></script>
<script type="text/javascript" src="/images/v2/js/ajaxlogin.js"></script>
<script type="text/javascript" src="/images/v2/js/rate.js?ver=1205"></script>
<script type="text/javascript">var subid=69369,old=0;
</script>
<script type="text/javascript">
var _hmt = _hmt || [];
(function() {
  var hm = document.createElement("script");
  hm.src = "//hm.baidu.com/hm.js?ac40dbf364ae6f4f564fa7e28274e286";
  var s = document.getElementsByTagName("script")[0];
  s.parentNode.insertBefore(hm, s);
})();
</script>
</head>
<body>

<div class="navbar navbar-inverse navbar-static-top">
<div class="container">
<div class="navbar-header">
<button class="navbar-toggle collapsed" type="button" data-toggle="collapse" data-target=".navbar-collapse">
<span class="sr-only">Toggle navigation</span>
<span class="icon-bar"></span>
<span class="icon-bar"></span>
<span class="icon-bar"></span>
</button>
<a class="navbar-brand" href="/">字幕库</a>
<div class="navbar-left nb-search">
<form action="/search" method="get" class="navbar-form navbar-right" role="search">
<div class="input-group">
<input type="hidden" name="ad" value="1">
<input type="text" class="form-control" placeholder="请输入关键词" name="q" size="40" value="">
<span class="input-group-btn">
<button type="submit" class="btn btn-default btn-search"></button>
</span>
</div>
</form>
</div>
</div>
<div class="navbar-collapse collapse" role="navigation">
<ul class="nav navbar-nav">
<li><a href="/newsubs?t=mv&ad=1">电影字幕</a></li>
<li><a href="/newsubs?t=tv&ad=1">美剧字幕</a></li>
<li class=""><a href="/hotsubs?">近期热门</a></li>
<li class="prel "><a href="/user/upload">上传字幕<i class="newtip"></i></a></li>
<li><a class="s3 " href="/search?t=onlyst&"><font color="yellow">射手26万字幕</font></a></li>
<li><a class="s3 " href="http://pianyuan.net/" target="_blank"><font color="yellow">片源网</font></a></li>
</ul>
<ul class="nav navbar-nav navbar-right">
<li>
<a href="/User/login.html">登录</a>
</li>
<li>
<a href="/User/register.html">注册</a>
</li>
</ul>
</div>
</div>
</div>

<a name="subinfo"></a>
<div class="container">
<div class="row">
<div class="col-md-12">
<div class="box info clearfix hasmv">
<div class="md_tt prel">
<h1 title="生活大爆炸 第九季(第21集--简繁英双语--SSK字幕组)The.Big.Bang.Theory.S09E21.720p.HDTV.X264-DIMENSION[rarbg].zip">生活大爆炸 第九季(第21集--简繁英双语--SSK字幕组)The.Big.Bang.Theory.S09E21.720p.HDTV.X264-DIMENSION[rarbg].zip</h1>
<h2><a class="gray" href="/subs/37781.html">生活大爆炸 第九季 / The Big Bang Theory (2015)</a></h2>
<div class="md_img   hidden-xs hidden-sm"><a href="/subs/37781.html" class="pic"><img src="//static.zimuku.net/Picture/litpic/2015/22Sep2015131657.jpg" onerror="this.onerror=null;this.src=‘/images/v2/no_litpic.gif‘" width="100px"></a></div> </div>
<div class="detail prel">
<div class="tbhd clearfix">
<ul class="l tb">
<li class="this"><a href="javascript:;"><strong>字幕信息</strong></a></li>
<li><a href="http://movie.douban.com/subject/25845400/" target="_blank" rel="nofollow"><strong>影视信息</strong> <img src="/images/v2/ico_douban.png"/></a></li><li><a href="#moresub"><strong>相关字幕</strong><small style="color:#ff8d33"> (114个)</small></a></li>
</ul>
</div>
<div class="rside hidden-xs hidden-sm">
<ul class="mrec clearfix">
<li><a href="/detail/69395.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="夜莺"><img width="65px" height="96px" alt="夜莺" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2015/17Sep2015225559.jpg"></a></li><li><a href="/detail/69441.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="死侍"><img width="65px" height="96px" alt="死侍" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2015/05Dec2015135215.jpg"></a></li><li><a href="/detail/66527.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="大空头"><img width="65px" height="96px" alt="大空头" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2015/31Dec2015174614.jpg"></a></li><li><a href="/detail/68517.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="遗弃"><img width="65px" height="96px" alt="遗弃" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/23Feb2016101005.jpg"></a></li><li><a href="/detail/68275.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="第五波"><img width="65px" height="96px" alt="第五波" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/24Feb2016231046.jpg"></a></li><li><a href="/detail/68407.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="卧虎藏龙:青冥宝剑"><img width="65px" height="96px" alt="卧虎藏龙:青冥宝剑" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/27Feb2016083206.jpg"></a></li><li><a href="/detail/69302.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="公羊"><img width="65px" height="96px" alt="公羊" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/12Mar2016000801.jpg"></a></li><li><a href="/detail/67245.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="禁忌房间"><img width="65px" height="96px" alt="禁忌房间" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/15Mar2016190326.jpg"></a></li><li><a href="/detail/68447.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="拿起枪的简"><img width="65px" height="96px" alt="拿起枪的简" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/23Mar2016131827.jpg"></a></li><li><a href="/detail/68118.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="全境封锁:特工起源"><img width="65px" height="96px" alt="全境封锁:特工起源" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/23Mar2016235009.jpg"></a></li><li><a href="/detail/68996.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="明月守护者"><img width="65px" height="96px" alt="明月守护者" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/28Mar2016065905.jpg"></a></li><li><a href="/detail/68215.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="倒数追击"><img width="65px" height="96px" alt="倒数追击" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/31Mar2016203844.jpg"></a></li><li><a href="/detail/69205.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="希特勒回来了"><img width="65px" height="96px" alt="希特勒回来了" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/01Apr2016235213.jpg"></a></li><li><a href="/detail/68356.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="索尔之子"><img width="65px" height="96px" alt="索尔之子" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/04Apr2016134621.jpg"></a></li><li><a href="/detail/68865.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="巴斯金"><img width="65px" height="96px" alt="巴斯金" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/07Apr2016173526.jpg"></a></li><li><a href="/detail/68433.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="等着你"><img width="65px" height="96px" alt="等着你" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/08Apr2016192210.jpg"></a></li><li><a href="/detail/68694.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="真命天子"><img width="65px" height="96px" alt="真命天子" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/10Apr2016142401.jpg"></a></li><li><a href="/detail/69219.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="恐怖假日"><img width="65px" height="96px" alt="恐怖假日" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/15Apr2016200951.jpg"></a></li><li><a href="/detail/68941.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="我怒了"><img width="65px" height="96px" alt="我怒了" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/17Apr2016072603.jpg"></a></li><li><a href="/detail/69148.html" class="tooltips" data-toggle="tooltip" data-placement="top" title="鬼乡"><img width="65px" height="96px" alt="鬼乡" src="/images/v2/no_litpic.gif" class="lazy" data-original="//static.zimuku.net/Picture/litpic/2016/21Apr2016211435.jpg"></a></li></ul>
<div style="padding-top:10px;padding-bottom:20px;">
<script type="text/javascript">
    /*300*250 ?????? 2016-03-23*/
    var cpro_id = "u2571964";
</script>
<script src="http://cpro.baidustatic.com/cpro/ui/c.js" type="text/javascript"></script>
</div>
</div>
<div class="lside prel">
<div class="hidden-xs hidden-sm" style="width:300px;height:250px;position:absolute;top:-10px;right:0;z-index:1;">
<script async src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>
<ins class="adsbygoogle" style="display:inline-block;width:300px;height:250px" data-ad-client="ca-pub-7914549499239302" data-ad-slot="3803821385"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>
</div>
<div class="ratescore clearfix"><div id="scinfo" class="l"><b>字幕评分:</b><i class="sum"><b>0</b>.0</i> 分(0人评价) </div>
<div class="goods-comm-stars l"><div id="rate-sub" class="rate-comm l"></div></div>
</div>
<ul class="subinfo clearfix">
<li class="li"><b>字幕语言:</b><img border="0" src="/images/v2/flag/china.gif" alt="简体中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="简体中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/hongkong.gif" alt="繁體中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="繁體中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/uk.gif" alt="English" class="tooltips" data-toggle="tooltip" data-placement="top" title="English" style="padding-right: 2px"><img border="0" src="/images/v2/flag/jollyroger.gif" alt="双语" class="tooltips" data-toggle="tooltip" data-placement="top" title="双语" style="padding-right: 2px"></li>
<li class="li"><b>字幕格式:</b><span class="label label-info">SRT</span>&nbsp;<span class="label label-info">ASS</span>&nbsp;</li>
<li class="li"><b>下载次数:</b>54</li>
<li class="li"><b>制&nbsp;&nbsp;作&nbsp;&nbsp;人:</b>见字幕文件</li>
<li class="li"><b>校&nbsp;&nbsp;订&nbsp;&nbsp;人:</b>见字幕文件</li>
<li class="li"><b>字幕来源:</b><a href="/t/J4Fs0"><span class="label label-danger">SSK字幕组</span></a>
</li>
<li class="li"><b>上传时间:</b>2016-04-25 20:51 By: <a href="/u/A3nXJTas0"><img class="img-circle" width="20px" src="//static.zimuku.net/Avatar/nX/A3nXJTas0_small.jpg?1461847381" onerror="this.onerror=null;this.src=‘/images/v2/userface.png‘"/><font class="text-info">西部马仔</font></a></li>
<li class="li clearfix"><b style="float: left;line-height: 36px;">分&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;享:</b><span class="bdsharebuttonbox"><a href="#" class="bds_qzone" data-cmd="qzone" title="分享到QQ空间"></a><a href="#" class="bds_tsina" data-cmd="tsina" title="分享到新浪微博"></a><a href="#" class="bds_tqq" data-cmd="tqq" title="分享到腾讯微博"></a><a href="#" class="bds_renren" data-cmd="renren" title="分享到人人网"></a><a href="#" class="bds_weixin" data-cmd="weixin" title="分享到微信"></a></span>
<script>window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":"2","bdMiniList":false,"bdPic":"","bdStyle":"1","bdSize":"24"},"share":{}};with(document)0[(getElementsByTagName(‘head‘)[0]||body).appendChild(createElement(‘script‘)).src=‘http://bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion=‘+~(-new Date()/36e5)];</script></li>
<li class="li" style="height:auto;padding:10px;margin-top:10px;background:#eee;">
<script async src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script>

<ins class="adsbygoogle" style="display:block" data-ad-client="ca-pub-7914549499239302" data-ad-slot="2959898945" data-ad-format="auto"></ins>
<script>
(adsbygoogle = window.adsbygoogle || []).push({});
</script>
</li>
<li class="li dlsub">
<a href="/download/NjkzNjl8Yzk3MGRhNjc3NDU0ZGZiNDNmOWNjNDZhfDE0NjE4NDczODF8MDIzOGY4N2M%3D"><span class="dl">下载字幕 | <small>74.32KB</small></span></a><a href="http://pianyuan.net/search?q=%E7%94%9F%E6%B4%BB%E5%A4%A7%E7%88%86%E7%82%B8+%E7%AC%AC%E4%B9%9D%E5%AD%A3&frm=zmk" target="_blank"><span class="fp">找片源</span></a>
<span><font color="#ca6445">所有从字幕库下载字幕的人均需同意:</font><br/><font color="#ca6445">仅作为个人学习、研究,不得用于商业用途</font><br/><font color="#ca6445">任何情况均不得去掉字幕文件相关制作人信息,请尊重他人劳动成果</font></span>
</li>
</ul>
<a name="moresub"></a>
<div class="tbhd clearfix">
<ul class="l tb" style="padding-left:0;">
<li><a href="#subinfo"><strong>字幕信息</strong></a></li>
<li><a href="http://movie.douban.com/subject/25845400/" target="_blank" rel="nofollow"><strong>影视信息</strong> <img src="/images/v2/ico_douban.png"/></a></li><li class="this"><a href="javascript:;"><strong>相关字幕</strong><small style="color:#ff8d33"> (114个)</small></a></li>
</ul>
</div>
<table class="table tborder">
<thead>
<tr>
<th class="first">字幕</th>
<th class="tac">质量</th>
<th class="tac">下载</th>
</tr>
</thead>
<tbody>
<tr class="odd">
<td class="first">
<a href="/detail/69269.html" target="_blank" title="生活大爆炸 第九季(第21集--简繁英--伊甸园字幕组)the.big.bang.theory.921.hdtv-lol.rar"><b>生活大爆炸 第九季(第21集--简繁英--伊甸园字幕组)the.big.bang.theory.921.hdtv-lol.rar</b></a>
<span class="label label-info">SRT</span>&nbsp;<br>
<img border="0" src="/images/v2/flag/china.gif" alt="简体中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="简体中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/hongkong.gif" alt="繁體中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="繁體中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/uk.gif" alt="English" class="tooltips" data-toggle="tooltip" data-placement="top" title="English" style="padding-right: 2px"></td>
<td class="tac"><i class="rating-star allstar00 tooltips" data-toggle="tooltip" data-placement="top" title="字幕质量:0分"></i></td>
<td class="tac last">48</td>
</tr><tr class="even">
<td class="first">
<a href="/detail/69256.html" target="_blank" title="生活大爆炸 第九季(第21集Web版--简繁英双语字幕)The.Big.Bang.Theory.S09E21.The.Viewing.Party.Combustion.720p&amp;1080p.WEB-DL.DD5.1.H.264-VietHD.rar"><b>生活大爆炸 第九季(第21集Web版--简繁英双语字幕)The.Big.Bang.Theory.S09E21.The.Viewing.Party.Combustion.720p&amp;1080p.WEB-DL.DD5.1.H.264-VietHD.rar</b></a>
<span class="label label-info">SRT</span>&nbsp;<span class="label label-info">ASS</span>&nbsp;<br>
<img border="0" src="/images/v2/flag/china.gif" alt="简体中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="简体中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/hongkong.gif" alt="繁體中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="繁體中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/uk.gif" alt="English" class="tooltips" data-toggle="tooltip" data-placement="top" title="English" style="padding-right: 2px"><img border="0" src="/images/v2/flag/jollyroger.gif" alt="双语" class="tooltips" data-toggle="tooltip" data-placement="top" title="双语" style="padding-right: 2px"></td>
<td class="tac"><i class="rating-star allstar00 tooltips" data-toggle="tooltip" data-placement="top" title="字幕质量:0分"></i></td>
<td class="tac last">67</td>
</tr><tr class="odd">
<td class="first">
<a href="/detail/69164.html" target="_blank" title="生活大爆炸 第九季(第21集--简繁英双语--yyets字幕组)The.Big.Bang.Theory.S09E21.720p.HDTV.X264-DIMENSION.zip"><b>生活大爆炸 第九季(第21集--简繁英双语--yyets字幕组)The.Big.Bang.Theory.S09E21.720p.HDTV.X264-DIMENSION.zip</b></a>
<span class="label label-info">SRT</span>&nbsp;<span class="label label-info">ASS</span>&nbsp;<br>
<img border="0" src="/images/v2/flag/china.gif" alt="简体中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="简体中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/hongkong.gif" alt="繁體中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="繁體中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/uk.gif" alt="English" class="tooltips" data-toggle="tooltip" data-placement="top" title="English" style="padding-right: 2px"><img border="0" src="/images/v2/flag/jollyroger.gif" alt="双语" class="tooltips" data-toggle="tooltip" data-placement="top" title="双语" style="padding-right: 2px"></td>
<td class="tac"><i class="rating-star allstar50 tooltips" data-toggle="tooltip" data-placement="top" title="字幕质量:10分"></i></td>
<td class="tac last">1180</td>
</tr><tr class="even">
<td class="first">
<a href="/detail/69167.html" target="_blank" title="生活大爆炸 第九季(第21集--简繁英双语--圣城家园SCG字幕组)the.big.bang.theory.921.hdtv-lol.rar"><b>生活大爆炸 第九季(第21集--简繁英双语--圣城家园SCG字幕组)the.big.bang.theory.921.hdtv-lol.rar</b></a>
<span class="label label-info">SRT</span>&nbsp;<br>
<img border="0" src="/images/v2/flag/china.gif" alt="简体中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="简体中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/hongkong.gif" alt="繁體中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="繁體中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/uk.gif" alt="English" class="tooltips" data-toggle="tooltip" data-placement="top" title="English" style="padding-right: 2px"><img border="0" src="/images/v2/flag/jollyroger.gif" alt="双语" class="tooltips" data-toggle="tooltip" data-placement="top" title="双语" style="padding-right: 2px"></td>
<td class="tac"><i class="rating-star allstar50 tooltips" data-toggle="tooltip" data-placement="top" title="字幕质量:10分"></i></td>
<td class="tac last">157</td>
</tr><tr class="odd">
<td class="first">
<a href="/detail/68654.html" target="_blank" title="生活大爆炸 第九季(第20集Web版--简繁英双语字幕)The.Big.Bang.Theory.S09E20.The.Big.Bear.Precipitation.1080p.WEB-DL.DD5.1.H.264-VietHD.rar"><b>生活大爆炸 第九季(第20集Web版--简繁英双语字幕)The.Big.Bang.Theory.S09E20.The.Big.Bear.Precipitation.1080p.WEB-DL.DD5.1.H.264-VietHD.rar</b></a>
<span class="label label-info">SRT</span>&nbsp;<span class="label label-info">ASS</span>&nbsp;<br>
<img border="0" src="/images/v2/flag/china.gif" alt="简体中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="简体中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/hongkong.gif" alt="繁體中文" class="tooltips" data-toggle="tooltip" data-placement="top" title="繁體中文" style="padding-right: 2px"><img border="0" src="/images/v2/flag/uk.gif" alt="English" class="tooltips" data-toggle="tooltip" data-placement="top" title="English" style="padding-right: 2px"><img border="0" src="/images/v2/flag/jollyroger.gif" alt="双语" class="tooltips" data-toggle="tooltip" data-placement="top" title="双语" style="padding-right: 2px"></td>
<td class="tac"><i class="rating-star allstar00 tooltips" data-toggle="tooltip" data-placement="top" title="字幕质量:0分"></i></td>
<td class="tac last">111</td>
</tr><tr><td colspan=3 class="tac"><a href="/subs/37781.html"><span class="label label-danger">还有109个字幕,点击查看</span></a></td></tr></tbody>
</table>
<div style="height:auto;padding:10px;background:#eee;">
<script type="text/javascript">
    /*760*90 创建于 2015-03-13*/
    var cpro_id = "u1987335";
</script>
<script src="http://cpro.baidustatic.com/cpro/ui/c.js" type="text/javascript"></script>
</div>
</div>
</div>
</div>
</div>
</div>

<div class="modal fade" id="myModal" tabindex="-1" role="dialog" aria-labelledby="myModalLabel" aria-hidden="true">
<div class="modal-dialog">
<div class="modal-content">
<div class="modal-header">
<button type="button" class="close" data-dismiss="modal" aria-hidden="true">
&times;
</button>
<h4 class="modal-title" id="myModalLabel">
请先登录再进行下一步操作
</h4>
</div>
<div class="modal-body">
数据加载中<img src="/images/v2/loading.gif" style="vertical-align:middle">
</div>
</div>
</div>
</div>
</div>

<footer class="footer">
<div class="container">
<div class="row">
<div class="col-sm-8 col-lg-8 text-left text-warning">
申明:1、本站所有字幕均搜集自互联网,或由网友制作上传。仅作为个人学习、研究之用。
<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2、本站不会对字幕做丝毫更改,严格保证字幕相关利益人权益</p>
</div>
<div class="col-sm-4  col-lg-4 text-right"><a href="http://www.zimuku.net" target="_blank">字幕库:字幕下载网站</a></strong>
<br/>
email:zimukunet#hotmail.com(#[email protected])
<br/>
字幕库正式启用简短易记备用域名:<a href="http://zmk.tw">zmk.tw</a>
</div>
</div>
</div>
</footer>
<script type="text/javascript" src="https://zz.bdstatic.com/zzdashang/js/bd-zz-reward.js"></script>
<script type="text/javascript">
        document.write(‘<a style="display:none!important" id="tanx-a-mm_99784802_7950121_31838450"></a>‘);
        tanx_s = document.createElement("script");
        tanx_s.type = "text/javascript";
        tanx_s.charset = "gbk";
        tanx_s.id = "tanx-s-mm_99784802_7950121_31838450";
        tanx_s.async = true;
        tanx_s.src = "http://p.tanx.com/ex?i=mm_99784802_7950121_31838450";
        tanx_h = document.getElementsByTagName("head")[0];
        if(tanx_h)tanx_h.insertBefore(tanx_s,tanx_h.firstChild);
</script>

</body>
</html>

看来只有是用BeautifulSoup对html的内容进行解析的时候出现了问题。在知乎上面看到了有人出现了一个比较类似的问题

为什么python beautifulsoup解析网页后网页内容丢失?

尝试了一下@垃圾袋可的答案,更换了解析器,之后果然有了内容~

import requests
from bs4 import BeautifulSoup

headers = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36‘,‘Upgrade-Insecure-Requests‘:‘1‘}

url = ‘http://www.zimuku.net/detail/69369.html‘
s = requests.get(url,headers=headers)
html = s.content
soup = BeautifulSoup(html,‘html.parser‘)
print soup

但同时,在解析的过程中出现了:

WARNING:root:Some characters could not be decoded, and were replaced with REPLACEMENT CHARACTER.

一部分字符不能被正确解码~~

这是为嘛?网页编码使用的是UTF-8啊??为毛会出现无法解码?

后面又尝试了修改代码~将s.content 更换为s.text,竟然神奇般的通过了~~

import requests
from bs4 import BeautifulSoup

headers = {‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36‘,‘Upgrade-Insecure-Requests‘:‘1‘}

url = ‘http://www.zimuku.net/detail/69369.html‘
s = requests.get(url,headers=headers)
html = s.text
soup = BeautifulSoup(html,‘lxml‘)
print soup

没有任何WARNING,至于为什么会这样~带我回头去看看文档~~这里先记录一下~



昨天查了一下requests模块中r.text以及r.content的用法,二者的差别在于前者返回的对象为Unicode类型,后者返回的对象为byte类型。分别使用text以及content这两个属性获取html文档的内容:

html_text = s.text
html_content = s.content
print type(html_text)
print type(html_content)

结果:
<type ‘unicode‘>
<type ‘str‘>

BeautifulSoup解析不出来很有可能是编码的问题,随后在网上看到了一篇博客,介绍Unicode与str的差别:

Python中的str与unicode处理方法

里面也有涉及到这个问题。

同时使用了Ubuntu进行了同样的操作,s.content的内容可以被BeautifulSoup解析,但是中文全都是乱码。

问题已经初步确定是字符串解码的问题了~


时间: 2024-10-29 19:06:42

BeautifulSoup请求的html内容之后得到一个空的对象的相关文章

怎么将对象里面部分的属性放到一个空的对象里面去

var obj={ name:'jack', age:18, sex:'male' } var {name,age}=obj var obj2={name,age} console.log(obj2) //{name: "jack", age: 18} 这是es6的用法 原文地址:https://www.cnblogs.com/antyhouse/p/10006618.html

jquery的http请求对响应内容的处理

写在前面:在学习XMLHttpRequest对象时碰到的一个问题,发现jquery的http请求会自动处理响应内容,变为开发者想要的数据,下面来看看吧: 实验案例: var xhr=new XMLHttpRequest(); xhr.onreadystatechange=function(e){ console.log(e); if(xhr.readyState==4 && xhr.status==200){ console.log(xhr); console.log(xhr.respon

php请求远程url内容方法

php请求远程url内容有两个方法fopen/file_get_contents和curl. 1,fopen/file_get_contents与curl的差异 (1)fopen /file_get_contents 每次请求都会重新做DNS查询,并不对DNS信息进行缓存.但是CURL会自动对DNS信息进行缓存.对同一域名下的网页或者图片的请求只需要一次DNS查询.这大大减少了DNS查询的次数.所以CURL的性能比fopen /file_get_contents 好很多.(2)fopen /fi

iOS 自动处理 Http 请求的应答内容字符编码

iOS 请求 URL 返回内容的字符集编码处理自适应 太阳火神的美丽人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保持一致"创作公用协议 转载请保留此句:太阳火神的美丽人生 -  本博客专注于 敏捷开发及移动和物联设备研究:iOS.Android.Html5.Arduino.pcDuino,否则,出自本博客的文章拒绝转载或再转载,谢谢合作. 我们来看一下如何访问 "web service",暂时先不考虑安全链接问

ASP.NET Web API 记录请求响应数据到日志的一个方法

原文:http://blog.bossma.cn/dotnet/asp-net-web-api-log-request-response/ ASP.NET Web API 记录请求响应数据到日志的一个方法 REST风格的服务架构已经成为越来越多人的选择,之前我用过WCF来实现REST服务,WCF是一个很强大的框架,干这点小事有点太沉重的感觉.后来微软又推出了一个ASP.NET Web API,专门用来处理一些基本的Http服务,即灵活又简单,推荐大家都看看. 今天这篇文章是使用ASP.NET W

编写函数,以读模式打开一个文件,将其内容读入到一个string的vector中,将每一行作为一个对立的元素存于vector中

#include<iostream> #include<string> #include<vector> #include<fstream> using namespace std; int main(int argc,char *argv[]) { ifstream input(argv[1]); vector<string> vec; string tmp; while(getline(input,tmp)) { vec.push_back(

dos移动一个文件内的所有内容到另一个文件

1)移动一个文件内的所有内容到另一个文件(不包含该目录) 比如:把文件夹1 里面的所有文件(包含子目录)全部移动到与1同级目录的文件夹2中: cd 1 for /f "tokens=* delims= " %a in ('dir /a /b') do (move %a ..\2)

asp.net 开发问题:Web 服务器上的请求筛选被配置为拒绝该请求,因为内容长度超过配置的值。

"Web 服务器上的请求筛选被配置为拒绝该请求,因为内容长度超过配置的值." 这个问题在开发需要上传文件的时候可能会遇到,今天遇到这个问题,百度过也有挺多的修改方法. 方法1: 修改IIS的applicationhost.config文件位置: %windir%/system32/inetsrv/config/applicationhost.config                    或                   %windir%\system32\inetsrv\c

C# 复制一个Word文档的部分或全部内容到另一个Word文档

C# 复制一个Word文档的部分或全部内容到另一个Word文档 我最近喜欢折腾Office软件相关的东西,想把很多Office软件提供的功能用.NET来实现,如果后期能把它用来开发一点我自己的小应用程序那就更好了. 扯远了,回到正题.复制文档内容这个功能太常见啦,在微软Word中实现这个功能很简单,只需要复制和粘贴就行了.这篇文章的主要目的是记录如何用C#来实现复制一个Word文档的部分或全部内容到另一个word文档,废话不多说,下面开始. 第一部分:复制部分内容: 在我的这个示例中,复制部分内