python xpath 获取指定页面中指定区域的html代码

  最近一个朋友问我怎么把一个指定区域的内容转成pdf,网上查了一下python里面有个wkhtmltopdf模块可以将str、file、url转成pdf,我们今天不聊怎么转PDF,聊聊怎么获取页面中指定区域的html源码。用到的模块是lxml和requests这两个模块,没有装的小伙伴可以装一下 pip install  lxml requests

主要思想是利用xpath获取到指定区域的Element对象,然后再将Element对象传给etree.tostring(),即可得到指定区域的html代码,看一下需求:

    1、我们要得到 http://www.w3school.com.cn/   w3c首页中的这个位置的html代码:

      

        看一下页面源码是这样的

         

   2、下面开始编码:           

1 from lxml import etree
2 import requests
3
4 res=requests.get(‘http://www.w3school.com.cn/‘)
5 tree=etree.HTML(res.content)
6 div=tree.xpath(‘//div[@id="d1"]‘)[0]
7 div_str=etree.tostring(div,encoding=‘utf-8‘)
8 print div_str

3、结果如下:

    

4、成功获取到了指定区域的html代码。

  

原文地址:https://www.cnblogs.com/just-do/p/9778941.html

时间: 2024-10-11 08:47:39

python xpath 获取指定页面中指定区域的html代码的相关文章

js获取一个字符串中指定字符串第n次出现的位置

1.JS获取一个字符串中指定字符串第n次出现的位置 了解类似的获取字符位置的方法: 1.1 charAt() 获取字符串指定位置的字符 用法:strObj是字符串对象,index是指定的位置,(位置从0开始数) strObj.charAt(index) 1.2 indexOf() 方法可返回某个指定的字符串值在字符串中首次出现的位置 用法:stringObject是字符串对象,searchvalue是指定的字符串值,fromindex(可有可无)指定开始匹配字符串值的位置,若无,表示从0位置开始

使用python+xpath获取下载链接

使用python+xpath 获取https://pypi.python.org/pypi/lxml/2.3/的下载链接: 使用requests获取html后,分析html中的标签发现所需要的链接在<table class="list" >...</table> 中 然后分别获却<tr class="odd"> 和<tr class="even">中的内容 ,使用xpath时可以写成xpath('/

使用JavaScript设置、获取父子页面中的值

一:获取父页面中的值 有二种方法windows.open()和windows.showModalDialog() 1.windos.open(URL,name,reatures,replace) 再父页面中 fatherPage.aspx <script type="text/javascript"> function a(){ windows.open("sonPage.aspx") } </script> 在子页面(sonPage.asp

JS获取jsp页面中的参数

有如下代码: //java代码 [html] view plain copy <%String parm="hello word"%> [html] view plain copy //html代码 <input type="hidden" id="test" value="<%=parm%>"> //js代码 <script type="text/javascript&qu

在浏览器中使用jquery取得iframe中页面中指定元素的值的不同

自己使用aspx页面中嵌套了ascx的页面其中使用了iframe的一些内容,出现了同一个页面的两种取值的方式 1. 在iframe的包含页面,需要使用iframe的页面中的元素,是需要使用$(window.frames["yourframename"].document).find("#yourelementid")的形式,这个是在调试页面的时候在ie和chrome的开发者工具试过的. 2. 在ascx页面写的时候,和ascx的包含页面(iframe包含的是ascx

ajax中向页面中指定位置添加信息

$.ajax({  type : "POST",  beforeSend : function() {   showLoader("数据加载中...");// 展示等待效果  },  complete : function() {   //与后台通讯(查询是否存在有效保单)    getComPlugin(successCallback,"com.sinosoft.hna.lpcx.LPSQJYSrarch",'searchSQJY',dates

Halcon学习之六:获取Image图像中Region区域的特征参数

area_center_gray ( Regions, Image : : : Area, Row, Column )    计算Image图像中Region区域的面积Area和重心(Row,Column). cooc_feature_image ( Regions, Image : : LdGray, Direction : Energy,Correlation, Homogeneity, Contrast )   计算共生矩阵和推导出灰度特征值 Direction:灰度共生矩阵计算的方向  

c#获取文件夹中指定类型的文件

//第一种方法 var files = Directory.GetFiles(path, "*.txt"); foreach (var file in files) Console.WriteLine(file); //第二种方法 DirectoryInfo folder = new DirectoryInfo(path); foreach (FileInfo file in folder.GetFiles("*.txt")) { Console.WriteLine

python实现获取文件列表中每个文件出现频率最高的词汇

功能描述: 获取某个路径下的所有文件,提取出每个文件中出现频率最高的前300个字.保存在数据库当中. 前提,你需要配置好nltk #!/usr/bin/python #coding=utf-8 ''' function : This script will create a database named mydb then abstract keywords of files of privacy police. author : Chicho date : 2014/7/28 running