Invoke-WebRequest Invoke-RestMethod 乱码研究

　　powershell Invoke-WebRequest Invoke-RestMethod 乱码 encoding sharset CharacterSet

原创，世界唯一，说明了Invoke-WebRequest Invoke-RestMethod 乱码的原因，给出了解决方案。

powershell 传教士 原创文章 2016-05-01 允许转载，但必须保留名字和出处，否则追究法律责任

------------【第一章 编码知识点】-----------------

编码类型，和编码值，是不可分割的一对。所有乱码的产生，是由于只知道编码值，而不知道编码类型！ 如：

编码值【70 00 73 00 20 4F 59 65 EB 58】 和 编码类型【utf16】 结合起来，才知道，上述内容是【ps传教士】。

这也是微软发明，在文本中使用【bom头】的原因。

我以前遇到的某些烂人，怪人。他们很讨厌，微软使用的文本【bom头】，非要不用。非要用某些野路子的奇技淫巧猜测编码。 那么将导致:

1）必然有一定的猜错几率。此乃故意给自己乱码吃。

2）某些文档，如html，可能是多种编码组合的。或许在【<>】中就使用了单独的charset编码。在这种单文件多编码情况下，猜错几率更多。

3）不用【bom头】的.py文档，必然要用 coding：之类的。它们是同一种东西，都是编码类型的标识。

有能耐你别用【bom头】，也别用【coding】，纯猜！脚本编码未知，解析中文注释报错，导致的运行不了 活该！ 宁可py脚本不能运行，也别用【bom头】和【coding】

【bom头】只解决了，纯文本文件的乱码。传输字符串的时候，也必须跟着编码类型。一旦编码类型丢失或未知，将产生乱码。

--------------------【第二章 序】--------------------

　　（PowerShell中的）两只爬虫，两只爬虫，跑地快，爬网页不赖~~~

一只基于com版的ie，一只基于.net中的WebRequest类，都是老奶奶，不奇怪 。。。

虽然很老了，但爬的也很快 。。。

　　如果你的系统是win8，或者win8以上，或者win7安装了powershell 4.0，5.0，那么 powershell中自带了这样的两个命令，【Invoke-WebRequest】和【Invoke-RestMethod】。 第一个命令返回的是对象，第二个返回的是（整个网页）字符串。

　　这两个命令有时候会返回乱码，很长一段时间，我认为，是这个命令有解码bug，但后来发现，把结果用其自带的-outfile参数输出到文件之后，编码是正确的。 也就是说，其实是我们不知道怎么解码。只能用写入磁盘的慢方法。

　　后来我看了博客园友【昵称：老马说编程】的这两篇帖子，琢磨出来的，感谢他！ 也请大家先看看这两篇乱码修复类文章。

http://www.cnblogs.com/swiftma/p/5420145.html

http://www.cnblogs.com/swiftma/p/5430007.html

------------【第三章 正文】-----------------

乱码命令版本：

所有版本的powershell。

乱码原因：大概90%以上都是这种问题。

网页编码为utf8，但是接收到编码后，把网页源码，编码类型认错误了，或者说丢失了。 把utf8编码网页源码，错误地认为是iso8859-1编码类型的编码，把此utf8再次转换成了utf8，然后给我们呈现了。

bug重现powershell命令：

Invoke-WebRequest -Uri ‘http://www.msn.com‘ # return chinese messy code 

(Invoke-WebRequest -Uri ‘http://www.msn.com‘).BaseResponse.CharacterSet  # utf8 web page,but return ISO-8859-1

Invoke-RestMethod -Uri ‘http://www.msn.com‘

修复办法： 对上述编码进行逆转换。

bug修复powershell命令：

$utf8 = [System.Text.Encoding]::GetEncoding(65001)
$iso88591 = [System.Text.Encoding]::GetEncoding(28591) #ISO 8859-1 ,Latin-1

$wrong_string = Invoke-RestMethod -Uri ‘http://www.msn.com‘
$wrong_bytes = $utf8.GetBytes($wrong_string)

$right_bytes = [System.Text.Encoding]::Convert($utf8,$iso88591,$wrong_bytes) #仔细看这里
$right_string = $utf8.GetString($right_bytes)  #仔细看这里
write-host $right_string

结论：

原来，我片面地认为，这有可能和linux的http服务器有关，但后来发现， http://www.msn.com 是iis网站，微软官方网址，这个网址也有此乱码现象， 最后才确定了这是Invoke-WebRequest Invoke-RestMethod，这两个命令的bug。 遂给微软提交bug，这个乱码最终的消除，还是要靠微软。

欢迎去顶这个bug：

https://windowsserver.uservoice.com/forums/301869-powershell/suggestions/13685217-invoke-restmethod-and-invoke-webrequest-encoding-b

问：在这个bug没修复之前，如何用powershell爬数据？

答：请看我这篇文章：  转帖不会乱码的，powershell网络蜘蛛  http://www.cnblogs.com/piapia/p/5093201.html

------------【第四章 后记：分析 列举 网页常用编码类型】-----------------

wincodepage  名称

936      gbk

54936     gb18030

GB18030使用变长编码，有的字符是两个字节，有的是四个字节。 在两字节编码中，字节表示范围与GBK一样。在四字节编码中，第一个字节的值从0x81到0xFE，第二个字节的值从0x30到0x39，第三个字节的值从0x81到0xFE，第四个字节的值从0x30到0x39。 解析二进制时，如何知道是两个字节还是四个字节表示一个字符呢？看第二个字节的范围，如果是0x30到0x39就是四个字节表示，因为两个字节编码中第二字节都比这个大。

932      japanese

949      korean

950      big5

20127     us-ascii us 7bit

1252     ISO-8859-1

28591     ISO 8859-1 又称Latin-1

1200     utf-16

1201     utf-16 Big-Endian

12000         utf-32

12001         utf-32 Big-Endian

65001     utf-8

gb2312，gbk，gb18030，之间是兼容的。由于网页中都是简单中文，所以可以把它们看作是同一种编码。    所以常用（网页！）编码只有，gbk，big5，utf8，ISO 8859-1，1252， 所以常用（文本！）编码只有，gbk，big5，utf8，ISO 8859-1，1252，utf16le，

摘自：    https://msdn.microsoft.com/zh-cn/library/system.text.encodinginfo.codepage.aspx

------------【第五章 相关问题】-----------------

问：如何获取网页编码？

答：    下载网页，并查找网页中的charset关键字。

powershell代码：
$网址 = ‘http://www.baidu.com‘
$网页编码字串 = (Invoke-RestMethod -Uri $网址 ) -split ‘>‘ | select-string "Content-Type.*charset"
#如这个百度网页，有些网页没有 "`n" 换行符

问：【Invoke-WebRequest】和【Invoke-RestMethod】如何获取网页编码？

答：

这个获取方法是不可靠的，有些是错误的。powershell传教士注

(Invoke-WebRequest -Uri www.baidu.com ).BaseResponse.CharacterSet
#返回 utf-8

(Invoke-WebRequest -Uri news.qq.com ).BaseResponse.CharacterSet
#返回 GB2312

(Invoke-WebRequest -Uri http://www.nmc.cn ).Headers.‘content-type‘ #text/html

(Invoke-WebRequest -Uri http://www.nmc.cn ).BaseResponse.CharacterSet
#ISO-8859-1

(Invoke-WebRequest -Uri http://www.scielo.br).BaseResponse.CharacterSet

问：如何给网页传值？

答：

$text = ‘要发送的内容‘
$postData = [System.Text.Encoding]::UTF8.GetBytes($text)
Invoke-WebRequest -Uri ‘http://www.mydomain.com/‘ -Method Post -Body $postData -ContentType "text/plain; charset=utf-8"
时间： 2024-11-06 21:06:00

Invoke-WebRequest Invoke-RestMethod 乱码研究的相关文章

WebRequest 获取网页乱码

问题:在用WebRequest获取网页源码时得到的源码是乱码. 原因:1,编码不对 解决办法:设置对应编码 WebRequest request = WebRequest.Create(Url);WebResponse response = await request.GetResponseAsync(); Stream stream = response.GetResponseStream();StreamReader reader = new StreamReader(stream, Enc

winform Invoke, WPF Invoke

界面假死的代码: void btnSecondEventMode_Click(object sender, EventArgs e) { btnSecondEventMode.BackColor = Color.Coral; Thread.Sleep(5000); MessageBox.Show("hello world"); } WinForm 异步调用 void BtnSecondEventAsyncModel_Click(object sender, EventArgs e) {

public static void Invoke (Action action)

using System; using System.Security.Principal; using System.Security.Permissions; namespace Demo { class MainClass { public static void Invoke (Action action) { try { action (); } catch (Exception ex) { Console.WriteLine (ex.Message); } } public stat

C#中Control的Invoke和BeginInvoke是相对于支线线程

近日,被Control的Invoke和BeginInvoke搞的头大,就查了些相关的资料,整理如下. Control的Invoke和BeginInvoke 是相对于支线线程(因为一般在支线线程中调用,用来更新主线程ui)Invoke立即插入主线程中执行,而BeginInvoke 要等主线程结束才执行. (一)Control的Invoke和BeginInvoke我们要基于以下认识:(1)Control的Invoke和BeginInvoke与Delegate的Invoke和BeginInvoke是不

C# this.Invoke()的作用与用法

Invoke()的作用是:在应用程序的主线程上执行指定的委托.一般应用:在辅助线程中修改UI线程( 主线程 )中对象的属性时,调用this.Invoke(); 在多线程编程中,我们经常要在工作线程中去更新界面显示,而在多线程中直接调用界面控件的方法是错误的做法,Invoke 和 BeginInvoke 就是为了解决这个问题而出现的,使你在多线程中安全的更新界面显示. 正确的做法是将工作线程中涉及更新界面的代码封装为一个方法,通过 Invoke 或者 BeginInvoke 去调用,两者的区别就是

做一个合格的程序猿之浅析Spring AOP源码（十五） 分析JdkDynamicAopProxy的invoke方法

上一节我们已经分析了Proxyfactorybean如何去生成一个目标对象的代理的,这一节我们将浅析一下基于JDK动态代理的核心回调方法invoke的源代码: 首先先打开JdkDynamicAopProxy.java 如下 JdkDynamicAopProxy.java文件是实现了AopProxy和InvocationHandler这2个接口的 先讲AopProxy这个接口,如图所示,AopProxy接口就定义了2个方法 我们再看这个接口的继承关系 好了,作为原生的基于JDK的动态代理的JdkD

转载：C# this.Invoke()的作用与用法 理解三

Invoke()的作用是:在应用程序的主线程上执行指定的委托.一般应用:在辅助线程中修改UI线程( 主线程 )中对象的属性时,调用this.Invoke(); 在多线程编程中,我们经常要在工作线程中去更新界面显示,而在多线程中直接调用界面控件的方法是错误的做法,Invoke 和 BeginInvoke 就是为了解决这个问题而出现的,使你在多线程中安全的更新界面显示. 正确的做法是将工作线程中涉及更新界面的代码封装为一个方法,通过 Invoke 或者 BeginInvoke 去调用,两者的区别就是

C++ COM中IDispatch之Invoke获取对象时，注意点

DISPATCH_PROPERTYGET The member is retrieved as a property or data member. 这是本文最关键的地址,如果你返回的值是一个COM对象,调用者会增加AddRef吗?不会,所以你需要自己添加计数,否则程序将很快崩溃 Provides access to properties and methods exposed by an object. The dispatch function DispInvoke provides a s

Control的Invoke和BeginInvoke详解

(一)Control的Invoke和BeginInvoke 我们要基于以下认识: (1)Control的Invoke和BeginInvoke与Delegate的Invoke和BeginInvoke是不同的. (2)Control的Invoke和BeginInvoke的参数为delegate,委托的方法是在Control的线程上执行的,也就是我们平时所说的UI线程. 先看一下主线程中调用Invoke和BeginInvoke 我们以代码(一)来看(Control的Invoke): private d