C#远程获取/读取网页内容

转载自 :http://blog.csdn.net/gisfarmer/article/details/2836904

  1. using System;
  2. using System.Collections.Generic;
  3. using System.Text;
  4. using System.Net;
  5. using System.IO;
  6. namespace thief
  7. {
  8. class Program
  9. {
  10. static void Main(string[] args)
  11. {
  12. try {
  13. WebClient MyWebClient = new WebClient();
  14. MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于对向Internet资源的请求进行身份验证的网络凭据。
  15. Byte[] pageData = MyWebClient.DownloadData(http://www.163.com); //从指定网站下载数据
  16. string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312,则使用这句
  17. //string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8,则使用这句
  18. Console.WriteLine(pageHtml);//在控制台输入获取的内容
  19. using (StreamWriter sw = new StreamWriter("c://test//ouput.html"))//将获取的内容写入文本
  20. {
  21. sw.Write(pageHtml);
  22. }
  23. Console.ReadLine(); //让控制台暂停,否则一闪而过了
  24. }
  25. catch(WebException webEx) {
  26. Console.WriteLine(webEx.Message.ToString());
  27. }
  28. }
  29. }
  30. }

改进一下,加入定时器后

      1. using System;
      2. using System.Text;
      3. using System.Timers;
      4. using System.Net;
      5. using System.IO;
      6. //<summary>
      7. //每隔5秒钟将指定网页的内容抓取下来,并以文件形式保存到c:/test目录中
      8. //</summary>
      9. namespace TimerTest
      10. {
      11. class Program
      12. {
      13. public static string outFileName = "";                  //生成的文件名
      14. public static string myUrl = "http://bxg.cfchina.cn";    //要抓取的网页
      15. static void Main(string[] args)
      16. {
      17. Timer mytimer = new Timer();
      18. mytimer.Elapsed +=new ElapsedEventHandler(GetUrl);//指定定时器的事件
      19. mytimer.Interval = 5000;//每隔5秒抓一次
      20. mytimer.Start();
      21. mytimer.Enabled = true;
      22. while (Console.Read() != ‘q‘) //直到按小写字母q退出,否则一直抓取下去
      23. {
      24. }
      25. }
      26. //定时器事件内容
      27. static void GetUrl(object source, ElapsedEventArgs e)
      28. {
      29. try
      30. {
      31. WebClient MyWebClient = new WebClient();
      32. MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于对向Internet资源的请求进行身份验证的网络凭据。
      33. Byte[] pageData = MyWebClient.DownloadData(myUrl);//从指定网站下载数据
      34. string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312,则使用这句
      35. //string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8,则使用这句
      36. //Console.WriteLine(pageHtml);//在控制台输入获取的内容
      37. outFileName = "C://test//" + DateTime.Now.ToString().Replace(" ", "").Replace(":", "").Replace("-", "") + ".html";
      38. using (StreamWriter sw = new StreamWriter(outFileName))//将获取的内容写入文本
      39. {
      40. sw.Write(pageHtml);
      41. }
      42. Console.WriteLine(outFileName);  //输出保存后的文件名
      43. }
      44. catch (WebException webEx)
      45. {
      46. Console.WriteLine(webEx.Message.ToString());
      47. }
      48. }
      49. }
      50. }

C#远程获取/读取网页内容

时间: 2024-11-01 19:06:32

C#远程获取/读取网页内容的相关文章

远程获取iOS设备的屏幕截图

一个远程获取iOS设备屏幕的例子,Client采用TCP连接iOS设备的2115端口,然后读取PNG格式的数据流. +VSRemoteScreen.h +VSRemoteScreen.m 添加到你的iOS项目中,然后在App启动时调用startScreenServer函数. +client.php client示例文件 [1].[代码] RemoteScreen 跳至 [1] [2] ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

读取网页内容不在出现乱码

有没有发现每次读取网页内容时,都要去找网页的编码类型,这次研究出来一个公共的方法,下次读取网页内容时 再不会出现乱码了. package package org.httpclient; import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; import o

mysql自动备份数据库,同时ftp上传到指定服务器(scp远程获取本地备份)

最近要把服务器托管到电信机房,所以要对数据库进行备份,同时要把备份ftp上传到公司指定服务器. 一.先安装ftp服务 1.查询是否安装vsftpd: rpm -qa |grep vsftpd (rpm的安装:apt-get install rpm) 或者查询当前ftp进程:ps -ef|grep vsftpd ? 或者 ps -ef|grep ftp 2.如果没有就安装yum install vsftpd 3.安装完后看ftp安装目录:ps -ef|grep ftp 发现我的配置文件默认:/et

windows和linux下如何远程获取操作系统版本和主机名

远程获取windows和linux操作系统版本和主机名需要具备以下条件: 假设 主机A(windows 7),ip:192.168.12.2 主机B(centos 6.3),ip:192.168.12.3 主机C(windows 2008)-为远程要获取信息的主机,ip:192.168.12.4 主机D(centos 6.3)-为远程要获取信息的主机,ip:192.168.12.5 windows: 1.主机A可以ping通主机C: 2.主机B可以ping通主机C: 3.主机B可以通过161端口

Asp.Net使用代理IP远程获取数据

/// <summary> /// 远程获取数据 /// </summary> /// <param name="url">url</param> /// <param name="code">编码</param> /// <param name="ProxyStr">代理IP,格式:10.20.30.40:8888</param> /// <r

finecms首页获取单网页内容

首页获取单网页内容 {$cats[栏目id][content]} {strcut($cats[ID]['content'],字数,'...')}{strcut(,350)} //htmlspecialchars_decode:把一些预定义的 HTML 实体转换为字符 strip_tags:去除htm标签{str_replace(array(' ', PHP_EOL, ' '), array('', '', ''), strcut(clearhtml($cats[ID][content]),180

java远程获取图片生成base64串

说下背景,项目中遇到前端js获取图片发生跨域的问题,服务器端又不支持匿名访问,只能通过服务器获取图片base64码进行展示.代码如下:下载 Java代码   /** * 远程读取image转换为Base64字符串 * @param imgUrl * @return */ private String Image2Base64(String imgUrl) { URL url = null; InputStream is = null; ByteArrayOutputStream outStrea

git远程获取-命令

1. git config --global user.name "HuoWei"                                                 用户名 2. git config --global user.email "[email protected]"                          邮箱 3. ssh-keygen -t rsa -C "[email protected]"  ssh

从远程路径读取图片,进行base64转码

public static byte[] getImageFromNetByUrl(String strUrl){ try { URL url = new URL(strUrl); HttpURLConnection conn = (HttpURLConnection)url.openConnection(); conn.setRequestMethod("GET"); conn.setConnectTimeout(5 * 1000); InputStream inStream = c