使用URL读取网页内容

import java.net.*;
import java.io.*;
public class URLDemo {
    public static void main(String[] args)
    {
        try
        {
            //利用Java.net中的URL类来获取资源
            URL url=new URL("https://www.baidu.com");
            URLConnection urlConnection=url.openConnection();
            HttpURLConnection connection=null;
            if(urlConnection instanceof HttpURLConnection)
                connection=(HttpURLConnection)urlConnection;
            else
            {
                System.out.println("请输入有效的URL地址");
                return;
            }
            InputStreamReader isr=new InputStreamReader(connection.getInputStream(),"UTF-8");
            BufferedReader in=new BufferedReader(isr);
            String current;
            while((current=in.readLine())!=null)
            {
                System.out.println(current);
            }
        }
        catch(IOException e)
        {
            e.printStackTrace();
        }
    }

}
时间: 2024-10-13 20:44:45

使用URL读取网页内容的相关文章

java 根据 url 读取网页内容 遇到403问题

URL url = new URL("****************"); StringBuffer html = new StringBuffer(); HttpURLConnection conn = (HttpURLConnection) url.openConnection(); conn.setRequestProperty("User-Agent", "Mozilla/31.0 (compatible; MSIE 10.0; Windows

读取网页内容不在出现乱码

有没有发现每次读取网页内容时,都要去找网页的编码类型,这次研究出来一个公共的方法,下次读取网页内容时 再不会出现乱码了. package package org.httpclient; import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; import o

php根据URL获得网页内容

php 中根据url来获得网页内容非常的方便,可以通过系统内置函数file_get_contents(),传入url,即可返回网页的内容,比如获得百度首页的内容代码为: <?php $html = file_get_contents('http://www.baidu.com/'); echo $html; 就可以显示出百度首页的内容,但是,这个函数不是万能的,因为有些服务器会禁用掉这个函数,或者说这个函数因为没有传给服务器某些必要的参数,而被服务器拒绝响应,举个例子: <?php $html

android中使用URL读取网络资源

URL(Uniform Resource Locator)对象代表统一资源定位器,它是指向互联网"资源"的指针. 使用URL读取网络资源: import java.io.InputStream; import java.net.URL; import android.app.Activity; import android.graphics.Bitmap; import android.graphics.BitmapFactory; import android.os.Bundle;

Java URL对象初始化以及通过URL读取内容

一.URL层次. URL对象的创建. 1.public URL(String spec); URL urlbase=new URL("http://my.oschina.net/u/2308739/admin/new-blog.html"); 2.public URL(URL context,String spec); URL urlbase=new URL("http://my.oschina.net/u/2308739/admin/"); URL indexUr

Hadoop学习笔记0003——从Hadoop URL读取数据

Hadoop学习笔记0003--从Hadoop URL读取数据 从HadoopURL读取数据   要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据.一般的格式如下: InputStream in = null; try { in = new URL("hdfs://host/path").openStream(); // process in } finally { IOUtils.closeStream(in);

C#远程获取/读取网页内容

转载自 :http://blog.csdn.net/gisfarmer/article/details/2836904 using System; using System.Collections.Generic; using System.Text; using System.Net; using System.IO; namespace thief { class Program { static void Main(string[] args) { try { WebClient MyWe

python 从网络URL读取图片并直接处理的代码

如下代码段是关于python 从网络URL读取图片并直接处理的代码. import urllib2 import Image import cStringIO def ImageScale(url,size): file = cStringIO.StringIO(urllib2.urlopen(url).read()) img = Image.open(file) img.show() 原文地址:http://blog.51cto.com/14142860/2347335

【大数据系列】windows环境下搭建hadoop开发环境从hadoop URL读取数据

前言 搭建完hadoop集群之后在windows环境下搭建java项目进行测试 操作hdfs中的文件 版本一 package com.slp.hadoop274.hdfs; import java.io.IOException; import java.io.InputStream; import java.net.URL; import java.net.URLConnection; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;