常用URL标注数据集网络下载

良性URL数据集：

1，DMOZ

http://rdf.dmoz.org/rdf/

2，alexa

http://s3.amazonaws.com/alexa-static/top-1m.csv.zip

3,chinaz

http://top.chinaz.com/top500?t=48

恶意URL数据集：

1，PhishTank

http://www.phishtank.com/developer_info.php

2，malware

http://www.malwaredomainlist.com/forums/index.php?topic=3270.0

时间： 2024-11-11 20:06:14

常用URL标注数据集网络下载的相关文章

HttpUtils.java 网络下载工具类

package Http; import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.HttpURLConnection;import java.net.URL; /** * 网络下载工具类 * 功能:下载字节数组,下载文本数据 * 下载数字数组(文本图片 mp3) * 下载文本数据 * Created by lxj-pc on 2017/

java如果模拟请求重启路由器(网络爬虫常用)，还有java如何下载图片

我们如果在公司或家里使用网络爬虫去抓取自己索要的一些数据的时候,常常对方的网站有defence机制,会给你的http请求返回500错误,只要是相同IP就请求不到数据,这时候我们只能去重启路由器,这样IP地址会改变,网络爬虫就能正常工作了下面是通过发送Socket请求来模拟路由器的重启指令: protected void rebotadsl() { try { BufferedOutputStream sender = null; String url = baseURL; URL target

Android学习笔记--使用Apache HttpClient实现网络下载效果，附带进度条显示

今天学习了Apache 写了一个网络下载的效果,代码如下,代码中我已经写了很详细的注释了,相信大家都能看懂 1 http://m.blog.csdn.net/article/details?id=52927536 2 3 4 package com.wuxianedu.httpdemo; 5 6 import android.app.ProgressDialog; 7 import android.content.Intent; 8 import android.net.Uri; 9 impo

Android应用之——百度地图最新SDK3.0应用，实现最常用的标注覆盖物以及弹出窗覆盖物

一.概述最新版的百度地图SDK3.0,修改了很多方法,之前的很多方法被简化了,正好在做地图这一块,顺便就使用了最新版的sdk. 下载官方给的demo,发现变化还是挺大的,之前的一些方法都换了,地图的初始化也进行了调整.多了好几个类,具体用法参考下面的例子,详细的说明可参照官方的说明文档. 二.效果图标注覆盖物效果图: 弹出窗覆盖物: 三.实现过程大部分是根据官方给的demo来的. A.配置文件: 第一步:在工程里新建libs文件夹,将开发包里的baidumapapi_vX_X_X.jar拷

网络下载器

网络下载器: public static void main(String[] args) { OutputStream download=null; HttpURLConnection conn=null; try { URL url=new URL ("http://dlc2.pconline.com.cn/filedown_171040_8417060/Yx2PSEuB/jpwb2017cl.exe"); conn=(HttpURLConnection) url.openConn

Androiid_Volley+Image-Loader+RecyclerView实现网络下载图片瀑布流

转载表明出处:http://blog.csdn.net/zcr317121966/article/details/52329803 要实现网络数据下载实现瀑布流效果: 实现思路很简单,主要是熟悉框架的运用.首先要写一个通用的MyRequest类,用于从网上获取json数据用Gson解析并返回bean对象之后要设置recyclerview适配器MyAdapter,将返回的数据里面的网址集合加载到适配器中,下载相对应的图片,并用随机高度设置其图片高度用于美观. 在写代码之前要导入几个架包,分别是

从网络下载图片，保存，并用UIImageView从保存中显示

代码: - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the view. UIImageView *img=[[UIImageView alloc]initWithFrame:CGRectMake(50, 100, 200, 200)]; img.backgroundColor=[UIColor redColor]; [self.view addSubview:img]; /

iOS-UIImageView载入网络下载的图片(异步+多线程)

最原始的载入网络下载的图片方式: //最原始载入网络图片方法,相当堵塞主线程,界面卡顿 -(void)setImageWithURL:(NSString *)imageDownloadUrl{ UIImageView *imageView = [[UIImageView alloc] initWithFrame:CGRectMake(44, 64, 250, 250)]; NSURL *URL = [NSURL URLWithString:imageDownloadUrl]; NSError *

爪哇国新游记之二十八----从url指定的地址下载一个文件到本地

package download; import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URL; import java.net.URLConnection; import java.util.zip.GZIPInputStream; /** * 从url指定的地址下载一个文件到本地 * 2014