HttpWebRequest 高效并发问题

最近做酒店项目 需要抓取酒店的一些图片信息,好几百W的数据。每次线程几十个,感觉没有什么效率的样子。最后网上查询了下慢的原因。

做个记录。

我用的是 windows  7,但是最大 默认请求连接数 是2,在服务器操作系统上默认为10. 如果不修改这个并发连接限制,那么客户端同时可以建立的 http 连接数就只有2个或10个。

System.Net.ServicePointManager.DefaultConnectionLimit 这个可以获取到当前默认设置的 最大连接数。

调整一下System.Net.ServicePointManager.DefaultConnectionLimit的值到500,速度一下提高好几倍。其他有很多的博主也遇到过类似的问题,借鉴他们的处理方式。

1.代码配置

System.Net.ServicePointManager.DefaultConnectionLimit = 512; // 这个值最好不要超过1024。

2.app.config

<configuration>
<system.net>
<connectionManagement><!--指定地址-->
<add address = "http://www.baidu.com" maxconnection = "512" />

<!--任意地址--><add address = "*" maxconnection = "512" /> </connectionManagement> </system.net> </configuration>
时间: 2024-10-11 02:02:06

HttpWebRequest 高效并发问题的相关文章

c++ 高效并发编程

高效并发编程 并发编程的基本模型包括,通过消息机制来管理运行顺序的message passing, 通过互斥保护共享的shared memory. 线程同步的基本原则 最低限度共享变量,考虑使用immutable对象 尽量减小锁粒度 互斥器和条件变量足以完成绝大多数任务,尽量使用高层的封装 避繁就简,读写锁 信号量 可重入锁 ,慎用. 关于死锁 RAII 控制锁区间 注意锁的获取顺序 Copy On Write 减小锁粒度 只读的情况下用shared_ptr 轻量级共享数据 在发生修改的情况下,

Java 高效并发

Java 高效并发 为了便于移植,Java 多线程内存模型不与硬件关联,不同硬件平台可以使用不同的实现手段 和 CPU 内存与高速缓存做对比 Java 内存模型被分为两大部分:主内存(对应 PC 内存)和工作内存(对应 CPU 高速缓存) 主内存与工作内存之间数据的交互 Java 定义了以下 8 种原子操作(最新的 Java 标准已经采用了新的内存访问协议,但下面 8 中操作也应该了解一下) lock,标识主内存变量为线程独占 同一个变量可以被一条线程多次 lock,但也需要同样次数的 unlo

高效并发(四)

前言 ? ? ? ?上篇已经分析了lock和concurrent提供的集合类包括阻塞队列和容器类.这里我们来介绍 Executor框架 线程池的作用 ? ? ? ?线程池作用就是限制系统中执行线程的数量.根据系统的环境情况,可以自动或手动设置线程数量,达到运行的最佳效果:少了浪费了系统资源,多了造成系统拥挤效率不高.用线程池控制线程数量,其他线程 排队等候.一个任务执行完毕,再从队列的中取最前面的任务开始执行.若队列中没有等待进程,线程池的这一资源处于等待.当一个新任务需要运行时,如果线程 池中

深入理解JAVA虚拟机 高效并发

处理器和缓存 由于计算机的存储设备与处理器的运算速度之间有着几个数量级的差距,所以现代计算机系统都不得不加入一层读写速度尽可能接近处理器运算速度的高速缓存来作为内存与处理之间的缓冲:将运算需要使用的数据复制到缓存中,让运算速度快速运行,当运算结束后再从弄个缓存同步回内存之中,这样处理器就无需等待缓慢的内存读写了. 基于高速缓存的存储交互很好地解决了处理器与内存的速度矛盾,但是也引入了新的问题:缓存一致性.为了解决一致性的问题,需要各个处理器访问缓存时都遵循一些协议,在读写时要根据协议来进行操作.

《深入理解java虚拟机-高效并发》读书笔记

Java内存模型与线程 概述 多任务处理在现代计算机操作系统中几乎已是一项必备的功能,多任务运行是压榨手段,就如windows一样,我们使劲的压榨它运行多个任务,俱要high又要耍.并发则是另外一种更具体的应用场景.每秒事物处理数(Transactions per Second,tps)是最重要的指标.开发人员应该了解与运用并发. 硬件的效率与一致性 除了有软件上的并发,物理计算机也有并发问题.计算机的存储设备与处理器运算速度有几个数量级的差距,现代计算机都不得不加入一层高速缓存来作为内存与处理

高效并发2

持久连接也称长连接,它本身是TCP通信的一种普遍方式,即在一次TCP通信中持续发送多份数据而不断开连接,与它相反的方式称为短连接,即建立连接后发送一份数据便断开.建立TCP连接本身是一项不小的开销,所以连接次数越少,越有利于性能的提升.长久以来大家习惯了一次性的http通信,即一次TCP连接处理一个http请求,回归到TCP传输层,长连接带来的好处显而易见,现在大部分浏览器和服务器开始支持长连接.浏览器支持长连接可以在浏览器发出的请求的数据头中看到:Connection:Keep-Alive,服

深入理解java虚拟机第五部分高效并发

volatile是java虚拟机提供最轻量级的同步机制. volatile两个特性:1,保证同步的变量对所有线程是可见的.虽然对所有线程是即时可见的,但是却不保证原子性,也就是不保证线程安全,比如对于创建20个线程,每个线程都执行i++操作,执行100次,但是i输出的结果小于2000.因为一条i++用javap反编译是由4条指令来执行的.所以我们通过synchronized来保证原子性. 下面给出一个volatile适用的场景: 当shutdown()方法被执行时,保证所有线程中执行dowork

高效并发unsafe-至尊星耀

定义 Unsafe类是在sun.misc包下,不属于Java标准.但是很多Java的基础类库,包括一些被广泛使用的高性能开发库都是基于Unsafe类开发的,比如Netty.Cassandra.Hadoop.Kafka等.Unsafe类在提升Java运行效率,增强Java语言底层操作能力方面起了很大的作用.Unsafe类使Java拥有了像C语言的指针一样操作内存空间的能力,同时也带来了指针的问题.过度的使用Unsafe类会使得出错的几率变大,因此Java官方并不建议使用的,Oracle正在计划从J

高效并发JUC锁-永恒砖石

JUC包的锁(可重入锁和读写锁) Lock是JAVA5增加的内容,在JUC(java.util.concurrent.locks)包下面,作者是并发大师Doug Lea.JUC包提供了很多封装的锁,包括常用的ReentrantLock和ReadWriteLock.这些所其实都是依赖java.util.concurrent.AbstractQueuedSynchronizer(AQS)这个类来实现的,这个类有个简写的名字叫AQS,对这就是著名的AQS. 关于Lock,先说说线程获取Lock锁的时候