Openfire配置:
Ubuntu安装Openfire后性能极低,压力测试只能到4000在线用户数。
第一步 修改Openfire运行环境
通过ps -aux | grep openfire查看openfire服务能观察到启动命令为:
/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java -server -DopenfireHome=/usr/share/openfir -Dopenfire.lib.dir=/usr/share/openfire/lib -classpath /usr/share/openfire/lib/startup.jar -jar /usr/share/openfire/lib/startup.jar
首先看到这里用的JVM是openjdk提供的,性能不行,因此先kill掉这个进程(如果不是使用Openjdk就不需要这个操作了)。Kill掉再执行ps看看是不是真正被改掉了,然后切换到root下执行/etc/init.d/openfire start。再次查看已经切换成自己的JDK路径了,前提是配置过JDK。
/home/david/java/jdk1.8.0_05//bin/java -server -DopenfireHome=/usr/share/openfire -Dopenfire.lib.dir=/usr/share/openfire/lib -classpath /usr/share/openfire/lib/startup.jar -jar /usr/share/openfire/lib/startup.jar
第二步 epoll方式修改:
为提高性能需要更改启动命令为NIO支持epoll,需要修改/etc/init.d/openfire脚本文件。将DAEMON_OPTS改为
DAEMON_OPTS="$DAEMON_OPTS -server -Xms3072m -Xmx4096m -Djava.nio.channels.spi.SelectorProvider=sun.nio.ch.EPollSelectorProvider -DopenfireHome=${DAEMON_DIR} \
-Dopenfire.lib.dir=${DAEMON_LIB} -classpath ${DAEMON_LIB}/startup.jar\
-jar ${DAEMON_LIB}/startup.jar"
主要加入了-Djava.nio.channels.spi.SelectorProvider=sun.nio.ch.EPollSelectorProvider这个选项,注意这里还修改了jvm内存使用大小。
tsung压力测试:
第一步 修改打开最大文件数目
不做任何修改的主机安装tsung做压力测试时发现最多只能到达1000左右的在线用户数,错误为emfile执行ulimit –n查看为1024,意思是打开的文件太多了,默认为1024个。执行ulimit –n 65535,这个65535随便一个大点的数字就好。长期修改需要修改/etc/security/limits.conf,加入:
root - nofile 65535
注:root必须明确写上root不能使用*。
第二步 修改端口范围
继续做压力测试发现到达28000左右压力就上不去了,错误为eaddrinuse,这个时候是端口不够用了。需要修改/etc/sysctl.conf,加入:
net.ipv4.ip_local_port_range = 1024 65000
将端口可分配的范围增加到6W多个,执行sysctl –p立即生效,通过sysctl –a | grep range查看是否已经有变化。此时再去做压力测试就能发现在线用户数已经到达了6W个。
第三步 tsung集群
一台机模拟6W用户在线就已经到极限了,此时需要多台tsung测试机来进行测试。每台测试服务器上需要安装相同的erlang和tsung版本,并且通过root能够无密码登录(root可能非必须)。另外特别注意的一点是机器名称不能使用lc-optex之类的,中间的“-”在erl中会导致无法连接,直接取名kf2lc这样就OK了。
以三台测试机(可以用虚拟机采用桥接模式)为例,假设机器名称为kf2test01、kf2test02、kf2test03,IP分别对应为172.28.23.180、172.28.23.181、172.28.23.182。
分别在在各机器的/etc/hosts上加入:
172.28.23.180 kf2test01
172.28.23.181 kf2test02
172.28.23.182 kf2test03
Kf2test01切换到root后执行ssh kf2test02,如果无密码登录就OK了,提示输入密码的话需要改为无密码登录。其它机器做相同的连接测试,保证能够相互无密码登录。
此时ulimit –n查看远端服务器最大文件数限制仍然为1024,会导致集群的从服务器最大只能创建1000个左右的模拟用户,需要在/etc/profile中加入:
ulimit -SHn 65535
在tsung测试压力前可以通过执行erl来测试集群是否成功,shell中执行erl:
>erl -rsh ssh -sname root -setcookie mycookie
Eshell V5.8.5 (abort with ^G)
([email protected])1>slave:start(kf2test02,root,"-setcookie mycookie").
如果返回ok则表示成功,如下:
{ok,[email protected]}
无法集群则会半天无反应,最后显示{error,timeout}。
配置好tsung后,修改jabber.xml配置:
<clients>
<client host="kf2test01" use_controller_vm="false" maxusers="60000">
<ip value="172.28.23.180"/>
</client>
<client host="kf2test02" use_controller_vm="false" maxusers="60000">
<ip value="172.28.23.181"/>
</client>
<client host="kf2test03" use_controller_vm="false" maxusers="60000">
<ip value="172.28.23.182"/>
</client>
</clients>
然后执行tsung –f jabber.xml进行集群压力测试。通过这样方式测试理论上能达到18W模拟用户。以下是测试输出报告:
Openfire性能优化的一些思考:
1.现在服务器连接并发量才1400多,通过加入连接管理器(CONNECTION MANAGER)实现大并发,前端需要加入负载均衡服务器(Load Banlancer)或DNS来实现分流。
2.Openfire直接连接数据库,需要加入memcached作为数据库缓存。
3.Openfire集群据说有性能问题,需要找到瓶颈。
4.服务器最终应选为CentOS,而非ubuntu。