0.需求分析
Erlang最好的卖点之一就是提供了一个非常强大的shell来查看Node运行时的各种状态,可以进行各种各样的内部查看,在运行时调试和分析,热更新代码。
但是总有一些在生产环境下要慎用的状态查看函数。比如:
1.在进程数达到10w级以上的Node调用erlang:processes()来得到所有的进程Pid.然后算长度blabla...; 2. 当某个进程的信箱被堵塞了上万个消息队列时调用erlang:process_info(Pid,messages)来查看所有的消息。
为了避免在shell中进行这些危险的操作,就有了recon这个项目。它保证在生产环境下可以调用安全。
与Erlang in anger食用更佳。
然而在体会到一段时间的recon的强大之后,突然感觉为了查看状态每次检查时都要在shell中输入相同的命令集是一件非常枯燥的事情,于是就想要一个可以直接用网页直接查看状态的工具。并且加上图表显示。让分析问题变得更加快速,易懂。
recon_web是一个可以通过web 查看Eralng节点各种状态的工具。
它与observer的区别:
recon_web | observer |
web页面查看,不需求wx GUI | 需要Erlang安装wx GUI application |
保证可以在生产环境中被安全调用 | 如果对于ets非常多或进程达到一定数量时会崩溃掉,不适合大多数在Node已出状况时使用 |
1. 项目介绍
项目地址github:recon_web.
Demo地址: Demo(点开它点开它~~)
使用的框架:
cowboy 1.0.1 | websocket 用于server通信 |
recon | 用于查看Node状态 |
jsx | 用于json转换 |
lager | 日志记录 |
socket.io.client | web端的websocket维护 |
highcharts | web端绘制图表 |
上手也非常简单,make&&make shell然后打开127.0.0.1:8080就可以看到效果啦,还不快来试试~。其它命令详见Readme。
2.recon_web 实现
说明:
2.1.为什么要分成system_info 和recon_info?
system_info是指Node中基本不会变化的那些指标:
因为他们基本不会变化,所以只会在连接建立时传一次就行了。
recon_info是用recon得到的Memory, Scheduler, Port的情况,它们会一直变化,所以在每个Heartbeat都会更新一次给Client.
2.2. 如果大量的(比如1000个)连接上来查看。每个连接的心跳都会去用recon得到新的Node信息,会不会造成CPU在这上面消耗过多?
这就是recon_server的职责,它是一个独立的gen_server,存着上次使用recon计算出的Node信息和计算时间:
{ReconInfo, LastUpdateTime}.每个连接上来的点都会向recon_server请求ReconInfo,如果Now - LastUpdateTime >
规则的时间就会重新计算一份ReconInfo存起来。所以大量的连接在同时请求ReconInfo,recon_server也只会计算一次。
2.3.为什么不直接使用handler 同步call recon_server得到recon_info,然后回传给Client?
现在实现是:
2.3.1 handler 同步call session_gen_server ;
2.3.2 session_gen_server再异步info recon_server;
2.3.3 recon_server再异步info recon_info 给session_gen_server,
2.3.4 session_gen_server得到recon_info后异步info handler有新的消息在我这,你快来取;
2.3.5 handller得知3.4后,再同步call session_gen_server拿到recon_info,然后encode 通过websocket发给Client.
这种方式就是多了session_gen_server这个中间缓冲层。
好处是:可以把要传给client的多条消息都缓冲在这里,然后一次性发给Client。
当然对于现在只有recon_info这一种消息来说,没有什么优势。可是考虑到扩展性(那些不需要及时发给Client的消息),加个缓冲层明显是好得多。
3. recon_web中各种图表说明
1> recon_web_status:get_recon_info(node_stats_list). [{process_summary,[{process_count,86}, {run_queue,0}, {error_logger_queue_len,0}, {memory_total,20032952}, {memory_procs,6067544}, {memory_atoms,330312}, {memory_bin,467040}, {memory_ets,465936}]}, {mem_summary,[{bytes_in,0}, {bytes_out,0}, {gc_count,2}, {gc_words_reclaimed,256}, {reductions,130454}, {scheduler_usage,[{1,0.9252873563218391}, {2,0.147239263803681}, {3,0.13218390804597702}, {4,0.14285714285714285}]}]}]
3.1. 根据 error_logger_queue_len process_count run_queue绘制以下表:
3.2. 根据上面的memory_total,memory_procs,memory_atoms,memory_bin,memory_ets绘制:
3. 3.根据scheduler_usage绘制:
3.4 根据bytes_in,bytes_out绘制:
2> recon_web_status:get_recon_info(proc_count). [{proc_count,[{memory,[{<<"application_controller">>,602096}, {<<"0.26.0">>,372368}, {<<"recon_server">>,372328}, {<<"code_server">>,284656}, {<<"kernel_sup">>,197384}, {<<"0.159.0">>,88632}, {<<"erl_prim_loader">>,88552}, {<<"error_logger">>,75904}, {<<"init">>,67896}, {<<"0.45.0">>,55064}]}, {bin_memory,[{<<"kernel_sup">>,396661}, {<<"erl_prim_loader">>,27958}, {<<"0.26.0">>,7408}, {<<"0.159.0">>,5527}, {<<"0.45.0">>,1264}, {<<"application_controller">>,947}, {<<"user">>,852}, {<<"recon_server">>,454}, {<<"lager_event">>,278}, {<<"cowboy_clock">>,203}]}, {reductions,[{<<"recon_server">>,43125661}, {<<"erl_prim_loader">>,1328265}, {<<"0.159.0">>,243664}, {<<"code_server">>,196114}, {<<"application_controller">>,56899}, {<<"timer_server">>,53145}, {<<"kernel_sup">>,48774}, {<<"cowboy_clock">>,30740}, {<<"file_server_2">>,24547}, {<<"init">>,17949}]}, {total_heap_size,[{<<"application_controller">>,75112}, {<<"recon_server">>,46421}, {<<"0.26.0">>,46421}, {<<"code_server">>,35462}, {<<"kernel_sup">>,24503}, {<<"0.159.0">>,10958}, {<<"erl_prim_loader">>,10957}, {<<"error_logger">>,9358}, {<<"init">>,8370}, {<<"0.45.0">>,6771}]}]}]
3.5根据上面的memory, bin_memory,reductions, total_heap_size绘制:
3> recon_web_status:get_recon_info(port). [{port_summary,[{<<"efile">>,5}, {<<"tcp_inet">>,2}, {<<"2/2">>,1}, {<<"tty_sl -c -e">>,1}]}]
3.6.根据 port_summary绘制:
4> recon_web_status:get_recon_info(inet_count). [{inet_count,[{sent_oct,[]}, {recv_oct,[{<<"Port0.4012">>,1205},{<<"Port0.3695">>,0}]}, {sent_cnt,[]}, {recv_cnt,[{<<"Port0.4012">>,72},{<<"Port0.3695">>,0}]}]}]
3. 7.根据sent_oct, recv_oct, sent_cnt, recv_cnt绘制:
5>recon_web_status:get_recon_info(alloc_memory). [{used,20804344}, {allocated,32247216}, {unused,11269856}, {allocated_types,[{binary_alloc,2786160}, {driver_alloc,164720}, {eheap_alloc,6763376}, {ets_alloc,1475440}, {fix_alloc,426864}, {ll_alloc,19923784}, {sl_alloc,164720}, {std_alloc,934768}, {temp_alloc,655960}]}, {allocated_instances,[{0,9094640}, {1,6305264}, {2,1246704}, {3,15664624}, {4,984560}]}]
3.8根据alloc_memory绘制:
6> recon_web_status:get_recon_info(cache_hit_rates). [{cache_hit_rates,[{<<"instance1">>,[602,1113]}, {<<"instance3">>,[148,213]}, {<<"instance0">>,"OV"}, {<<"instance2">>,[7,13]}, {<<"instance4">>,[0,0]}]}]
3.9 根据cache_hit_rates绘制:
4. 参考文档
cowboy 建立websocket:http://ninenines.eu/docs/en/cowboy/HEAD/guide/ws_handlers/
highcharts: http://www.highcharts.com/
---------------------------------------------------------------------------------------------------------------------
inside the beam scheduler