Spark Web界面

1.7 Spark Web 界面

每一个SparkContext发布一个web界面，默认端口是4040，它显示了应用程序的有用信息。这包括：

?  一系列的调度阶段和任务

?  对于RDD大小和内存使用的总结

?  环境信息

?  运行的执行器（executor）的信息

你可以通过浏览器访问http://<driver-node>:4040，当然，你必去先启动SparkContext。比如命令：./bin/spark-shell，出现下面的web界面信息：

如果某台机器上运行多个SparkContext,它的web端口会自动连续加一，比如4041,4042,4043等。为了浏览持久的事件日志，设置park.eventLog.enabled就可以了。

Spark Web界面

时间： 2024-08-08 05:36:45

Spark Web界面的相关文章

zabbix开启web界面中文支持(中文乱码问题)

1.开启web界面中文支持 #vi /var/www/zabbix/include/locales.inc.php 将这一行修改为'zh_CN' => array('name' => _('Chinese(zh_CN)'),        'display' => true) 2.中文字体乱码问题 替换 /var/www/zabbix/fonts/DejaVuSans.ttf即可

基于MVC+EasyUI的Web开发框架经验总结（2）- 使用EasyUI的树控件构建Web界面

最近花了不少时间在重构和进一步提炼我的Web开发框架上,力求在用户体验和界面设计方面,和Winform开发框架保持一致,而在Web上,我主要采用EasyUI的前端界面处理技术,走MVC的技术路线,在重构完善过程中,很多细节花费不少时间进行研究和提炼,一步步走过来,也积累了不少经验,本系列将主要介绍我在进一步完善我的Web框架基础上积累的经验进行分享,本随笔主要介绍使用EasyUI的树控件构建Web界面的相关经验. 在很多界面设计上,我们可能都需要引入树列表控件,这个控件可以用zTree来实现,也

下载Zookeeper从入门到精通（开发详解，案例实战，Web界面监控）

ZooKeeper是Hadoop的开源子项目(Google Chubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护.命名服务.分布式同步.组服务等. Zookeeper的Fast Fail 和 Leader选举特性大大增强了分布式集群的稳定和健壮性,并且解决了Master/Slave模式的单点故障重大隐患,这是越来越多的分布式产品如HBase.Storm(流计算).S4(流计算)等强依赖Zookeeper的原因. Zookeeper从入门到精通(开发详解,案

SaltStack 学习笔记 - 第十二篇： SaltStack Web 界面

SaltStack 有自身的用python开发的web界面halite,好处是基于python,可以跟salt的api无缝配合,确定就比较明显,需要个性化对web界面进行定制的会比较麻烦,如果喜欢体验该界面的可以参考下面的文章  http://rfyiamcool.blog.51cto.com/1030776/1275443/ 我是运用另一个python+php来进行web开发,具体需要的工具有在我的另一篇文章里面介绍过,这里再重新进行整个开发介绍 首先介绍php 跟python通信的工具 pp

基于MVC4+EasyUI的Web开发框架经验总结（2）- 使用EasyUI的树控件构建Web界面

最近花了不少时间在重构和进一步提炼我的Web开发框架上,力求在用户体验和界面设计方面,和Winform开发框架保持一致,而在Web上,我主要采用EasyUI的前端界面处理技术,走MVC的技术路线,在重构完善过程中,很多细节花费不少时间进行研究和提炼,一步步走过来,也积累了不少经验,本系列将主要介绍我在进一步完善我的Web框架基础上积累的经验进行分享,本随笔主要介绍使用EasyUI的树控件构建Web界面的相关经验. 在很多界面设计上,我们可能都需要引入树列表控件,这个控件可以用zTree来实现,也

ubuntu编译openwrt前端web界面

openwrt是由Cisco放出源代码的开放无线路由平台.由于是基于linux内核,所以可以将很多linux平台下的软件移植到此平台下,然后让无线路由拥有很多意想不到的功能,例如拿来做BT下载器,音乐播放器,小型数据库处理等等. 环境: Ubuntu 10.04,subversion,VMware workstation 7.1.3 首先是得到openwrt的源代码. 在Ubuntu下,首先安装上svn工具: sudo apt-get install subversion 然后装上各种依赖关系包

openvpn web界面管理软件

openvpn  web界面管理软件 https://www.vultr.com/docs/installing-openvpn-on-centos-7

初始化管理IP及web界面

以 Cisco Catalyst 3560G-24TS Switch 为例 初始化管理IP enable configure terminal interface vlan 1 ip address IP地址 掩码 no shutdown 初始化web界面登陆 enable configure terminal ip http server ip http authentication local username 用户名 password 密码 username 用户名 privilege 1

Zookeeper从入门到精通（开发详解，案例实战，Web界面监控）

ZooKeeper是Hadoop的开源子项目(Google Chubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护.命名服务.分布式同步.组服务等. Zookeeper的Fast Fail 和 Leader选举特性大大增强了分布式集群的稳定和健壮性,并且解决了Master/Slave模式的单点故障重大隐患,这是越来越多的分布式产品如HBase.Storm(流计算).S4(流计算)等强依赖Zookeeper的原因. Zookeeper在分布式集群(Hadoop