Spark 使用intellijidea本地调试

1 概述 开发调试spark程序时,因为要访问开启kerberos认证的hive/hbase/hdfs等组件,每次调试都需要打jar包,上传到服务器执行特别影响工作效率,所以调研了下如何在windows环境用idea直接跑spark任务的方法,本文旨在记录配置本地调试环境中遇到的问题及解决方案. 2 环境 Jdk 1.8.0 Spark 2.1.0 Scala 2.11.8 Hadoop 2.6.0-cdh5.12.1 Hive 1.1.0-cdh5.12.1 环境搭建略,直接看本地调试spar

1,前言 想要深入的了解hbase,看hbase源码是必须的.以下描述了搭建hbase本地调试环境的经历 2,安装步骤 2.1,启动hbase 1,安装java和IDE IntelliJ,下载源码等.步骤这里不再描述. 2,从HMaster以standalone模式启动hbase,配置如下: 主要是程序参数start,VM options(-Dlog4j.configuration=file:/Users/aaa/work/dev/hbase/hbase-1.1.3/conf/log4j.pro

1.如果要是发布到iis,还加载不出来,那就要配置一下MIME类型: 2.本地调试时,无法加载json文件: 解决方案: 在web.config中添加如下配置:mimeMap <system.webServer> <defaultDocument> <files> <clear /> <add value="default.aspx" /> </files> </defaultDocument> <

微信开发的本地调试只支持80号端口,实验了很多办法,总结一下: 办法一: 公司使用的是联通ADSL, 在路由器上做完端口映射后发现电信/联通封了80端口,所以这个办法走不通了. 办法二: 搜可以下,可以用ngrok,飞快的下载,设置好了.把ngrok的URL填入微信设置时,微信提示这种网址存在安全风险,已经不支持了. 办法三: 最后一招,端口转发(当你有一台外网linux服务器时) (1)首先:把该linux服务器占用80号端口的服务关闭: (2)打开服务器的远程转发功能,执行以下命令: sud

测试微信,因为要与微信服务器进行交互,所以必须要是外网地址,实现本地调试首先需要解决的问题就是外网问题,这个我前面的文章有介绍,这里就不再详细介绍了,网址http://www.cnblogs.com/zhangjd/p/5657300.html 一.需要将项目发布到本地的IIS上,物理路径要填写本地项目的路径,不是发布后生成的发布文件路径 二.发布项目后,打开Vs选择调试->附加到进程 三.找到w3wp.exe选中后点击附加到进程 四.打开微信发送个消息,就发现断点进来了

之前使用的都是jfianl_weixin_1.1版本,在本地调试的时候只需要注释掉@Before(WeixinInterceptor.class)拦截器就可以了.ps:(该方法一开始是看@天蓬小猪  的微博http://my.oschina.net/u/257950/blog/347392) .今天需要开发新的微信项目,发现sdk已经更新到1.2版本了,于是熟练的注释掉了@Before(MsgInterceptor.class)这一行,然后运行微信开发调试小工具后就报了一个错误 java.lan

1.调试微信接口需要有自己的服务器资源 假定已经将程序部署到服务器上,并且能够正确接收微信服务器发送过来的请求 2.记日志 将微信发送的请求转换成 url,以及post数据体 WxStream = context.Request.InputStream; StreamReader reader = new StreamReader(WxStream); WxContent = reader.ReadToEnd(); var absoluteUri = context.Request.Url.Ab

微信公众号本地调试 背景 微信公众号开启开发者模式后,微信服务器会向开发者配置的服务器推送相关消息.我们在进行微信公众号开发时,必须要有外网域名才能收到微信服务器的推送,这给开发和调试带来很大的不便.使用由QQ浏览器提供的微信公众号调试工具,你可以在自己的windows开发机上进行开发和调试,不再需要外网IP和域名. 功能特性 本地开发,在自己的开发机或者私人电脑上就可以进行微信公众号开发和调试,不需要公网IP和域名 微信报文审查功能,可以直观看到已接收和已发送的消息内容和事件,方便开发和问题定

OpenCart简介: 免费开源网络版电子商务系统,是建立在线商务网站首选之一.有众多用户和开发基础,结合其丰富特性与模板插件,可最大化定制在线商店.(也就是用来方便开网店的) 本地调试准备: Firefox浏览器 安装思路: 进官网看看有没有安装帮助->安装帮助下载环境&源代码->配置环境->成功运行 安装开始: 首先进官网 http://www.opencartchina.com/ 看到帮助手册就点进去,下载最新手册(pdf).看看这个也行 打开pdf,书签找到电脑本地Ope