大数据搭建各个子项目时配置文件技巧(适合CentOS和Ubuntu系统)(博主推荐)

不多说,直接上干货!

  很多同行,也许都知道,对于我们大数据搭建而言,目前主流,分为Apache 和 Cloudera 和 Ambari。

后两者我不多说,是公司必备和大多数高校科研环境所必须的!

分别,详情见我如下的博客

Cloudera安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

Ambari安装搭建部署大数据集群(图文分五大步详解)(博主强烈推荐)

  我这里,对于初学者而言。一般是用Apahce和CDH这两个版本的hadoop、spark来练手和入门 。

Xmanager Enterprise *安装步骤

Notepad++软件的下载与安装步骤

  我这里,暂时,带大家来认识和运用Xshell,其他的几个,后续我贴出博客。

  第一种方法:直接vim 进入,去修改(一个一个手敲)

  第二种方法:在notepad++排版好,然后,进行复制到

  第三种:先用sz命令下载到本地,再写好,上传

  第四种:我最喜欢的,也是最推荐大家去学会的(博主推荐!)

我们知道 WinSCP 可实现对虚拟机上文件的查看和修改,以及主机和虚拟机文件之间文件的发送和接受,但 WinSCP 并非做文件编辑的趁手的工具。我们可用 XShell 取代其文件传递的功能,可用Notepad++的NPPFTP插件实现对虚拟机上文件的专业编辑。

1、   notepad++的“插件”菜单,鼠标悬停在“NppFTP”项上,在出来的下级菜单中选中“ShowNppFTP Window”

2、  在notepad++右侧会出现一个窗口,此时此窗口工具栏上按钮都是灰色的,点击工具栏上的”>>”按钮,鼠标悬停在弹出来菜单中的“settings”菜单项上

3、在弹出来的自己菜单中选择“Profile Setting”,出现“Profile Setting”对话框

4、 在对话框最左下角点击“Add New”

5、在弹出对话框中输入这个ftp配置文件(profile)的名称,点击确定,建立好新配置文件的名称

6、然后在左侧点击刚才建立的配置文件,然后右侧框都由灰色变成可写入状态;在“hostname”中填入ftp主机(ip地址或者域名),“Username”和“Password”中填入ftp用户名和密码,然后直接点击对话框最下方的“close”即可完成配置

 7、 此时回到notepad++的主页面,看右侧NppFTP的工具栏第一按钮已经成为蓝色,点击之后选择刚才编辑的ftp配置文件,就开始连接到ftp服务器上了。

8、浏览ftp服务器文件操作和一般ftp文件无区别,遇到要编辑的文件直接双击打开,NppFTP会自动下载下来打开,编辑完毕之后按Ctrl+S保存即可自动上传到服务器上。

  我正所以,带大家先做一遍失败的,才深刻体会到,为什么要有下面的步骤,以及插件的安装!(要重视起来)

  • (1)NppFTP:NppFTP(Npp:Notepad Plus Plus)
  • (2)Notepad ++:Download Notepad++ 6.9 以上 (这个版本一定要是6.9以上,否则出现后面我所陈述的兼容问题

  这里,搭建下载NppFTP插件的时候,根据自己的系统而定, 我的系统是64位。但是NotePad++是32位。(得要下载32位的NppFTP插件

https://github.com/ashkulz/NppFTP/releases/tag/v0.26.9

为 Notepad ++ 安装和配置插件

将 NppFTP(Npp:Notepad Plus Plus)中的文件,解压,拷贝 bin 目录下的全部文件(主要是 .dll 文件)到Notepad++安装目录下(默认为C:\Program Files\Notepad+)(我的是在D:\SoftWare\Notepad++)的 Plugins 目录中,然后重启 Notepad++,插件安装成功。

在 Notepad++ 的菜单栏,就会看到【插件】菜单新增的 NppFTP 按钮,如下所示:

  接下来,重新启动它,

  这里,很简单,解决办法,就是在线升级即可。别再那么傻逼,卸载掉之后,再来重装。

    

  解决办法:默认有弹窗提示升级的  或者 也可以手动点击帮助->升级notepad++

  接下来,就是再次安装,这里不多赘述,请移步

Notepad++软件的下载与安装步骤

  只是,把Localization补上。多个功能方便自己!

  其实,新版本的Notepad ++ 团队,已经将这个插件以及其他常用的插件都集成开发啦!

  插件主页:[email protected] (新版本的notepad++已经集成了这个插件)

  以下是,我的Notepad++7.3.3的32位版本软件  +  NppFTP的32插件安装好后的界面展示

  出现如下的拒绝情况,很正常。是因为

  第一步:如果服务器(这里指的是bigdatamaster)上没有装vsftpd,很简单。

[[email protected] ~]$ su root
Password:
[[email protected] hadoop]# yum -y install vsftpd(这是CentOS系统)

或者

sudo apt-get install vsftpd    (这是ubuntu系统)

  第二步:然后需要配置下文件

vi /etc/vsftpd/vsftpd.conf  (CentOS系统)

或者

sudo vim /etc/vsftpd/vsftpd.conf(这是ubuntu系统)

 

第三步:配置

write_enable = YES
ascii_upload_enable = YES
ascii_download_enable = YES
anonymous_enable=YESchroot_local_user=YES

  这里我使用的是匿名登录(保存默认)。

第四步:启动vsftpd服务

Starting vsftpd for vsftpd: [FAILED]问题的解决

[[email protected] etc]# service vsftpd start
Starting vsftpd for vsftpd:                                [  OK  ]
[[email protected] etc]# 

或者

sudo service vsftpd restart(ubuntu系统下)

第五步:成功

  bigdataslave1和bigdataslave2不多赘述。

  送给大家的话:对于这样的小技巧,别先麻烦,弄好一次,后面节约时间翻倍。而且复制粘贴和快捷键各种灵活运用!

原文地址:https://www.cnblogs.com/wangsongbai/p/9116121.html

时间: 2024-10-10 15:29:35

大数据搭建各个子项目时配置文件技巧(适合CentOS和Ubuntu系统)(博主推荐)的相关文章

Spring XD简介:大数据应用的运行时环境

简介 Spring XD(eXtreme Data,极限数据)是Pivotal的大数据产品.它结合了Spring Boot和Grails,组成Spring IO平台的执行部分.尽管Spring XD利用了大量现存的Spring项目,但它是一种运行时环境,而不是一个类库或者框架,它包含带有服务器的bin目录,你可以通过命令行启动并与之交互.运行时可以运行在开发机上.客户端自己的服务器上.AWS EC2上或者Cloud Foundry上. Spring XD中的关键组件是管理和容器服务器(Admin

tomcat优化---大数据量提交tomcat时,tomcat无法接收导致页面无反应

关于tomcat的一个优化问题: 有时候保存大数据量的数据时.tomcat不优化的话,页面会没反应.tomcat后台并不报错,仅仅是提示以下内容: 警告: More than the maximum number of request parameters (GET plus POST) for a s ingle request ([10,000]) were detected. Any parameters beyond this limit have be en ignored. To c

大数据入门基础系列之初步认识大数据生态系统圈(博主推荐)

之前在微信公众平台里写过 大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大数据入门基础系列之初步认识大数据生态系统圈 1.概述 最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归纳总结,进而将其以表格的形式进行了罗列.涉及的内容有以下几点: 分布式文件系统

关于大数据领域各个组件打包部署到集群运行的总结(含手动和maven)(博主推荐)

对于这里的打包,总结: (1)     最简单的,也是为了适应公司里,还是要用maven,当然spark那边sbt,maven都可以.但是maven居多. Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序?(企业级水平) IDEA里如何多种方式打jar包,然后上传到集群 Spark编程环境搭建(基于Intellij IDEA的Ultimate版本)(包含Java和Scala版的WordCount)(博主强烈推荐) (2)     将整个项目打jar包进去,只需指定

linux xshell jdk hadoop(环境搭建) 虚拟机 安装(大数据搭建环境)

[hadoop是2.6.5版本  xshell是6版本 jdk是1.8.0.131 虚拟机是CentOS-6.9-x86_64-bin-DVD1.iso vmware10] 1.创建虚拟机 第一步:在VMware中创建一台新的虚拟机.如图2.2所示. 图2.2 第二步:选择"自定义安装",然后单击"下一步"按钮,如图2.3所示.  图2.3 第三步:单击"下一步" 按钮,如图2.4所示.  图2.4 第四步:选择"稍后安装操作系统&qu

EasyUI 1.4.4 DataGrid(大数据量) bufferview滚动时不加载下一页数据解决方案

在使用Easyui DataGrid 过程中,发现若单页数据量超过300,IE浏览器加载速度很慢.也通过网上找寻了很多解决方案,最典型的就是去掉datagrid的自动列宽以及自动行高判断. 1.解决自动列宽:  设定列宽度可解决. 2.解决自动行高 : 注释掉下面的代码. 1 function _3e(_44,_45){ 2 //for(var i=0;i<_45.length;i++){ 3 ////var tr1=$(_44[i]); 4 ////var tr2=$(_45[i]); 5 /

大数据入门——搭建Hadoop处理环境

由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍. VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要注意的是需要修改每个虚拟机的IP与主机名. 所有虚拟机采用NAT模式上网,而且要保证与物理主机的IP互相能访问. 需要注意的几个问题.nat如果上网首先需要查看物理机(pc机)这个服务器已经启动.上网

教你零基础如何快速入门大数据技巧

现在是大数据时代,很多人都想要学习大数据,因为不管是就业前景还是薪资都非常的不错,不少人纷纷从其他行业转型到大数据行业,那么零基础的人也想要学习大数据怎么办呢?下面一起探讨下零基础如何快速入门大数据技巧吧. 很多人都需要学习大数据是需要有一定的基础的,编程语言就是必备的条件之一,编程语言目前热门的有:Java.Python.PHP.C/C++等等,无论是学习哪一门编程语言,总之要精细掌握一门语言是非常必须的,我们先拿应用广泛的Java说起哦. .在入门学习大数据的过程当中有遇见学习,行业,缺乏系

大数据平台是什么?有哪些功能?如何搭建大数据平台?

大数据平台是为了满足企业对于数据的各种要求而产生的.大数据平台: 是指以处理海量数据存储.计算及不间断流数据实时计算等场景为主的一套基础设施.典型的包括Hadoop系列.Spark.Storm.Flink以及Flume/Kafka等集群. 既可以采用开源平台,也可以采用华为.星环等商业级解决方案,既可以部署在私有云上,也可以部署在公有云上. 大数据平台的功能: 1.容纳海量数据 利用计算机群集的存储和计算能力.不仅在性能上有所扩展,而且其处理传入的大量数据流的能力也相应提高. 2.速度快 结合列