在大数据中,关于native包的编译步骤

一。问题的由来:

  

二。解决问题的方法(所有的操作在root下完成):

  1.前期需要的环境,下面的已经在伪分布式中配置好,不再重复

    配置好jdk

    配置好hadoop

  2.上传还需要包

  

     apache-maven-3.0.5-bin.tar.gz和protobuf-2.5.0.tar.gz

    maven是项目管理与项目构建自动化工具,在这之前必须保证安装jdk。

     protobuf是一种数据化方式。用于通信和存储的序列化,结构化的协议。

  3.解压maven到指定的目录

    

  4.配置maven的环境变量和路径(需要在root下)

    

  5.source一下,使环境变量尽快生效

    

  6.退出

    

  7.重新登录,检验mvn

    

  8.安装gcc/gcc-c++

    

  9.make

    

      make是Linux下的一款程序自动维护工具,配合makefile的使用,就能够根据程序中模块的修改情况,自动判断应该对那些模块重新编译,从而保证软件是由最新的模    块构成。

  10.解压安装protobuf

    

  11.指定protobuf安装的位置

    

  12.make

    大量的编译后的结果太多。。。。。

    

  13.make install

    

  14. 配置环境变量

    

  15.source一下,使配置环境尽快的生效

    

  16.exit后,重新登录,然后检验protoc是否可以使用

    

  17.下载安装cmake ,openssl-devel ,ncurses-devel

      CMake是一个跨平台的安装(编译)工具,可以用简单的语句来描述所有平台的安装(编译过程)。他能够输出各种各样的makefile或者project文件,能测试编译器所    支持的C++特性,类似UNIX下的automake。

      openssl-devel包是第三方软件开发时使用的Lib包,是用于编译的时候连接的库之类的文件。

    

  18.在编译源码包前,首先进入hadoop-2.5.0-src目录,即是需要解压安装hadoop-2.5.0-src

    

  19.编译

    

  20.剩下就是等待即可。

时间: 2024-08-08 05:20:32

在大数据中,关于native包的编译步骤的相关文章

H2O是开源基于大数据的机器学习库包

H2O是开源基于大数据的机器学习库包 H2O能够让Hadoop做数学,H2O是基于大数据的 统计分析 机器学习和数学库包,让用户基于核心的数学积木搭建应用块代码,采取类似R语言 Excel或JSON等熟悉接口,使的BigData爱好者和专家可以利用一系列简单的先进算法对数据集进行探索,建模和评估.数据收集是很容易,但是决 策是很难的. H2O使得能用更快更好的预测模型源实现快速和方便地数据的挖掘. H2O愿意将在线评分和建模融合在一个单一平台上. H2O提供了机器学习的培训手册供学习:H2O训练

因素空间理论在大数据中的应用——汪培庄

因素空间理论在大数据中的应用 汪培庄 辽宁工程技术大学 (在大数据与数据科学进展主题论坛上的发言稿,经过整理) 我国数据与机器智能科学工作者肩负着引领大数据时代浪潮的重任,这是关乎我们能否顺利实现中国梦的大事.无论多困难,我们一定要争取走向前列.作为在信息革命领域里头曾经撕杀过的一名老兵,我曾经打造一个理论,就等这一天来接受新的考验,这个理论就是因素空间.       一.因素空间的历史贡献   87年7月,日本学者山川烈在东京召开的国际模糊系统大会展厅里摆着一台机器,明确写着FUZZY COM

数据挖掘在大数据中的应用综述

*** (上海海事大学 上海 201306) 摘 要: 面对大规模多源异构的数据,数据挖掘的方法不断的得到改善与发展,同时对于数据挖掘体系的完善也提出了新的挑战.针对当前数据挖掘在大数据方面的应用,本文从数据挖掘的各个阶段进行了方法论的总结及应用,主要包括数据准备的方法.数据探索的方法.关联规则方法.数据回归方法.数据分类方法.数据聚类方法.数据预测方法和数据诊断方法.最后还指出类数据挖掘在鲁棒性表达方面的进一步研究. 关键词: 数据挖掘;方法论;大数据;鲁棒性 Application of D

大数据中找上中位数的方法

题目: 40亿 大整数,组成了一个大文件.想找到其中的 上中位数该怎么办?内存:10MB,怎么办?内存:20K,怎么办?内存:有限几个字符,怎么办?条件:按行读取文件,读取操作不占用内存. 应该具备的能力:2^k = ? 应该都能够熟记,达到反射性反应的程度.字节数 对应计算机中的 容量(T, G, M, K) 内存只有 10MB 的情况接下来我们来解题:看到大数据容量限制的,首先想到的是从范围入手.1. 数据是 有符号? / 无符号?2. 我们知道一个 4字节的无符号整数 范围为:0~42亿

大数据中的先行产业

对来自互联网的非结构化数据中隐含的舆情信息进行提炼和大数据分析,正在大数据的第一波浪潮中创造出越来越大的市场空间.而如何利用从互联网.社交网络.移动应用等创新领域创造的.呈现出爆发式增长的海量非结构化数据中创造价值,是当前大数据行业最为关注的热点话题.利用海量数据分析工具和算法对来自互联网的非结构化数据中隐含的舆情信息进行提炼和分析,从而为政府和企业管理者的工作提供决策支持,也正在大数据的第一波浪潮之中创造出越来越大的市场空间. 面对互联网上的海量信息,如何有效地发现和分析互联网舆情,是当前各类

基于简单sql语句的sql解析原理及在大数据中的应用

李万鸿 通常sql语法解析都是以lex.yacc进行分析为基础的,是逐个字符进行分析,性能不高,如果基于没有子查询的sql语句进行解析,则速度会提高许多,在此对其原理加以说明. 一般sql语句十分复杂,包含多层嵌套,但其中有规律可循,其特点是所有的语句基本模式是一样的,即:都是SELECT  FROM  WHERE类型的简单语句,因此,可以把嵌套的语句逐条解析为这种简单语句.由于sql语句的语法是一样的,所以可以用递归的方法对语句加以解析,从而把sql语句解析为多条简单的子SQL语句.然后通过一

(原)解决elasticsearch在大数据中应用的精确度问题

这个月初,正式开始做大数据相关工作,关于这一块,自己也是初生毛驴,不过慢慢来吧. 大数据) 大数据大数据大数据,都特么被说烂了的词语,在做这个工作之前,我对它有诸多不解,并且我相信很多没有接触的人,一定会有和我一样的底层基础问题. 例如)hadoop输入源哪儿来:hadoop也是一个被玩烂的了的词语,我这边和ibm合作,由ibm提供硬件和hadoop环境,我们负责写hadoop的job,关于hadoop是干嘛的,如何搭建各种hadoop环境,网上早已经是烂大街,各种helloworld也是遍地都

大数据平台粗略架构和数仓设计步骤

大数据平台粗略架构   数据仓库设计步骤 1.确定主题 主题与业务密切相关,所以设计数仓之前应当充分了解业务有哪些方面的需求,据此确定主题 2.确定量度 在确定了主题以后,我们将考虑要分析的技术指标,诸如年销售额之类.量度是要统计的指标,必须事先选 择恰当,基于不同的量度将直接产生不同的决策结果. 3.确定数据粒度 考虑到量度的聚合程度不同,我们将采用"最小粒度原则",即将量度的粒度设置到最小.例如如果知道某些数据细分到天就好了,那么设置其粒度到天:但是如果不确定的话,就将粒度设置为最

大数据中的数据类型

一:概述 1.数据类型 <key,value>频繁的在磁盘中进行读写,所以需要重新定义数据类型. 数据类型都实现Writable接口,以便使用这些类型对数据进行序列化,方便网络传输和文件存储. 2.数据类型中要实现的两种接口 1).Writable value必须实现. write()把每个对象序列化到输出流 readFileds()是把输入流字节反序列化 2).WritableComparable key必须实现. 实现了两个接口. 二:自定义数据类型 1.要求 必须实现toString()