ignite从0到1的学习过程记录-第一篇:安装和体验

1、学习背景

  之前做一个根据wifi点位实时计算个人的轨迹的应用,使用Hbase, 尽管做了些优化,但是在计算性能上仍然不能满足需求,当时考虑是否可以用分布内存计算框架来解决,不过项目后来由于数据来源问题搁置也就没再继续,但是ignite进入视野,我想这么牛的东西一定得学学^_^。

2、学习资源

  中文有这位大神翻译的文档,中文文档

  英文学习资源当属官网:英文文档

3、简单介绍

  参考官网基础概念介绍,ignite 至少有以下特性

  • 支持sql 和k-v 两种模式
  • 既可以作为应用二级缓存使用又可以作为一个内存数据库
  • 分布式支持非常好,具体怎么好,以后慢慢探究
  • 拥有并行计算的能力,不用客户端抓取大量数据再进行计算(好像可以理解成iginte也可以作为一个并行计算框架)

 4、安装ignite

  初步学习自然要安装一个试一试,Getting-started

这里记录下根据文档学习的过程,首先下载编译的好的最新安装包,使用命令行启动。

  • 打开目录

    $ cd /d/apache-ignite-fabric-2.3.0-bin/
  • 查看环境变量

    $ echo $JAVA_HOME
    C:\Program Files\Java\jdk1.8.0_151
  • 运行

    $ cd bin
    $ sh ignite.sh
    [17:03:52]    __________  ________________
    [17:03:52]   /  _/ ___/ |/ /  _/_  __/ __/
    [17:03:52]  _/ // (7 7    // /  / / / _/
    [17:03:52] /___/\___/_/|_/___/ /_/ /___/
    [17:03:52]
    [17:03:52] ver. 2.3.0#20171028-sha1:8add7fd5
    [17:03:52] 2017 Copyright(C) Apache Software Foundation
    [17:03:52]
    [17:03:52] Ignite documentation: http://ignite.apache.org
    [17:03:52]
    [17:03:52] Quiet mode.
    [17:03:52]   ^-- Logging to file ‘d:\apache-ignite-fabric-2.3.0-bin\work\log\ignite-a4954706.0.log‘
    [17:03:52]   ^-- To see **FULL** console log here add -DIGNITE_QUIET=false or "-v" to ignite.{sh|bat}
    [17:03:52]
    [17:03:52] OS: Windows 10 10.0 amd64
    [17:03:52] VM information: Java(TM) SE Runtime Environment 1.8.0_151-b12 Oracle Corporation Java HotSpot(TM) 64-Bit Server VM 25.151-b12
    [17:03:52] Configured plugins:
    [17:03:52]   ^-- None
    [17:03:52]
    [17:03:52] Message queue limit is set to 0 which may lead to potential OOMEs when running cache operations in FULL_ASYNC or PRIMARY_SYNC modes due to message queues growth on sender and receiver sides.
    [17:03:52] Security status [authentication=off, tls/ssl=off]
    [17:03:55] Performance suggestions for grid  (fix if possible)
    [17:03:55] To disable, set -DIGNITE_PERFORMANCE_SUGGESTIONS_DISABLED=true
    [17:03:55]   ^-- Enable G1 Garbage Collector (add ‘-XX:+UseG1GC‘ to JVM options)
    [17:03:55]   ^-- Set max direct memory size if getting ‘OOME: Direct buffer memory‘ (add ‘-XX:MaxDirectMemorySize=<size>[g|G|m|M|k|K]‘ to JVM options)
    [17:03:55]   ^-- Disable processing of calls to System.gc() (add ‘-XX:+DisableExplicitGC‘ to JVM options)
    [17:03:55] Refer to this page for more performance suggestions: https://apacheignite.readme.io/docs/jvm-and-system-tuning
    [17:03:55]
    [17:03:55] To start Console Management & Monitoring run ignitevisorcmd.{sh|bat}
    [17:03:55]
    [17:03:55] Ignite node started OK (id=a4954706)
    [17:03:55] Topology snapshot [ver=1, servers=1, clients=0, CPUs=4, heap=1.0GB]
    在 sh ignite.sh 命令后可以指定配置文件 或者添加-i参数来选择配置文件。

 5、工具使用

  5.1 管理和监控工具

  在Getting-started 末尾提到了两个工具,原文如下:

  The easiest way to examine the content of the data grid as well as perform other management and monitoring operations is to use the Ignite Web Console and Ignite Visor Command Line utility.

  这两个工具都是用来管理和监控ignite的,在上一步的启动脚本打印的信息末尾可以看到这样一句

  

说明在ignite编译时,已经将visor command line 一起编译了,找到bin目录启动该脚本

  • 启动脚本

    $ sh ignitevisorcmd.sh
    ___    _________________________ ________
    __ |  / /____  _/__  ___/__  __ \___  __ __ | / /  __  /  _____ \ _  / / /__  /_/ /
    __ |/ /  __/ /   ____/ / / /_/ / _  _, _/
    _____/   /___/   /____/  \____/  /_/ |_|
    
    ADMIN CONSOLE
    2017 Copyright(C) Apache Software Foundation
    
    +-------------------------------------+
    | Status               | Disconnected |
    | Ignite instance name | <n/a>        |
    | Config path          | <n/a>        |
    | Uptime               | <n/a>        |
    +-------------------------------------+
    
    Type ‘help‘ for more information.
    Type ‘open‘ to join the grid.
    Type ‘quit‘ to quit form Visor console.
    
    visor>

    根据 cmd 说明,通过open命令启动一个ignite节点 ,具体命令的作用以后再慢慢学习。

  5.2 sqlline工具

  使用参考 sqlline说明

  • 启动sqlline

    sqlline.bat --color=true --verbose=true -u jdbc:ignite:thin://127.0.0.1/   # linux ./sqlline.sh ...
  • 执行脚本 用!sql +sql 语句即可

    !sql create table city (id LONG primary key, name varchar);
    !sql insert into city (id, name) values(1, ‘Forest Hill‘);
    !sql select * from city;

  ignite作为内存数据库,重启ignite后,再执行select * from city 抛出异常,因为之前的数据已经不在了。

  5.3 使用DBeaver连接ignite

  ignite支持sql模式,自然可以用sql客户端连接,官网给出了使用DBeaver连接ignite的说明 SQL Tooling

  只需要在DBeaver 驱动管理中新增ignite驱动即可使用,下面我的配置截图

  • 配置驱动
  • 添加链接

  完成之后和操作其他数据库基本一样了。

 6、web-console

  在5.1中有提到web-console, 这是个比较强大的管理和监控工具,Ignite Web Console,我这里直接拉取docker镜像,

  •  拉取镜像

    docker pull registry.docker-cn.com/apacheignite/web-console-standalone
  • 运行docker

    docker run -d -p 80:80 -v /mongo:/var/lib/mongodb --name web-console-standalone apacheignite/web-console-standalone

    直接浏览器属于ip即可访问

原文地址:https://www.cnblogs.com/ljgeng/p/8413368.html

时间: 2024-11-07 10:38:42

ignite从0到1的学习过程记录-第一篇:安装和体验的相关文章

从0开始搭建SQL Server AlwaysOn 第一篇(配置域控)

从0开始搭建SQL Server AlwaysOn 第一篇(配置域控) 网上的 AlwaysOn可以说是非常的多,也可以说是非常的千篇一律,而且很多都是搭建非常顺利的,没有坑的,难道搭建 AlwaysOn真的可以这麽顺利吗?????? 由于公司使用的是最新的Windows Server 2012 R2,网上用的都是Windows Server 2008 R2 ,2012 R2和2008 R2在故障转移集群界面菜单和AD 服务管理工具 已经有较大变化,有一些步骤跟Windows Server 20

零基础学cocos2dx 3.0(顺带学C++)第一篇 切换场景

不会去重复一些概念性的东西,具体的内容,我在代码中已经备注出来.先看目录,这个创建完项目目录的Classes文件夹下有4个文件,我把helloworld那两个文件直接改了名字,这里我叫MainScene .切记,在改为名字之后需要到appDelegate.pp里面把对应的helloworld改过来. 废话不多说,直接上代码 1,appDelegate.h #ifndef _APP_DELEGATE_H_ #define _APP_DELEGATE_H_ #include "cocos2d.h&q

PHP学习记录第一篇:Ubuntu14.04下LAMP的安装

最近一段时间会学习一下PHP全栈开发,将会写一系列的文章来总结学习的过程,以自勉. 第一篇记录一下LAMP环境的安装 0. 安装Apache Web服务器 安装之前先更新一下系统 sudo apt-get update && sudo apt-get dist-upgrade 然后安装Apache sudo apt-get install apache2 这时在浏览器里输入localhost就可以看到 "It works!", 说明安装成功. 1. 安装MySQL数据库

(转)从0开始搭建SQL Server AlwaysOn 第一篇(配置域控+域用户 DCADMIN)

原文地址: http://www.cnblogs.com/lyhabc/p/4678330.html 实验环境: 准备工作 软件准备 (1) SQL Server 2012 (2) Windows Server 2012 R2 DataCenter   64位 (3) VMware-workstation 10.0 操作系统:都是Windows Server 2012 R2   DataCenter  64位(win2012/win2012R2 只有DataCenter 版本才能使用故障转移集群

(转)从0开始搭建SQL Server AlwaysOn 第一篇(配置域控+域用户DCADMIN)

原文地址: http://www.cnblogs.com/lyhabc/p/4678330.html 实验环境: 准备工作 软件准备 (1) SQL Server 2012 (2) Windows Server 2012 R2 DataCenter   64位 (3) VMware-workstation 10.0 操作系统:都是Windows Server 2012 R2   DataCenter  64位(win2012/win2012R2 只有DataCenter 版本才能使用故障转移集群

KETTLE常见问题记录第一篇【安装,资源库,数据库】

在群里经常会遇到很多人问问题,大部分人的问题都大同小异:在这里把自己和群里同学们遇到过,自己手痒去验证过的问题做一个集中记录,希望可帮助一些PDI入门的同学们.也可以见证一下前人踩过的无数坑~ 另外,特别推荐一本kettle入门值得看的书<解决方案:使用PDI构建开源ETL解决方案>,有条件的当当可买,没条件的电子书很容易获取,中文翻译版的易懂,有别的提高的也可以直接去看英文版.就这本: 安装相关 1.可视化界面spoon.bat打不开,JVM提示不能正常启动 1)检查一下环境变量的配置 2)

cocos2d-x学习记录第一篇-环境变量配置

最近准备学习cocos2d-x,之前一直是做iOS开发的,算是零基础开始学习吧. 本人用Mac电脑,不多说了,直接开始 第一步:下载需要的文件 1.下载cocos2dx http://www.cocos2d-x.org/download 2.下载android的sdk以及ndk http://developer.android.com/sdk/index.html 注释: 1)ndk可以直接下载,http://developer.android.com/tools/sdk/ndk/index.h

信息安全系统设计基础——第一周学习过程记录与总结体会

第一周学习过程记录与总结体会 第1节    Linux系统简介 1.Linux操作系统:即内核和系统调用两层 2.Linux与Windows的不同: (1)免费与收费 (2)软件与支持 (3)安全性 (4)使用习惯 (5)可定制性 (6)应用范畴 (7)各自缺乏的 3.如何学习Linux (1)明确态度,形成良好学习心态 (2)重视基础,从头学习 第2节  基本概念及操作 1.桌面环境介绍 通过内核—服务器(X.org) —客户端(X.client)实现完整的桌面环境,与Windows不同. 2

II7.0 发布 MVC 4.0 三个小问题记录

原文:II7.0 发布 MVC 4.0 三个小问题记录 1,403.14-Forbidden Web 服务器被配置为不列出此目录的内容 根据提示更改:使用 IIS 管理器启用目录浏览. 打开 IIS 管理器. 在"功能"视图中,双击"目录浏览". 在"目录浏览"页上,在"操作"窗格中单击"启用". 但是改完之后问题依旧,网上又找到说更改web.config节点内容: 1 <system.webServ