[分布式计算引擎:Iveely Computing] 写在前面的话

     本人一直从事分布式计算研究和研发,Iveely Computing是我在工作之余写的分布式计算框架,用于大规模集群服务器,简单易用,纯Java开发。至少包含以下功能:

  1. 分布式任务分解执行能力。
  2. 容灾处理能力。
  3. 大数据分析处理能力。

     好了,我为什么会写Iveely Computing这样的计算框架呢?原因很简单:在使用庞大的后台系统来说,我们至少会遇到下面几个问题:

  1. 写一个分布式程序总是涉及太多问题。
  2. 程序部署到多台机器协同运行较复杂。
  3. 后台程序越来越多之后,非常难于管理。
  4. 集群机器出现问题难于修复后台程序。

     …

     也是基于此,我有了实现Iveely Computing的打算,我希望利用Iveely Computing的分布式计算能力,将程序部署、大数据计算变得更简单,当然,现在已经做到。

时间: 2024-10-09 09:04:45

[分布式计算引擎:Iveely Computing] 写在前面的话的相关文章

开源分布式实时计算引擎 Iveely Computing 之 WordCount 详解(3)

      WordCount是很多分布式计算中,最常用的例子,例如Hadoop.Storm,Iveely Computing也不例外.明白了WordCount在Iveely Computing上的运行原理,就很容易写出新的分布式程序.上一篇中已经知道了如何部署Iveely Computing以及提交任务,现在我们将深入WordCount的代码.        一.代码结构                                          图3-1       从图3-1中,可以

如何部署Iveely.Computing分布式实时计算系统

Iveely.Computing是参考Storm的分布式实时计算系统的部分原理,用纯Java实现的轻量级.迷你型,适合于搜索引擎的实时计算系统, Iveely 搜索引擎是一款基于Iveely.Computing的搜索引擎,因此部署Iveely.Computing是使用Iveely搜索的关键,通过验证,Iveely搜索稳定在Iveely.Computing上运行了一个月. 一个完整的部署文件包含以下内容: Zookeeper 是必要的协调服务. Master 是Iveey.Computing的任务

如何使用Iveely的数据存储引擎 Iveely Database

Iveely 数据存储引擎是为Iveely 搜索引擎提供数据存储的机制. 适用于:频繁数据插入.数据读取.数据更改或者删除数据不适合Iveely Database,存储结构是按照搜索引擎数据存储要求(频繁读.频繁写.几乎无删)设计,因此不是所有的数据存储都可以用Iveely Database. 安装部署       在下载的Iveely database中,只需要启动RunDatabase.bat,Linux下,直接启动Iveely.Database.jar,启动后,打开UI下的index.ht

分布式计算 要不要把写日志独立成一个Server Remote Procedure Call Protocol

w https://en.wikipedia.org/wiki/Remote_procedure_call In distributed computing a remote procedure call (RPC) is when a computer program causes a procedure (subroutine) to execute in another address space (commonly on another computer on a shared netw

(MariaDB/MySQL)MyISAM存储引擎读、写操作的优先级

MariaDB/MySQL中使用表级锁的存储引擎(例如MyISAM.Aria(MariaDB对MyISAM引擎的改进,前身是MyISAM))在读(select).写操作(insert.delete.update.replace)上有优先级的概念.默认情况下,写操作的优先级高于读操作.注:不适用于InnoDB存储引擎. 以MyISAM为例.当有进程正在写MyISAM表的时候,又有新的读操作.写操作出现,则会先执行完所有的写操作,等写完后才会读表.实际上并非总是先执行完所有写操作,因为有系统变量ma

自己写的简单的模板引擎

开发网站需要用到模板引擎,自己写了一个简单的.功能很简单,只做了两件事,一个是替换Model一个是替换List,支持List嵌套. html模板示例代码如下: <!DOCTYPE html> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="Content-Type" content="text/html; charset=ut

开源搜索 Iveely Search Engine 0.6.0 发布 -- 黎明前的娇嫩

快两年了,Iveely Search Engine已经走过了5个版本的岁月,虽出生“贫寒”,没有任何开源基金会的支持,没有优秀的“干爹.干妈”,它凭着它的爱好者的支持,0.6.0终于破壳而出,7年前,我开始研究搜索引擎,开始构思我的想法,今天的0.6.0是目前最接近我最初想法的一个版本.简单的说,搜索引擎会让机器人越来越聪明,当然源码依然在这里 (安装部署). 在Iveely Search Engine 0.6.0里,我们为大家带来了什么?新的视野,未来的搜索方式.还记得,我们发布0.1.0的时

开源搜索引擎Iveely 0.7.0发布,不一样,那就让他不一样!

2012年08月05日,Iveely Search Engine 0.1.0发布,今天,怀着对于未来的追求,终于,0.7.0如期和大家见面了,7个版本,历时2年4个月,感谢大家的支持,感谢我不离不弃的战友魏琪,奋斗到深夜,放弃了周末的社交,就为0.7.0如期而至:感谢Bogdan P Sliwowski先生,您的支持,让我们的激情和梦想靠得越来越近.下载安装编译部署,请参考Github,Web访问的时候,请确定您的浏览器支持WebSocket. 概  要 此次的版本,最大的技术改变是将纯C#迁移

阿里重磅开源首款自研科学计算引擎Mars,揭秘超大规模科学计算

日前,阿里巴巴正式对外发布了分布式科学计算引擎 Mars 的开源代码地址,开发者们可以在pypi上自主下载安装,或在Github上获取源代码并参与开发. 此前,早在2018年9月的杭州云栖大会上,阿里巴巴就公布了这项开源计划.Mars 突破了现有大数据计算引擎的关系代数为主的计算模型,将分布式技术引入科学计算/数值计算领域,极大地扩展了科学计算的计算规模和效率.目前已应用于阿里巴巴及其云上客户的业务和生产场景.本文将为大家详细介绍Mars的设计初衷和技术架构. 概述 科学计算即数值计算,是指应用