系统架构师(java)和大数据架构师

架构师不是一个职业工种,而是一种能力,而且架构师也分很多种,不同领域的架构师是不一样的.比如互联网架构师和物联网架构师,没有什么可对比的.
架构要考虑什么
1.考虑系统能做什么,不能做什么,就是常说的系统边界
2.确定架构内部的模块与模块之间的关系,以及module与外部是什么关系
3.确定非功能性需要,架构的可扩展性,可用性,可维护性以及安全性
4.架构确定以后要能够指导开发人员根据架构思想去设计和演化,确保开发出来的东西和架构的规划是一致的.
Java系统架构师

  • 系统的技术选型以及可行性评估
  • 分布式技术框架的把控
  • 深入挖掘和分析业务需求,重点模块的设计,方案的评审与技术支持,技术难点攻关,分布式系统技术如何落地,撰写技术方案和系统设计文稿,指导开发人员完成编码工作
  • 针对产品性能和架构优化,确保系统的架构质量
  • 优秀的抽象设计能力,思路清晰,善于思考,能独立分析和解决问题.

具体可能需要掌握以下内容

  • 熟悉*nix,熟练应用shell/python etc.
  • 扎实的java基础知识,熟悉IO,多线程以及并发编程
  • 熟悉掌握缓存,NoSQL,Netty,kafka等中间件技术
  • 对JVM原理有扎实理解,对服务端设计与编程有深入理解,能够进行JVM调优
  • 熟悉常见的数据结构,熟悉常用的设计模式,深入理解分布式算法和主流分布式系统,熟悉主流消息队列及其工作原理(sort/index/store/smooth/duplicate removal)
  • 有丰富的分布式,高并发,高负载,高可用性系统设计经验,熟悉分布式缓存,消息机制等

大数据架构师

  • 针对大数据平台的设计和开发制定数据架构规范,进行核心代码编写
  • 针对数据基础架构和数据处理系统进行升级和优化,技术难题攻关,持续提升核心系统性能,保证系统安全高效平稳运行
  • 大规模数据实时化,技术容器化,私有云实施技能方案,数据模型规范化等
  • 跟踪大数据相关领域技术趋势,竞品的发展以及技术动态
  • 精通或熟练掌握大数据生态的技术和产品:Hive,Storm,Flink,Spark,ELK,Kafka,Zookeeper,Yarn,presto,对spark分布式计算的底层原理有深入理解,对复杂系统的性能优化和稳定性有实践经验
  • 精通或熟练数据仓库设计,深刻理解MR运行原理和机制,能进行任务执行效率优化,熟悉开源数据交换工具:sqoop,Streamset,kettle,datax etc.
  • 善于捕捉业务需要,根据需要规划架构设计,给出相应的解决措施和方法.
  • 加分项:数据预测,预警,人工智能,图像识别,语音智能,物联网数据收集,标等.线性计算,神经网络,知识图谱.

二者异同:
异:java系统架构师偏重于分布式,高可用,可并发,容错等.熟练掌握支撑业务的系统架构或工具集
大数据架构师偏重于人工智能,商业智能,数据挖掘,离线,实时等高效率高可用的结构化数据,半结构化数据.熟悉hadoop生态圈子,使用各种模型组件集来解决问题.
同:降本增效,提高效率,创造价值.

原文地址:https://blog.51cto.com/8745668/2378954

时间: 2024-07-29 12:01:27

系统架构师(java)和大数据架构师的相关文章

大数据架构和模式(一)大数据分类和架构简介

本文收藏于:http://kb.cnblogs.com/page/510978/ 作者: Divakar等  来源: DeveloperWorks  发布时间: 2015-01-29 18:19  阅读: 3294 次  推荐: 8   原文链接   [收藏] 摘要:大数据问题的分析和解决通常很复杂.大数据的量.速度和种类使得提取信息和获得业务洞察变得很困难.以下操作是一个良好的开端:依据必须处理的数据的格式.要应用的分析类型.使用的处理技术,以及目标系统需要获取.加载.处理.分析和存储数据的数

成为数据开发工程师?常用的几种大数据架构剖析你都掌握了吗?

数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策.业务发展有着举足轻重的作用.随着大数据技术的发展,数据挖掘.数据探索等专有名词曝光度越来越高,但是在类似于Hadoop系列的大数据分析系统大行其道之前,数据分析工作已经经历了长足的发展,尤其是以BI系统为主的数据分析,已经有了非常成熟和稳定的技术方案和生态系统,对于BI系统来说,大概的架构图如下: 可以看到在BI系统里面,核心的模块是Cube,Cube是一个更高层的业务模型抽象,在Cube之上可以进行多种操作,例如

大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术

大数据我们都知道hadoop,可是还会各种各样的技术进入我们的视野:Spark,Storm,impala,让我们都反映不过来.为了能够更好的架构大数据项目,这里整理一下,供技术人员,项目经理,架构师选择合适的技术,了解大数据各种技术之间的关系,选择合适的语言. 我们可以带着下面问题来阅读本文章: 1.hadoop都包含什么技术 2.Cloudera公司与hadoop的关系是什么,都有什么产品,产品有什么特性 3. Spark与hadoop的关联是什么? 4. Storm与hadoop的关联是什么

迈向大数据架构师 - 架构师转型方法与架构设计理论

迈向大数据架构师 - 架构师转型方法与架构设计理论课程学习地址:http://www.xuetuwuyou.com/course/233课程出自学途无忧网:http://www.xuetuwuyou.com课程摘自<大数据系统架构分析师成长之路>:http://www.xuetuwuyou.com/course/200 1.课程目标通过本课程的学习,让学员了解到什么是系统架构师,什么大数据系统架构师,两者的区别与联系,程序员与架构师的不同,程序员如何向架构师转型,一个架构师工作日常及必须修炼的

深入大数据架构师之路,问鼎40万年薪视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程 视频课程包含: 38套大数据和人工智能精品高级课包含:大数据,云计算,架构,数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战,离线电商分析项目实战,Spark大型项目实战用户分析,智能客户系统项目实战,Linux基础,Hadoop,Spark,Storm,Docker,Mapreduce,Kafka,Flume,OpenStack,Hiv

北风网大数据架构师课程怎么样?

北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可以联系我QQ:375537364    链接:http://pan.baidu.com/s/1bPl5aY 密码:ymmi 北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可以联系我QQ:375537364    链接:http://pan.baidu.com/s/1bPl5aY 密码:ymmi 北风网大数据架构师的课程还是挺不错的,之前报名过一套,现在给大家发点视频,有需要的可

大数据架构的典型方法和方式

大量的IT组织如今都已自己的数据架构,因为都依赖于传统的数据架构.处理多数据源已不再新鲜:这些架构已经连接了多维度的数据源例如 CRM 系统,文件系统和其他商用系统.主要运行的关系型数据库有 Oracle, DB2和Microsoft SQL. 如今,一般的数据分析周期是运行一些周期性脚本直接从数据库提取和处理数据.这些主要由 ETL工具如 Informatica 或者 Talend. 目标是将这些提炼的数据加载到数据仓库用于将来的分析. 不幸的是,这一方法在周期结束后可能不适合商务的需要了.这

WOT干货大放送:大数据架构发展趋势及探索实践分享

WOT大数据处理技术分会场,PingCAP CTO黄东旭.易观智库CTO郭炜.Mob开发者服务平台技术副总监林荣波.宜信技术研发中心高级架构师王东及商助科技(99Click)顾问总监郑泉五位讲师,分别针对时下热门的HTAP数据库TiDB.去ETL化的IOTA架构.数据工厂架构.实时敏捷大数据理念实践.基于场景的大数据营销等话题,展开实践分享. 作者:查士加来源:51CTO 2018年5月18-19日,由51CTO主办的全球软件与运维技术峰会在北京召开.来自全球企业的技术精英汇聚北京,畅谈软件技术

五个顶级的大数据架构

五个顶级的大数据架构 自从像AWS这样的公共云产品开辟了大数据分析功能以来,小企业通过挖掘大量的数据做到只有大企业才能做到的事情,至今大约有10年时间.这些事情其中包括网络日志.客户购买记录等,并通过按使需付费的方式提供低成本的商品集群.在这十年中,这些产品蓬勃发展,涵盖了从实时(亚秒级延迟)流媒体式分析到用于分析批量模式工作的企业数据仓库,而企业数据仓库则可能需要数天或数周才能完成. 以下将介绍用于大数据堆栈的五个最有用的架构,以及每个架构的优点,以便更好地理解和权衡.此外,还对成本(按$ -