大数据时代的精准数据挖掘——使用R语言

老师简介:

Gino老师,即将步入不惑之年,早年获得名校数学与应用数学专业学士和统计学专业硕士,有海外学习和工作的经历,近二十年来一直进行着数据分析的理论和实践,数学、统计和计算机功底强悍。

曾在某一世界500强公司核心部门担任高级主管负责数据建模和分析工作,在实践中攻克统计建模和数据分析难题无数,数据处理与分析科学精准,在实际应用中取得良好的效果。

Gino老师担任数据分析培训师多年,探索出一套以实例讲解带动统计原理理解和软件操作熟悉的方法,授课的学生能迅速理解统计原理并使用统计软件独立开展数据分析。

Gino老师先后使用过多种计算机语言或软件,最终选用R作为统计分析的利器,叹服其强大的统计计量功能,每日爱不释手,在R的使用上具有丰富的实战经验。

他曾经在人大经济论坛多次应邀讲授R语言(基础和高级),将理论和实践很好地结合在一起,帮助广大学员掌握了软件、统计和计量原理和实践方法,好评如潮。

课程简介:

本课程结合讲师的学习和工作经验,把R语言和数据挖掘的基本知识和重点难点很好的结合,注重学以致用,按照由深入浅的方式,层层推进使得学员拾阶而上的逐级掌握相关内容。

课程内容涵盖了R语言和数据挖掘的精华,从大纲来看,无论是流行的数据挖掘方法,还是前沿的算法均有所涉及,课程中提供了大量丰富的案例,这些案例,集合了互联网、市场营销、金融保险等领域的数据挖掘实例,无疑对学习和工作有极大的参考和指导意义。

课程特色:

1. 本课程尽量避开数学公式,按照“讲清思想方法原理—结合具体案例—R语言实现细节”思路,让即使是几乎没有什么基础的学员,掌握R语言数据挖掘的基本思路和模式,打下未来深入的良好基础,能在工作和学习中结合具体问题立马上手操作解决;

2. 课程注重学练结合的方法,会采取小组讨论的方法,充分调动大家思考的积极性,在做中掌握相关知识和技能;

3. 课程紧紧抓住R语言和数据挖掘的重点和难点,详细的分析和讲解,在理解难、容易出错的地方反复提醒,以便学员在课后容易的进行自己复习和相关拓展。

目标人群:

对使用R语言进行数据挖掘感兴趣者,尤其是希望获得R语言和数据挖掘基础和思想,想在实际中快速使用R语言进行数据挖掘以解决问题的在校学生、在职工作者。

教学大纲:

第一讲:R语言精要

本着循序渐进而又覆盖R语言重要而有用的基本内容原则,本讲从R语言入门开始,以前期的数据处理为核心,以实际案例为载体,内容包括R语言的向量、数据框、矩阵运算、缺失值和零值的处理、特别注重用R语言构造函数编程解决实际问题,详细介绍强大的数据清洗整理plyr、zoo、car等常用包和强大的作图ggplot2包,为使用R语言进行数据挖掘打下扎实的工具基础。

主要案例:

案例1:如何用R语言plyr等包合并、排序、分析数据并编制香农-威纳指数;

案例2:如何用R语言编程同时实现几十个高难度数据分析可视化图片的jpeg格式输出;

案例3:如何使用R语言进行分层或者整群抽样构建训练集与测试集;

案例4:使用ggplot2画出各种复杂的图形。

第二讲:Logistic回归与商业大数据建模

Logistic回归是商业建模的常用重要数据挖掘方法,本讲要讲清楚Logistic回归的建模原理、与多元线性模型的区别、R语言实现过程及回归诊断注意事项、预测方法和结果解释,让学员彻底地掌握Logistic回归解决问题的R语言方法。

主要案例:

案例1:利用Logistic回归帮助商业银行完成对客户提前还贷款情况的预测;

案例2:利用Logistic回归帮助医生对病人选择最佳治疗方案;

案例3:利用Logistic回归帮助厂家分析顾客做出购买决策的重要因素;

案例4:利用Logistic回归帮助寿险公司进行目标客户精准电话营销;

案例5:利用Logistic回归帮助商业银行完成对客户的信用评分;

案例6:利用Logistic回归帮助公司分析客户流失的原因并做好预测。

第三讲:关联规则和R语言实现

关联规则(著名的“啤酒和尿布”)是数据挖掘的基础和核心技术之一,本讲将着重围绕经典的Apriori算法和eclat算法,阐明关联规则的支持、置信和提升程度与控制,使用R语言快速完成关联规则分析。

主要案例:

案例1:使用R语言关联规则方法帮助各个超市实现商品的最佳捆绑销售方案(即“购物篮”分析);

案例2:泰坦尼克号乘客幸存的关联规则分析;

案例3:提高个人收入的关联分析。

第四讲:决策树(回归树)分析和R语言实现

决策树是数据挖掘的经典方法,其原理容易被理解。本讲主要讲授两种最为普遍的决策树算法:CART和C4.5算法,使用rpart和J48函数进行R语言分析。

主要案例:

案例1:对汽车耗油量进行决策树分析并完成相关目标变量的预测;

案例2:使用决策树帮助电信局判断和预测客户办理宽带业务。

第五讲:机器集成学习的Bagging和AdaBoost算法

这两种方法将许多分类器的预测结果进行汇总分析,从而达到显著提升分类效果。本讲介绍这2种算法的思想,在R语言中构造训练集和测试集进一步进行分析。

主要案例:

案例1:用R语言的Bagging和AdaBoost进行商业银行定期存款的分析和预测;

案例2:用R语言的Bagging和AdaBoost识别有毒蘑菇。

第六讲:R语言随机森林(RandomForest)算法

在机器学习中,随机森林是一个包含多个决策树的分类器,本讲讲清随机森林方法的原理,以致在实际中帮助学员判断适合进行随机森林分析的情况,最终熟练掌握R语言随机森林分析的方法。

主要案例:

案例1:对皮肤病进行随机森林的分类和预测;

案例2:对酒的品质和种类进行分类和评价。

第七讲:支持向量机和R语言的实现

本讲将分析支持向量机的结构风险最小原理、间隔和核函数,从而帮助学员深刻理解支持向量机的思想和算法,以及使用中注意的问题,从而帮助学员灵活地应用于各个领域。

主要案例:

案例1:对著名的鸢尾花数据进行支持向量机的分析;

案例2:使用支持向量机识别有毒蘑菇;

案例3:使用支持向量机进行股票指数预测。

第八讲:神经网络和R语言的实现

神经网络由大量的节点和输出函数构成逻辑策略,本讲介绍其原理,主要通过案例的方式讲解R语言实现神经网络算法的过程和注意的事项。

主要案例:

案例1:酒的品质和种类的神经网络的分析和预测;

案例2:公司财务预警建模。

第九讲:交叉验证比较各个模型

对于同一个数据,可能有很多模型来拟合,如何衡量和比较模型的精度呢?本讲将介绍交叉验证训练集和测试集的方法来帮助大家在实际中选取最佳模型进行拟合和预测。

第十讲:使用R语言结合KNN算法进行文本挖掘

文本挖掘,特别是对中文的文本挖掘日趋重要。本讲介绍文本挖掘的原理和方法,帮助大家使用R语言在大量的非结构化的数据中发现有价值的信息,抽取潜在有用的数据,发现适合模式,实现可视化结果展示。

主要案例:

案例:使用R语言结合KNN算法对网页(Web)进行文本挖掘(含分词、分类、可视化等)

时间: 2024-10-17 00:39:34

大数据时代的精准数据挖掘——使用R语言的相关文章

大数据时代如何精准营销?

近年来,同质化商品.频繁的价格战.店铺租金上涨.电子商务的冲击等因素导致零售企业利润不断下降,在当今大数据时代,谁能顺应时代的改变进行改革,谁就能抓住新的发展机遇. 零售企业通过多年的运营,掌握了大量的一手数据资料,如果能从这些数据中发现其隐藏的价值,掌握消费者的消费行为规律,预测消费者的购买意图,就能体现精确的营销策略.将以产品为导向的传统营销模式改为以消费者为导向的精确营销模式,是零售企业提高核心竞争力的有效方式. 大数据是指数据规模大到不能使用传统分析方法在合理时间内进行有效的处理.大数据

大数据时代下的数据挖掘与可视化展现

全世界每天都有几十亿人使用计算机.平板电脑.手机和其它数字设备产生海量数据.在这个各个行业和领域都已经被数据给渗透,数据已成为非常重要的生产因素的大数据时代,对于大数据处理和大数据挖掘将意味着新一波的生产率不断增长和消费者盈余浪潮的到来. 在大数据时代下,从头至尾我们都脱离不了数据挖掘.有人把数据比喻为蕴藏能量的煤矿.煤炭按照性质有焦煤.无烟煤.肥煤.贫煤等分类,而露天煤矿.深山煤矿的挖掘成本又不一样.与此类似,大数据并不在“大”,而在于“有用”.价值含量.挖掘成本比数量更为重要. 什么是数据挖

大数据时代,Python是最好的语言!

随着大数据疯狂的浪潮,新生代的工具Python得到了前所未有的爆发.简洁.开源是这款工具吸引了众多粉丝的原因.目前Python最热的领域,非数据分析和挖掘莫属了.从以Pandas为代表的数据分析领域开始,便是Python的天下:一边以实际项目实操,一边跟着已有的资料学习,再辅以相关的理论知识,势必将集Python技能于大成.在图灵世界里,Python被赋予的形象是蟒蛇,而蟒蛇不仅仅是灵活的象征,更有一招制敌的大杀器.Python是一条大蟒蛇,自然算是编程语言中灵活,且有灵性的.在现阶段的数据体系

大数据时代的数据分析与挖掘

目前,无论是在社会用人单位或者是个体方面都会涉及与处理相关数据信息的问题,社会大众在应用数据信息之际也被社会诸多的数据信息所围绕,即使现代社会数据信息的发展情况较为良好.也让社会大众更为信服,然而在社会大众对大数据的印象观念中,数据形式的发展已经超过了他们所预想的.数据总量已经超过社会大众所理解的范畴,应当如何正确.有效地处理该部分数据信息已经变为现代社会大众共同面对的问题,需求人们谨慎地对待. 一.实施数据分析的方法 正确地对数据进行分析过程已经作为大数据时代对待信息量极大的数据处理的关键性环

大数据时代带给我们的思考

1)大数据通过全局的数据让人类了解事物背后的真相 相对于过去的样本代替全体的统计方法,大数据分析将使用全局的数据,其统计出来的结果更为精确,更接事物真相,帮助科学家了解事物背后的真相.大数据带来的统计结果将纠正过去人们对事物错误的认识,影响过去人类行为.社会行为的结论,带来全新的认知.有利于政府.企业.科学家对过去人类社会的各种历史行为真正原因的了解,大数据统计将纠正样本统计误差,为统计结论不断纠错.大数据可以让人类更加接近了解大自然,增加对自然灾害原因的了解. 2)大数据提供了同事物的连接,客

(原创)大数据时代:数据分析之基于微软案例数据库数据挖掘案例知识点总结

随着大数据时代的到来,数据挖掘的重要性就变得显而易见,几种作为最低层的简单的数据挖掘算法,现在利用微软数据案例库做一个简要总结. 应用场景介绍 其实数据挖掘应用的场景无处不在,很多的环境都会应用到数据挖掘,之前我们没有应用是因为还没有学会利用数据,或者说还没有体会到数据的重要性,现在随着IT行业中大数据时代的到来,让我一起去拥抱大数据,闲言少叙,此处我们就列举一个最简单的场景,一个销售厂商根据以往的销售记录单,通过数据挖掘技术预测出一份可能会购买该厂商产品的客户名单,我相信这也是很多销售机构想要

大数据时代:深入浅出微软数据挖掘算法总结连载

本系列文章主要是涉及内容为微软商业智能(BI)中一系列数据挖掘算法的总结,其中涵盖各个算法的特点.应用场景.准确性验证以及结果预测操作等,所采用的案例数据库为微软的官方数据仓库案例(AdventureWorksDW2008R2),数据库基于Microsoft SQL Server 2008,主要涉及DM模块,目录整理如下: (原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft 决策树分析算法) (原创)大数据时代:基于微软案例数据库数据挖掘知识点总结(Microsoft

数据分析变革 大数据时代精准决策之道——互动出版网

这篇是计算机类的优质预售推荐>>>><数据分析变革 大数据时代精准决策之道> 畅销书<驾驭大数据>作者.Teradata公司的首席分析官Bill Franks力作 内容简介 能够快速适应不断变化的市场环境的能力是获得成功的关键.本书旨在将数据分析嵌入运营流程,帮助读者将从数据(包括大数据和小数据)分析中获得的业务洞察与日常运营紧密集成在一起. 本书确切地讲述了使分析运营化到底意味着哪些变革,并告诉读者如何建立团队.创建文化.升级分析方法论并利用技术,使企业向

大数据时代新闻采编人员职业能力培训

原文  http://datameng.com/info/2014/03/big-data-xinwen-caibian/ 据统计,到2013年,全世界储存的信息如果记录在光盘上,再把这些光盘叠加起来,高度等于从地球到月球的距离.美国互联网数据中心指出,目前世界 上90%以上的数据是近几年才产生的.互联网上的数据每年将增加50%,每两年翻一番.因此有学者认为,人类进入了大数据时代.一般意义上,大数据是指无 法在可容忍的时间内用传统IT技术和软硬件工具对其进行感知.获取.管理.处理和服务的数据集合