挨踢部落坐诊第三期:Python在大数据处理上的优势分析

挨踢部落是为核心开发者提供深度技术交流,解决开发需求,资源共享的服务社群。基于此社群,我们邀请了业界技术大咖对开发需求进行一对一突破,解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

Python

话题关键词:数据库 Android

部落阵容:侯圣文,恩墨学院联合创始人;

面向对象:移动开发者、IT运维、数据分析师

参与方式:加入51CTO开发者QQ交流群370892523,有任何技术问题,在群里提问,或发给群主小官。

活动详情



问:郑州-白杨-Web:现在还有业务在使用SQL2008的吗?或者是用Oracle?

学校明年有一批新的系统,目前在招标考虑甲方的方案。涉及业务有一卡通、新老学生数据、宿管、财务等方面。数据I/O较为频繁。因为目前我们中心库使用的是Oracle,领导要求向数据DB方向发展,以确定哪个数据库可以确保在未来几年内不会有太大的代差,要根据一个全校的数据梳理和框架来考虑。目前公司给出的演示也是使用Oracle 毕竟和目前的数据库可以衔接,业务流程大致是校内流转 要求能接受至少两万人的数据吞吐。增删改查也是以日常的财务、消费、学生信息、成绩等进行。

答:侯圣文|恩墨学院联合创始人:如果不差钱,就一直用Oracle就好了。以后扩展也不会有问题。 如果差钱,用好MySQL也OK。一些NewSQL技术成熟了,容易直接迁移。学校一般还用不上大数据平台。

问:广州-狄钦dQ-PHP:弱弱问Python在大数据处理上可行么?有何优劣势? 据我所知,Python无法跑多核,执行效率不高,并发下可能有大问题。

答:北京-曹洪伟-半吊子全栈工匠:

Python目前我觉得是处理大数据的上佳选择。既可以用于research,又可以用于产品开发。Python的好处很多,接近伪代码,数据分析师和工程师都可以使用它,沟通方便。

问:重庆-zee-终端:

做视频类业务,我们可以从哪些方面来分析用户习惯等(这样有助于提高用户体验)?直播点播都有。

答:徐韬:

用户画像就是给用户“打标签”。用户画像可以分为静态标签,动态标签。静态标签是很少更新的指标或者是几乎不变的指标,比如用户的个人信息。动态标签是用户的行为标签,比如直播站的喜好类目。通过用户行为日志和交易流水数据打上的标签 ,一些网站/APP 只有少量的用户个人信息,但是通过打点可以获得海量的用户行为日志,我们可以通过聚类分析预测用户的性别,年龄段,所在城市类型,工作类型等。直播站的一些比较有特点标签有:喜爱主播,习惯上线时段,签到型用户等等。

问:湖南-爿奡-运维:

超多用户密集(大会议室)无线WiFi的AP,就是300人以上的会议室AP,300人参加会议,同时无线WIFI上互联网,手机、平板、笔记本同时连wifi,在一间大会议室内。问题是每个AP只能有20~30个用户联,而装多了AP,频道不够。普通的AP还带不了20个用户。要求最好是所有AP的ssid相同,密码相同

答:陌陌运维:这个场景是比较常见的,有两个方案,一是用专用高密AP,另一种是用普通AP搭配半定向天线,调优。同ssid,同密码是可以做的,这个比较容易。

锐捷:锐捷RG-AP520这款路由器可以支持。

问:北京-安卓-阳阳:

关于WebView控件的使用。如何在使用WebView的时候,兼容不同的Android版本?不同Android版本,WebView的控件不一样,我想在WebView中运行H5的应用。

答:51CTO:

这个太笼统了,兼容有很多方面,跟说安卓应用怎么兼容是一样的。看具体问题具体分析。全部问的话,就只能说看别人浏览器的源码了。

问:北京-宋军军-Android开发:

打包问题,我有个Android SDK,需要将SDK按照功能拆分成多个ANR,其中有有一些common module,现在是开启混淆之后,common会先混淆,然后依赖它的功能包就找不到类了,我有好多个module,但是一些module对外要混淆,但是在内部要被其他module引用,或者这样说,我有好多module,这些module要成为1个SDK,相互之间的调用是不混淆的,打包后,只有个别的不混。

答:51CTO:

可以了解下flavor,gradle可以配置多个flavor,每个flavor可以单独配置,内部和外部分别作为一个flavor就可以了,多引擎依赖就是用这个做的。

问:江苏-无题-菜鸟:

一台Linux服务器拉取另一台Linux服务器的文本数据,脚本怎么写?写脚本定时执行?

答:广州-小星星-PHP:

linux有个crontab脚本,Java的Timer,or其他基于程序语言的定时器,C实现的单独的定时器也有。

问:广州-彭先生:

谁有微信小程序的视频教程求分享

答:南京-android-李三三:

我恰好也在学习,分享到百度网盘,点击这里>>

您对这些解答方案是否仍有疑问?欢迎加51CTO开发者QQ交流群 370892523 讨论。

下期活动预告:2月28日

关键词:开发工具、APP发布

活动回顾:挨踢部落第一期:Spark离线分析维度

挨踢部落第二期:大数据在医疗领域的应用和实践

时间: 2024-10-02 14:40:33

挨踢部落坐诊第三期:Python在大数据处理上的优势分析的相关文章

挨踢部落坐诊第五期:数据采集与前端运用

活动说明:挨踢部落是为核心开发者提供深度技术交流,解决开发需求,资源共享的服务社群.基于此社群,我们邀请了业界技术大咖对开发需求进行一对一突破,解除开发过程中的绊脚石.以最专业.最高效的答复为开发者解决开发难题. 话题关键词:大数据来源/数据安全/云计算/Linux 部落阵容:51CTO社群智囊团 面向对象:Java工程师.大数据开发工程师.IT运维.数据分析师 参与方式:加入51CTO开发者QQ交流群(群号370892523(已满).请加312724475),有任何技术问题,在群里提问,或发给

挨踢部落坐诊第四期:Java消息队列的应用场景和作用

挨踢部落是为核心开发者提供深度技术交流,解决开发需求,资源共享的服务社群.基于此社群,我们邀请了业界技术大咖对开发需求进行一对一突破,解除开发过程中的绊脚石.以最专业.最高效的答复为开发者解决开发难题. 消息队列 话题关键词:消息队列.索引.App.路由.接口 部落阵容:51CTO管理团队: 面向对象:移动开发者.IT运维.数据分析师 参与方式:加入51CTO开发者QQ交流群(群号370892523(已满).请加312724475),有任何技术问题,在群里提问,或发给群主小官. 活动详情: 重庆

挨踢部落坐诊第六期:机器学习如何判断突发情况?

活动说明:挨踢部落是为核心开发者提供深度技术交流,解决开发需求,资源共享的服务社群.基于此社群,我们邀请了业界技术大咖对开发需求进行一对一突破,解除开发过程中的绊脚石.以最专业.最高效的答复为开发者解决开发难题. 话题关键词:机器学习/IDEA/ vSphere /云计算/ SDK埋点/技术管理 部落阵容:51CTO社群智囊团 面向对象:Java工程师.移动开发开发工程师.IT运维.数据分析师 参与方式:加入51CTO开发者QQ交流群(群号312724475),有任何技术问题,在群里提问,或发给

挨踢部落第一期:Spark离线分析维度

活动说明:挨踢部落是为核心开发者提供深度技术交流,解决开发需求,资源共享的服务社群.基于此社群,我们邀请了业界技术大咖对开发需求进行一对一突破,解除开发过程中的绊脚石.以最专业.最高效的答复为开发者解决开发难题. 话题关键词: 大数据  spark  数据分析  数据画像 部落阵容:徐韬,龙珠直播大数据主管:王劲,数果科技 联合创始人: 面向对象:初级开发工程师,数据分析师,运维工程师 参与方式:加入51CTO开发者QQ交流群 370892523 ,有任何技术问题,在群里提问,或发给群主小官.

挨踢部落故事汇(9):女程序媛的开发梦

认真对待每一天.勇敢迈出第一步,改变就在不远处. 小包是个率真爽朗的女程序媛,从不搽脂抹粉的她,工作起来,是可以抛去一切形象的,散乱的头发,苦逼加班的黑眼圈,俨然一个男程序猿形象.但她的骨子里却散发着永不服输的气质.不加班的时候她喜欢宅在家里看书,或者和朋友出去旅游. 小包·Android开发 专业实训改变命运 小包的程序嫒之路说起来还挺有意思的,高考填志愿的时候因为目标大学不能选择其他专业,于是大学她就学的软件开发专业,大三时学校安排她到一家培训机构进行为期两个月的专业实训.这次的实训也算是小

挨踢部落故事汇(5):扩展新IT领域,用代码改变世界

思想驱动未来!"写一个程序,就像是在创造一个东西,我猜每个程序猿都有一颗改变世界的心."--by疯狂学校 本期主人公疯狂学校是个既懂前端又会后台,上的了厅堂下的了厨房的杂食程序员.大学期间他学的是软件工程专业,对于一个基本没怎么接触电脑的他来说,这无疑是一个挑战. 疯狂学校·Java开发 热衷开发,从C#到Java,从前端到后台,无一不通 由于对电脑基础比较差,刚开学时疯狂学校一有空就去机房练打字,这样坚持了两个月,感觉才慢慢追上了同学的水平.在这个过程中他感觉到从量变到质变,感受到自

挨踢部落故事汇(4):程序猿的跳槽感悟

互联网是一个变化快,人员流动频繁的行业,程序猿的选择很重要,毕竟每个人的职业生涯大概有三十多年,一念之差可能就轻易毁掉 1/10.对于程序猿来说,每一次改变要深思熟虑,如果在当前的团队2年内没有找到自己的机会,也不要垂头丧气,深呼吸,继续寻找新契机. 反省不是去后悔,而是为前进铺路.哈韩浪子是一个涉世未深的程序猿,一个保持stay simply,sometimes naive的专心码农. 哈韩浪子·Java开发 用历史的眼光站在未来看现在 平日里的哈韩浪子是个爱读书的呆萌90后,在书的海洋里,他

挨踢部落故事汇(3):入行IT自学成才

临河而羡鱼,不如归家织网.授人以鱼,不如授之以渔.不忘初心,方得始终. 研究生期间参与的企业项目坚定了益达进入IT行业的决心.那份执着与看待问题的思维,使他在开发路上愈战愈勇.在益达看来,处理问题的思维就相当于一个软技能,是学会了就不会跑掉的东西.问题的本质.触类旁通.借鉴思想,严谨性这些都是他的思维要素.遇到问题多思考,多问what,why,有耐心,不急躁,多沟通,层层排查最终找解决办法. 益达·大数据开发 学生时代脱颖而出 益达高考选择的是电子信息科学与技术专业,计算机学习占比居多.他从几乎

挨踢部落故事汇(32): Java深坑如何填?

世上本没有坑,踩的人多了也便成了坑.每遇到一次困难,每踩一个坑,对程序员来说都是一笔财富.持续学习是程序员保持竞争力的源泉.本期将分享一个踩坑无数的Java程序猿填坑秘籍. 榆木,一个阅历无数(踩坑)的技术宅男,喜欢了解新技术却不爱太钻研新技术(因为懒,猿届反面角色一枚).14年毕业至今,在Java开发这条道路上可谓是坑过好些人.也埋过好些坑.也被坑过好些次.因为懒,没有针对他遇到过的问题做过太多的笔记(记录一些棘手问题的解决方法还是个不错的习惯),只是习惯性的去分析为什么出现这样的问题,我们该