从两张Excel表所想到的

前几日,客服妹子发过来几张表,让我给她做下匹配,然后做了,想了,便有了这篇博文,不由感慨,看似简简单单的两张Excel表其实藏着好多东西,记叙如下,与君共勉。

最初的需求:两张表,一张学生信息表,一张学生成绩表,通过准考证号将之关联起来使之完整。

完成需求的四种方法:

第一种方法,通过Navicat for MySQL将两张表导入到mysql中,然后用left join关联,再做导出,方法可行,最后放弃。

第二种方法 ,使用Excel的vlookup函数,由于本人对Excel不熟,未用,但旁边的同事用了,方法可行,但毕竟是手工操作,能不能保证不遗漏数据,存疑。

第三种方法,使用Excel的microsoft query 工具,使用sql语法关联数据,可行,效率太低,放弃。

第四钟方法,coding,做个小程序,匹配数据,这种方法正是现在采用的方式,实现截图如下:

思考问题:

1.为什么一个任务用了四种方法?

答:需求,在需求之初只是两张Excel表,但过后,数据暴涨,变成了给十几个城市的考生做数据匹配,而且通过了解,这种数据对比其实是一项经常性的重复工作,且数据的来源并不是由公司同事录入,数据的格式比较混乱,如信息表里字段叫“姓名”,成绩表了成了“考生姓名”,虽然是同一个东西,但按姓名匹配时,必定要修改字段名称,Excel表格一多,上述的1,2,3种方法效率堪虞,而自己coding,判断字段的时候加个同义词的功能,就能解决,以此得到第一个教训:无论是客户还是同事,面对每一个任务都必须仔细聆听,反复确认,很多人会以为是给同事干活,人家会包容你,但其实是给自己偷懒找个借口,最后偷懒不成,走了弯路,还是自己遭罪。确认需求时,如数据量,任务频率,完成任务时间等等都是很重要的信息。

2.怎么将一个小程序做的专业,为什么要做到专业?[自个儿琢磨的结果,请大神多指教]

答:作为技术,专业与严谨就是立身之本,古语说,不扫一室何以扫天下,一个小程序都不能追求专业,如何指望能做大程序,在这个小程序中,我以三点来说专业:第一,就是刚刚说的字段同义词,很多问题,只要多想一步,就能改变很多;第二,我本来打算使用odbc去连接Excel,但考虑数据格式的不确定性,最后换用NPOI读取数据,虽然工作量增加了,但程序的可用性更好,比如在读取Excel数据的时候,我会把基准表的style一并读取,匹配导出后将样式在还原过去,当同事拿到结果的时候,都不用调整表格的style,虽是细节,但每一个细节都很重要;第三,在匹配的时候,我是在循环里面调用DataTable的select方法,但后面一查,这种方法效率很低,引用他人专业的批语如下:

在数据填充完成之后,设置主键要比在填充数据之前设置主键效率要高的多。设置主键之后,比较了在有无主键的情况下,DataTable.Select 方法在仅对主键字段进行过滤时的性能,结果表明,在仅对主键进行检索时,设置主键之后使用DataTable.Select 方法会比没有主键的情况下的检索速度会快非常多。在相同条件下,如果仅需要查找某一条记录,使用DataTable.Rows.Find会比DataTable.Select快很多。在某些需要频繁操作DataTable查询的时候,要避免在循环体内调用DataTable.Select方法,采用将DataTable转换为等价的Dictionary结构,能够有效解决由于键值重复导致不能创建主键的问题,并且Dicitonary的采用哈希表的方式查找能够极大地提高查询效率。

后来与需求向比对,每一个Excel表的数据量不超过1000条,对于程序性能的影响可忽略不计,也就没有更改程序,但对于程序性能的考虑应成为每一个程序员coding时的下意识考虑,因为这就是素养,必须牢记在心。

3.程序之外的思考。

答:在小程序写好后,由于数据的来源太乱,很多考生找不到相关信息,客服的妹子说最好能用准考证号+身份证号作双关联,思考过之后,程序不动,因为到了这一阶段,准考证号与身份证号都是考生的唯一依据,如果要做双关联,就表示之前的流程出了差错,在此时,你不应是个程序员,而是与客服妹子一起找出问题的原因,向公司提出建议,改善流程,杜绝此类问题的发生,这虽是超出了工作岗位的范畴,但你心里必须清明,什么事是防微杜渐,什么事是敷衍塞责,做哪一种人,决定了你的发展。

4.更多的思考,怎样做个好员工?

1.给公司带来利益
2.不断思考,优化工作流程,给公司文化与流程结构带来积极的影响
3.构建知识库给公司知识库带来积极的影响
4.分享,给公司同事带来利益
5.做好上述的每一步,自然也会给自己带来利益与发展

昨天看到一段话,深有感触,与诸君共勉:

只简单完成老板交代的任务永远只有最多60分,切实明白了老板想要的,并完成了业务需求的算70分,充分挖掘老板想要的能为团队或老板分忧的才能到80分。

时间: 2024-08-07 08:36:28

从两张Excel表所想到的的相关文章

thinkphp + easyUI 不能同时打开两张数据表?

两个linkbutton分别打开一个数据库中不同的两张数据表 现在单独打开两个是可以正确显示的. 但是如果打开了一个linkbutton1,不关掉tabs中对应的linkbutton1,再打开linkbutton2,这时linkbutton2 显示不了数据,但是如果关掉linkbutton1,再打开linkbutton2,是可以正确显示的. 求解 --------解决方案-------- 这是不可能的!thinkphp 每个表是一个对象,不可能出现你说的现象

取两张mysql表中分别两个字段相同的值

看起来有点绕口吧,举个例子吧,如图 两张表,字段名也不同字段gs 和另一张表 gsmc  的有些值是相同的 我们要做的就是把这个相同的值找出来 会写这个sql语句就可以 只写重点 $sql2 = " select gs from yixiangkh where gs in (select gsmc from qiandan ) " ; //执行 $result2 = $db->query($sql2,0); //取数据 $attr2 = $result2->fetch_al

Mysql多表查询(两张独立表,一张关系表)

一.数据库设计 1.三个数据表长这样 其中user表记录用户信息,cat主要记录男女性别,mete表是用户id和性别id的对应关系 2.具体数据如下 二.查询目标 查询出所有性别为“男”的用户的“姓名”,如下记录两种不同形式的查询 1.单纯的条件查询 SQL:select user.value from user where user.uid in (select mete.uid from mete where mete.cid=1) 结果: 语句解释: 先使用select mete.uid 

vlookup函数基本使用--如何将两个Excel表中的数据匹配;excel表中vlookup函数使用方法将一表引到另一表

一.将几个学生的籍贯匹配出来' 二.使用查找与引用函数 vlookup 三.查找参照 四.选择参数 五.完成,使用填充方法

两张数据表,表一学生编号姓名;表二生编号、考试科目、考试成绩;编写mapreduce程序,汇总两张表数据为一张统一表格

1 package com.liuhuan; 2 3 import org.apache.hadoop.io.WritableComparable; 4 5 import java.io.DataInput; 6 import java.io.DataOutput; 7 import java.io.IOException; 8 9 public class Student implements WritableComparable<Student> { 10 11 private Strin

求答Excel表两列重复数据,如何标记

(原文来自贴吧,算是给自己留下记录,方便日后查阅)情况是这样的,现有两个Excel表,两Excel表内各有一列数据,这两列数据很多都是相同的,但是数量不一样,而且排序不一样.有什么办法可以将相同的数据标记出来.注意,两个Excel表不是同一个文件内,是分开的两个文件,可以复制到同一文件操作.求大神解答..!最好详细点,小弟愚钝 复制到同一个工作表中,例如数据分别在A列b列 在C1输入 =countif(A:A,B1)然后下拉公式复制到B列的最后一行,C列里面出现为1的表示在A里面出现了1次,0的

Unity3D中Excel表的读取与写入

废话不多说,对 Excel 表的操作少不了要引入第三方库,首先我们需要引入 Excel.dll 和 ICSharpCode.SharpZipLib.dll,这两个类库在网上都能找到:然后我们还需要引入 System.Data.dll,这个类库在 Unity3D 的安装路径下的 Editor\Data\Mono\lib\mono\unity 文件夹下能找到. 代码如下: 1 using Excel; 2 using System.Data; 3 using System.IO; 4 using U

excel两张表筛选取数据

为了保证两张表数据不重复,请确保你的原数据表参考的字段无重复(如表一中姓名无重复,那么表二中便可用姓名作为查找条件). 但你的表数据700条不可能出现不重复现象,所以,你的表里面最好能有一个可以作为唯一标识的字段,如工号.ID.编号等.你在自己表中操作时,将你参考的字段与本文档里我用的姓名替换即可. 表一:sheet1=700人总表 表二:sheet2=200人花名册表 需求:表一中的工资数据取到表二对应的人名工资列中 操作: 1.选择sheet2表中,第一行人名:张一 对应的工资一的第一个单元

excel两张表数据匹配数据(VLOOKUP)

最近项目中需要跨项目导入数据,现整理Excel的一个小技能,记录如下. 第一步:我们打开一个excel表,创建数据如下. 第二步:我们把光标定位在需要展示数据的单元格中,如下图所示. 第三步:我们可以看到,单元格中显示出完整的VLOOKUP函数. 第四步:填写函数的相应的值 原文地址:https://www.cnblogs.com/mr-wuxiansheng/p/10201887.html