Access应用日志<一>

今天在确认实习生不能帮忙搭建数据库后,自己根据业务需求尝试搭了一个小型access数据库。

主要目的:储存历史月度数据,避免每次从公司数据库下载数据的麻烦,节省数据拉取时间。

搭建了以acct id为主键的两种数据。

1)客户信息,包括

  由业务人员手工更新汇总的数据,如客户所在区域,商业信息等。

  由机器抓取的客户信息,如客户账号状态,专属业务人员信息等等。

上述数据按照每月定期更新,以及每周更新,存储在不同的表里。

2)客户交易信息,计划包括:

  汇总月度信息,如月成交额,交易量等;

  分多个维度的表格,如周信息,交易类型,交易来源等,该数据刷新时间段不一样,且根据业务需求,会有不同的维度需求。

另外,为了方便,把数据库里常见的“Jan-2014”细分为"Year"和"Month"两个变量,这样以后数据导入输出时,不用再费心数据格式问题,在excel里,直接用date(year,month,day)即可快速合成日期。

通过搭建多个表格,就把曾经整合在excel里的数据拆分成了多个表格,且各个表格之间刷新频率不一样,减少了我们用excel vlookup匹配的时间。

同时我新建了两个查询

1)整合客户基本信息,包括业务人员使用的信息,以及由机器抓取的信息。(这里以账户唯一识别码作为关联标识,并修改了连接属性,即所谓的左连接右连接)

2)把汇总的月度信息与客户基本信息结合起来,汇总成一张大表。该大表之后将直接导入excel中,作为数据透视表的一部分。

另外,关于操作,目前摸索出:

1)删除查询:可以删除不符合我要求的数据(如每个月导入数据时,把当前月数据删除,避免数据重复)

2)追加查询:主要用于客户交易信息,定期追加月度/季度数据。

现在需要解决的问题包括:

1)如何在导入新的账户信息后,快速找到需要追加的客户信息,并且追加(计划查找不匹配项)

2)如何在删除已经不合格的数据,以及表之间的联合,以及决定后续数据导入的工作。(相信代码可以实现,但目前还未探索)

3)关于搭建一个友好的访问界面,或者撰写文档存稿

总结:

access在我们数据处理初期并不常用。但是随着数据量的扩大,我们自然而然的要用到多个数据库。

从access起步,个人觉得还比较容易。

以及,积极主动,代表着,要努力学习。之前把这个任务分配给实习生时,没有得到满意答复,但是自己折腾,在熟知业务的基础上,也勉强能完成一个符合大致需求的数据库。未来还需要多加尝试,并规范化模板。

再以及,比一年前为了某个TEAM搭建CRM系统时对ACCESS的一窍不通,这一次经过多番思考,很顺利就完成了框架的搭建,表扬自己一个!\(^o^)/~

Access应用日志<一>,布布扣,bubuko.com

时间: 2024-10-14 03:29:04

Access应用日志<一>的相关文章

Nginx Access Log日志统计分析常用命令

Nginx Access Log日志统计分析常用命令 Nginx Access Log日志统计分析常用命令 IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 查看访问最频繁的前100

转 Nginx Access Log日志统计分析常用命令

Nginx Access Log日志统计分析常用命令Nginx Access Log日志统计分析常用命令IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 查看某个时间点的IP访问量(

tomcat访问(access)日志配置、记录Post请求参数(转)

一.配置与说明 tomcat访问日志格式配置,在config/server.xml里Host标签下加上 <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"               prefix="localhost_access_log." suffix=".txt"               pattern=&

GoAccess 视图化access.log 日志

1.安装GoAccess 工具可以直接使用 apt-get install goaccess 2.使用goaccess命令将日志生成html文件 goaccess 日志路径 -o 输出HTML的路径 --real-time-html --time-format="%H:%M:%S" --date-format="%d/%b/%Y" --log-format=COMBINED --real-time-html  表示实时的显示日志内容 --time-format   

shell分析nginx access log日志

统计访问最多的ip1. tail -n 10000 xxaccess_log | cut -d " " -f 1 |sort|uniq -c|sort -rn|head -10 |more2.tail -n 10000 xx-access_log | awk '{print $1}'|sort|uniq -c|sort -rn|head -10 | more 统计访问最多的urltail -n 10000 xx-access_log |awk '{print $7}'| sort|un

分析nginx access log日志的命令

统计访问最多的ip 1. tail -n 10000 xxaccess_log | cut -d " " -f 1 |sort|uniq -c|sort -rn|head -10 |more 2.tail -n 10000 xx-access_log | awk '{print $1}'|sort|uniq -c|sort -rn|head -10 | more 统计访问最多的url tail -n 10000 xx-access_log |awk '{print $7}'| sort

分析nginx中access.log日志统计状态为500

发现系统存在的问题 我们可以使用下面的命令行,统计服务器返回的状态码,发现系统可能存在的问题. awk '{print $9}' access.log | sort | uniq -c | sort 正常情况下,状态码 200 或 30x 应该是出现次数最多的.40x 一般表示客户端访问问题.50x 一般表示服务器端问题. 下面是一些常见的状态码: 200 - 请求已成功,请求所希望的响应头或数据体将随此响应返回. 206 - 服务器已经成功处理了部分 GET 请求 301 - 被请求的资源已永

Nginx 分析access日志文件

Nginx Access Log日志统计分析常用命令 IP相关统计 统计IP访问量 awk '{print $1}' access.log | sort -n | uniq | wc -l 查看某一时间段的IP访问量(4-5点) grep "07/Apr/2017:0[4-5]" access.log | awk '{print $1}' | sort | uniq -c| sort -nr | wc -l 查看访问最频繁的前100个IP awk '{print $1}' access

Nginx日志切割并计划任务自动上传到FTP服务器

枫城浪子原创,转载请标明出处! 微信bh19890922 QQ445718526,490425557 更多技术博文请见个人博客: https://fengchenglangzi.000webhostapp.com http://fengchenglangzi.blog.51cto.com 一.简述 Nginx WEB服务器每天会产生大量的访问日志,而且不会自动地进行切割,如果持续天数访问,将会导致该access.log日志文件容量非常大,不便于SA查看相关的网站异常日志,并且后期进行分割非常不易