以分钟为单位进行数据的抽取并作平均

问:

现在有一个表,里面内容是每10秒一条(1天为6*60*24=8640条),然后我现在要做的是以5分钟为一个时间点取数据(一天为12*24=288条),一次性把所有满足条件的值取出来。
应该怎么写?

答:SQL语句如下:

每分钟为单位做数据的抽取:

select node_id,avg(ad1_value) as AD1_VALUE,avg(ad2_value) as AD2_VALUE,date_format(collect_date,‘%Y-%m-%d %H:%i‘) as collect_date

from realtime_data_3

where collect_date>‘2014-12-06 12:00:00‘

and collect_date<‘2014-12-07 12:00:00‘

group by date_format(collect_date,‘%Y-%m-%d %H:%i‘);

5分为单位:select floor(recDt/500)*500 as gt,avg(nowValue) from reg_conditigroup by gt order by gt;

10分为单位:select floor(recDt/1000)*1000 as gt,avg(nowValue) from reg_conditigroup by gt order by gt;

date_format的语法如下:

定义和用法

DATE_FORMAT() 函数用于以不同的格式显示日期/时间数据。

语法

DATE_FORMAT(date,format)

date 参数是合法的日期。format 规定日期/时间的输出格式。

可以使用的格式有:

格式 描述
%a 缩写星期名
%b 缩写月名
%c 月,数值
%D 带有英文前缀的月中的天
%d 月的天,数值(00-31)
%e 月的天,数值(0-31)
%f 微秒
%H 小时 (00-23)
%h 小时 (01-12)
%I 小时 (01-12)
%i 分钟,数值(00-59)
%j 年的天 (001-366)
%k 小时 (0-23)
%l 小时 (1-12)
%M 月名
%m 月,数值(00-12)
%p AM 或 PM
%r 时间,12-小时(hh:mm:ss AM 或 PM)
%S 秒(00-59)
%s 秒(00-59)
%T 时间, 24-小时 (hh:mm:ss)
%U 周 (00-53) 星期日是一周的第一天
%u 周 (00-53) 星期一是一周的第一天
%V 周 (01-53) 星期日是一周的第一天,与 %X 使用
%v 周 (01-53) 星期一是一周的第一天,与 %x 使用
%W 星期名
%w 周的天 (0=星期日, 6=星期六)
%X 年,其中的星期日是周的第一天,4 位,与 %V 使用
%x 年,其中的星期一是周的第一天,4 位,与 %v 使用
%Y 年,4 位
%y 年,2 位

实例

下面的脚本使用 DATE_FORMAT() 函数来显示不同的格式。我们使用 NOW() 来获得当前的日期/时间:

DATE_FORMAT(NOW(),‘%b %d %Y %h:%i %p‘)

DATE_FORMAT(NOW(),‘%m-%d-%Y‘)

DATE_FORMAT(NOW(),‘%d %b %y‘)

DATE_FORMAT(NOW(),‘%d %b %Y %T:%f‘)

结果类似:

Dec 29 2008 11:45 PM

12-29-2008

29 Dec 08

29 Dec 2008 16:25:46.635
时间: 2024-11-13 08:02:33

以分钟为单位进行数据的抽取并作平均的相关文章

使用 Chrome 浏览器插件 Web Scraper 10分钟轻松实现网页数据的爬取

本文标签: WebScraper Chrome浏览器插件 网页数据的爬取 使用Chrome 浏览器插件 Web Scraper 可以轻松实现网页数据的爬取,不写代码,鼠标操作,点哪爬哪,还不用考虑爬虫中的登陆.验证码.异步加载等复杂问题. Web Scraper插件 Web Scraper 官网中的简介: Web Scraper Extension (Free!)Using our extension you can create a plan (sitemap) how a web site

filesize返回的是以字节为单位的数据也可以使之处理数字

1.文件的属性信息获取 首先文件具有类型,在linux下边,有block(块设备,如磁盘分区.CD-ROM).char(以字符为输入的设备,如键盘.打印机).dir(目录类型,目录也是文件的一种).fifo(命名管道,解释是将信息从一个进程传到另一个进程).file(普通的文件).link(链接,类似win下边的快捷方式).unknow(未知类型)7大类,在win下边,只有3类:file.dir和unknown.Linux渣表示一定要好好搞一下Linux-_-,人家完全是为Linux而生. 关于

ETL中的数据增量抽取机制

ETL中的数据增量抽取机制 (     增量抽取是数据仓库ETL(extraction,transformation,loading,数据的抽取.转换和装载)实施过程中需要重点考虑的问 题.在ETL过程中,增量更新的效率和可行性是决定ETL实施成败的关键问题之一,ETL中的增量更新机制比较复杂,采用何种机制往往取决于源数据系统的 类型以及对增量更新性能的要求. 1 ETL概述 ETL包括数据的抽取.转换.加载.①数据抽取:从源数据源系统抽取目的数据源系统需要的数据:②数据转换:将从源数据源获取的

python数据挖掘(从数据集中抽取特征)

大多数数据挖掘算法都依赖于数值或类别型特征,从数据集中抽取数值和类别型特征,并选出最佳特征. 特征可用于建模, 模型以机器挖掘算法能够理解的近似的方式来表示现实 特征选择的另一个优点在于:降低真实世界的复杂度,模型比现实更容易操纵 特征选择 scikit-learn中的VarianceThreshold转换器可用来删除特征值的方差达不到最低标准 的特征. import numpy as np x= np.arange(30).reshape((10,3))#10个个体.3个特征的数据集 prin

HDFS-异常大全-《每日五分钟搞定大数据》

点击看<每日五分钟搞定大数据>完整思维导图以及所有文章目录 问题1:Decomminssioning退役datanode(即删除节点) 1.配置exclude: <name>dfs.hosts.exclude</name> <value>/data/hadoop/excludes</value> 在/data/hadoop/excludes文件添加要退役的节点ip(可同时退役多个,一个一行) 2.配置完后刷新节点 # $HADOOP_HOME/b

一篇文章搞懂DataSet、DataFrame、RDD-《每日五分钟搞定大数据》

1. 三者共性: 1.RDD.DataFrame.Dataset全都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利 2.三者都有惰性机制,执行trainform操作时不会立即执行,遇到Action才会执行 3.三者都会根据spark的内存情况自动缓存运算,这样即使数据量很大,也不用担心会内存溢出 4.三者都有partition的概念,如 var predata=data.repartition(24).mapPartitions{       PartLine => {     

zookeeper-非常重要的zab协议-《每日五分钟搞定大数据》

上篇文章paxos与一致性说到zab是在paxos的基础上做了重要的改造,解决了一系列的问题,这一篇我们就来说下这个zab. zab协议的全称是ZooKeeper Atomic Broadcast即zookeeper"原子""广播"协议.它规定了两种模式:崩溃恢复和消息广播 恢复模式 什么时候进入? 当整个服务框架在启动过程中 当Leader服务器出现网络中断崩溃退出与重启等异常情况 当有新的服务器加入到集群中且集群处于正常状态(广播模式),新服会与leader进行

Excel表格中带有单位的数据怎样求和?推荐三种求和技巧!

在表格中求和的方法想必大家已经学会了很多种了,可是在带有单位的数据中,那些求和方法就不能使用了.不用担心,今天小编为大家分享几种带有单位数据的求和方法.No.1公式求和法当我们表格中的数据带有单位的时候,一般的求和公式「=SUM(B2:B9)」是不可以用的.其实我们可以使用求和公式「=SUMPRODUCT(1*SUBSTITUTE(B2:B9,"元",""))&"元"」就可以求出数据之和了.No.2替换查找去点单位求和法我们先选中B列中的

学编程,学java还是大数据、android?平均月薪23k以上告诉你方向

学编程,学java还是大数据.android?有不少同学在纠结中,最近有不少初学者来问到,学习大数据,学习spark,公司主要使用那些语言编写,每听到这一个问题,起码还是很不错的,证明你已经开始学习大数据了,并了解大数据Spark是可以使用多种语言来实现开发的,那就是Java.Scala.Python和R语言都可以使用,但R语言本人不常用. 学编程,学java还是大数据.android?平均月薪23k以上告诉你方向正常来讲学习大数据之前都要做到以下几点: 1.学习基础的编程语言(java,pyt