拉取数据经典版

 1 #! /usr/bin/env python
 2 # coding=utf-8
 3 import pymysql
 4 import json
 5 import urllib
 6 import time
 7 import urllib2
 8 import urllib
 9 import datetime
10
11 url=‘http://engine.dashboard.sh2.ctripcorp.com:8080/jsonp/getgroupeddatapoints?reqdata={"version":1,"time-series-pattern":{"namespace":"ns-null","metrics-name":"payment.switch.rtpmonitor.metric.cost","tag-search-part":{}},"aggregator":{"accept-linear-interpolation":true,"function":"sum"},"downsampler":{"interval":"1d","function":"sum"},"max-datapoint-count":100,"start-time":"2018-04-10 00:00:00","end-time":"2018-04-11 00:00:00","rate":false,"group-by":["collectionid"],"maxGroupCount":100}‘
12 page=urllib.urlopen(url)
13 data=page.read()
14 json_data=json.loads(data)
15 local_data=json_data[‘time-series-group-list‘]
16 collectionid_total =[]
17 num_total =[]
18 for item in local_data:
19     collectionid = item["time-series-group"]["collectionid"]
20     num = item["data-points"]["total"]
21     collectionid_total.append(collectionid)
22     num_total.append(num)
23 print(zip(collectionid_total,num_total))

原文地址:https://www.cnblogs.com/yspass/p/8797029.html

时间: 2024-07-29 22:01:10

拉取数据经典版的相关文章

网页滚动到底部,拉取数据

网页滚动模式 //滚到到底部自动拉取数据 //页面滚到底部异步加载下一页数据 $(window).scroll(function () { //已经滚动到上面的页面高度 var scrollTop = parseFloat($(this).scrollTop()), //页面高度 scrollHeight = $(document).height(), //浏览器窗口高度 windowHeight = parseFloat($(this).height()), totalHeight = scr

Spark Streaming中向flume拉取数据

在这里看到的解决方法 https://issues.apache.org/jira/browse/SPARK-1729 请是个人理解,有问题请大家留言. 其实本身flume是不支持像KAFKA一样的发布/订阅功能的,也就是说无法让spark去flume拉取数据,所以老外就想了个取巧的办法. 在flume中其实sinks是向channel主动拿数据的,那么就让就自定义sinks进行自监听,然后使sparkstreaming先和sinks连接在一起, 让streaming来决定是否拿数据及拿数据的频

hadoop异常之 reduce拉取数据失败  (error in shuffle in fetcher)

主要错误信息:Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#43 解决办法:限制reduce的shuffle内存使用 hive:set mapreduce.reduce.shuffle.memory.limit.percent=0.1; MR:job.getConfiguration().setStrings("mapreduce.reduce.sh

终端对平台推送拉取数据选型

开会讨论了一个问题,就是我们平台从终端获取到数据,经过我们的处理后,传输给另一个平台做展示,这个是实时的(要求必须经过我们平台,所以杠精住嘴~~),在这个传输过程中,给出了一下三个方案来传输数据, tcp: websocket: API: 最后还是选取了API的方式,不太了解这几个,需要考虑的问题是,实时性高,数据量较大,今天没时间了,以后再整理~~ 原文地址:https://www.cnblogs.com/shuaidong/p/11025304.html

Https web Api 拉取数据踩坑记录

System.Net.ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls;//提供安全证书 using (var http = new HttpClient()) { 在遇到HTTPS 接口时,如果POSTMAN可以随意访问,但是程序调试会遇到服务器拒绝的情况时,可以考虑是否为以上问题 原文地址:https

Git与远程仓库交互,拉取与提交数据

一.项目维护者建立一个中心数据远程仓库,用git init 初始化一个仓库. 二.其他developer,以该数据仓库为中心,提交各自的代码供项目维护者确认. ## 建立对远程仓库的镜像:## git remote add Wiki [email protected]:/project/ ## 拉取数据到本地:## git pull 这个命令会直接将远程仓库的分支合并到当前分支,没有经过developer确认,不人性化. 2.git fetch 这个命令将远程数据拉取到本地,可经过确认后再合并,

解决 MySQL 比如我要拉取一个消息表中用户id为1的前10条最新数据

我们都知道,各种主流的社交应用或者阅读应用,基本都有列表类视图,并且都有滑到底部加载更多这一功能, 对应后端就是分页拉取数据.好处不言而喻,一般来说,这些数据项都是按时间倒序排列的,用户只关心最新的动态,而不关心几个月甚至几年前消息,所以后端返回给客户端的数据是不会一次性传递全部内容的(不仅耗费流量,而且还给服务器带来巨大压力). 举个例就说MySQL,它已经给我们提供了相应的语句来支持这一功能,那就是limit关键字.比如我要拉取一个消息表中用户id为1的前10条最新数据,SQL语句如下: s

git 拉取远程分支报错(fatal: '' is not a commit and a branch '' cannot be created from it)

问题描述从远程git上拉取某一个分支,然后报错,拉取不了这个分支. 拉取分支的命令: git checkout -b xxx-static-19 origin/xxx-static-19 其中xxx-static-19是分支名. 报错 fatal: 'origin/xxx-static-19' is not a commit and a branch 'xxx-static-19' cannot be created from it 解决重新拉取数据,git pull ,然后再切回分支 git

代码: 两列图片瀑布流(一次后台取数据,图片懒加载。下拉后分批显示图片。图片高度未知,当图片onload后才显示容器)

代码: 两列图片瀑布流(一次后台取数据,无ajax,图片懒加载.下拉后分批显示图片.图片高度未知,当图片onload后才显示容器) [思路]: 图片瀑布流,网上代码有多种实现方式,也有各类插件.没找到合意的,所以根据网上找的一段代码,进行了较大改动. 需引用 zepto 或 jquery. 我这个是应用于手机上的,两列瀑布流,图片高度未知——等图片的onloaded事件触发后,才对容器进行计算和定位. 大容器是 $("#imgList"),容器格子是$(".pin"