python 比较常见的工具方法

下面是一些工作过程中比较常见的工具方法,但不代表最终答案。希望能对你有所帮助,如果您有更好更多的方法工具,欢迎推荐!

1. 按行读取带json字符串的文件

# -*- coding:utf-8 -*-
import json
import sys

with open("./aldwx-log-20.20190619194001.json.COMPLETED",'r') as load_f:
    for line in load_f:
        try:
            load_dict = json.loads(line)
            server_time = load_dict['server_time']
            et = load_dict['et'] if load_dict.has_key("et") else server_time   #三元表达式
        except :
            pass

2. 获取每日的时间列表

# -*- coding:utf-8 -*-
import datetime
def getBetweenDay():
    date_list = []

    #获取开始与结束时间,范例为获取最近7天时间
    now_time = datetime.datetime.now()
    begin_day = (now_time+datetime.timedelta(days=-7)).strftime("%Y%m%d")
    end_day = (now_time+datetime.timedelta(days=-1)).strftime("%Y%m%d")

    begin_date = datetime.datetime.strptime(begin_day, "%Y%m%d")
    end_date = datetime.datetime.strptime(end_day, "%Y%m%d")

    while begin_date <= end_date:
        date_str = begin_date.strftime("%Y%m%d")
        date_list.append(date_str)
        begin_date += datetime.timedelta(days=1)
    return date_list

3. 计量单位格式化输出

# -*- coding:utf-8 -*-
#计量单位格式化输出
def formatData(value):
    units = ['B', 'KB', 'MB', 'GB', 'TB', 'PB' ]
    try:
        size = float(value)
    except:
        return False

    if size < 0:
        return False

    for unit in units:
        if size >= 1024:
            #中间结果保留4位小数。网上很多资料只注重最终的结果,导致最终结果误差很大
            size = float('%.4f' %( size / 1024))
        else:
            size_h = '{0:.2f} {1}'.format(size, unit)
            return size_h

    #超大数据仅保留到PB级
    size_h = '{0:.2f} {1}'.format(size, units[-1])
    return size_h

持续更新中...

原文地址:https://www.cnblogs.com/guoew/p/11131691.html

时间: 2024-10-10 01:30:42

python 比较常见的工具方法的相关文章

用 Python 排序数据的多种方法

用 Python 排序数据的多种方法 目录 [Python HOWTOs系列]排序 Python 列表有内置就地排序的方法 list.sort(),此外还有一个内置的 sorted() 函数将一个可迭代对象(iterable)排序为一个新的有序列表. 本文我们将去探索用 Python 做数据排序的多种方法. 排序基础 简单的升序排序非常容易:只需调用 sorted() 函数,就得到一个有序的新列表: 你也可以使用 list.sort() 方法,此方法为就地排序(并且返回 None 来避免混淆).

python写爬虫使用urllib2方法

python写爬虫使用urllib2方法 整理了一部分urllib2的使用细节. 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy. 如果想在程序中明确控制 Proxy 而不受环境变量的影响,可以使用代理. 新建test14来实现一个简单的代理Demo: import urllib2 enable_proxy = True proxy_handler = urllib2.ProxyHandler({"http" : 'htt

内存泄漏以及常见的解决方法

  之所以撰写这篇文章是由于前段时间花费了非常大的精力在已经成熟的代码上再去处理memory leak问题.写此的目的是希望我们应该养成良好的编码习惯,尽可能的避免这种问题,由于当你对着一大片的代码再去处理此类的问题,此时无疑添加了解决的成本和难度.准确的说属于补救措施了. 1. 什么是内存泄漏(memory leak)?  指因为疏忽或错误造成程序未能释放已经不再使用的内存的情况.内存泄漏并不是指内存在物理上的消失,而是应用程序分配某段内存后,因为设计错误,失去了对该段内存的控制,因而造成了内

Python中常见的文件对象内建函数

文件对象内建方法列表 文件对象的方法 操作 file.close() 关闭文件 file.fileno() 返回文件的描述符(file descriptor,FD,整数值) file.flush() 刷新文件的内部缓冲区 file.isatty() 判断file是否是一个类设tty备 file.next() 返回文件的下一行,或在没有其它行时引发StopIteration异常 file.read(size=-1) 从文件读取size个字节,当未给定size或给定负值时读取剩余的所有字节,然后作为

python直接生成exe的方法

一.简介 py2exe是一个将python脚本转换成windows上的可独立执行的可执行程序(*.exe)的工具,这样,你就可以不用装python而在windows系统上运行这个可执行程序.py2exe已经被用于创建wxPython,Tkinter,Pmw,PyGTK,pygame,win32com client和server,和其它的独立程序.py2exe是发布在开源许可证下的.目前只有python2.x的才有对应版本的.二.安装py2exe 从http://prdownloads.sourc

jQuery晦涩的底层工具方法们

这里整理的是jQuery源码中一些比较晦涩难懂的.内部的.最底层的工具方法,它们多为jQuery的上层api方法服务,目前包括: jQuery.access jQuery.access: function( elems, fn, key, value, chainable, emptyGet, pass ) 在jQuery的众多api方法中,许多方法都有一个非常重要和常见的特征:重载,简单来讲即参数的不同决定了方法的功能不同 例如我们最常使用的几个:jQuery.fn.val().jQuery.

CoreImage的使用及常见滤镜工具(一)

概述: CoreImage是一个图像框架,它基于OpenGL顶层创建,底层则用着色器来处理图像,这意味着它利用了GPU基于硬件加速来处理图像.CoreImage中有很多滤镜,它们能够一次给予一张图像或者视频帧多种视觉效果.而且滤镜可以连接起来组成一个滤镜链,把滤镜效果叠加起来处理图像. CoreImage框架最早出现于iOS5,iOS6也对这个框架进行了扩展,这篇博客的Demo是基于iOS7的. CoreImage框架最常用的类: * CIImage 保存图像数据的类,可以通过UIImage,图

你所会用到的Python学习环境及工具

备注:所以使用的操作系统环境为CentOS 6.2 编译安装python 2.7及ipython 1.下载所需要的程序包 ipython-1.2.1.tar.gz Python-2.7.6.tar.xz # 请从官网下载指定的程序包. 2.使用yum安装readline程序包 ~ ]# yum -y install readline-devel 如果不安装这个程序包,有可能导致python交互界面无法使用删除键"Backspace" 3.安装gcc包,为编译python做准备 ~ ]#

python安装第三方模块的方法

在python开发中,如何安装python模块呢?肯定很多初学者都在想为何要安装模块呢?因为这些模块中不包含在python的默认代码中,需要从外部下载并安装.比如pygame的Windows版本,直接双击安装就可以.但大多数模块没有提供这样的安装方式,有些同学没能成功安装而导致无法在程序中引入模块.在这里,介绍一下python模块几种常见的安装方法. 1.直接copy下载的模块文件中已经有了模块的文件,有些模块只有一个文件,比如较早版本的BeautifulSoup,有些是一个文件夹,比如新版本B