python读写dbf文件

Python读写dbf文件

# coding=utf8
"""
A reader and writer for dbf file.see http://code.activestate.com/recipes/362715/ for moe detail
"""
import struct
import datetime
import decimal
import itertools

def dbfreader(f):
    """Returns an iterator over records in a Xbase DBF file.

    The first row returned contains the field names.
    The second row contains field specs: (type, size, decimal places).
    Subsequent rows contain the data records.
    If a record is marked as deleted, it is skipped.

    File should be opened for binary reads.

    """
    # See DBF format spec at:
    #     http://www.pgts.com.au/download/public/xbase.htm#DBF_STRUCT

    numrec, lenheader = struct.unpack(‘<xxxxLH22x‘, f.read(32))
    numfields = (lenheader - 33) // 32

    fields = []
    for fieldno in xrange(numfields):
        name, typ, size, deci = struct.unpack(‘<11sc4xBB14x‘, f.read(32))
        name = name.replace(‘\0‘, ‘‘)  # eliminate NULs from string
        fields.append((name, typ, size, deci))
    yield [field[0] for field in fields]
    yield [tuple(field[1:]) for field in fields]

    terminator = f.read(1)
    assert terminator == ‘\r‘

    fields.insert(0, (‘DeletionFlag‘, ‘C‘, 1, 0))
    fmt = ‘‘.join([‘%ds‘ % fieldinfo[2] for fieldinfo in fields])
    fmtsiz = struct.calcsize(fmt)
    for i in xrange(numrec):
        record = struct.unpack(fmt, f.read(fmtsiz))
        if record[0] != ‘ ‘:
            continue  # deleted record
        result = []
        for (name, typ, size, deci), value in itertools.izip(fields, record):
            if name == ‘DeletionFlag‘:
                continue
            if typ == "N":
                value = value.replace(‘\0‘, ‘‘).lstrip()
                if value == ‘‘:
                    value = 0
                elif deci:
                    value = decimal.Decimal(value)
                else:
                    value = int(value)
            elif typ == ‘D‘:
                y, m, d = int(value[:4]), int(value[4:6]), int(value[6:8])
                value = datetime.date(y, m, d)
            elif typ == ‘L‘:
                value = (value in ‘YyTt‘ and ‘T‘) or (value in ‘NnFf‘ and ‘F‘) or ‘?‘
            elif typ == ‘F‘:
                value = float(value)
            result.append(value)
        yield result

def dbfwriter(f, fieldnames, fieldspecs, records):
    """ Return a string suitable for writing directly to a binary dbf file.

    File f should be open for writing in a binary mode.

    Fieldnames should be no longer than ten characters and not include \x00.
    Fieldspecs are in the form (type, size, deci) where
        type is one of:
            C for ascii character data
            M for ascii character memo data (real memo fields not supported)
            D for datetime objects
            N for ints or decimal objects
            L for logical values ‘T‘, ‘F‘, or ‘?‘
        size is the field width
        deci is the number of decimal places in the provided decimal object
    Records can be an iterable over the records (sequences of field values).

    """
    # header info
    ver = 3
    now = datetime.datetime.now()
    yr, mon, day = now.year - 1900, now.month, now.day
    numrec = len(records)
    numfields = len(fieldspecs)
    lenheader = numfields * 32 + 33
    lenrecord = sum(field[1] for field in fieldspecs) + 1
    hdr = struct.pack(‘<BBBBLHH20x‘, ver, yr, mon, day, numrec, lenheader, lenrecord)
    f.write(hdr)

    # field specs
    for name, (typ, size, deci) in itertools.izip(fieldnames, fieldspecs):
        name = name.ljust(11, ‘\x00‘)
        fld = struct.pack(‘<11sc4xBB14x‘, name, typ, size, deci)
        f.write(fld)

    # terminator
    f.write(‘\r‘)

    # records
    for record in records:
        f.write(‘ ‘)  # deletion flag
        for (typ, size, deci), value in itertools.izip(fieldspecs, record):
            if typ == "N":
                value = str(value).rjust(size, ‘ ‘)
            elif typ == ‘D‘:
                value = value.strftime(‘%Y%m%d‘)
            elif typ == ‘L‘:
                value = str(value)[0].upper()
            else:
                value = str(value)[:size].ljust(size, ‘ ‘)
            assert len(value) == size
            f.write(value)

    # End of file
    f.write(‘\x1A‘)

# -------------------------------------------------------
# Example calls
if __name__ == ‘__main__‘:
    import sys
    import csv
    from cStringIO import StringIO
    from operator import itemgetter

    # Read a database
    filename = ‘/pydev/databases/orders.dbf‘
    if len(sys.argv) == 2:
        filename = sys.argv[1]
    f = open(filename, ‘rb‘)
    db = list(dbfreader(f))
    f.close()
    for record in db:
        print record
    fieldnames, fieldspecs, records = db[0], db[1], db[2:]

    # Alter the database
    del records[4]
    records.sort(key=itemgetter(4))

    # Remove a field
    del fieldnames[0]
    del fieldspecs[0]
    records = [rec[1:] for rec in records]

    # Create a new DBF
    f = StringIO()
    dbfwriter(f, fieldnames, fieldspecs, records)

    # Read the data back from the new DBF
    print ‘-‘ * 20
    f.seek(0)
    for line in dbfreader(f):
        print line
    f.close()

    # Convert to CSV
    print ‘.‘ * 20
    f = StringIO()
    csv.writer(f).writerow(fieldnames)
    csv.writer(f).writerows(records)
    print f.getvalue()
    f.close()

# Example Output
"""
[‘ORDER_ID‘, ‘CUSTMR_ID‘, ‘EMPLOY_ID‘, ‘ORDER_DATE‘, ‘ORDER_AMT‘]
[(‘C‘, 10, 0), (‘C‘, 11, 0), (‘C‘, 11, 0), (‘D‘, 8, 0), (‘N‘, 12, 2)]
[‘10005     ‘, ‘WALNG      ‘, ‘555        ‘, datetime.date(1995, 5, 22), Decimal("173.40")]
[‘10004     ‘, ‘BMARK      ‘, ‘777        ‘, datetime.date(1995, 5, 18), Decimal("3194.20")]
[‘10029     ‘, ‘SAWYH      ‘, ‘777        ‘, datetime.date(1995, 6, 29), Decimal("97.30")]
[‘10013     ‘, ‘RITEB      ‘, ‘777        ‘, datetime.date(1995, 6, 2), Decimal("560.40")]
[‘10024     ‘, ‘RATTC      ‘, ‘444        ‘, datetime.date(1995, 6, 21), Decimal("2223.50")]
[‘10018     ‘, ‘RATTC      ‘, ‘444        ‘, datetime.date(1995, 6, 12), Decimal("1076.05")]
[‘10025     ‘, ‘RATTC      ‘, ‘444        ‘, datetime.date(1995, 6, 23), Decimal("185.80")]
[‘10038     ‘, ‘OLDWO      ‘, ‘111        ‘, datetime.date(1995, 7, 14), Decimal("863.96")]
[‘10002     ‘, ‘MTIME      ‘, ‘333        ‘, datetime.date(1995, 5, 16), Decimal("731.80")]
[‘10007     ‘, ‘MORNS      ‘, ‘444        ‘, datetime.date(1995, 5, 24), Decimal("1405.00")]
[‘10026     ‘, ‘MORNS      ‘, ‘555        ‘, datetime.date(1995, 6, 26), Decimal("17.40")]
[‘10030     ‘, ‘LILLO      ‘, ‘111        ‘, datetime.date(1995, 7, 3), Decimal("909.91")]
[‘10022     ‘, ‘LAPLA      ‘, ‘111        ‘, datetime.date(1995, 6, 19), Decimal("671.50")]
[‘10035     ‘, ‘HIGHG      ‘, ‘111        ‘, datetime.date(1995, 7, 11), Decimal("1984.83")]
[‘10033     ‘, ‘FOODG      ‘, ‘333        ‘, datetime.date(1995, 7, 6), Decimal("3401.32")]
--------------------
[‘CUSTMR_ID‘, ‘EMPLOY_ID‘, ‘ORDER_DATE‘, ‘ORDER_AMT‘]
[(‘C‘, 11, 0), (‘C‘, 11, 0), (‘D‘, 8, 0), (‘N‘, 12, 2)]
[‘MORNS      ‘, ‘555        ‘, datetime.date(1995, 6, 26), Decimal("17.40")]
[‘SAWYH      ‘, ‘777        ‘, datetime.date(1995, 6, 29), Decimal("97.30")]
[‘WALNG      ‘, ‘555        ‘, datetime.date(1995, 5, 22), Decimal("173.40")]
[‘RATTC      ‘, ‘444        ‘, datetime.date(1995, 6, 23), Decimal("185.80")]
[‘RITEB      ‘, ‘777        ‘, datetime.date(1995, 6, 2), Decimal("560.40")]
[‘LAPLA      ‘, ‘111        ‘, datetime.date(1995, 6, 19), Decimal("671.50")]
[‘MTIME      ‘, ‘333        ‘, datetime.date(1995, 5, 16), Decimal("731.80")]
[‘OLDWO      ‘, ‘111        ‘, datetime.date(1995, 7, 14), Decimal("863.96")]
[‘LILLO      ‘, ‘111        ‘, datetime.date(1995, 7, 3), Decimal("909.91")]
[‘RATTC      ‘, ‘444        ‘, datetime.date(1995, 6, 12), Decimal("1076.05")]
[‘MORNS      ‘, ‘444        ‘, datetime.date(1995, 5, 24), Decimal("1405.00")]
[‘HIGHG      ‘, ‘111        ‘, datetime.date(1995, 7, 11), Decimal("1984.83")]
[‘BMARK      ‘, ‘777        ‘, datetime.date(1995, 5, 18), Decimal("3194.20")]
[‘FOODG      ‘, ‘333        ‘, datetime.date(1995, 7, 6), Decimal("3401.32")]
....................
CUSTMR_ID,EMPLOY_ID,ORDER_DATE,ORDER_AMT
MORNS      ,555        ,1995-06-26,17.40
SAWYH      ,777        ,1995-06-29,97.30
WALNG      ,555        ,1995-05-22,173.40
RATTC      ,444        ,1995-06-23,185.80
RITEB      ,777        ,1995-06-02,560.40
LAPLA      ,111        ,1995-06-19,671.50
MTIME      ,333        ,1995-05-16,731.80
OLDWO      ,111        ,1995-07-14,863.96
LILLO      ,111        ,1995-07-03,909.91
RATTC      ,444        ,1995-06-12,1076.05
MORNS      ,444        ,1995-05-24,1405.00
HIGHG      ,111        ,1995-07-11,1984.83
BMARK      ,777        ,1995-05-18,3194.20
FOODG      ,333        ,1995-07-06,3401.32
"""
时间: 2024-10-02 03:06:24

python读写dbf文件的相关文章

用Python读写Excel文件 Contents

用Python读写Excel文件 四种python处理excel模块PK 我主要尝试了四种工具,在此并不会给出他们的排名,因为在不同的应用场景下,做出的选择会不同.   XlsxWriter xlrd&xlwt OpenPyXL Microsoft Excel API 介绍 可以创建Excel 2007或更高版本的XLSX文件 即python-excel,含xlrd.xlwt和xlutils三大模块,分别提供读.写和其他功能 可以读写Excel 2007 XLSX和XLSM文件 直接通过COM组

【python-ini】python读写ini文件

本文实例讲述了Python读写ini文件的方法.分享给大家供大家参考.具体如下: 比如有一个文件update.ini,里面有这些内容: 1 2 3 4 5 6 7 8 [ZIP] EngineVersion=0 DATVersion=5127 FileName=dat-5127.zip FilePath=/pub/antivirus/datfiles/4.x/ FileSize=13481555 Checksum=6037,021E MD5=aaeb519d3f276b810d46642d782

python操作txt文件中数据教程[1]-使用python读写txt文件

python操作txt文件中数据教程[1]-使用python读写txt文件 觉得有用的话,欢迎一起讨论相互学习~Follow Me 原始txt文件 程序实现后结果 程序实现 filename = './test/test.txt' contents = [] DNA_sequence = [] # 打开文本并将所有内容存入contents中 with open(filename, 'r') as f: for line in f.readlines(): contents.append(line

Python读写Excel文件和正则表达式

Python 读写Excel文件 这里使用的是 xlwt 和 xlrd 这两个excel读写库. #_*_ coding:utf-8 _*_ #__author__='观海云不远' #__date__ = '2019-07-11' #读写excel import xlwt import xlrd import re workbook = xlrd.open_workbook('data.xlsx') sheet = workbook.sheet_by_index(0) data = [] for

《Java知识应用》Java读写DBF文件

1. 准备: Jar包下载:链接: https://pan.baidu.com/s/1Ikxx-vkw5vSDf9SBUQHBCw 提取码: 7h58 复制这段内容后打开百度网盘手机App,操作更方便哦 2. 案例: import com.linuxense.javadbf.DBFDataType; import com.linuxense.javadbf.DBFField; import com.linuxense.javadbf.DBFReader; import com.linuxense

xls2- 用Python读写Excel文件-乘法口诀

xls2- 用Python读写Excel文件 https://gitee.com/pandarrr/Panda.SimpleExcel https://www.cnblogs.com/lhj588/archive/2012/01/06/2314181.html 一.安装xlrd模块 到python官网下载http://pypi.python.org/pypi/xlrd模块安装,前提是已经安装了python 环境. 二.使用介绍 1.导入模块 import xlrd 2.打开Excel文件读取数据

python读写操作文件

with open(xxx,'r,coding='utf-8') as f:   #打开文件赋值给F ,并且执行完了之后不需要 f.close(). 在Python 2.7 及以后,with又支持同时对多个文件的上下文进行管理,即:with open('log1') as obj1, open('log2') as obj2: f.tell          #获取指针位置 f.seek(1)   #调整指针位置 f.writ()     #往文件里面些东西  并切指针到最后 r.read() 

[转]用Python读写Excel文件

转自:http://www.gocalf.com/blog/python-read-write-excel.html#xlrd-xlwt 虽然天天跟数据打交道,也频繁地使用Excel进行一些简单的数据处理和展示,但长期以来总是小心地避免用Python直接读写Excel文件.通常我都是把数据保存为以TAB分割的文本文件(TSV),再在Excel中进行导入或者直接复制粘贴. 前段时间做一个项目,却不得不使用Python直接生成Excel文件,后来随着需求的变化,还要对已有的Excel文件进行读取.在

python 读写json文件(dump, load),以及对json格式的数据处理(dumps, loads)

JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式.它基于ECMAScript的一个子集. 1.json.dumps()和json.loads()是json格式处理函数(可以这么理解,json是字符串) json.dumps()函数是将一个Python数据类型列表进行json格式的编码(可以这么理解,json.dumps()函数是将字典转化为字符串) json.loads()函数是将json格式数据转换为字典(可以这么理解,json.loads()函数