[NewLife.XCode]导入导出(实体对象百变魔君)

NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。

整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目。

开源地址:https://github.com/NewLifeX/X(求star, 864+)

XCode是充血模型,在实体类上附带有大量便捷操作,其中就包括各种目标数据类型的导入导出!

Json序列化

当下最常用的数据通信格式毋容置疑肯定是Json,实体对象可直接转Json作为接口返回值。

下面看看一个普通Role实体对象的Json序列化(ToJson)和Json反序列化(ToJsonEntity)的例程和效果。

如上,Role实体对象可通过ToJson转为json字符串,并通过ToJsonEntity把字符串转为另一个Role实体对象。

在XCode v9.0之前,实体基类Entity直接带有ToJson/FromJson。后来因为Json实在太常用了,提升为全局扩展方法。

Json作为最通用的数据传输格式(没有之一),ToJson直接扩展Object,有三个参数:是否换行缩进、是否写空值、是否驼峰命名

上文示例中的ToJson(true, false, false)表示采用换行缩进(可读性更好),不写空值(整数的0和字符串的null等),不适用驼峰命名。

Xml序列化

Xml作为曾经的数据传输格式之王,仍然有相当一部分古老接口使用。

ToXml/ToXmlEntity 也是全局扩展方法,其中参数可以控制序列化为普通Xml或者Xml属性。

从结果来看,Xml可读性非常好,但是占用空间很大,一般比Json还要大一截。

二进制序列化

 XCode序列化的绝招是二进制序列化,能够让实体对象和二进制数据互相转换,更小、更快!

序列化同样的实体对象,只需要39字节,远小于Json和Xml,并且速度更快(不需要字符串分割操作)。

实体对象没有ToBinary之类的快速方法,而是需要先转化为IAccessor接口,然后Write序列化为数据流,或者Read读取数据流。

数据流是个好东西,最常用的有内存流、文件流、网络流、加密流、压缩流,等等等。

文件流FileStream,可以让实体对象保存为文件,或者文件加载为实体对象,(借助文件缓存实体数据?);

网络流NetworkStream,可以让实体对象在网络中传输;

IAccessor 访问器接口,可实现任意对象到数据流的读写访问。

NewLife.Redis 优先支持 IAccessor 接口,因此,把XCode实体对象写入Redis时,采用的是二进制高效精简格式,而不是默认的Json格式

实体类可通过重载 OnWrite 来自定义二进制序列化的行为。

/// <summary>二进制序列化到数据流</summary>
/// <param name="stream">数据流</param>
/// <param name="context">上下文</param>
/// <param name="extend">是否序列化扩展属性</param>
protected virtual Boolean OnWrite(Stream stream, Object context, Boolean extend)
{
    var bn = context as Binary;
    if (bn == null) bn = new Binary
    {
        Stream = stream,
        EncodeInt = true
    };

    var fs = extend ? Meta.AllFields : Meta.Fields;
    foreach (var fi in fs)
    {
        bn.Write(this[fi.Name], fi.Type);
    }

    return true;
}

从上面代码可以看出,只是调用二进制序列化Binary来把各个数据字段写入流中。

看到这里,你是不是有很多可以大干一场的想法?别急,这只是开胃菜,还有更好的。

示例中看到,二进制序列化最大缺点是可读性极差!一般只能看到其中部分字符串。

实体列表存储

单个实体对象的二进制序列化只适用于简单场合,如写入Redis,实际工程级应用,多以实体列表为主。

实体列表存储以扩展方法提供:

  • Write,写入实体列表到数据流
  • Read,从数据流加载实体列表
  • SaveFile,保存实体列表到文件(可用作数据缓存)
  • LoadFile,从文件加载实体列表

以上示例演示了具有4个对象的角色列表如果读写数据流以及文件。

有朋友要问,能否借助实体列表读写文件的功能,实现某些数据表的本地化缓存,即使数据库宕机,仍然能够继续提供服务?

答案显然是可以的,并且我在实际工作中也经常这么干。

数据分析中经常需要用到几十上百台服务器进行分析计算,应用启动时必须把配置数据和常用基础数据一次性载入内存,例如几万行的网点数据;

如果几十个节点同时启动向数据库请求网点数据,数据库将不堪重负变得非常缓慢,影响计算应用的加载甚至可能导致出错退出;

这种场景,可以在加载一次后,把实体列表数据保存到本地文件中,然后定时(10分钟)更新;

下次启动时,直接使用本地缓存数据,大大提升了应用启动速度,并且降低了数据库负担;

Csv导入导出

Csv格式常用于办公室Excel数据传递,以及数据库数据导入导出等。

XCode支持百万级导出!内部 CsvFile 支持流式读写,一边构造一边写入文件,而不是一次性在内存生成好再写入!

魔方的 Excel导出、Csv导出、Json导出、Xml导出等功能,都由 XCode 实现!

系列教程

NewLife.XCode教程系列[2019版]

  1. 增删改查入门。快速展现用法,代码配置连接字符串
  2. 数据模型文件。建立表格字段和索引,名字以及数据类型规范,推荐字段(时间,用户,IP)
  3. 实体类详解。数据类业务类,泛型基类,接口
  4. 功能设置。连接字符串,调试开关,SQL日志,慢日志,参数化,执行超时。代码与配置文件设置,连接字符串局部设置
  5. 反向工程。自动建立数据库数据表
  6. 数据初始化。InitData写入初始化数据
  7. 高级增删改。重载拦截,自增字段,Valid验证,实体模型(时间,用户,IP)
  8. 脏数据。如何产生,怎么利用
  9. 增量累加。高并发统计
  10. 事务处理。单表和多表,不同连接,多种写法
  11. 扩展属性。多表关联,Map映射
  12. 高级查询。复杂条件,分页,自定义扩展FieldItem,查总记录数,查汇总统计
  13. 数据层缓存。Sql缓存,更新机制
  14. 实体缓存。全表整理缓存,更新机制
  15. 对象缓存。字典缓存,适用用户等数据较多场景。
  16. 百亿级性能。字段精炼,索引完备,合理查询,充分利用缓存
  17. 实体工厂。元数据,通用处理程序
  18. 角色权限。Membership
  19. 导入导出。Xml,Json,二进制,网络或文件
  20. 分表分库。常见拆分逻辑
  21. 高级统计。聚合统计,分组统计
  22. 批量写入。批量插入,批量Upsert,异步保存
  23. 实体队列。写入级缓存,提升性能。
  24. 备份同步。备份数据,恢复数据,同步数据
  25. 数据服务。提供RPC接口服务,远程执行查询,例如SQLite网络版
  26. 大数据分析。ETL抽取,调度计算处理,结果持久化

原文地址:https://www.cnblogs.com/nnhy/p/xcode_import_export.html

时间: 2024-08-29 14:35:27

[NewLife.XCode]导入导出(实体对象百变魔君)的相关文章

[NewLife.XCode]实体缓存

NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目. 开源地址:https://github.com/NewLifeX/X(求star, 765+) 全表缓存 在实际项目开发中,经常遇到有一些表数据很少(1000行以内),不会频繁修改(平均每行几个小时才会修改一次),例

LOB对象在数据泵导出、导入后查询对象数量发现丢失

问题描述:问题:源库的某个Schema使用数据泵Expdp元数据整体导出,在目标库导入且成功后,逻辑验证用户对象,发现缺失.分析查询后,缺失的对象,都是LOB类型(并不是所有的LOB都无法导入,是大部分LOB类型的对象) #以下逻辑验证,SQL执行,对比源库.目标库数据#以下语句特点:测试环境,还原状况模拟:数据无法完全重现 SQL> select OBJECT_TYPE,count(*) from dba_objects where owner='SCOTT' group by object_

[NewLife.XCode]数据模型文件

NewLife.XCode是一个有10多年历史的开源数据中间件,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中. 开源地址:https://github.com/NewLifeX/X 数据模型文件 数据模型文件是XCode数据库开发的中心,曾经流行和支持的DB First和Entity First,经过10多年优胜劣汰,只剩下Model First. XCode的数据模型文件就是一个Mod

[NewLife.XCode]增删改查入门

NewLife.XCode是一个有10多年历史的开源数据中间件,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中. 开源地址:https://github.com/NewLifeX/X 增删改查入门 新建控制台项目(.NET Core),从nuget引用NewLife.XCode,(也可以从别的项目引用下载后拷贝XCode.dll和NewLife.Core.dll来使用,区分nfx和netc

[NewLife.XCode]数据初始化

NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netstandard,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目. 开源地址:https://github.com/NewLifeX/X(求star, 707+) 开发需要 一般应用系统部署都需要安装脚本,建立数据表以及导入基础数据,才能跑起来. 在XCode中,“建立数据表

[NewLife.XCode]对象字典缓存(百万军中取敌首级)

NewLife.XCode是一个有10多年历史的开源数据中间件,支持nfx/netcore,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目. 开源地址:https://github.com/NewLifeX/X(求star, 770+) 单对象缓存 前文提到了以sql为key的数据层缓存,以及整表缓存的实体列表缓存,各自有其优缺点,适用于不同场合. 当单表

【原创】Newlife.XCode的常见功能使用(一)附X组件2015最新源码

你还可以参考本博客其他的XCode以及.NET开源项目的相关文章: Newlife XCode组件资源目录汇总[2013年版] 拥有自己的代码生成器—Newlife.Xcode模板编写教程 [原创]开源.NET下的XML数据库介绍及入门                      Newlife.XCode对象容器与接口操作实例 [转载总结]关于泛型基类的相关知识                              利用Xcode 20行代码搞定任何数据库的迁移 使用Xcode自动向数据库插

NewLife.XCode 上手指南

想了解什么是XCode 在这里我不对XCode做过多介绍,XCode曾经是一个轻量级ORM组件,现在是一个重量级数据映射框架,支持实体对象数据到不同媒体的数据映射,提供面向对象的方式操作数据库,解决90%以上的数据库操作场景.是大石头和他的NewLife团队10年来的智慧结晶,感谢前人栽树! 你可以用XCode生成Domain,做增.删.改.查. 对于一个ORM我不要多强大,我只求简单,好用,能查到我要的数据,能完成我要的操作,遇到问题能有人帮助.如果你的需求和我一样,那么就停下来看看XCode

利用反射实现通用的excel导入导出

如果一个项目中存在多种信息的导入导出,为了简化代码,就需要用反射实现通用的excel导入导出 实例代码如下: 1.创建一个 Book类,并编写set和get方法 1 package com.bean; 2 3 public class Book { 4 private int id; 5 private String name; 6 private String type; 7 // public int a; 8 9 public String getType() { 10 System.ou