Snapde一个全新的CSV超大文件编辑软件

今天介绍如果数据量超过104万行Excel无法打开了,用什么软件可以打开呢?Snapde,一个专门为编辑超大型数据量CSV文件而设计的单机版电子表格软件;它在C++语言开发的Snapman多人协作电子表格内核基础上进行了重新设计,换用C语言重新开发内核,比Snapman的电子表格核心有了质的提升,支持编辑数据从原来的的15兆CSV提升到了2.5G,原来编辑5万行就会很卡的,现在编辑一两千万行都不会卡。Snapde安装包15.4m(主要python语言的文件占用空间),主程序非常轻巧启动超快;下面来一些大文件CSV测试其性能(1个三百多兆,1个一个G,1个3.7G):

1、deputies_dataset.csv文件,文件大小325.98m,3014903行10列(30149030个单元格)

打开截图:

打开时间花费:20秒

内存占用2497.8M:

2、ft_train.csv文件,文件大小1.05G,307512行903列(277683336个单元格)

打开截图:

打开时间花费:1分30秒

内存占用2.8G:

3、yelp_review.csv文件,文件大小3.53G,5261669行10列(52616690个单元格)

打开截图:

打开时间花费:2分14秒

内存占用4.09G:

CSV文件是一种文本文件,我们使用世界上最厉害的文本编辑器之一:64位的notepade++对1G的ft_train.csv进行打开编辑,发现居然无法打开:

无论从轻巧、流畅上看,还是从上面对于大型CSV文件操作看,snapde都是一个很优秀的编辑器。

Snapde的下载网址:http://www.snapman.xyz

Snapde功能介绍页面:http://www.snapman.xyz/Snapde/help.php

原文地址:https://www.cnblogs.com/virtualNatural/p/9498418.html

时间: 2024-08-13 12:20:48

Snapde一个全新的CSV超大文件编辑软件的相关文章

用Python写一个带图形界面的文件压缩软件

文件压缩和解压我们在日常工作学习中会经常用到,比如winrar.快压.好压等压缩软件 打开之后的界面长这个样子: 压缩完成后是这个样子: 解压完成后是这个样子: 大家在学python的时候肯定会遇到很多难题,以及对于新技术的追求,这里推荐一下我们的Python学习扣qun:784758214,这里是python学习者聚集地!!同时,自己是一名高级python开发工程师,从基础的python脚本到web开发.爬虫.django.数据挖掘等,零基础到项目实战的资料都有整理.送给每一位python的小

如何用python读写CSV 格式文件

工作中经常会碰到读写CSV文件的情况.记录下,方便自己以后查询并与大家一起分享: 写CSV文件方法一: import csv          #导入CSV with open("D:\egg.csv","wb") as csvfile       #新建一个叫egg.csv"的文件在D盘. a=csv.writer(csvfile)                                    #以CSV的格式 写数据到文件CSVFILE中. a

pdf文件编辑

下载软件:Foxit PDF Editor,这个工具挺好用的,可以对pdf文件内容进行编辑 Foxit PDF Editor 是第一个真正的PDF文件编辑软件.许多人都希望能找到一个象编辑其它类型的文档的编辑器,事实上在 Foxit PDF Editor 出现之前,根本没有这样的工具.每一个PDF 文件都包含很多页面,每一页包含各种可视对象,如文本对象.图形对象和图像对象.而每一个对象都由其属性来定义其显示的方式. 第一步:打开要编辑的pdf文件: 注:按住Ctrl键可以同时选择多个文字. 第二

DSP-Quattro 5(音频文件编辑工具)

DSP-Quattro 5 Mac特别版是一款由斯特凡诺·迪诺公司开发的音频文件编辑软件,DSP-Quattro 5的功能非常的强大,可以让你的电脑成为一台专业的音频编辑工具,只要有了DSP-Quattro 5使用最新的MacOS库编译,这款这么好的工具有新的完全可编程批处理器,你也可以成为音频编辑制作达人.在家就可以进行音频的编辑和创作. DSP-Quattro 5 Mac软件介绍 DSP-Quattro 5 Mac特别版具有64位音频和图形引擎,多线程内部引擎,使用最新的MacOS库编译,为

PHP快速按行读取CSV大文件的封装类分享(也适用于其它超大文本文件)

CSV大文件的读取已经在前面讲述过了(PHP按行读取.处理较大CSV文件的代码实例),但是如何快速完整的操作大文件仍然还存在一些问题. 1.如何快速获取CSV大文件的总行数? 办法一:直接获取文件内容,使用换行符进行拆分得出总行数,这种办法对小文件可行,处理大文件时不可行:办法二:使用fgets一行一行遍历,得出总行数,这种办法比办法一好一些,但大文件仍有超时的可能:办法三:借助SplFileObject类,直接将指针定位到文件末尾,通过SplFileObject::key方法获取总行数,这种办

PHP读取CSV大文件导入数据库的示例

对于数百万条数据量的CSV文件,文件大小可能达到数百M,如果简单读取的话很可能出现超时或者卡死的现象. 为了成功将CSV文件里的数据导入数据库,分批处理是非常必要的. 下面这个函数是读取CSV文件中指定的某几行数据: /** * csv_get_lines 读取CSV文件中的某几行数据 * @param $csvfile csv文件路径 * @param $lines 读取行数 * @param $offset 起始行数 * @return array * */ function csv_get

通过 IceWarp WebMail 智能附件轻松发送超大文件

IceWarp v11 邮件服务器可以设置系统中普通用户的文件夹映射作为该用户的个人 FTP 文件夹,让用户通过 WebMail 去管理和使用邮件服务器端提供的 FTP  服务,然后结合 WebMail 的智能附件(SmartAttach)功能,将超大文件通过邮件方式发送给对方.实际发送的并非是超大文件本身,而是通过 HTTP 方式提供的文件分享下载地址,超大附件的下载操作并不会占用邮件服务器有限的带宽资源.另外,还可以再进一步,结合最新版 IceWarp V11.4 提供的  TeamChat

【 D3.js 进阶系列 — 1.0 】 CSV 表格文件的读取

在入门系列的教程中,我们常用 d3.json() 函数来读取 json 格式的文件.json 格式很强大,但对于普通用户可能不太适合,普通用户更喜欢的是用 Microsoft Excel 或 OpenOffice Calc 等生成的表格文件,因为简单易懂,容易编辑.                       Microsoft Excel 通常会保存为 xls 格式, OpenOffice Calc 通常会保存为 ods 格式.这些格式作为表格文件来说都很强大,但要读取它们是有些麻烦的,D3

求超大文件上传方案( jsp )

1 背景 用户本地有一份txt或者csv文件,无论是从业务数据库导出.还是其他途径获取,当需要使用蚂蚁的大数据分析工具进行数据加工.挖掘和共创应用的时候,首先要将本地文件上传至ODPS,普通的小文件通过浏览器上传至服务器,做一层中转便可以实现,但当这份文件非常大到了10GB级别,我们就需要思考另一种形式的技术方案了,也就是本文要阐述的方案. 技术要求主要有以下几方面: 支持超大数据量.10G级别以上 稳定性:除网络异常情况100%成功 准确性:数据无丢失,读写准确性100% 效率:1G文件分钟级