分割数据

#!/bin/bash
#soyo1.sh
#FILE=$1
NUM=$1
#cat $1 | sed  -n "1,${NUM}p"
for file in *.txt;do
          echo $file
done

for file in *.txt;do

      {
       cat $file | sed  -n "1,${NUM}p">>分割${NUM}流.txt
      # cat $file >>all.txt
     }
done

./soyo.sh 5000 (5000是希望得到的流数)
时间: 2024-12-30 07:27:37

分割数据的相关文章

6.11 将分割数据转换为多值IN列表

问题 已经有了分隔数据,想要将其转换为WHERE子句IN列表中的项目.考虑下面的字符串: 7654,7698,7782,7788 要将该字符串用在WHERE子句中,但是下面的SQL语句是错误的,因为EMPNO是一个数值列: select ename,sal,deptno from emp where empno in ( '7654,7698,7782,7788' ) 因为EMPNO是一个数值列,而此IN列表是一个字符串值,所以此SQL语句会失败.现要将此字符串转换为用逗号分解的数值列表. 解决

excel VBA分割数据行生产多个表格

WPS只有付费和特殊版本才能使用VBA. excel要先打开vba功能: 打开开发工具面板(默认是没有开发工具选项卡的) [文件]->[选项]->[自定义功能区] 进入vba编辑 方式一.[右键Sheet1 ]->[查看代码] 方式二.[开发者工具]->[Visual Basic] 粘贴代码: Sub IMonday() Dim r, c, i, WJhangshu, WJshu, bt As Long r = Range("A" & Rows.Coun

四种常用的post数据提交方式

application/x-www-form-urlencoded 这是默认的post传输方式,用url转码的方法,让数据以key1=val1&key2=val2的方式传输.此方式的数据形式与get方式一样. multipart/form-data 这个也是常见的方式,最常用于传输图片和其他文件.下面是一段数据事例: POST http://www.example.com HTTP/1.1 Content-Type:multipart/form-data; boundary=----WebKit

Hive导入HDFS/本地数据

#创建表人信息表  person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE; OK Time taken: 0.541 seconds#创建表票价信息表 ticket(int age,float price) hive> create tab

万亿级日志与行为数据存储查询技术剖析——Hbase系预聚合方案、Dremel系parquet列存储、预聚合系、Lucene系

转自:http://www.infoq.com/cn/articles/trillion-log-and-data-storage-query-techniques?utm_source=infoq&utm_medium=popular_widget&utm_campaign=popular_content_list&utm_content=homepage 目前大数据存储查询方案大概可以分为:Hbase系.Dremel系.预聚合系.Lucene系,笔者就自身的使用经验说说这几个系

[转载] 规模要素:数据平台的组成和扩展

原文: http://mp.weixin.qq.com/s?__biz=MzA5ODM5MDU3MA==&mid=211277835&idx=1&sn=45631d0f416b7bc9b8bfc2aad76f85cd&scene=1&key=0acd51d81cb052bc5897df08137e6dc7203f2168bded4fa93b0589d0763c767a5856b761e9f52ce5007a9d2566cebbf2&ascene=0&

MATLAB如何保存数据(转载)

一:存txt文件,用dlmwrite()dlmwrite 将一个矩阵写到由分隔符分割的文件中. 在保存整数到文件时使用save存为ascii文件时,常常是文件里都是实型格式的数据(有小数点,和后面很多的0,看着很不方便).于是要保存此类数据时,我们可以使用此dlmwrite命令. 使用方法: dlmwrite('filename', M) 使用默认分隔符","将矩阵M写入文本文件filename中: dlmwrite('filename', M, 'D') 使用分隔符D分割数据,&qu

《机器学习系统设计》之数据理解和提炼

前言: 本系列是在作者学习<机器学习系统设计>([美] Willi Richert)过程中的思考与实践,全书通过Python从数据处理,到特征工程,再到模型选择,把机器学习解决问题的过程一一呈现.书中设计的源代码和数据集已上传到我的资源http://download.csdn.net/detail/solomon1558/8971649. 第1章通过一个简单的例子介绍机器学习的基本概念,揭示过拟合的风险,帮助我们增强理解和提炼数据的能力. 1. 背景介绍 假设互联网公司MLAAS为所有Web访

hive建表并load数据小结

一.建表的时候要指明分隔符 hive建表时默认的分隔符是'\001',若在建表的时候没有指明分隔符,load文件的时候文件的分隔符需要是'\001'的, 若文件分隔符不是'\001',程序不会报错,但表查询的结果会全部为'NULL', 如何制作分隔符为'\001'的测试文件 用vi编辑器Ctrl+v然后Ctrl+a就可以通过键盘输入'\001' 也可以在建表的时候指明分隔符为制表符,然后测试文件用excel制表符制作, 例如: create table pokes(foo INT,bar STR