删除大日志文件中的某段数据

using System;
using System.IO;
using System.Linq;
using System.Text;

namespace TestMultyConsole2
{
    public class LocalFileHelper
    {
        /// <summary>
        /// 删除大日志文件中的某些数据
        /// </summary>
        /// <param name="filePath">源文件路径</param>
        /// <param name="newFilePath">目标文件路径</param>
        /// <param name="key">删除key之间的数据(包含key)</param>
        /// <param name="words">删除某一含有该列表中数据的数据行</param>
        public static void CopyContentAndDeleteSomething(string filePath, string newFilePath,string key, string[] words)
        {
            bool flag = false;  //标识符
            long count = 0;     //计数器
            using (StreamReader sr = new StreamReader(filePath, Encoding.GetEncoding("gb2312")))
            using (StreamWriter streamWriter = new StreamWriter(newFilePath, true, Encoding.GetEncoding("gb2312")))
            {
                while (sr.Peek() >= 0)
                {
                    string tmp = sr.ReadLine();
                    if (tmp != null && tmp.Contains(key))
                    {
                        flag = !flag;
                    }
                    if (!flag && !IsContains(tmp, words)) streamWriter.WriteLine(tmp);
                    if (count++%10000==0)
                        Console.WriteLine(count/10000);
                }
            }

            Console.WriteLine("共{0}行数据", count);
        }
        /// <summary>
        /// 判断keys中的值是否被包含在content中
        /// </summary>
        /// <param name="content">数据源</param>
        /// <param name="keys">key列表</param>
        /// <returns></returns>
        public static bool IsContains(string content, string[] keys)
        {
            return keys != null && keys.Any(content.Contains);
        }
    }
}
时间: 2024-10-12 23:38:49

删除大日志文件中的某段数据的相关文章

请大神指导从大日志文件中统计关键字次数的办法

awk 'NR==FNR{a[$0]=1;next}{if($0 in a)b[$0]++}END{for (i in b)print i,b[i]}' filea fileb | sort 文件A中有若干行数据,每行为一个关键字文件B为大日志文件,大小为10G以下 想着能够统计出文件A中每个关键字在B中的出现次数,例如行1,3行2,10行3,100..... 最笨的办法是逐行读入后用grep,但是太费时间,有没有只打开一次B文件,就能把A中所有行都统计出来的办法呢? aaa 3 bbb 3 c

SQL Server 收缩日志 清空删除大日志文件

SQL2008 的收缩日志 由于SQL2008对文件和日志管理进行了优化,所以以下语句在SQL2005中可以运行但在SQL2008中已经被取消: (SQL2000) -- Prog: Xinsoft -- Time: 2005-03-26 10:34  SET NOCOUNT ON DECLARE @LogicalFileName sysname, @MaxMinutes INT, @NewSize INT  USE dbJieXin -- 要操作的数据库名 SELECT @LogicalFil

SQL Server 2008 收缩日志 清空删除大日志文件

SQL2008 的收缩日志 由于SQL2008对文件和日志管理进行了优化,所以以下语句在SQL2005中可以运行但在SQL2008中已经被取消: (SQL2005) BackupLog DNName with no_log go dump transaction DNName with no_log go USE DNName DBCC SHRINKFILE (2) Go --------------------------------------------------------------

SQL Server日志文件过大 大日志文件清理方法 不分离数据库

SQL Server日志文件过大    大日志文件清理方法 ,网上提供了很多分离数据库--〉删除日志文件-〉附加数据库 的方法,此方法风险太大,过程也比较久,有时候也会出现分离不成功的现象.下面的方式是不需要做数据库分离和附加操作的. SQL 2008收缩清空日志方法: 1.在SQL2008中清除日志就必须在简单模式下进行,等清除动作完毕再调回到完整模式,一定必务要再改回完整模式,不然数据库就不支持时间点备份了.1).选择数据库–属性-选项-恢复模式–选择简单.2).收缩数据库后,再调回完整.2

删除mysql日志文件

今天发现网站不能正常访问,于是登陆服务器查找问题. 机智的我随手用命令:df -l 发现 硬盘爆满了,于是就知道 问题所在了. Filesystem 1K-blocks Used Available Use% Mounted on /dev/xvda1 20641404 16963004 16929876 100% / tmpfs 960368 0 960368 0% /dev/shm /dev/xvdb1 51599192 4845536 44132564 10% /home/sam/shar

删除数据库日志文件的方法

原文:删除数据库日志文件的方法 你曾经有在执行SQL的时候,数据库报事务日志已满,然后执行报错.然后纠结于怎么删除数据库日志,捣鼓半天吗,现在就提供两种删除日志文件的方法,希望能够帮到你! 阅读目录 方法一:手工操作 方法二:存储过程代替手工操作 示例存储过程下载 回到顶部 方法一:手工操作   1.数据库->右键->属性->选项-恢复模式->由完成切换成简单   2.数据库->右键->任务->收缩-文件->由完成切换成简单->文件类型->日志-

清理ms sql server 大日志文件数据

1.手动分离数据库: 2.手动删除日志文件: 3.重新生成日志文件: CREATE DATABASE FMIS0 ON (FILENAME = 'E:\FMIS0_DATA\FMIS0-Date') FOR ATTACH_REBUILD_LOG ;GO 清理ms sql server 大日志文件数据

删除string类型字符串中指定字符串段

1.实现背景 在插入list行时用邮件的MessageID给对应行命名. 在回复全部邮件时,收件人变为之前收件人中出去“自己”同时加入之前发件人,抄送人还是之前的抄送人,密送人不用管,直接不用带. 在“回复全部”按钮响应函数里面 CListUI* pList = static_cast<CListUI*>(m_PaintManager.FindControl(_T("middle_comlumn_header1")));//拿到list控件指针            int

jstack Dump日志文件中的线程状态

jstack Dump 日志文件中的线程状态 dump 文件里,值得关注的线程状态有: 死锁,Deadlock(重点关注)  执行中,Runnable 等待资源,Waiting on condition(重点关注) 等待获取监视器,Waiting on monitor entry(重点关注) 暂停,Suspended 对象等待中,Object.wait() 或 TIMED_WAITING 阻塞,Blocked(重点关注)   停止,Parked 下面我们先从第一个例子开始分析,然后再列出不同线程