.Net 并发写入文件的多种方式
1、简介
本文主要演示日常开发中利用多线程写入文件存在的问题,以及解决方案,本文使用最常用的日志案例!
2、使用File.AppendAllText写入日志
这是种常规的做法,通过File定位到日志文件所在位置,然后写入相应的日志内容,代码如下:
static string _filePath = @"C:\Users\zhengchao\Desktop\测试文件.txt";
static void Main(string[] args)
{
WriteLogAsync();
Console.ReadKey();
} static void WriteLogAsync()
{
var logRequestNum = ;//请求写入日志次数
var successCount =;//执行成功次数
var failCount = ;//执行失败次数
//模拟100000次用户请求写入日志操作
Parallel.For(, logRequestNum, i =>
{
try
{
var now = DateTime.Now;
var logContent = $"当前线程Id:{Thread.CurrentThread.ManagedThreadId},日志内容:暂时没有,日志级别:Warn,写入时间:{now.ToString()}";
File.AppendAllText(_filePath, logContent);
successCount++;
}
catch (Exception ex)
{
failCount++;
Console.WriteLine(ex.Message);
}
});
Console.WriteLine($"Request Count:{logRequestNum}. Success Count:{successCount} Failed Count:{failCount}.");
}
报错了,原因,Windows不允许多个线程同时操作同一个文件,所以,抛异常.所以必须解决这个问题。
3、利用ReadWriterSlim解决多线程征用文件问题
关于ReadWriterSlim的使用,在本人的这篇随笔中已介绍,在其基础上,对SynchronizedCache类稍稍改造,形成一个SynchronizedFile类,对相关操作代码进行线程安全处理,即能解决当前的问题,代码如下:
public class SynchronizedFile
{
private static ReaderWriterLockSlim cacheLock = new ReaderWriterLockSlim(); /// <summary>
/// 线程安全的写入文件操作
/// </summary>
/// <param name="action"></param>
public static void WriteFile(Action action)
{
cacheLock.EnterWriteLock();
try
{
action.Invoke();
}
finally
{
cacheLock.ExitWriteLock();
}
}
}
调用代码如下所示:
static string _filePath = @"C:\Users\zhengchao\Desktop\测试文件.txt";
static void Main(string[] args)
{
WriteLogSync();
Console.ReadKey();
} /// <summary>
/// 多线程同步写入文件
/// </summary>
static void WriteLogSync()
{
var logRequestNum = ;//请求写入日志次数
var successCount =;//执行成功次数
var failCount = ;//执行失败次数 var stopWatch = Stopwatch.StartNew();
//模拟100000次用户请求写入日志操作
var result=Parallel.For(, logRequestNum, i =>
{
SynchronizedFile.WriteFile(() =>
{
try
{
var now = DateTime.Now;
var logContent = $"当前线程Id:{Thread.CurrentThread.ManagedThreadId},日志内容:暂时没有,日志级别:Warn,写入时间:{now.ToString()}\r\n";
File.AppendAllText(_filePath, logContent);
successCount++;
}
catch (Exception ex)
{
failCount++;
Console.WriteLine(ex.Message);
}
}); });
if (result.IsCompleted)
{
stopWatch.Stop();
Console.WriteLine($"Request Count:{logRequestNum}. Success Count:{successCount} Failed Count:{failCount},总耗时:{stopWatch.ElapsedMilliseconds/1000}秒");
}
}
内容全部写入成功,但是还没有结束,原因是,反编译
一直反编译下去,会发现
用的是同步Api,所以代码可以继续优化,同步意味着每个线程在写入文件时,当前的写入托管代码会转换成托管代码,最后,Windows会把当前写入操作的数据初始化成IRP数据包传给硬件设备,之后硬件设备开始执行写入操作。这个过程,当前线程在和硬件交互时,不会返回到线程池,而是被Windows置为休眠状态,等待硬件设置执行写入操作完毕后,接着Windows会唤起该线程,最后又回到我的托管代码也就是C#代码中,继续执行下面的逻辑.所以当前的日志写入代码可以优化,使用异步Api来做.这样当前线程不会等待硬件设备,而是返回线程池.提高CPU的利用率.
4、优化代码
static string _filePath = @"C:\Users\zhengchao\Desktop\测试文件.txt";
static void Main(string[] args)
{
WriteLogAsync();
Console.ReadKey();
} /// <summary>
/// 多线程异步写入文件
/// </summary>
static void WriteLogAsync()
{
var logRequestNum = ;//请求写入日志次数
var successCount = ;//执行成功次数
var failCount = ;//执行失败次数 var stopWatch = Stopwatch.StartNew();
//模拟100000次用户请求写入日志操作
var result = Parallel.For(, logRequestNum, i =>
{
SynchronizedFile.WriteFile(() =>
{
try
{
var now = DateTime.Now;
var logContent = $"当前线程Id:{Thread.CurrentThread.ManagedThreadId},日志内容:暂时没有,日志级别:Warn,写入时间:{now.ToString()}\r\n";
var utf8NoBom = new UTF8Encoding(false, true);//去掉Dom头
using (StreamWriter writer = new StreamWriter(_filePath, true, utf8NoBom))
{
writer.WriteAsync(logContent);
}
successCount++;
}
catch (Exception ex)
{
failCount++;
Console.WriteLine(ex.Message);
}
}); });
if (result.IsCompleted)
{
stopWatch.Stop();
Console.WriteLine($"Request Count:{logRequestNum}. Success Count:{successCount} Failed Count:{failCount},总耗时:{stopWatch.ElapsedMilliseconds / 1000}秒");
} }
虽然效果差不多,但是能提升CPU利用率.暂时还没找到多线程写入一个文件,不需要加读锁的方法,如果有,请告知.
.Net 并发写入文件的多种方式的更多相关文章
- 用读写锁三句代码解决多线程并发写入文件 z
C#使用读写锁三句代码简单解决多线程并发写入文件时提示“文件正在由另一进程使用,因此该进程无法访问此文件”的问题 在开发程序的过程中,难免少不了写入错误日志这个关键功能.实现这个功能,可以选择使用第三 ...
- Linux中删除特殊名称文件的多种方式
今日分享:我们在肉体的疾病方面花了不少钱,精神的病害方面却没有花什么,现在已经到了时候,我们应该有不平凡的学校.--<瓦尔登湖> 前言 我们都知道,在linux删除一个文件可以使用rm命令 ...
- C#使用读写锁三行代码简单解决多线程并发写入文件时线程同步的问题
(补充:初始化FileStream时使用包含文件共享属性(System.IO.FileShare)的构造函数比使用自定义线程锁更为安全和高效,更多内容可点击参阅) 在开发程序的过程中,难免少不了写入错 ...
- C#使用读写锁解决多线程并发写入文件时线程同步的问题
读写锁是以 ReaderWriterLockSlim 对象作为锁管理资源的,不同的 ReaderWriterLockSlim 对象中锁定同一个文件也会被视为不同的锁进行管理,这种差异可能会再次导致文件 ...
- ansible下载文件的多种方式
对于ansible来说,下载文件是一个很重要的课题,这是build或者deploy的第一步,通常来讲由于不同项目的差异,可能我们的代码包或者资源文件保存在于http,github,nexus,ftp, ...
- PHP导出excel文件的多种方式
1.第一种实现的方法 set_time_limit(0); //逐条导出数据 ob_end_clean(); header("Content-type: application/vnd.ms ...
- 11. python读写文件的多种方式
一.txt文件 with open('users.txt','r') as user_file: data = user_file.readlines() users = [] for line in ...
- Java 读取TXT文件的多种方式
1).按行读取TXT文件package zc;import java.io.BufferedReader;import java.io.File;import java.io.FileNotFound ...
- SQL映射文件实现多种方式查询
1.单条件查询在test中代码如下 2.多条件查询时需要把查询条件编辑为对象或者是集合传入,例如 通过对象进行查询 或者是通过集合进行查询列如Map集合 还有就是通过@Param注解实现多参数的入参, ...
随机推荐
- SHELL脚本学习-定时检查Oracle alert日志并发送mail
对于DBA来说,检查alert日志是日常工作.告警日志日积月累往往很大,而且每次在服务器上查看或者下载到目标主机查看都十分不方便. 为了方便,以下做出两种情况:(其他情况类推) 第一场景:每天早上上班 ...
- 《Miracle-House团队》项目需求分析改进
(一)团队项目需求分析改进 一.<西小餐项目需求规格说明书>的不足 通过老师和其他同学的指正和建议,我们发现上次的需求规格说明书存在以下不足: 1.需求规格文档不够完整和规范: 2.系统设 ...
- 【NIFI】 Apache NiFI 使用技巧
本章介绍NIFI组件的使用. 主要有:Nginx反向代理NIFI,配置SSLContextService Nginx反向代理NIFI 使用nginx反向代理NIFI配置如下 upstream nifi ...
- app微信支付-java服务端接口 支付-查询-退款
个人不怎么看得懂微信的文档,看了很多前辈的写法,终于调通了,在这里做一下记录. 首先来定义各种处理类(微信支付不需要特殊jar包,很多处理需要自己封装,当然也可以自己写完打个jar包) 参数要用jdo ...
- 高速上手C++11 14 笔记2
lambda表达式和std function bind 两者配合构成了函数新的使用方法. 智能指针 sharedptr, uniqueptr, weak_ptr auto pointer = std: ...
- 每日一练ACM 2019.04.13
2019.04.13 第1002题:A+B Proble Ⅱ Problem DescriptionI have a very simple problem for you. Given two in ...
- 2019.03.26 bzoj4447: [Scoi2015]小凸解密码(线段树)
传送门 题意简述:咕咕咕 思路:考虑预处理出bbb数组,然后每次改动aaa都只会对第iii和i+1i+1i+1这两个位置产生影响,于是可以用线段树来维护bbb数组. 现在求答案的方法是断环为链,倍增整 ...
- java开发过程中,报错Dangling meta character '*' near index 0,解决办法
1.split方法转化字符串为数组: String[] strPicArr = map.get("hw_pic").toString().split("*"); ...
- 第43章:MongoDB-集群--Sharding(分片)--多机的搭建
①环境准备 服务器规划 服务器[192.168.0.75] 服务器[192.168.0.84] 服务器[192.168.0.86] mongos mongos mongos config server ...
- 用java实现的英汉词典
import java.io.*; import java.util.*; public class MyDictionary { static private Map<String, Stri ...