[总结]Perl在遇到Unicode字符文件名时的各种处理方法

环境 XP/WIN7  Perl v5.16
编辑整理:523066680

常见的那些文件操作函数都不支持,于是为了达到目的,需要各种方法配合,应该是不如其他语言方便。
我只是想看看Perl到底是否适合做这件事,于是折腾了一回。

文件的建立:

      模块:Win32
  1. use Win32;
  2. use utf8;
  3. use Encode;
  4. #接受unicode传参
  5. Win32::CreateFile("W32CreateFile?测试");
复制代码
      特性: 成功返回true,但不返回文件句柄
      Creates the FILE and returns a true value on success.
      Check $^E on failure for extended error information.
      模块:Win32API::File
      函数:$hObject= CreateFileW( $swPath, $uAccess, $uShare, $pSecAttr, $uCreate, $uFlags, $hModel )
      $hObject可以返回文件对象句柄
      注意事项: 传入的文件路径的编码格式为:UTF16-LE ,必须以\x00结尾,示例(代码保存为utf8格式):
  1. use Win32API::File qw(:ALL);
  2. use utf8;
  3. use Encode;
  4. $str="文tes?t.txt\x00";
  5. $hobject=CreateFileW(encode(‘UTF16-LE‘, $str), GENERIC_WRITE, 0, [], OPEN_ALWAYS,0,0);
复制代码

目录的建立

      模块:Win32
  1. use Win32;
  2. use utf8;
  3. Win32::CreateDirectory("Dir?测试");
复制代码

文件的枚举

      在遇到unicode字符的时候,File::Find模块 以及 IO::Dir 模块都只能输出文件短名。
      暂时用CMD /U Dir 的方法输出文件列表(郁闷吧,暂时没找到能完美操作的内置模块)
      参考文章

http://www.perlmonks.org/?node_id=536223

      how to read unicode filename

复制某个文件夹内的文件(文件名含unicode字符)

      模块:Win32API::File
      如果先获取文件的短名,然后再复制,但是目标文件名也会变成短名。
      于是暂时用cmd /U 模式获取文件列表,然后CopyFileW进行复制:
  1. use Win32API::File qw‘:ALL‘;
  2. use Encode;
  3. use utf8;
  4. my $src=encode(‘gbk‘,‘.\\测试目录‘);
  5. my $dst=‘.\\Target‘;
  6. #该目录只有一层,/s开关是为了列出完整的路径
  7. my $all=`cmd /U /C dir /s /b \"$src\"`;
  8. my $fn;
  9. foreach (split(/\x0d\x00\x0a\x00/, $all)) {
  10. $fn = encode(‘gbk‘, decode(‘utf16-le‘,$_))."\n";
  11. @xrr=split(/\x5c\x00/, $_);
  12. CopyFileW(
  13. $_ ."\x00",
  14. encode(‘utf-16le‘, decode(‘utf8‘, "$dst\\")).$xrr[$#xrr]."\x00",
  15. 1
  16. );
  17. print "$^E\n" if ($^E);
  18. }
  19. <STDIN>;
复制代码
      细节一、
      正确地使用 split $all 截断utf-16le字符段落,分隔符为0d 00 0a 00
      参考枚举脚本
      细节二、
      如果用basename()分割路径,同样会遇到00被忽略的问题,‘\\‘ 的U16LE
      编码是5C 00,但是basename 只按5C截断,剩下的00造成了处理乱码。
      测试basename的第二个参数设置为 "\x5c\x00" 并不能解决这个问题
      解决方法一、
      手工去掉开头处00
      方法二、
      先转为GBK,再获取basename,再转utf-16le
      2014-12-12 备注这种方法在LongPath的情况下,会丢失unicode字符
      可以考虑转为UTF-8,不管怎么说都有点绕
      方法三、
      自己用正则表达式获取
      /\x5C\x00([^\x5c]+)$/;
      $1
      方法四、
      @xrr=split(/\x5c\x00/, $_);
      $xrr[$#xrr]
      细节三、
      CopyFileW复制文件时,要在末尾加\x00作为字符串终止符
      否则各种问题=_=

判断文件是否存在:

      方法一:先转为短名再判断,不做赘述
      方法二:渣方法,用CreateFileW测试建立同名文件,看是否有冲突

重命名:

      模块:Win32API::File
  1. MoveFileW(
  2. encode(‘utf-16le‘, decode(‘utf8‘,$F))."\x00",
  3. encode(‘utf-16le‘, decode(‘utf8‘,$newname))."\x00"
  4. );
复制代码

获取文件的日期信息:

      普通文件名的情况

http://stackoverflow.com/questions/1839877/

      how-can-i-get-a-files-modification-date-in-ddmmyy-format-in-perl
      含有Unicode字符的文件名的情况

http://www.perlmonks.org/?node_id=741797

      How to stat a file with a Unicode (UTF16-LE) filename in Windows?
      其中的方法是通过createfileW 获取文件句柄,然后用OsFHandleOpen获取通用的文件句柄对象,并传入state
      (感觉特别绕)
      另一种就是先转为短名再获取日期,但是这种方法在处理文件量大的时候,效率非常低。前面perlmonks中的方法
      效率要高得多
  1. use utf8;
  2. use Encode;
  3. use Win32;
  4. $filename=‘D:\测试目录\董贞 ? 01.剑如虹.[贞江湖].mp3‘;
  5. $filename=Win32::GetShortPathName($filename);
  6. my $mtime = (stat $filename)[9];
  7. my($sec,$min,$hour,$mday,$mon,$year,$wday,$yday,$isdst) = localtime($mtime);
  8. $year+=1900;
  9. $mon+=1;
  10. print "$year-$mon-$mday\n";
  11. <STDIN>;
复制代码

原文地址:https://www.cnblogs.com/catgatp/p/8443296.html

时间: 2024-10-05 00:22:57

[总结]Perl在遇到Unicode字符文件名时的各种处理方法的相关文章

转载一篇关于unicode字符编码的文章

很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同的状态,以表示世界上的万物.他们认为8个开关状态作为原子单位很好,于是他们把这称为"字节". 再后来,他们又做了一些可以处理这些字节的机器,机器开动了,可以用字节来组合出更多的状态,状态开始变来变去.他们看到这样是好的,于是它们就这机器称为"计算机". 开始计算机只在美国用.八位的字节一共可以组合出256(2的8次方)种不同的状态. 他们把其中的编号从0开始的32种状态分别规定了特殊的用途,一但终端设

在多字节的目标代码页中,没有此 Unicode 字符可以映射到的字符。 (#1113)

报错 在使用MySQL-Front导入sql文件时报错1113: 在多字节的目标代码页中,没有此 Unicode 字符可以映射到的字符. (#1113) 解决方案 导入.sql文件时,单击 选择文件对话框的文件名下方的 字符集,选择正确的字符集即可. 如图: 图1 图2 如果喜欢,请点个“喜欢”,谢谢 作者:Cytosine链接:https://www.jianshu.com/p/0d1d83d8fd44来源:简书简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处. 原文地址:h

字符和字符串处理-ANSI字符和Unicode字符

我们知道,C语言用char数据类型表示一个8位的ANSI字符,默认在代码中声明一个字符串时,C编译器会把字符串中的字符转换成由8位char数据类型构成的一个数组: // An 8-bit character char c = 'A'; // An array of 99 8-bit character and 8-bit terminating zero char szBuffer[100] = "A String"; Microsoft的C/C++编译器定义了一个内建的数据类型wch

perl脚本中对字符编码的支持

# 使perl程序支持utf8宽字符编码,不添加下面几行打印中文字符时将出现Wide character in print警告或错误.use utf8;binmode(STDIN, ':encoding(utf8)');binmode(STDOUT, ':encoding(utf8)');binmode(STDERR, ':encoding(utf8)');perl脚本处理中文等字符时,有时从文件读出的数据为字节码,需要进行解码才能正确显示.使用Encode模块即可处理.use Encode;#

python print输出unicode字符

命令行提示符下,python print输出unicode字符时出现以下 UnicodeEncodeError: 'gbk' codec can't encode character '\u30fb 不能输出 unicode 字符,程序中断. 解决方法: sys.stdout = io.TextIOWrapper(sys.stdout.buffer, errors = 'replace', line_buffering = True) python print输出unicode字符,布布扣,bu

大容量导入或导出的数据格式 -- Unicode字符格式

大容量导入或导出的数据格式 -- Unicode字符格式 应用场景 使用包含扩展/DBCS 字符的数据文件在多个 SQL Server 实例之间大容量传输数据时,建议使用 Unicode 字符格式. 从服务器导出数据时,Unicode 字符数据格式允许使用与执行该操作的客户端不同的代码页. 在这种情况下,使用 Unicode 字符格式有下列优点: 1. 如果源数据和目标数据的类型为 Unicode,则使用 Unicode 字符格式可以保留所有的字符数据. 2. 如果源数据和目标数据的类型不为 U

MySQL字符编码的讨论:如何处理emoji等4字节的Unicode字符 - utf8mb4 vs. utf8 Collations

1. Unicode是什么 Unicode(中文:万国码.国际码.统一码.单一码)是计算机科学领域里的一项业界标准.它对世界上大部分的文字系统进行了整理.编码,使得电脑可以用更为简单的方式来呈现和处理文字. 简单说来,就是把世界上所有语言的字,加上所有能找到的符号(如高音谱号.麻将.emoji)用同一套编码表示出来. 2. UTF-8是什么 UTF-8(8-bit Unicode Transformation Format)是一种针对Unicode的可变长度字符编码.可变长度的意思在于,如果能使

JAVA如何正确处理Unicode字符

最近在开发输入法程序时遇到一个小问题,就是删除一个emoji时,不能一次删干净,需要执行两次操作才可以.Intuitively,这肯定是java操作unicode字符的问题,于是找了JAVA官方文档参考一下,解决了这个问题,这里做下简单总结.原文在这里,有兴趣自己看. http://www.oracle.com/technetwork/articles/java/supplementary-142654.html 注:文章中提到的"JAVA字节"均指JAVA平台的16位字节,请不要和C

解决“在多字节的目标代码页中,没有此Unicode字符可以映射到的字符”

今天在处理Google网站管理员中的500错误时发现这样一些URL: http://www.cnblogs.com/Garnai/tag/3D%3F%96%CA/ http://www.cnblogs.com/henryfan/tag/%3F%3F%3F%90%B6%90%AC%3F%8C%8F/ http://www.cnblogs.com/zhangpengshou/tag/%3F%96%DA%3F%97%9D%94V%8FC%3F/ http://www.cnblogs.com/henry