本文和大家重点讨论一下Perl不同编码之间的变换,Perl从5.6开始已经开始在内部使用utf8编码来表示字符,也就是说对中文以及其他语言字符的处理应该是完全没有问题的。
诸暨网站制作公司哪家好,找创新互联公司!从网页设计、网站建设、微信开发、APP开发、响应式网站建设等网站项目制作,到程序开发,运营维护。创新互联公司于2013年开始到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联公司。
Perl不同编码之间的变换
Perl从5.6开始已经开始在内部使用utf8编码来表示字符,也就是说对中文以及其他语言字符的处理应该是完全没有问题的。我们只需要利用好Encode这个模块便能充分发挥Perl的utf8字符的优势了。
下面就以中文文本的处理为例进行说明,比如有一个字符串”测试文本”,我们想要把这个中文字符串拆成单个字符,可以这样写:
- useEncode;
- $dat=”测试文本”;
- $str=decode(”gb2312″,$dat);
- @chars=split//,$str;
- foreach$char(@chars){
- printencode(”gb2312″,$char),”\n”;
- }
结果大家试一试就知道了,应该是令人满意的。
这里主要用到了Encode模块的decode、encode函数。要了解这两个函数的作用我们需要清楚几个概念:
1、Perl字符串是使用utf8编码的,它由Unicode字符组成而不是单个字节,每个utf8编码的Unicode字符占1~4个字节(变长)。
2、进入或离开Perl处理环境(比如输出到屏幕、读入和保存文件等等)时不是直接使用Perl字符串,而需要把Perl字符串转换成字节流,转换过程中使用何种编码方式完全取决于你(或者由Perl代劳)。一旦Perl字符串向字节流的编码完成,字符的概念就不存在了,变成了纯粹的字节组合,如何解释这些组合则是你自己的工作。
我们可以看出如果想要Perl按照我们的字符概念来对待文本,文本数据就需要一直用Perl字符串的形式存放。但是我们平时写出的每个字符一般都被作为纯ASCII字符保存(包括在程序中明文写出的字符串),也就是字节流的形式,这里就需要encode和decode函数的帮助了。
◆encode函数顾名思义是用来编码Perl字符串的。它将Perl字符串中的字符用指定的编码格式编码,最终转化为字节流的形式,因此和Perl处理环境之外的事物打交道经常需要它。其格式很简单:
$octets=encode(ENCODING,$string[,CHECK])
$string: Perl字符串
encoding: 是给定的编码方式
$octets: 是编码之后的字节流
check: 表示转换时如何处理畸变字符(也就是Perl认不出来的字符)。一般不需使用编码方式视语言环境的不同有很大变化,默认可以识别utf8、ascii、ascii-ctrl、iso-8859-1等。
◆decode函数则是用来解码字节流的。它按照你给出的编码格式解释给定的字节流,将其转化为使用utf8编码的Perl字符串,一般来说从终端或者文件取得的文本数据都应该用decode转换为Perl字符串的形式。它的格式为:
$string=decode(ENCODING,$octets[,CHECK])
$string、ENCODING、$octets和CHECK的含义同上。
现在就很容易理解上面写的那段程序了。因为字符串是用明文写出的,存放的时候已经是字节流形式,丧失了本来的意义,所以首先就要用decode函数将其转换为Perl字符串,由于汉字一般都用gb2312格式编码,这里decode也要使用gb2312编码格式。转换完成后Perl对待字符的行为就和我们一样了,平时对字符串进行操作的函数基本上都能正确对字符进行处理,除了那些本来就把字符串当成一堆字节的函数(如vec、pack、unpack等)。于是split就能把字符串切成单个字符了。最后由于在输出的时候不能直接使用utf8编码的字符串,还需要将切割后的字符用encode函数编码为gb2312格式的字节流,再用print输出。
另外,还可以用下面的方法来"猜"出字符串的编码.但我试过,也不是每次都管用.
- useEncodeqw/from_to/;
- useEncode::Guessqw/euc-jpshiftjis/;
- openINFILE"....";#输入的文件是SHIFT-JIS编码的文件这里只转换第一行做个测试
- my$str=
- my$enc=guess_encoding($str);
- if(ref$enc){
- $from=$enc->name;
- }else{
- $from="shiftjis";
- }
- from_to($str,$from,$to);
- printSTDOUT"ThetestStringis:$str";
当输入文件行纪录是日文汉字开头的时候,是可以判断出来编码类型是shift-jis的.但是当开头是一组数据再加个逗号之类的数据时,就猜不到了.原因还不是很明确.
本文来自CSDN博客,转载请标明出处:http://blog.csdn.net/dreamnear/archive/2007/11/07/1871662.aspx
【编辑推荐】
网站标题:Encode模块中两大函数实现不同编码之间的转换
标题URL:http://www.shufengxianlan.com/qtweb/news34/492734.html
网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联