问题点
本来考虑用正则来判断中文,因为网上发现正则的匹配中文是[\u4e00-\u9fa5]。接着代码都快写完了,发现有些生僻字不再在这个范围内。
识别方法
在utf-8字符编码下,一个中文字符占3个字节,但字符的长度只有1。
1、分析中文的方法是否可以灵活为len(bytes(str,'utf-8)==3 and len(string)==1。
2、文本写作判断中文后,如果是汉字str.ljust(5),否则为str.ljust(6)。
因为一个汉字占两个字符的长度。
实例
from pypinyin import pinyin import re class ChangePinyin: def __init__(self, filename): self.file = filename self.lyric = self.read_file() self.pinyin = [] def read_file(self): with open(self.file, encoding='utf-8') as f: return f.readlines() def write_file(self): with open('New_%s' % self.file, 'w', encoding='utf-8') as f: print(self.lyric) for line in self.lyric: # print(line) if line.strip() == '': continue _new_line = re.sub(r'\s', '', line) # 行内容转拼音 _pinyin = ''.join(map(lambda x: x[0].ljust(6), pinyin(_new_line))) # 根据中英文,将行内容进行字符与汉字的拆分 _lyric = self.split_words(_new_line) f.write('%s\n%s\n' % (_pinyin, _lyric)) @staticmethod def split_words(words): word_list = "" tmp = "" for string in words: if len(bytes(string, 'utf-8')) == 3 and len(string) == 1: if tmp != '': word_list += tmp.ljust(6) tmp = "" word_list += string.ljust(5) else: tmp += string return word_list if __name__ == '__main__': Main = ChangePinyin('lyric.txt') Main.write_file()
以上就是python中文生僻字的识别,希望对大家有所帮助。更多Python学习指路:创新互联python教程
本文教程操作环境:windows7系统、Python 3.9.1,DELL G3电脑。
分享名称:创新互联Python教程:python中文生僻字的识别
本文网址:http://www.shufengxianlan.com/qtweb/news38/347788.html
网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联