前言
创新互联建站是一家集网站建设,辉南企业网站建设,辉南品牌网站建设,网站定制,辉南网站建设报价,网络营销,网络优化,辉南网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。
这次做自然语言处理的作业,是关于多文档摘要生成的,其中对于生成的摘要进行效果测评需要用到ROUGE(不是那个文本高亮的插件!!)。没想到安装这个软件这么麻烦,于是写个博客造福后人了。
ROUGE简介
ROUGE是由微软亚洲研究院知识挖掘组(The Knowledge Mining group at Microsoft Research Asia)调研经理(research manager) Chin-Yew Lin 研发的,用于摘要的自动评价,通过比较机器自动生成的摘要(called system_summary)与人工生成的摘要(called model_summary, 认为它是理想的)中重叠单元的数量,来评价机器自动生成的摘要。该方法中考虑的重叠单元有n-gram, word sequences, word-pairs等,并提出了四个测量标准ROUGE-N, ROUGE-L, ROUGE-W, ROUGE-S。
该包用Perl语言编写,目前版本为ROUGE-1.5.5。
说实话ROUGE真心是难装,按理说在Ubuntu下几行命令就应该要安装成功一个程序,可是ROUGE完全没有体现这一点。
安装要求
1. 需要安装perl解释器(ubuntu 系统已自带, 通过perl -v可查看当前版本);
2. 需要额外安装perl解释器的XML::DOM模块以及DB_File模块,而XML::DOM的安装又需要XML::RegExp、XML::Parser、LWP::UserAgent和XML::Parser::PerlSAX模块(对,就是这么恶心);
3. 设置系统环境变量ROUGE_EVAL_HOME,需要设置为ROUGE安装目录下词库data所在路径
获取方法
现在不知道官网是哪个了,不过可以从github上获取,也可以从我的主机宝贝资源站(1.5.5版本)获取,另外其他依赖的模块包我也放进这个链接里了,可以一起下载省去寻找的麻烦。
可以到主机宝贝资源站下载:
安装过程
step1: 检查perl版本
因为DOM要求perl版本要在5.6.0以上,所以先在终端用perl -v查看一下当前版本,版本较低的话先升级一下perl。
step2: 安装XML::Parser
假设使用我百度网盘里的文件,将XML-Parser-2.44.tar解压到当前文件夹或指定路径。
tar -zxvf XML-Parser-2.44.tar.gz1
进入解压得到的文件夹并开始安装。
cd XML-Parser-2.44
perl Makefile.PL
make
make test # if %%%Result看到PASS为成功就继续,否则仔细看哪个case报错了
sudo make install # if %%%必须要sudo,否则可能没有读写文件的权限12345
step3: 安装XML::RegExp
step4: 安装LWP::UserAgent
LWP::UserAgent是libwww-perl中的一部分,直接用apt-get安装就好啦。
sudo apt-get update
sudo apt-get install libwww-perl12
step5: 安装XML::Parser::PerlSAX
这个模块是libxml-perl中的一部分,也可以直接用apt-get安装(其实我在想前面几个模块能不能也这么安装)。
sudo apt-get install libxml-perl1
step6: 安装XML::DOM
Test Summary Report
-------------------
t/build_dom.t (Wstat: 512 Tests: 1 Failed: 1)
Failed test: 1
Non-zero exit status: 2
Parse errors: Bad plan. You planned 2 tests but ran 1.
Files=21, Tests=128, 2 wallclock secs ( 0.07 usr 0.01 sys + 1.56 cusr 0.10 csys = 1.74 CPU)
Result: FAIL
Failed 1/21 test programs. 1/128 subtests failed.
Makefile:968: recipe for target 'test_dynamic' failed
make: *** [test_dynamic] Error 2551234567891011
可以用这两行命令修复一下。
sudo apt-get install -f
sudo apt-get update --fix-missing 12
step7: 安装DB_File
先获得DB_File的安装包,可以用如下命令,也可以从我给的网盘链接里直接下载。
sudo wget http://www.cpan.org/authors/id/P/PM/PMQS/DB_File-1.835.tar.gz1
接下来如同step2,进入文件夹后使用perl命令安装。
cd DB_File-1.835
perl Makefile.PL
make
make test # if %%%看到PASS为成功
sudo make install12345
在make的时候如果出错如下:
version.c:30:16: fatal error: db.h: 没有那个文件或目录
compilation terminated.
Makefile:360: recipe for target 'version.o' failed
make: *** [version.o] Error 11234
说明未安装Berkeley DB library,或安装不正确。解决方法如下:
sudo apt-get install libdb-dev1
如果还没有用,可能是没有安装对应的版本,先使用
sudo apt-cache search libdb1
查看当前Berkeley DB library 的版本,然后再安装对应的版本.
sudo apt-get install libdb5.3-dev1
step8: 设置ROUGE环境变量
设置环境变量ROUGE_EVAL_HOME,假设你解压的ROUGE-1.5.5在/usr/local/RELEASE-1.5.5,则:
sudo gedit etc/profile %%%这样对所有用户都有效,若希望仅对当前用户有效则输入sudo gedit ~/.profile 1
在跳出来的文本编辑器末尾添加 :
export ROUGE_EVAL_HOME="$ROUGE_EVAL_HOME:/usr/local/RELEASE-1.5.5/data"1
step9: 测试安装是否成功
以上步骤都进行完毕后,怎么知道自己的ROUGE是否安装配置成功了呢?可以进入ROUGE文件所在路径(即RELEASE-1.5.5),然后运行一下runROUGE-test.pl文件。
perl runROUGE-test.pl1
如果有以下输出,且sample-output路径下各个文件都有内容的话,基本是安装成功了。
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a-m.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-a-m-s.out
^C../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a-m.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -l 10 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-l10-a-m-s.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a -m ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a-m.out
../ROUGE-1.5.5.pl -e ../data -c 95 -2 -1 -U -r 1000 -n 4 -w 1.2 -b 75 -a -m -s ROUGE-test.xml > ../sample-output/ROUGE-test-c95-2-1-U-r1000-n4-w1.2-b75-a-m-s.out
../ROUGE-1.5.5.pl -e ../data -3 HM -z SIMPLE DUC2002-BE-F.in.26.lst 26 > ../sample-output/DUC2002-BE-F.in.26.lst.out
../ROUGE-1.5.5.pl -e ../data -3 HM DUC2002-BE-F.in.26.simple.xml 26 > ../sample-output/DUC2002-BE-F.in.26.simple.out
../ROUGE-1.5.5.pl -e ../data -3 HM -z SIMPLE DUC2002-BE-L.in.26.lst 26 > ../sample-output/DUC2002-BE-L.in.26.lst.out
../ROUGE-1.5.5.pl -e ../data -3 HM DUC2002-BE-L.in.26.simple.xml 26 > ../sample-output/DUC2002-BE-L.in.26.simple.out
../ROUGE-1.5.5.pl -e ../data -n 4 -z SPL DUC2002-ROUGE.in.26.spl.lst 26 > ../sample-output/DUC2002-ROUGE.in.26.spl.lst.out
../ROUGE-1.5.5.pl -e ../data -n 4 DUC2002-ROUGE.in.26.spl.xml 26 > ../sample-output/DUC2002-ROUGE.in.26.spl.out123456789101112131415
至此就全部大功告成啦!
之前配置pyrouge是很麻烦的事,安装完之后会各种报错,解决起来令人头皮发麻。
这次重新安装ROUGE和pyrouge,找到了一种简洁的安装pyrouge的方法,不会出错,非常方便。记录一下。
很简单,就是几行命令。
git clone https://github.com/bheinzerling/pyrouge
cd pyrouge
Python setup.py install
python -m pyrouge.test1234
在最后一步,python -m pyrouge.test前,要设置rouge路径。
pyrouge_set_rouge_path /absolute/path/to/ROUGE-1.5.5/directory1
例如我的ROUGE文件放在了/usr/local/RELEASE-1.5.5下,就设置为
pyrouge_set_rouge_path /usr/local/RELEASE-1.5.5
网站栏目:Ubuntu安装配置ROUGE教程
转载来于:http://www.shufengxianlan.com/qtweb/news36/131786.html
网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联