巧用IronPython做更灵活的网页爬虫

由于各种原因，我们经常需要去别的网站采集一些信息，.net下所有相关的技术都已经非常成熟，用Webrequest抓取页面，既支持自定义Reference头，又支持cookie，解析页面一般都是用正则，而且对方网站结构一变，还得重新改代码，重新编译，发布。

目前成都创新互联已为上千的企业提供了网站建设、域名、网站空间、网站托管、服务器租用、企业网站设计、正蓝网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。

如果有了IronPython，可以把抓取和分析的逻辑做成Python脚本，如果对方页面结构变了，只需修改脚本就行了，不需重新编译软件，这样可以用c#做交互和界面部分，用Python封装预期经常变化的部分。

安装好IronPython和vs.net 2010后，还需要下载一个SGMLReader(见参考链接)，这个组件可以把格式不是很严格的HTML转换成格式良好的XML文件，甚至还能增加DTD的验证

我们以抓取百度贴吧页面为例，新建一个Console项目，引用IronPython,Microsoft.Dynamic,Microsoft.Scripting,SgmlReaderDll这些组件，把SGMLReader里的Html.dtd复制到项目目录下，如果没有这个，它会根据doctype去网络上找dtd，然后新建baidu.py的文件，***在项目属性的生成事件里写上如下代码，把这两个文件拷贝到目标目录里

 
 
 
    
  
  
  
  1. copy $(ProjectDir)\*.py $(TargetDir)  
    2.   
  
  
  2. copy $(ProjectDir)\*.dtd $(TargetDir) 
    3.

在baidu.py里首先引用必要的.net程序集

 
 
 
    
  
  
  
  1. import clr, sys  
    2.   
  
  
  2. clr.AddReference("SgmlReaderDll")  
    3.   
  
  
  3. clr.AddReference("System.Xml") 
    4.

完了导入我们需要的类

 
 
 
    
  
  
  
  1. from Sgml import *  
    2.   
  
  
  2. from System.Net import *  
    3.   
  
  
  3. from System.IO import TextReader,StreamReader  
    4.   
  
  
  4. from System.Xml import *  
    5.   
  
  
  5. from System.Text.UnicodeEncoding import UTF8 
    6.

利用SgmlReader写一个把html转换成xml的函数，注意SystemLiteral属性必须设置，否则就会去网上找dtd了，浪费时间

 
 
 
    
  
  
  
  1. def fromHtml(textReader):  
    2.   
  
  
  2.     sgmlReader = SgmlReader()  
    3.   
  
  
  3.     sgmlReader.SystemLiteral = "html.dtd" 
    4.   
  
  
  4.     sgmlReader.WhitespaceHandling = WhitespaceHandling.All  
    5.   
  
  
  5.     sgmlReader.CaseFolding = CaseFolding.ToLower  
    6.   
  
  
  6.     sgmlReader.InputStream = textReader  
    7.   
  
  
  7.       
    8.   
  
  
  8.     doc = XmlDocument()  
    9.   
  
  
  9.     doc.PreserveWhitespace = True 
    10.   
  
  
  10.     doc.XmlResolver = None 
    11.   
  
  
  11.     doc.Load(sgmlReader)  
    12.   
  
  
  12.     return doc 
    13.

利用webrequest写一个支持cookie和网页编码的抓网页方法

 
 
 
    
  
  
  
  1. def getWebData
    2.   
  
  
  2. (url, method, data = None, cookie = None, encoding = "UTF-8"):  
    3.   
  
  
  3.     req = WebRequest.Create(url)  
    4.   
  
  
  4.     req.Method = method  
    5.   
  
  
  5.       
    6.   
  
  
  6.     if cookie != None:  
    7.   
  
  
  7.         req.CookieContainer = cookie  
    8.   
  
  
  8.       
    9.   
  
  
  9.     if data != None:  
    10.   
  
  
  10.         stream = req.GetRequestStream()  
    11.   
  
  
  11.         stream.Write(data, 0, data.Length)  
    12.   
  
  
  12.           
    13.   
  
  
  13.     rsp = req.GetResponse()  
    14.   
  
  
  14.     reader = StreamReader
    15.   
  
  
  15. (rsp.GetResponseStream(), UTF8.GetEncoding(encoding))  
    16.   
  
  
  16.     return reader 
    17.

写一个类来定义抓取结果，这个类不需要在c#项目里定义，到时候直接用c# 4.0的dynamic关键字就可以使用

 
 
 
    
  
  
  
  1. class Post:  
    2.   
  
  
  2.     def __init__(self, hit, comments, title, link, author):  
    3.   
  
  
  3.         self.hit = hit  
    4.   
  
  
  4.         self.comments = comments  
    5.   
  
  
  5.         self.title = title  
    6.   
  
  
  6.         self.link = link  
    7.   
  
  
  7.         self.author = author 
    8.

定义主要工作的类，__init__大概相当于构造函数，我们传入编码参数，并初始化cookie容器和解析结果，[]是python里的列表，大约相当于c#的List 

 
 
 
    
  
  
  
  1. class BaiDu:  
    2.   
  
  
  2.     def __init__(self,encoding):  
    3.   
  
  
  3.         self.cc = self.cc = CookieContainer()          
    4.   
  
  
  4.         self.encoding = encoding  
    5.   
  
  
  5.         self.posts = [] 
    6.

接下来定义抓取方法，调用getWebData抓网页，然后用fromHtml转换成xml，剩下的就是xml操作，和.net里一样，一看便知

 
 
 
    
  
  
  
  1. def getPosts(self, url):  
    2.   
  
  
  2.         reader = getWebData
    3.   
  
  
  3. (url, "GET", None, self.cc, self.encoding)  
    4.   
  
  
  4.         doc = fromHtml(reader)  
    5.   
  
  
  5.           
    6.   
  
  
  6.         trs = doc.SelectNodes
    7.   
  
  
  7. ("html//table[@id='thread_list_table']/tbody/tr")  
    8.   
  
  
  8.         self.parsePosts(trs)  
    9.   
  
  
  9.       
    10.   
  
  
  10.     def parsePosts(self, trs):  
    11.   
  
  
  11.         for tr in trs:              
    12.   
  
  
  12.             tds = tr.SelectNodes("td")  
    13.   
  
  
  13.             hit = tds[0].InnerText  
    14.   
  
  
  14.             comments = tds[1].InnerText  
    15.   
  
  
  15.             title = tds[2].ChildNodes[1].InnerText  
    16.   
  
  
  16.             link = tds[2].ChildNodes[1].Attributes["href"]  
    17.   
  
  
  17.             author = tds[3].InnerText  
    18.   
  
  
  18.               
    19.   
  
  
  19.             post = Post(hit, comments, title, link, author)  
    20.   
  
  
  20.             self.posts.append(post) 
    21.

c#代码要创建一个脚本运行环境，设置允许调试，然后执行baidu.py，***创建一个Baidu的类的实例，并用dynamic关键字引用这个实例

 
 
 
    
  
  
  
  1. Dictionary  options = new Dictionary ();   
    2.   
  
  
  2. options["Debug"] = true;  
    3.   
  
  
  3. ScriptEngine engine = Python.CreateEngine(options);  
    4.   
  
  
  4. ScriptScope scope = engine.ExecuteFile("baidu.py");  
    5.   
  
  
  5. dynamic baidu = engine.Operations.Invoke(scope.GetVariable("BaiDu"), "GBK"); 
    6.

接下来调用BaiDu这个python类的方法获取网页抓取结果，然后输出就可以了

 
 
 
    
  
  
  
  1. baidu.getPosts("http://tieba.baidu.com/f?kw=seo");  
    2.   
  
  
  2.             dynamic posts = baidu.posts;  
    3.   
  
  
  3.             foreach (dynamic post in posts)  
    4.   
  
  
  4.             {  
    5.   
  
  
  5.                 Console.WriteLine("{0}   
    6.   
  
  
  6. (回复数:{1})(点击数：{2})[作者:{3}]",  
    7.   
  
  
  7.                     post.title,  
    8.   
  
  
  8.                     post.comments,  
    9.   
  
  
  9.                     post.hit,  
    10.   
  
  
  10.                     post.author);  
    11.   
  
  
  11.             } 
    12.

原文链接：http://www.cnblogs.com/onlytiancai/archive/2011/02/22/1960859.html

当前题目：巧用IronPython做更灵活的网页爬虫
当前地址：http://www.shufengxianlan.com/qtweb/news47/270397.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

网站设计知识

行业网站建设

app网站建设　　 　绵阳电信机房　　 　复盛机电设备安装　　 　网站设计　　 　成都网站维护公司　　 　成都机房机柜租用　　 　成都网站维护　　 　成都封阳台　　 　成都SEO公司　　 　梓潼网站设计　　 　成都App定制　　 　企业网站制作　　 　彭州做网站　　 　重庆花箱　　 　南充机房托管　　 　app开发　　 　成都康明斯发电机　　 　四川雕琢时光　　 　雅安电信机房　　 　四川电信高防服务器托管