一日一技：如何正确在 PyCharm 中调试 Scrapy 爬虫？

最近有不少同学在粉丝群里面问，如何调试Scrapy 爬虫。有些人不知道如何让 Scrapy 爬虫进入调试模式;还有一些人不知道怎么单步调试。

成都创新互联专注为客户提供全方位的互联网综合服务，包含不限于成都网站设计、成都做网站、乌海网络推广、小程序开发、乌海网络营销、乌海企业策划、乌海品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；成都创新互联为所有大学生创业者提供乌海建站搭建服务，24小时服务热线：18982081108，官方网址：www.cdcxhl.com

怎么进入调试模式

我们知道，Scrapy 项目要启动爬虫的时候，需要在终端或者 CMD 中执行一段命令scrapy crawl 爬虫名。但是，PyCharm 的调试模式需要以某个.py文件作为入口来运行。

为了解决这个问题，我们可以在 Scrapy 项目的根目录创建一个 main.py文件，然后在里面写下如下一段代码：

 
 
 
 
  
  
  
  
from scrapy.cmdline import execute 
  
  
  
  
 
  
  
  
  
execute('scrapy crawl 爬虫名'.split()) 
 
 
 

然后，以这个文件作为入口文件，在这个文件上右键，选择Debug 'main'，就可以正确启动 PyCharm 的调试模式并在第一个断点上停下来了。如下图所示：

如何正确单步调试

单步调试大家都会，不就是下图中画红框的这两个按钮嘛：

左边是逐行调试，遇到函数直接跳过，右边是遇到函数进入

但问题是，在 Scrapy 项目里面，如果你的代码运行到了yield scrapy.Request这种使用yield抛出请求对象的语句，只要再按一下单步调试的按钮，你就会发现 PyCharm 跳转到了一个陌生的地方，如下图所示：

又或者，你的代码发送了很多次请求，回调函数都到self.parse里面，现在你已经看完第一条请求返回的数据了，断点停在了第28行，如下图所示：

现在你想看第二次请求的返回数据，于是你点了一下单步调试，于是你又来到了一个陌生的地方：

这个地方就像一个泥潭，无论你怎么跳出都跳不出来，始终无法回到你自己的代码中。你越是往外跳，PyCharm 就会打开越多的陌生文件，如下图所示：

遇到这种情况怎么办呢?实际上非常简单，你注意观察在调试面板上，还有一个按钮，如下图箭头所指：

这个按钮的功能，是让 PyCharm 运行的代码，运行到你当前鼠标光标所在的位置再停下来。所以，例如现在上面图中的代码停在了第17行，我想马上运行到第28行怎么办?鼠标首先在第28行点一下，如下图所示箭头指向的输入光标：

然后按下这个运行到光标的按钮，就会发现代码已经运行到了这一行(是到了这一行，还没有运行这一行)。接下来你再按一下单步调试按钮，就能看到 info 变量的值了。看了第一次请求的返回值以后，你想看第二次请求的返回值怎么办呢?也很好办，你再一次用鼠标点一下第27行或者第28行，接下来再次点击运行到当前光标的按钮，于是第二次请求的结果立刻就出现在了你的面前：

本文转载自微信公众号「未闻Code」，可以通过以下二维码关注。转载本文请联系未闻Code公众号。

分享题目：一日一技：如何正确在 PyCharm 中调试 Scrapy 爬虫？
链接URL：http://www.shufengxianlan.com/qtweb/news26/36376.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联