手把手教你用Scrapy+Gerapy部署网络爬虫

前言

创新互联专注于清流企业网站建设,自适应网站建设,商城网站建设。清流网站建设公司,为清流等地区提供建站服务。全流程定制制作，专业设计，全程项目跟踪，创新互联专业和态度为您提供的服务

Hi，大家好，又见面了，我是Python进阶者，废话不多说，直接开始肝吧，奥里给!

爬虫管理效果图

依赖包

文件:requirements.txt

文件的内容这里直接贴出来了：

 
 
 
 
    
  
  
  
  
  1. appdirs==1.4.4 
    2. 
  
  
  
  
  2. APScheduler==3.5.1 
    3. 
  
  
  
  
  3. attrs==20.1.0 
    4. 
  
  
  
  
  4. Automat==20.2.0 
    5. 
  
  
  
  
  5. beautifulsoup4==4.9.1 
    6. 
  
  
  
  
  6. certifi==2020.6.20 
    7. 
  
  
  
  
  7. cffi==1.14.2 
    8. 
  
  
  
  
  8. chardet==3.0.4 
    9. 
  
  
  
  
  9. constantly==15.1.0 
    10. 
  
  
  
  
  10. cryptography==3.0 
    11. 
  
  
  
  
  11. cssselect==1.1.0 
    12. 
  
  
  
  
  12. Django==1.11.29 
    13. 
  
  
  
  
  13. django-apscheduler==0.3.0 
    14. 
  
  
  
  
  14. django-cors-headers==3.2.0 
    15. 
  
  
  
  
  15. djangorestframework==3.9.2 
    16. 
  
  
  
  
  16. furl==2.1.0 
    17. 
  
  
  
  
  17. gerapy==0.9.5 
    18. 
  
  
  
  
  18. gevent==20.6.2 
    19. 
  
  
  
  
  19. greenlet==0.4.16 
    20. 
  
  
  
  
  20. hyperlink==20.0.1 
    21. 
  
  
  
  
  21. idna==2.10 
    22. 
  
  
  
  
  22. incremental==17.5.0 
    23. 
  
  
  
  
  23. itemadapter==0.1.0 
    24. 
  
  
  
  
  24. itemloaders==1.0.2 
    25. 
  
  
  
  
  25. Jinja2==2.10.1 
    26. 
  
  
  
  
  26. jmespath==0.10.0 
    27. 
  
  
  
  
  27. lxml==4.5.2 
    28. 
  
  
  
  
  28. MarkupSafe==1.1.1 
    29. 
  
  
  
  
  29. orderedmultidict==1.0.1 
    30. 
  
  
  
  
  30. parsel==1.6.0 
    31. 
  
  
  
  
  31. Protego==0.1.16 
    32. 
  
  
  
  
  32. pyasn1==0.4.8 
    33. 
  
  
  
  
  33. pyasn1-modules==0.2.8 
    34. 
  
  
  
  
  34. pycparser==2.20 
    35. 
  
  
  
  
  35. PyDispatcher==2.0.5 
    36. 
  
  
  
  
  36. pyee==7.0.2 
    37. 
  
  
  
  
  37. PyHamcrest==2.0.2 
    38. 
  
  
  
  
  38. pymongo==3.11.0 
    39. 
  
  
  
  
  39. PyMySQL==0.10.0 
    40. 
  
  
  
  
  40. pyOpenSSL==19.1.0 
    41. 
  
  
  
  
  41. pyppeteer==0.2.2 
    42. 
  
  
  
  
  42. pyquery==1.4.1 
    43. 
  
  
  
  
  43. python-scrapyd-api==2.1.2 
    44. 
  
  
  
  
  44. pytz==2020.1 
    45. 
  
  
  
  
  45. pywin32==228 
    46. 
  
  
  
  
  46. queuelib==1.5.0 
    47. 
  
  
  
  
  47. redis==3.5.3 
    48. 
  
  
  
  
  48. requests==2.24.0 
    49. 
  
  
  
  
  49. Scrapy==1.8.0 
    50. 
  
  
  
  
  50. scrapy-redis==0.6.8 
    51. 
  
  
  
  
  51. scrapy-splash==0.7.2 
    52. 
  
  
  
  
  52. scrapyd==1.2.1 
    53. 
  
  
  
  
  53. scrapyd-client==1.1.0 
    54. 
  
  
  
  
  54. service-identity==18.1.0 
    55. 
  
  
  
  
  55. six==1.15.0 
    56. 
  
  
  
  
  56. soupsieve==2.0.1 
    57. 
  
  
  
  
  57. tqdm==4.48.2 
    58. 
  
  
  
  
  58. Twisted==20.3.0 
    59. 
  
  
  
  
  59. tzlocal==2.1 
    60. 
  
  
  
  
  60. urllib3==1.25.10 
    61. 
  
  
  
  
  61. w3lib==1.22.0 
    62. 
  
  
  
  
  62. websocket==0.2.1 
    63. 
  
  
  
  
  63. websockets==8.1 
    64. 
  
  
  
  
  64. wincertstore==0.2 
    65. 
  
  
  
  
  65. zope.event==4.4 
    66. 
  
  
  
  
  66. zope.interface==5.1.0 
    67.

项目文件

项目文件:qiushi.zip

实现功能:糗事百科段子爬虫,

这是Scrapy项目,依赖包如上

运行项目步骤

  • 在安装好依赖包并且解压项目文件,pip install -r requirements.txt
  • 执行命令scrapy crawl duanzi --nolog

配置Scrapyd

可以理解Scrapyd是一个管理我们写的Scrapy项目的,配置好这个之后,可以通过命令运行,暂停等操作控制爬虫

其他的就不说了,这个用的也不多,我们需要做的就是将它启动就可以了

启动Scrapyd服务

1.切换到qiushi爬虫项目目录下,Scrapy爬虫项目需要进入爬虫目录,才能执行命令

2.执行命令scrapyd

3.游览器输入http://127.0.0.1:6800/,出现以下图片代表正确

打包Scrapy上传到Scrapyd

上述只是启动了Scrapyd,但是并没有将Scrapy项目部署到Scrapy上,需要配置以下Scrapy的scrapy.cfg文件

配置如下 

打包命令

 
 
 
 
    
  
  
  
  
  1. scrapyd-deploy <部署名> -p <项目名> 
    2.

本次示例命令

 
 
 
 
    
  
  
  
  
  1. scrapyd-deploy qb -p qiushi 
    2.

如图所示,出现以下图片表示成功

注:过程可能会有问题,解决办法我放在后面了!!!

再次回到游览器,会多了一个项目qiushi,到此为止,Scrapyd已经配置完毕

配置Gerapy

上述都配置完毕之后,就可以进行Gerapy配置了,其实Scrapyd的功能远不止上述那么少,但是是命令操作的,所以不友好,

Gerapy可视化的爬虫管理框架,使用时需要将Scrapyd启动,挂在后台,其实本质还是向Scrapyd服务发请求,只不过是可视化操作而已

基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发

配置步骤

Gerapy和Scrapy是没有关系的,所以可以随便选一个文件夹,这里我创建了一个gerapyDemo文件夹

执行命令初始化gerpay

 
 
 
 
    
  
  
  
  
  1. gerapy init 
    2.

1.会生成一个gerapy文件夹

2.进入生成的gerapy文件夹中

3.执行命令,会生成一表

 
 
 
 
    
  
  
  
  
  1. gerapy migrate 
    2.

4.启动gerapy服务,默认是8000端口,可以指定端口启动

 
 
 
 
    
  
  
  
  
  1. gerapy runserver 
    2. 
  
  
  
  
  2. gerapy runserver 127.0.0.1:9000 本机 9000端口启动 
    3.

4.打开游览器,输入http://127.0.0.1:8000/,出现以下界面表示成功

当然,一般情况下,大概是这样的界面,我们需要生成账号密码

停止服务,输入命令gerapy creatsuperuser,根据提示创建账号密码就使用账号登录了

在Gerapy添加爬虫项目

上述都配置之后,我们就可以配置爬虫项目了,通过点点点的方式,就可以运行爬虫了

点击 主机管理-->创建,ip是Scrapyd服务的主机,端口是Scrapyd的端口,默认6800,填写后点击创建

然后在主机列表,调度中,就可以运行爬虫了

运行爬虫

获取结果,结果已经写入本地

打包爬虫上传

上述过程,我们只是能玩爬虫了,但是并不彻底,按照道理来说,我们还差一个打包过程,只有打包爬虫了,才算是真正的结合在一起了

步骤

1.首先需要将爬虫项目拷贝到gerapy下面的projects文件夹下

2.刷新页面,点击项目管理,可以看到可配置和打包都是x号状态

3.点击部署,写好描述,点击打包

4.再次回到主界面,可以发现打包已经是正确的了

至此,基本整个流程结束。

解决scrapyd-deploy不是内部外部命令

通常情况下,在执行scrapyd-deploy时,会提示scrapyd-deploy不是内部或外部命令,嗯...这个是正常操作

解决步骤

1.找到Python解释器下面的Scripts,新建scrapy.bat和scrapyd-deploy.bat两个文件

修改这两个文件，内容如下

 
 
 
 
    
  
  
  
  
  1. scrapy.bat 
    2. 
 
 
 
 

 
 
 
 
    
  
  
  
  
  1. @echo off 
    2. 
  
  
  
  
  2. D:\programFiles\miniconda3\envs\hy_spider\python D:\programFiles\miniconda3\envs\hy_spider\Scripts\scrapy %* 
    3. 
 
 
 
 
 
 
 
 
    
  
  
  
  
  1. scrapyd-deploy.bat 
    2. 
 
 
 
 

 
 
 
 
    
  
  
  
  
  1. @echo off 
    2. 
  
  
  
  
  2. D:\programFiles\miniconda3\envs\hy_spider\python D:\programFiles\miniconda3\envs\hy_spider\Scripts\scrapyd-deploy %* 
    3.

 注:红色方框表示是解释器的位置,上述内容是一行的,我粘贴过来怎么调都是两行...,一一对应好就好了。

Gerapy使用流程总结

 
 
 
 
    
  
  
  
  
  1. 1.gerapy init 初始化,会在文件夹下创建一个gerapy文件夹 
    2. 
  
  
  
  
  2. 2.cd gerapy 
    3. 
  
  
  
  
  3. 3.gerapy migrate 
    4. 
  
  
  
  
  4. 4.gerapy runserver 默认是127.0.0.1:8000 
    5. 
  
  
  
  
  5. 5.gerapy createsuperuser 创建账号密码,默认情况下都是没有的 
    6. 
  
  
  
  
  6. 6.游览器输入127.0.0.1:8000 登录账号密码,进入主页 
    7. 
  
  
  
  
  7. 7.各种操作,比如添加主机,打包项目,定时任务等 
    8.

总结

上述以入门的方式解决了安排了以下如何通过Gerapy + Scrpyd + Scrapy可视化部署爬虫。

当前题目：手把手教你用Scrapy+Gerapy部署网络爬虫
文章地址：http://www.shufengxianlan.com/qtweb/news22/234322.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联

猜你还喜欢下面的内容

网站策划知识

同城分类信息

内江做网站　　 　网站建设公司　　 　定制网站开发　　 　成都商城网站建设　　 　渠县网站建设　　 　成都商城网站建设　　 　成都微信小程序　　 　产品包装设计　　 　南京护栏钻孔机　　 　成都VI设计　　 　泸州做网站　　 　金融行业网站建设方案　　 　成都花箱　　 　雅安机房托管　　 　安防网站建设方案　　 　蓬安网站建设　　 　外贸营销网站建设　　 　成都添翼二手车　　 　橡塑保温管　　 　护栏钻孔机