5分钟撸了个小小爬虫....

前言

这几天在用“必应”搜索时，发现必应的背景图片挺好看的，有的是风景，有的是动物。。。于是产生了一个想法，爬下来当做桌面背景图吧。。

晋源网站建设公司成都创新互联,晋源网站设计制作，有大型网站制作公司丰富经验。已为晋源上千余家提供企业网站建设服务。企业网站搭建\外贸网站建设要多少钱，请找那个售后服务好的晋源做网站的公司定做！

由于是每天必应的图片都会变，所以后续结合电脑自带的定时任务，可以达到每天自动抓取图片的效果。

开工

简单的分析下：必应首页。

打开 F12 ，找到对应的请求，可以很容易的看到有这么个链接，然后点一下，就会新打开一个页面，此时显示的就是背景图片。

如何下载呢?其实很简单，说下逻辑。

requests库请求主页，正则匹配地址，再用 requests 请求，将返回的 content 以二进制的形式写入文件，保存为图片。

核心代码：

 
 
 
  
  
  url = 'https://cn.bing.com'headers = {    'User-Agent': 'Mozilla/5.0   
  
   (Macintosh; Intel Mac OS X 10_15_1) '                  'AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3    
  
  Safari/605.1.15'}r = requests.get(url=url, headers=headers)# 正则匹配   
  
  到 url 地址a = re.findall(r'rel="preload" href="(.*?)" as="image"',    
  
  r.text)if a:    # 拼接 https://cn.bing.com/xxxxxx图片的地址       
  
  picture_url = parse.urljoin(url, a[0])    print(f'当前图片地址：   
  
  {picture_url}')    r_picture = requests.get(url=picture_url,    
  
  headers=headers)    write_file(file, r_picture.content) # 写入文件

执行后的结果：

主要是正则表达式，如何书写，匹配出来，用 urllib 的 urljoin 方法拼接下图片地址即可。可以看下核心代码的相关注释。

定时任务

Python代码一共 25 行，关键是如何利用系统定时来制造每天触发的效果。

使用方法，两个。

编辑 crontab ：

 
 
 
  
  
  crontab -e

回车后，进入内容，用法和 vim 一样，按下 i 即可编写，然后 wq 保存。

 
 
 
  
  
  0 10 * * * /Users/sy/anaconda3/bin/python /Users/sy/PycharmProjects   
  
  /python-tools/spider/bing_picture/crawl_bing.py > /Users   
  
  /sy/PycharmProjects/python-tools/spider/bing_picture/log

第一段，是cron特有的时间配置表达式，可以看下图的简介，顺便给大家一个网址，可以在线查看其表达式的含义。而我脚本中写的则是每天十点整执行 Python。

工具网址：

crontab执行时间计算tool.lu

写完 cron 表达式，后面跟的其实就是 python xxx.py 这样的命令，只不过，在 cron 中一定要写绝对路径，否则不生效。

再执行 python 命令的基础上，我还追加了 > xxx.log 这样，意思是将 python 脚本的打印内容输出到一个指定目录的 log 文件里。

2.查看定时任务 crontab：

 
 
 
  
  
  crontab -l

cron -l 则是查看定时任务列表内容的，可以看到有多少任务配置了。如果有多个定时脚本，则可以回车换行继续添加即可。

每日自动抓取，导入图片，换背景即可。

总结

嗯，这就是本次的 5 分钟撸一个小爬虫系列!

本篇介绍的定时工具，其实用途很大，因为基于系统层面，所以不依赖于脚本，只要你电脑开着，就可以随心所欲的触发你写的脚本，而不依赖你脚本本身使用代码的定时任务!

网页标题：5分钟撸了个小小爬虫....
本文链接：http://www.shufengxianlan.com/qtweb/news46/406496.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源：创新互联

猜你还喜欢下面的内容