用 50 行代码写个听小说的爬虫

本文转载自微信公众号「Python技术」,作者派森酱。转载本文请联系Python技术公众号。

创新互联建站服务项目包括榆阳网站建设、榆阳网站制作、榆阳网页制作以及榆阳网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,榆阳网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到榆阳省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

在路上发现好多人都喜欢用耳机听小说,同事居然可以一整天的带着一只耳机听小说。小编表示非常的震惊。今天就用 Python 下载听小说 tingchina.com的音频。

书名和章节列表

随机点开一本书,这个页面可以使用 BeautifulSoup 获取书名和所有单个章节音频的列表。复制浏览器的地址,如:https://www.tingchina.com/yousheng/disp_31086.htm。

 
 
 
 
  1. from bs4 import BeautifulSoup 
  2. import requests 
  3. import re 
  4. import random 
  5. import os 
  6.  
  7. headers = { 
  8.     'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36' 
  9.  
  10. def get_detail_urls(url): 
  11.     url_list = [] 
  12.     response = requests.get(url, headers=headers) 
  13.     response.encoding = 'gbk' 
  14.     soup = BeautifulSoup(response.text, 'lxml') 
  15.     name = soup.select('.red12')[0].strong.text 
  16.     if not os.path.exists(name): 
  17.         os.makedirs(name) 
  18.     div_list = soup.select('div.list a') 
  19.     for item in div_list: 
  20.         url_list.append({'name': item.string, 'url': 'https://www.tingchina.com/yousheng/{}'.format(item['href'])}) 
  21.     return name, url_list 

音频地址

打开单个章节的链接,在 Elements 面板用章节名称作为搜索词,在底部发现了一个 script,这一部分就是声源的地址。

在 Network 面板可以看到,声源的 url 域名和章节列表的域名是不一样的。在获取下载链接的时候需要注意这一点。

 
 
 
 
  1. def get_mp3_path(url): 
  2.     response = requests.get(url, headers=headers) 
  3.     response.encoding = 'gbk' 
  4.     soup = BeautifulSoup(response.text, 'lxml') 
  5.     script_text = soup.select('script')[-1].string 
  6.     fileUrl_search = re.search('fileUrl= "(.*?)";', script_text, re.S) 
  7.     if fileUrl_search: 
  8.         return 'https://t3344.tingchina.com' + fileUrl_search.group(1) 

下载

惊喜总是突如其来,把这个 https://t3344.tingchina.com/xxxx.mp3 放入浏览器中运行居然是 404。

肯定是少了关键性的参数,回到上面 Network 仔细观察 mp3 的 url,发现在 url 后面带了一个 key 的关键字。如下图,这个 key 是来自于 https://img.tingchina.com/play/h5_jsonp.asp?0.5078556568562795 的返回值,可以使用正则表达式将 key 取出来。

 
 
 
 
  1. def get_key(url): 
  2.     url = 'https://img.tingchina.com/play/h5_jsonp.asp?{}'.format(str(random.random())) 
  3.     headers['referer'] = url 
  4.     response = requests.get(url, headers=headers) 
  5.     matched = re.search('(key=.*?)";', response.text, re.S) 
  6.     if matched: 
  7.         temp = matched.group(1) 
  8.         return temp[len(temp)-42:] 

最后的最后在 __main__ 中将以上的代码串联起来。

 
 
 
 
  1. if __name__ == "__main__": 
  2.     url = input("请输入浏览器书页的地址:") 
  3.     dir,url_list = get_detail_urls() 
  4.  
  5.     for item in url_list: 
  6.         audio_url = get_mp3_path(item['url']) 
  7.         key = get_key(item['url']) 
  8.         audio_url = audio_url + '?key=' + key 
  9.         headers['referer'] = item['url'] 
  10.         r = requests.get(audio_url, headers=headers,stream=True) 
  11.         with open(os.path.join(dir, item['name']),'ab') as f: 
  12.             f.write(r.content) 
  13.             f.flush() 

总结

这个 Python 爬虫比较简单,小编的每个月 30 元的流量都不够用,又了这个小程序在地铁上就可以不用流量听小说了。

当前题目:用 50 行代码写个听小说的爬虫
转载注明:http://www.shufengxianlan.com/qtweb/news35/237235.html

网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联