Python微博移动端爬虫实例（附代码）

本文简要讲述用Python爬取微博移动端数据的方法。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据，别人网站当然会反爬越来越严厉。至于为什么不爬PC端，原因是移动端较简单，很适合爬虫新手入门。有时间再写PC端吧！

环境介绍

Python3/Windows-10-64位/微博移动端

网页分析

以获取评论信息为例（你可以以自己的喜好获得其他数据）。如下图：

在这里就会涉及到一个动态加载的概念，也就是我们只有向下滑动鼠标滚轮才会加载出更多的评论数据。这也是网页经常使用的方式。接下来就应该找到评论信息的真实网址，找到真实网址的方法就是打开浏览器的开发者工具，火狐/谷歌是F12键。打开如下：

打开以后点击网络，网络用来记录浏览器和服务器交换的信息。接下来将鼠标滚轮缓慢向下滚动，在这个过程中就会弹出类似于上图的信息，也就是评论信息加载出来了。找到评论信息，应该会在***条。如下图：

真实网址：https://m.weibo.cn/api/comments/show?id=4160547165300149&page=3

将网址在火狐里面打开如下图：

上面的网址其实pages=3就代表第三页，所以只需模拟网址即可，pages=4,5,6。。。。

另外由于是Json文件，所以提取数据非常方便，只需用切片操作即可。

网站栏目：Python微博移动端爬虫实例（附代码）
URL分享：http://www.shufengxianlan.com/qtweb/news10/413410.html

网站建设、网络推广公司-创新互联，是专注品牌与效果的网站制作，网络营销seo公司；服务项目有等

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联