1. 数据分析网首页
  2. 软件工具
  3. Python

Python爬虫:利用API实时爬取斗鱼弹幕

这次爬取的房间是斗鱼直播的芜湖大司马,因为他人气比较多,方便分析。然后把弹幕的信息的uid,昵称,等级,弹幕内容保存mongodb。

这些天一直想做一个斗鱼爬取弹幕,但是一直考试时间不够,而且这个斗鱼的api接口虽然开放了但是我在github上没有找到可以完美实现连接。我看了好多文章,学了写然后总结一下。也为后面数据分析做准备,后面先对弹幕简单词云化,然后再对各个房间的数据可视化

这次爬取的房间是斗鱼直播的芜湖大司马,因为他人气比较多,方便分析。然后把弹幕的信息的uid,昵称,等级,弹幕内容保存mongodb。

先看看效果

Python爬虫:利用API实时爬取斗鱼弹幕

Python爬虫:利用API实时爬取斗鱼弹幕

一:运行环境

  • IDE:Pycharm
  • Python3.6
  • pymongo 3.4.0

二:实例分析

首先要想爬取弹幕要看看官方的开发文档。

  • 第一点就是协议组成:

Python爬虫:利用API实时爬取斗鱼弹幕Python爬虫:利用API实时爬取斗鱼弹幕

  • 第二点是登录请求,之后把这个传递给sendmsg即可发送请求:

Python爬虫:利用API实时爬取斗鱼弹幕

Python爬虫:利用API实时爬取斗鱼弹幕

  • 第三点是获取弹幕信息

Python爬虫:利用API实时爬取斗鱼弹幕

Python爬虫:利用API实时爬取斗鱼弹幕

  • 第四点是要保存登录状态

Python爬虫:利用API实时爬取斗鱼弹幕

  • 第五点是要把接受到的byte,转换我们识别的编码,然后保存到monggodb,也可以保存到text文档中。

Python爬虫:利用API实时爬取斗鱼弹幕

补充说明

到这里这个API的主要功能已经了解了,剩下的就是具体实现,有以下几点:

      • 1.用户输入房间号,获取房间说明
      • 2.发送数据后,我们就会接受到斗鱼返回的数据,但是返回的数据是二进制所以我 们需要对数据转换编码。
      • 3.我这里爬取了斗鱼用户发送弹幕的信息有uid,昵称,等级,弹幕内容,这里的等级有的人是空的,如果不处理就会造成错误所以要使用下面处理一下。

Python爬虫:利用API实时爬取斗鱼弹幕

四:实战代码

Python爬虫:利用API实时爬取斗鱼弹幕

Python爬虫:利用API实时爬取斗鱼弹幕

Python爬虫:利用API实时爬取斗鱼弹幕

五:弹幕的后续使用

这里我们是将弹幕的几个信息,uid,用户昵称,等级,弹幕内容保存到mongodb,后续要对数据分析就可以直接拿出来,如果我们只需要弹幕那么就可以只把弹幕信息保存到txt文档中就行了。

来源:微信公众号【猿助猿】

本文采用「CC BY-SA 4.0 CN」协议转载自互联网、仅供学习交流,内容版权归原作者所有,如涉作品、版权和其他问题请给「我们」留言处理。

发表评论

登录后才能评论

联系我们

如有建议:>>给我留言

QR code