这些天一直想做一个斗鱼爬取弹幕，但是一直考试时间不够，而且这个斗鱼的api接口虽然开放了但是我在github上没有找到可以完美实现连接。我看了好多文章，学了写然后总结一下。也为后面数据分析做准备，后面先对弹幕简单词云化，然后再对各个房间的数据可视化。

这次爬取的房间是斗鱼直播的芜湖大司马，因为他人气比较多，方便分析。然后把弹幕的信息的uid，昵称，等级，弹幕内容保存mongodb。

先看看效果

一：运行环境

• IDE：Pycharm
• Python3.6
• pymongo 3.4.0

二：实例分析

首先要想爬取弹幕要看看官方的开发文档。

• 第一点就是协议组成：

• 第二点是登录请求，之后把这个传递给sendmsg即可发送请求：

• 第三点是获取弹幕信息

• 第四点是要保存登录状态

• 第五点是要把接受到的byte,转换我们识别的编码，然后保存到monggodb，也可以保存到text文档中。

补充说明

到这里这个API的主要功能已经了解了，剩下的就是具体实现，有以下几点：

• • • 1.用户输入房间号，获取房间说明
    • 2.发送数据后，我们就会接受到斗鱼返回的数据，但是返回的数据是二进制所以我 们需要对数据转换编码。
    • 3.我这里爬取了斗鱼用户发送弹幕的信息有uid，昵称，等级，弹幕内容，这里的等级有的人是空的，如果不处理就会造成错误所以要使用下面处理一下。

四：实战代码

五：弹幕的后续使用

这里我们是将弹幕的几个信息，uid，用户昵称，等级，弹幕内容保存到mongodb，后续要对数据分析就可以直接拿出来，如果我们只需要弹幕那么就可以只把弹幕信息保存到txt文档中就行了。

来源：微信公众号【猿助猿】