百木园-与人分享,
就是让自己快乐。

【爬虫+数据清洗+可视化分析】舆情分析哔哩哔哩"阳了"的评论

目录

  • 一、背景介绍
  • 二、爬虫代码
    • 2.1 展示爬取结果
    • 2.2 爬虫代码讲解
  • 三、可视化代码
    • 3.1 读取数据
    • 3.2 数据清洗
    • 3.3 可视化
      • 3.3.1 IP属地分析-柱形图
      • 3.3.2 评论时间分析-折线图
      • 3.3.3 点赞数分布-直方图
      • 3.3.4 评论内容-情感分布饼图
      • 3.3.5 评论内容-词云图
  • 三、演示视频
  • 四、附完整源码

一、背景介绍

您好,我是@马哥python说,一枚10年程序猿。

以前大家见面都问\"吃了没\",最近大家见面都问\"阳了没\",奈何疫情反反复复,惟愿身体安康!

我用python抓取了B站上千条评论,并进行可视化舆情分析,下面详细讲解代码。

二、爬虫代码

2.1 展示爬取结果

首先,看下部分爬取数据:

爬取字段含:视频链接、评论页码、评论作者、评论时间、IP属地、点赞数、评论内容

2.2 爬虫代码讲解

导入需要用到的库:

import requests  # 发送请求
import pandas as pd  # 保存csv文件
import os  # 判断文件是否存在
import time
from time import sleep  # 设置等待,防止反爬
import random  # 生成随机数

定义一个请求头:

# 请求头
headers = {
    \'authority\': \'api.bilibili.com\',
    \'accept\': \'application/json, text/plain, */*\',
    \'accept-language\': \'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6\',
    # 需定期更换cookie,否则location爬不到
    \'cookie\': \"需换成自己的cookie值\",
    \'origin\': \'https://www.bilibili.com\',
    \'referer\': \'https://www.bilibili.com/video/BV1FG4y1Z7po/?spm_id_from=333.337.search-card.all.click&vd_source=69a50ad969074af9e79ad13b34b1a548\',
    \'sec-ch-ua\': \'\"Chromium\";v=\"106\", \"Microsoft Edge\";v=\"106\", \"Not;A=Brand\";v=\"99\"\',
    \'sec-ch-ua-mobile\': \'?0\',
    \'sec-ch-ua-platform\': \'\"Windows\"\',
    \'sec-fetch-dest\': \'empty\',
    \'sec-fetch-mode\': \'cors\',
    \'sec-fetch-site\': \'same-site\',
    \'user-agent\': \'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.47\'
}

请求头中的cookie是个很关键的参数,如果不设置cookie,会导致数据残缺或无法爬取到数据。

那么cookie如何获取呢?打开开发者模式,见下图:

由于评论时间是个十位数:

所以开发一个函数用于转换时间格式:

def trans_date(v_timestamp):
    \"\"\"10位时间戳转换为时间字符串\"\"\"
    timeArray = time.localtime(v_timestamp)
    otherStyleTime = time.strftime(\"%Y-%m-%d %H:%M:%S\", timeArray)
    return otherStyleTime

向B站发送请求:

response = requests.get(url, headers=headers, )  # 发送请求

接收到返回数据了,怎么解析数据呢?看一下json数据结构:

0-19个评论,都存放在replies下面,replies又在data下面,所以,这样解析数据:

data_list = response.json()[\'data\'][\'replies\']  # 解析评论数据

这样,data_list里面就是存储的每条评论数据了。

接下来吗,就是解析出每条评论里的各个字段了。

我们以评论内容这个字段为例:

comment_list = []  # 评论内容空列表
# 循环爬取每一条评论数据
for a in data_list:
    # 评论内容
    comment = a[\'content\'][\'message\']
    comment_list.append(comment)

其他字段同理,不再赘述。

最后,把这些列表数据保存到DataFrame里面,再to_csv保存到csv文件,持久化存储完成:

# 把列表拼装为DataFrame数据
df = pd.DataFrame({
    \'视频链接\': \'https://www.bilibili.com/video/\' + v_bid,
    \'评论页码\': (i + 1),
    \'评论作者\': user_list,
    \'评论时间\': time_list,
    \'IP属地\': location_list,
    \'点赞数\': like_list,
    \'评论内容\': comment_list,
})
# 把评论数据保存到csv文件
df.to_csv(outfile, mode=\'a+\', encoding=\'utf_8_sig\', index=False, header=header)

注意,加上encoding=\'utf_8_sig\',否则可能会产生乱码问题!

下面,是主函数循环爬取部分代码:(支持多个视频的循环爬取)

# 随便找了几个\"世界杯\"相关的视频ID
bid_list = [\'BV1DP411g7jx\', \'BV1M24y117K3\', \'BV1nt4y1N7Kj\']
# 评论最大爬取页(每页20条评论)
max_page = 30
# 循环爬取这几个视频的评论
for bid in bid_list:
    # 输出文件名
    outfile = \'b站评论_{}.csv\'.format(now)
    # 转换aid
    aid = bv2av(bid=bid)
    # 爬取评论
    get_comment(v_aid=aid, v_bid=bid)

三、可视化代码

为了方便看效果,以下代码采用jupyter notebook进行演示。

3.1 读取数据

用read_csv读取刚才爬取的B站评论数据:

查看前3行及数据形状:

3.2 数据清洗

处理空值及重复值:

3.3 可视化

3.3.1 IP属地分析-柱形图

柱形图

可得结论:关于\"阳了\"这个话题,评论里关注度最高为广东、北京、江苏等地区,其中,广东省的关注度最高。同时,我们注意到,也包含一些海外网友的少量评论。

3.3.2 评论时间分析-折线图

分析出评论时间的分布情况:
折线图

可得结论:关于\"阳了\"这个话题,再抓取到的数据范围内,12.18日的评论数据量最大,达到了将近900的数量峰值。

3.3.3 点赞数分布-直方图

由于点赞数大部分为0或个位数情况,个别点赞数到达成千上万,直方图展示效果不佳,因此,仅提取点赞数<30的数据绘制直方图。
直方图

可得结论:从直方图的分布来看,点赞数在0-3个的评论占据大多数,很少点赞数达到了上千上万的情况。证明网友对\"阳了\"事件的态度分布比较均匀,没有出现态度非常聚集的评论内容。

3.3.4 评论内容-情感分布饼图

针对中文评论数据,采用snownlp开发情感判定函数:
情感判定函数

情感分布饼图,如下:
饼图

可得结论:关于\"阳了\"这个话题,积极评价与消极评价占比差不多,积极评价稍高一点,反应出网友对感染阳性的态度反差很大,大约各占一半。

3.3.5 评论内容-词云图

初始化停用词和词云图对象:
wordcloud对象

jieba分词之后,对分词后数据进行绘制词云图:
词云图

可得结论:在词云图中,阳、感染、发烧、症状、疼、嗓子等词汇较大,出现频率较高,反应出众多网友对确诊阳性后描述病症、积极探讨病情的现状。

三、演示视频

代码演示视频:
https://www.zhihu.com/zvideo/1590645358123839488

四、附完整源码

完整源码:【爬虫+数据清洗+可视化分析】舆情分析哔哩哔哩\"阳了\"的评论


by 马哥python说


来源:https://www.cnblogs.com/mashukui/p/17007313.html
本站部分图文来源于网络,如有侵权请联系删除。

未经允许不得转载:百木园 » 【爬虫+数据清洗+可视化分析】舆情分析哔哩哔哩"阳了"的评论

相关推荐

  • 暂无文章