您好，我是@马哥python说，一枚10年程序猿。

一、爬取目标

之前，我分享过一些B站的爬虫：
【Python爬虫案例】用Python爬取李子柒B站视频数据
【Python爬虫案例】用python爬哔哩哔哩搜索结果
【爬虫+情感判定+Top10高频词+词云图】\"谷爱凌\"热门弹幕python舆情分析

但我学习群中小伙伴频繁讨论B站评论的爬取，所以，再分享一个B站视频评论的爬虫。

二、展示爬取结果

首先，看下部分爬取数据：

爬取字段含：视频链接、评论页码、评论作者、评论时间、IP属地、点赞数、评论内容。

三、爬虫代码

导入需要用到的库：

import requests  # 发送请求
import pandas as pd  # 保存csv文件
import os  # 判断文件是否存在
import time
from time import sleep  # 设置等待，防止反爬
import random  # 生成随机数

定义一个请求头：

# 请求头
headers = {
    \'authority\': \'api.bilibili.com\',
    \'accept\': \'application/json, text/plain, */*\',
    \'accept-language\': \'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6\',
    # 需定期更换cookie，否则location爬不到
    \'cookie\': \"需换成自己的cookie值\",
    \'origin\': \'https://www.bilibili.com\',
    \'referer\': \'https://www.bilibili.com/video/BV1FG4y1Z7po/?spm_id_from=333.337.search-card.all.click&vd_source=69a50ad969074af9e79ad13b34b1a548\',
    \'sec-ch-ua\': \'\"Chromium\";v=\"106\", \"Microsoft Edge\";v=\"106\", \"Not;A=Brand\";v=\"99\"\',
    \'sec-ch-ua-mobile\': \'?0\',
    \'sec-ch-ua-platform\': \'\"Windows\"\',
    \'sec-fetch-dest\': \'empty\',
    \'sec-fetch-mode\': \'cors\',
    \'sec-fetch-site\': \'same-site\',
    \'user-agent\': \'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.47\'
}

请求头中的cookie是个很关键的参数，如果不设置cookie，会导致数据残缺或无法爬取到数据。
那么cookie如何获取呢？打开开发者模式，见下图：

由于评论时间是个十位数：

所以开发一个函数用于转换时间格式：

def trans_date(v_timestamp):
    \"\"\"10位时间戳转换为时间字符串\"\"\"
    timeArray = time.localtime(v_timestamp)
    otherStyleTime = time.strftime(\"%Y-%m-%d %H:%M:%S\", timeArray)
    return otherStyleTime

向B站发送请求：

response = requests.get(url, headers=headers, )  # 发送请求

接收到返回数据了，怎么解析数据呢？看一下json数据结构：

0-19个评论，都存放在replies下面，replies又在data下面，所以，这样解析数据：

data_list = response.json()[\'data\'][\'replies\']  # 解析评论数据

这样，data_list里面就是存储的每条评论数据了。
接下来吗，就是解析出每条评论里的各个字段了。
我们以评论内容这个字段为例：

comment_list = []  # 评论内容空列表
# 循环爬取每一条评论数据
for a in data_list:
    # 评论内容
    comment = a[\'content\'][\'message\']
    comment_list.append(comment)

其他字段同理，不再赘述。

最后，把这些列表数据保存到DataFrame里面，再to_csv保存到csv文件，持久化存储完成：

# 把列表拼装为DataFrame数据
df = pd.DataFrame({
    \'视频链接\': \'https://www.bilibili.com/video/\' + v_bid,
    \'评论页码\': (i + 1),
    \'评论作者\': user_list,
    \'评论时间\': time_list,
    \'IP属地\': location_list,
    \'点赞数\': like_list,
    \'评论内容\': comment_list,
})
# 把评论数据保存到csv文件
df.to_csv(outfile, mode=\'a+\', encoding=\'utf_8_sig\', index=False, header=header)

注意，加上encoding=\'utf_8_sig\'，否则可能会产生乱码问题！

下面，是主函数循环爬取部分代码：（支持多个视频的循环爬取）

# 随便找了几个\"世界杯\"相关的视频ID
bid_list = [\'BV1DP411g7jx\', \'BV1M24y117K3\', \'BV1nt4y1N7Kj\']
# 评论最大爬取页（每页20条评论）
max_page = 30
# 循环爬取这几个视频的评论
for bid in bid_list:
    # 输出文件名
    outfile = \'b站评论_{}.csv\'.format(now)
    # 转换aid
    aid = bv2av(bid=bid)
    # 爬取评论
    get_comment(v_aid=aid, v_bid=bid)

四、同步视频

演示视频：
https://www.zhihu.com/zvideo/1584884344677437440

完整代码：【B站评论爬虫】用python爬取上千条哔哩哔哩评论

来源：https://www.cnblogs.com/mashukui/p/16972826.html
本站部分图文来源于网络，如有侵权请联系删除。

【2023最新B站评论爬虫】用python爬取上千条哔哩哔哩评论

一、爬取目标

二、展示爬取结果

三、爬虫代码

四、同步视频

相关推荐

热门文章