当前位置:首页 > 话题广场 > 攻略专题 > 游戏问答

关于怎么查爱奇艺弹幕,你需要知道这些用Python爬取B站、腾讯视频、爱奇艺和芒果TV视频弹幕

众所周知,弹幕,也就是在网上看视频时出现的评论字幕。

不知道大家看视频的时候会不会点开弹幕,于我而言,弹幕是视频内容的良好补充,是一个组织良好的评论序列。通过分析弹幕,我们可以快速洞察广大观众对于视频的看法。

阿喵通过一个关于《八佰》的视频弹幕数据,绘制了如下词云图,感觉效果还是可以的。


点击并拖拽以移动

这里多说一句,小编是一名python开发工程师,这里有我自己整理的一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“01”即可领取。

海量的弹幕数据不仅可以绘制此类词云图,还可以调用百度AI进行情感分析。那么,我们该如何获取弹幕数据呢?本文运用Python爬取B站视频、腾讯视频、芒果TV和爱奇艺视频等弹幕,让你轻松获取主流视频网站弹幕数据。

一、B站视频弹幕

1.网页分析

本文以爬取up主硬核的半佛仙人发布的《你知道奶茶加盟到底有多坑人吗?》视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。


点击并拖拽以移动


简单分析url参数,很显然,date参数表示发送弹幕的时间,其他参数均无变化。因此,只需要改变date参数,然后通过beautifulsoup解析到弹幕数据即可。

2.爬虫实战

import requests #请求网页数据

from bs4 import BeautifulSoup #美味汤解析数据

import pandas as pd

import time

from tqdm import trange #获取爬取速度

def get_bilibili_url (start, end) :

url_list = []

date_list = [i for i in (start, end).strftime( '%Y-%m-%d' )]

for date in date_list:

url = f"a… {date} "

url_li(url)

return url_list

def get_bilibili_danmu (url_list) :

headers = {

"user-agent" : "Mozilla (Macintosh; Intel Mac OS X 10_14_6) AppleWebKi (KHTML, like Gecko) Chrome Safari; ,

"cookie" : "你自己的" #Headers中copy即可

}

file = open( "bilibili_danmu.txt" , 'w' )

for i in trange(len(url_list)):

url = url_list[i]

response = reque(url, headers=headers)

re = 'utf-8'

soup = BeautifulSou)

data = ( "d" )

danmu = [data[i].text for i in range(len(data))]

for items in danmu:

(items)

( "\n" )

( 3 )

()

if name == "main" :

start = '9/24/2020' #设置爬取弹幕的起始日

end = '9/26/2020' #设置爬取弹幕的终止日

url_list = get_bilibili_url(start, end)

get_bilibili_danmu(url_list)

print(

"弹幕爬取完成"

)

3.数据预览


点击并拖拽以移动

二、腾讯视频弹幕

1.网页分析

本文以爬取《脱口秀大会 第3季》最后一期视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。


点击并拖拽以移动


通过删减各参数,发现仅有timestamp参数的变化会影响弹幕数据的爬取,且timestamp参数是首项为15,公差为30的等差数列。可以大胆猜测腾讯视频每30秒更新一页弹幕数据,该视频长度为12399秒。而数据格式为标准的json格式,因此j直接解析数据即可。

2.爬虫实战

import requests

import json

import time

import pandas as pd

df = ()

for page in range( 15 , 12399 , 30 ):

headers = { 'User-Agent' : 'Mozilla (Windows NT 6.1; WOW64) AppleWebKi (KHTML, like Gecko) Chrome Safari; }

url = 'm… .format(page)

print( "正在提取第" + str(page) + "页" )

html = reque(url,headers = headers)

bs = j = False ) #strict参数解决部分内容json格式解析报错

( 1 )

#遍历获取目标字段

for i in bs[ 'comments' ]:

content = i[ 'content' ] #弹幕

upcount = i[ 'upcount' ] #点赞数

user_degree =i[ 'uservip_degree' ] #会员等级

timepoint = i[ 'timepoint' ] #发布时间

comment_id = i[ 'commentid' ] #弹幕id

cache = ({ '弹幕' :[content], '会员等级' :[user_degree],

'发布时间' :[timepoint], '弹幕点赞' :[upcount], '弹幕id' :[comment_id]})

df = ([df,cache])

df.to_csv( '; ,encoding = 'utf-8' )

prin)

3.数据预览


点击并拖拽以移动


三、芒果TV弹幕

1.网页分析

本文以爬取《乘风破浪的姐姐》最后一期视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。


点击并拖拽以移动

通过分析参数,我们可以发现,芒果TV会生成首项为0,公差为1的等差数列json弹幕文件,每个json文件存储前一分钟内所有的弹幕数据。弹幕数据存放格式为json,数据解析较为简单。

2.爬虫实战

import requests

import json

import pandas as pd

def get_mangguo_danmu (num1, num2, page) :

try :

url = 'bulle…

print( "正在爬取第" + str(page) + "页" )

danmuurl = url.format(num1, num2, page)

res = reque(danmuurl)

res.encoding = 'utf-8'

#prin)

data = j)

except :

print( "无法连接" )

details = []

for i in range(len(data[ 'data' ][ 'items' ])): # 弹幕数据在json文件'data'的'items'中

result = {}

result[ 'stype' ] = num2 # 通过stype可识别期数

result[ 'id' ] = data[ 'data' ][ 'items' ][i][ 'id' ] # 获取id

try : # 尝试获取uname

result[ 'uname' ] = data[ 'data' ][ 'items' ][i][ 'uname' ]

except :

result[ 'uname' ] = ''

result[ 'content' ] = data[ 'data' ][ 'items' ][i][ 'content' ] # 获取弹幕内容

result[ 'time' ] = data[ 'data' ][ 'items' ][i][ 'time' ] # 获取弹幕发布时间

try : # 尝试获取弹幕点赞数

result[ 'v2_up_count' ] = data[ 'data' ][ 'items' ][i][ 'v2_up_count' ]

except :

result[ 'v2_up_count' ] = ''

de(result)

return details

#输入关键信息

def count_danmu () :

danmu_total = []

num1 = input( '第一个数字' )

num2 = input( '第二个数字' )

page = int(input( '输入总时长' ))

for i in range(page):

danmu_(get_mangguo_danmu(num1, num2, i))

return danmu_total

def main () :

df = (count_danmu())

df.to_csv( 'mangguo_danmu.csv' )

if name == 'main' :

main()

3.数据预览


点击并拖拽以移动


四、爱奇艺弹幕

1.网页分析

本文以爬取《乐队的夏天第2季》第13期上视频弹幕为例,首先通过以下步骤找到存放弹幕的真实url。


点击并拖拽以移动

分析弹幕真实url,我们发现,参数5981449914376200是视频tvid,参数62是tvid倒数4为的前两位,参数00是tvid的最后两位,.z前的参数1为视频总时长除以300秒向上取整。观察相邻两个弹幕文件包,可以看出爱奇艺每5分钟更新一次弹幕文件。


点击并拖拽以移动

由于直接爬取出来的弹幕文件存在乱码,需要进行二进制编码,方可得到最终的弹幕数据。

2.爬虫实战

import zlib

import requests

1.爬取xml文件

def download_xml (url) :

bulletold = reque(url).content # 二进制内容

return zipdecode(bulletold)

def zipdecode (bulletold) :

'对zip压缩的二进制内容解码成文本'

decode = zlib.decompress(bytearray(bulletold), 15 + 32 ).decode( 'utf-8' )

return decode

for x in range( 1 , 12 ):

x是从1到12,12怎么来的,这一集总共57分钟,爱奇艺每5分钟会加载新的弹幕,57除以5向上取整

url = 'cm… + str(x) + '.z'

xml = download_xml(url)

把编码好的文件分别写入17个xml文件中(类似于txt文件),方便后边取数据

with open( './aiqiyi/iqiyi' + str(x) + '.xml' , 'a+' , encoding= 'utf-8' ) as f:

f.write(xml)

2.读取xml文件中的弹幕数据数据

from xml.dom.minidom import parse

import xml.dom.minidom

def xml_parse (file_name) :

DOMTree = xml.dom.minidom.parse(file_name)

collection = DOMTree.documentElement

在集合中获取所有entry数据

entrys = collec( "entry" )

print(entrys)

result = []

for entry in entrys:

content = en( 'content' )[ 0 ]

prin[ 0 ].data)

i = con[ 0 ].data

re(i)

return result

with open( "aiyiqi_danmu.txt" , mode= "w" , encoding= "utf-8" ) as f:

for x in range( 1 , 12 ):

l = xml_parse( "./aiqiyi/iqiyi" + str(x) + ".xml" )

for line in l:

f.write(line)

f.write(

"\n"

3.数据预览


点击并拖拽以移动


最后多说一句,小编是一名python开发工程师,这里有我自己整理的一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“01”即可领取。

1.《关于怎么查爱奇艺弹幕,你需要知道这些用Python爬取B站、腾讯视频、爱奇艺和芒果TV视频弹幕》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。

2.《关于怎么查爱奇艺弹幕,你需要知道这些用Python爬取B站、腾讯视频、爱奇艺和芒果TV视频弹幕》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。

3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/gl/3204936.html

上一篇

关于怎么查qq有没有绑定身份证号,你需要知道这些胖虎Q绑查询工具——一款QQ账号信息查询工具

下一篇

微信上发语音听不到怎么回事看这里!微信尽量不要发语音,原因望周知!记住了

怎么查爱奇艺弹幕?终于找到答案了爱奇艺UWP版v5.5 更新:加入角色弹幕,优化UI细节

怎么查爱奇艺弹幕相关介绍,10月1日的消息是,进入今年以来,爱奇艺的UWP版本经常更新,在功能和UI上都取得了很大进步。 现在根据一名网友的投稿,他已经收到了爱奇艺UWP版v5.5 更新,新增了角色弹幕功能。 目前,小编电脑的...

关于怎么查爱奇艺弹幕,你需要知道这些爱奇艺90后用户:没有弹幕怎么看剧

怎么查爱奇艺弹幕相关介绍,在爱奇艺推出的两部新作《来自星星的继承者们》和《TFBOYS偶像手记》中,爱奇艺最近推出的弹幕功能让人们感受到了精彩内容以外的乐趣。 爱奇艺后台最新数据显示,这两部剧每集的弹幕数都在10万左右。自8月...

怎么查爱奇艺弹幕?总结很全面速看!【进击的弹幕】爱奇艺领军弹幕时代 没有弹幕怎么看视频

怎么查爱奇艺弹幕相关介绍,看爱奇艺书视频还可以刷弹幕!看录像怎么会没有弹幕!他是吐槽雷剧的先锋,动画萌发的好手,高能预警的红领巾~ ~ ~ 我有个好朋友叫弹幕军。 介是我和他的观剧日常,有他的陪伴,看剧再也不孤单~ 想和小伙伴...