自动采集器怎么用(《Python制作词云视频》B站弹幕的爬取方法)

优采云 发布时间: 2021-11-16 01:07

  自动采集器怎么用(《Python制作词云视频》B站弹幕的爬取方法)

  大家好,我是小张!

  在《用Python制作词云视频,通过词云图片看*敏*感*词*姐跳舞》文章中,我简单介绍了爬B站弹幕的方法,只要找到视频中的参数cid就可以了可以采集去视频下的所有弹幕;想法虽然简单,但我觉得还是比较麻烦。比如一天后,我想采集一个B站的视频弹幕,我需要从头开始:找cid参数,写代码,重复单调;

  所以我想知道是否可以一步完成。以后采集视频弹幕只需一步完成,比如输入我要抓取的视频链接,程序可以自动识别下载

  达到效果

  基于此,我在PyQt5的帮助下写了一个小工具,只需要提供目标视频的url和目标txt路径,程序会自动采集视频下的弹幕并将数据保存到目标txt文本,先看看预览效果:

  

  PS微信公众号对*敏*感*词*的帧数有限制,我在做*敏*感*词*的时候剪掉了一些内容,所以效果可能不流畅

  整体工具实现分为UI界面和数据采集两部分。使用的 Python 库:

  import requests

import re

from PyQt5.QtWidgets import *

from PyQt5 import QtCore

from PyQt5.QtGui import *

from PyQt5.QtCore import QThread, pyqtSignal

from bs4 import BeautifulSoup

  用户界面

  UI界面使用PyQt5,有两个按钮(开始下载,保存到),输入视频链接的编辑行控件和调试窗口;

  

  代码显示如下:

   def __init__(self,parent =None):

super(Ui_From,self).__init__(parent=parent)

self.setWindowTitle("B站弹幕采集")

self.setWindowIcon(QIcon('pic.jpg'))# 图标

self.top_label = QLabel("作者:小张\n 微信公号:小张Python")

self.top_label.setAlignment(QtCore.Qt.AlignHCenter)

self.top_label.setStyleSheet('color:red;font-weight:bold;')

self.label = QLabel("B站视频url")

self.label.setAlignment(QtCore.Qt.AlignHCenter)

self.editline1 = QLineEdit()

self.pushButton = QPushButton("开始下载")

self.pushButton.setEnabled(False)#关闭启动

self.Console = QListWidget()

self.saveButton = QPushButton("保存至")

self.layout = QGridLayout()

self.layout.addWidget(self.top_label,0,0,1,2)

self.layout.addWidget(self.label,1,0)

self.layout.addWidget(self.editline1,1,1)

self.layout.addWidget(self.pushButton,2,0)

self.layout.addWidget(self.saveButton,3,0)

self.layout.addWidget(self.Console,2,1,3,1)

self.setLayout(self.layout)

self.savepath = None

self.pushButton.clicked.connect(self.downButton)

self.saveButton.clicked.connect(self.savePushbutton)

self.editline1.textChanged.connect(self.syns_lineEdit)

  当url不为空并且已经设置了目标文本存储路径时,可以进入数据模块采集

  

  实现此功能的代码:

   def syns_lineEdit(self):

if self.editline1.text():

self.pushButton.setEnabled(True)#打开按钮

def savePushbutton(self):

savePath = QFileDialog.getSaveFileName(self,'Save Path','/','txt(*.txt)')

if savePath[0]:# 选中 txt 文件路径

self.savepath = str(savePath[0])#进行赋值

  数据采集

  程序获取到url后,第一步就是访问url提取当前页面视频的cid参数(一串数字)

  

  使用cid参数构造存储视频弹幕的API接口,然后使用regular requests和bs4包实现text采集

  

  数据采集 部分代码:

  f = open(self.savepath, 'w+', encoding='utf-8') # 打开 txt 文件

res = requests.get(url)

res.encoding = 'utf-8'

soup = BeautifulSoup(res.text, 'lxml')

items = soup.find_all('d') # 找到 d 标签

for item in items:

text = item.text

f.write(text)

f.write('\n')

f.close()

  cid 参数不在常规 html 的标签上。提取的时候,我选择re正则匹配;但是这一步会消耗更多的机器内存。为了减少对UI界面响应速度的影响,这一步是单线程实现的

  class Parsetext(QThread):

trigger = pyqtSignal(str) # 信号发射;

def __init__(self,text,parent = None):

super(Parsetext,self).__init__()

self.text = text

def __del__(self):

self.wait()

def run(self):

print('解析 -----------{}'.format(self.text))

result_url = re.findall('.*?"baseUrl":"(.*?)","base_url".*?', self.text)[0]

self.trigger.emit(result_url)

  概括

  好了,以上就是本文文章的全部内容,希望对大家的工作学习有所帮助。

  最后,感谢大家的阅读,下期再见~

  源码获取

  关于本文文章使用的源码,可以关注微信公众号小张Python,后台回复关键词210217即可获取!

0 个评论

要回复文章请先登录注册


官方客服QQ群

微信人工客服

QQ人工客服


线