怎么样获取音乐播放代码

大家好,来来为大家解答以下问题,怎么样获取音乐播放代码很多人还不知道,现在让我们一起来看看吧!

怎么样获取音乐播放代码

BeautifulSoup库

虽然说XPath比正则表达式用起来方便,但是没有最方便,只有更方便。我们的BeautifulSoup库就能做到更方便的爬取想要的东西。

安装BeautifulSoup库

使用之前,还是老规矩,先安装BeautifulSoup库,指令如下:

pip install beautifulsoup4

其中文开发文档:

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html

BeautifulSoup库简介

BeautifulSoup库是一个强大的Python语言的XML和HTML解析库。它提供了一些简单的函数来处理导航、搜索、修改分析树等功能。

BeautifulSoup库还能自动将输入的文档转换为Unicode编码,输出文档转换为UTF-8编码。

所以,在使用BeautifulSoup库的过程中,不需要开发中考虑编码的问题,除非你解析的文档,本身就没有指定编码方式,这才需要开发中进行编码处理。

下面,我们来详细介绍BeautifulSoup库的使用规则。

选择解释器

下面,我们来详细介绍BeautifulSoup库的重点知识。

首先,BeautifulSoup库中一个重要的概念就是选择解释器。因为其底层依赖的全是这些解释器,我们有必要认识一下。博主专门列出了一个表格:

解释器

使用方式

优点

缺点

Python标准库

BeautifulSoup(code,u0026#39;html.parseru0026#39;)

Python的内置标准库,执行速度适中,容错能力强

Python2.7.3以及Python3.2.2之前的版本容错能力差

lxml HTML解析器

BeautifulSoup(code,u0026#39;lxmlu0026#39;)

解析速度快,容错能力强

需要安装C语言库

lxml XML解析器

BeautifulSoup(code,u0026#39;xmlu0026#39;)

解析速度快,唯一支持XML的解析器

需要安装C语言库

html5lib

BeautifulSoup(code,u0026#39;html5libu0026#39;)

最好的容错性,以浏览器的方式解析文档,生成HTML5格式的文档

解析速度慢

从上面表格观察,我们一般爬虫使用lxml HTML解析器即可,不仅速度快,而且兼容性强大,只是需要安装C语言库这一个缺点(不能叫缺点,应该叫麻烦)。

基础用法

要使用BeautifulSoup库,需要和其他库一样进行导入,但你虽然安装的是beautifulsoup4,但导入的名称并不是beautifulsoup4,而是bs4。用法如下:

from bs4 import BeautifulSoupsoup = BeautifulSoup(u0026#39;u0026lt;h1u0026gt;Hello Worldu0026lt;/h1u0026gt;u0026#39;, u0026#39;lxmlu0026#39;)print(soup.h1.string)

运行之后,输出文本如下:

怎么样获取音乐播放代码

节点选择器

基础的用法很简单,这里不在赘述。从现在开始,我们来详细学习BeautifulSoup库的所有重要知识点,第一个就是节点选择器。

所谓节点选择器,就是直接通过节点的名称选择节点,然后再用string属性就可以得到节点内的文本,这种方式获取最快。

比如,基础用法中,我们使用h1直接获取了h1节点,然后通过h1.string即可得到它的文本。但这种用法有一个明显的缺点,就是层次复杂不适合。

所以,我们在使用节点选择器之前,需要将文档缩小。比如一个文档很多很大,但我们获取的内容只在id为blog的figure中,那么我们先获取这个figure,再在figure内部使用节点选择器就非常合适了。

HTML示例代码:

u0026lt;!DOCTYPE htmlu0026gt;u0026lt;htmlu0026gt;u0026lt;head lang="en"u0026gt;u0026lt;meta charset="utf-8"u0026gt;u0026lt;titleu0026gt;我是一个测试页面u0026lt;/titleu0026gt;u0026lt;/headu0026gt;u0026lt;bodyu0026gt;u0026lt;ul class="ul"u0026gt;  u0026lt;li class="li1"u0026gt;u0026lt;a href="https://liyuanjinglyj.blog.csdn.net/"u0026gt;我的主页u0026lt;/au0026gt;u0026lt;/liu0026gt;  u0026lt;li class="li2"u0026gt;u0026lt;a href="https://www.csdn.net/"u0026gt;CSDN首页u0026lt;/au0026gt;u0026lt;/liu0026gt;  u0026lt;li class="li3"u0026gt;u0026lt;a href="https://www.csdn.net/nav/python" class="aaa"u0026gt;Python板块u0026lt;/au0026gt;u0026lt;/liu0026gt;u0026lt;/ulu0026gt;u0026lt;/bodyu0026gt;u0026lt;/htmlu0026gt;

下面的一些示例,我们还是使用这个HTML代码进行节点选择器的讲解。

获取节点名称属性内容

这里,我们先来教会大家如何获取节点的名称属性以及内容,示例如下:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html, u0026#39;lxmlu0026#39;)# 获取节点的名称print(soup.title.name)# 获取节点的属性print(soup.meta.attrs)print(soup.meta.attrs[u0026#39;charsetu0026#39;])# 获取节点的内容(如果文档有多个相同属性,默认获取第一个)print(soup.a.string)# 也可以一层一层的套下去print(soup.body.ul.li.a.string)

运行之后,效果如下:

怎么样获取音乐播放代码

这里的注释代码都很详细,就不在赘述。

获取所有子节点

一般来说一个节点的子节点有可能很多,通过上面的方式获取,只能得到第一个。如果要获取一个标签的所有子节点,这里有2种方式。先来看代码:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html, u0026#39;lxmlu0026#39;)# 获取直接子节点print("获取直接子节点")contents = soup.head.contentsprint(contents)for content in contents:    print(content)children = soup.head.childrenprint(children)for child in children:    print(child)

运行之后,效果如下:

怎么样获取音乐播放代码

如上面代码所示,我们有2种方式获取所有子节点,一种是通过contents属性,一种是通过children属性,2者遍历的结果都是一样的。

但需要特别注意,这里获取所有子节点,它是把换行符一起算进去了,所以你会看到控制台输出了很多空行。所以,在实际的爬虫中,遍历之时一定要删除这些空行。

获取所有子孙节点

既然能获取直接子节点,那么获取所有子孙节点也是肯定可以的。BeautifulSoup库给我们提供了descendants属性获取子孙节点,示例如下:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html, u0026#39;lxmlu0026#39;)# 获取ul的所有子孙节点print(u0026#39;获取ul的所有子孙节点u0026#39;)lis = soup.body.ul.descendantsprint(lis)for li in lis:    print(li)

运行之后,效果如下:

怎么样获取音乐播放代码

同样的,descendants获取子孙节点也算入了换行符。而且需要特别注意的是,descendants属性把文本内容本身也算作子孙节点。

父节点与兄弟节点

同样的,在实际的爬虫程序中,我们有时候也需要通过逆向查找父节点,或者查找兄弟节点。

BeautifulSoup库,给我们提供了parent属性获取父节点,同时提供了next_sibling属性获取当前节点的下一个兄弟节点,previous_sibling属性获取上一个兄弟节点。

示例代码如下:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html, u0026#39;lxmlu0026#39;)# 获取第一个a标签的父亲节点的class属性print(soup.a.parent[u0026#39;classu0026#39;])li1 = soup.lili3 = li1.next_sibling.next_sibling.next_sibling.next_siblingli2 = li3.previous_sibling.previous_siblingprint(li1)print(li2)print(li3)for sibling in li3.previous_siblings:    print(sibling)

运行之后,效果如下:

怎么样获取音乐播放代码

前面已经提示了,节点选择器是把换行符‘n’也算一个节点,所以第一个li需要通过两个next_sibling才能获取到下一个li节点。同样的,上一个也是。其实还有一个更简单的方法,能避免这些换行符被统计在内,那就是在获取网页源代码的时候,直接去掉换行与空格即可。

方法选择器

对于节点选择器,博主已经介绍了相对于文本内容较少的完全可以这么做。但实际的爬虫爬的网址都是大量的数据,开始使用节点选择器就不合适了。所以,我们要考虑通过方法选择器进行先一步的处理。

find_all()方法

find_all()方法主要用于根据节点的名称、属性、文本内容等选择所有符合要求的节点。其完整的定义如下所示:

def find_all(self, name=None, attrs={}, recursive=True, text=None,                 limit=None, **kwargs):

参数

意义

name

指定节点名称

attrs

指定属性名称与值,比如查找value="text"的节点,attrs={"value":"text"}

recursive

布尔类型,值True查找子孙节点,值False直接子节点,默认为True

text

指定需要查找的文本

limit

因为find_all返回的是一个列表,所以可长可短,而limit与数据库语法类似,限制获取的数量。不设置返回所有

【实战】还是测试上面的HTML,我们获取name=a,attr={"class":"aaa"},并且文本等于text="Python板块"板块的节点。

示例代码如下所示:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html.strip(), u0026#39;lxmlu0026#39;)a_list = soup.find_all(name=u0026#39;au0026#39;, attrs={"class": u0026#39;aaau0026#39;}, text=u0026#39;Python板块u0026#39;)for a in a_list:    print(a)

运行之后,效果如下所示:

怎么样获取音乐播放代码

find()方法

find()与find_all()仅差一个all,但结果却有2点不同:

1.find()只查找符合条件的第一个节点,而find_all()是查找符合条件的所有节点2.find()方法返回的是bs4.element.Tag对象,而find_all()返回的是bs4.element.ResultSet对象

下面,我们来查找上面HTML中的a标签,看看返回结果有何不同,示例如下:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html.strip(), u0026#39;lxmlu0026#39;)a_list = soup.find_all(name=u0026#39;au0026#39;)print("find_all()方法")for a in a_list:    print(a)print("find()方法")a = soup.find(name=u0026#39;au0026#39;)print(a)

运行之后,效果如下:

怎么样获取音乐播放代码

CSS选择器

首先,我们来了解一下CSS选择器的规则:

1..classname:选取样式名为classname的节点,也就是class属性值是classname的节点2.#idname:选取id属性为idname的节点3.nodename:选取节点名为nodename的节点

一般来说,在BeautifulSoup库中,我们使用函数select()进行CSS选择器的操作。示例如下:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html.strip(), u0026#39;lxmlu0026#39;)li = soup.select(u0026#39;.li1u0026#39;)print(li)

这里,我们选择class等于li1的节点。运行之后,效果如下:

怎么样获取音乐播放代码

嵌套选择节点

因为,我们需要实现嵌套CSS选择器的用法,但上面的HTML不合适。这里,我们略作修改,仅仅更改u0026lt;ulu0026gt;标签内的代码。

u0026lt;ul class="ul"u0026gt;  u0026lt;li class="li"u0026gt;u0026lt;a href="https://liyuanjinglyj.blog.csdn.net/"u0026gt;我的主页u0026lt;/au0026gt;u0026lt;/liu0026gt;  u0026lt;li class="li"u0026gt;u0026lt;a href="https://www.csdn.net/"u0026gt;CSDN首页u0026lt;/au0026gt;u0026lt;/liu0026gt;  u0026lt;li class="li"u0026gt;u0026lt;a href="https://www.csdn.net/nav/python" class="aaa"u0026gt;Python板块u0026lt;/au0026gt;u0026lt;/ulu0026gt;

我们仅仅删除了li后面的数字,现在我们可以实现一个嵌套选择节点的效果了。示例代码如下所示:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html.strip(), u0026#39;lxmlu0026#39;)ul = soup.select(u0026#39;.ulu0026#39;)for tag in ul:    a_list = tag.select(u0026#39;au0026#39;)    for a in a_list:        print(a)

运行之后,效果如下:

怎么样获取音乐播放代码

获取属性与文本

我们再次将上面的代码改造一下,因为上面获取的标签,现在我们来获取其中的文本以及href属性的值,示例如下:

from bs4 import BeautifulSoupwith open(u0026#39;demo.htmlu0026#39;, u0026#39;ru0026#39;, encoding=u0026#39;utf-8u0026#39;) as f:    html = f.read()soup = BeautifulSoup(html.strip(), u0026#39;lxmlu0026#39;)ul = soup.select(u0026#39;.ulu0026#39;)for tag in ul:    a_list = tag.select(u0026#39;au0026#39;)    for a in a_list:        print(a[u0026#39;hrefu0026#39;], a.get_text())

运行之后,效果如下:

怎么样获取音乐播放代码

可以看到,我们通过[u0026#39;属性名u0026#39;]进行属性值的获取,通过get_text()获取文本。

通过浏览器直接Copy-CSS选择器

与XPath类似,我们可以直接通过F12浏览器进行Copy任何节点的CSS选择器代码。具体操作如下图所示:

怎么样获取音乐播放代码

怎么样获取音乐播放代码

copy之后,直接将上面复制的内容粘贴到select()方法中即可使用。

实战:抓取酷狗飙升榜榜单

上面基本上是BeautifulSoup库的全部用法,既然我们已经学习掌握了,不抓紧爬点什么,总感觉自己很亏,所以我们选择酷狗飙升榜榜单进行爬取。

怎么样获取音乐播放代码

如上图所示,我们的榜单信息全在id="rankWrap"的figure标签下的ul之中。所以,首先我们必须获取ul。示例代码如下:

from bs4 import BeautifulSoupimport requestsurl = "https://www.kugou.com/yy/html/rank.html"headers = {    u0026#39;user-agentu0026#39;: u0026#39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36u0026#39;}result = requests.get(url=url, headers=headers)print(result.text)soup = BeautifulSoup(result.text.strip(), u0026#39;lxmlu0026#39;)ul = soup.select(u0026#39;#rankWrap u0026gt; figure.pc_temp_songlist.pc_rank_songlist_short u0026gt; ulu0026#39;)print(tbody)

获取ul之后,我们就可以在获取其中的所有li节点信息,然后分解li的标签,获取重要的歌曲作者,歌曲名称等。不过,我们先来分析网页li内部代码:

怎么样获取音乐播放代码

可以看到,我们要的歌曲名称与作者就在li的title属性中,而歌曲的网页链接在li下,第4个span的标签下的a节点的href属性之中(也可以直接就是第一个a标签之中)。知道这些之后,我们可以完善代码了。

from bs4 import BeautifulSoupimport requestsurl = "https://www.kugou.com/yy/html/rank.html"headers = {    u0026#39;user-agentu0026#39;: u0026#39;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36u0026#39;}result = requests.get(url=url, headers=headers)soup = BeautifulSoup(result.text.strip(), u0026#39;lxmlu0026#39;)ul = soup.select(u0026#39;#rankWrap u0026gt; figure.pc_temp_songlist.pc_rank_songlist_short u0026gt; ulu0026#39;)lis = ul[0].select(u0026#39;liu0026#39;)for li in lis:    print("歌曲名称与歌曲作者:", li[u0026#39;titleu0026#39;])    print("歌曲链接:", li.find(u0026#39;au0026#39;)[u0026#39;hrefu0026#39;])

如上面代码所示,我们只用了不到14行代码,就可以爬取酷狗音乐的飙升榜单,BeautifulSoup库是不是非常的强大呢?

怎么样获取音乐播放代码

本文到此结束,希望对大家有所帮助。

晋琳美微信号:晋琳美扫描二维码关注公众号
爱八卦,爱爆料。

小编推荐

  1. 1 征信个人信用查询官网(征信中心个人信用查询网站)

    大家好,小丽今天来为大家解答征信个人信用查询官网以下问题,征信中心个人信用查询网站很多人还不知道,现在让我们一起来看看吧!1、请您登

  2. 2 机械原理课件(机械原理课件免费)

    大家好,小美今天来为大家解答机械原理课件以下问题,机械原理课件免费很多人还不知道,现在让我们一起来看看吧!1、机械原理课件的学习方法

  3. 3 高尔夫球尺寸(高尔夫球尺寸直径)

    大家好,小丽今天来为大家解答高尔夫球尺寸以下问题,高尔夫球尺寸直径很多人还不知道,现在让我们一起来看看吧!1、高尔夫球的直径不得小于

  4. 4 京剧大师(京剧大师马连良)

    大家好,小伟今天来为大家解答京剧大师以下问题,京剧大师马连良很多人还不知道,现在让我们一起来看看吧!1、王吟秋,程砚秋嫡传弟子。2、艾

  5. 5 北安吧百度贴吧北安新闻(北安咋样)

    大家好,小娟今天来为大家解答北安吧百度贴吧北安新闻以下问题,北安咋样很多人还不知道,现在让我们一起来看看吧!1、北安新闻在腾讯视频看

  6. 6 仍然的意思是什么(仍然什么意思说明了什么)

    大家好,小美今天来为大家解答仍然的意思是什么以下问题,仍然什么意思说明了什么很多人还不知道,现在让我们一起来看看吧!1、词性 副词 基

  7. 7 青山不老多音字比记(《青山不老》多音字)

    大家好,小乐今天来为大家解答青山不老多音字比记以下问题,《青山不老》多音字很多人还不知道,现在让我们一起来看看吧!1、《青山不老》一

  8. 8 一二三四级标题格式字体字号(word一二三四级标题格式范文)

    大家好,小豪今天来为大家解答一二三四级标题格式字体字号以下问题,word一二三四级标题格式范文很多人还不知道,现在让我们一起来看看吧!

Copyright 2024 看看网,让大家及时掌握各行各业第一手资讯新闻!