在上次的爬虫中，抓取的数据主要用到的是第三方的Beautifulsoup库，然后对每一个具体的数据在网页中的selecter来找到它，每一个类别便有一个select方法。对网页有过接触的都知道很多有用的数据都放在一个共同的父节点上，只是其子节点不同。在上次爬虫中，每一类数据都要从其父类（包括其父节点的父节点）上往下寻找ROI数据所在的子节点，这样就会使爬虫很臃肿，因为很多数据有相同的父节点，每次都要重复的找到这个父节点。这样的爬虫效率很低。
因此，笔者在上次的基础上，改进了一下爬取的策略，笔者以实例来描述。
如图，笔者此次爬取的是百度音乐的页面，所爬取的类容是上面榜单下的所有内容（歌曲名，歌手，排名）。如果按照上次的爬虫的方法便要写上三个select方法，分别抓取歌曲名，歌手，排名，但笔者观察得知这三项数据皆放在一个li标签内，如图：
这样我们是不是直接抓取ul标签，再分析其中的数据便可得到全部数据了？答案是，当然可以。
但Beaufulsoup不能直接提供这样的方法，但Python无所不能，python里面自带的re模块是我见过最迷人的模块之一。它能在字符串中找到我们让我们roi的区域，上述的li标签中包含了我们需要的歌曲名，歌手，排名数据，我们只需要在li标签中通过re.findall()方法，便可找到我们需要的数据。这样就能够大大提升我们爬虫的效率。
我们先来直接分析代码：
def parse_one_page(html):
soup = BeautifulSoup(html, 'lxml')
data = soup.select('div.ranklist-wrapper.clearfix div.bd ul.song-list li')
pattern1 = re.compile(r'<li.*"index">(.*"(.*".*"(.*".*"index">(.*"(.*".*"_blank">(.*"htmlcode">
import requests
from bs4 import BeautifulSoup
import re
def get_one_page(url):
wb_data = requests.get(url)
wb_data.encoding = wb_data.apparent_encoding
if wb_data.status_code == 200:
return wb_data.text
else:
return None
def parse_one_page(html):
soup = BeautifulSoup(html, 'lxml')
data = soup.select('div.ranklist-wrapper.clearfix div.bd ul.song-list li')
pattern1 = re.compile(r'<li.*"index">(.*"(.*".*"(.*".*"index">(.*"(.*".*"_blank">(.*"text-align: center">
好了，笔者今天就到这里了。希望喜欢python的萌新能够快速实现自己的spider，也希望一些大神们能够看到这篇文章时不吝赐教。
以上这篇python爬虫之爬取百度音乐的实现方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
python,爬取,百度音乐
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。