本文环境是python3,采用的是urllib,BeautifulSoup搭建。
说下思路，这个项目分为管理器，url管理器，下载器，解析器，html文件生产器。各司其职，在管理器进行调度。最后将解析到的种子连接生产html文件显示。当然也可以保存在文件。最后效果如图。
首先在管理器SpiderMain()这个类的构造方法里初始化下载器，解析器，html生产器。代码如下。
def__init__(self): self.urls = url_manager.UrlManager() self.downloader = html_downloader.HtmlDownloader() self.parser = html_parser.HtmlParser() self.outputer = html_outputer.HtmlOutputer()
然后在主方法里写入主连接并开始下载解析和输出。
if __name__ == '__main__': url = "http://www.btany.com/search/桃谷绘里香-first-asc-1" # 解决中文搜索问题 对于：？=不进行转义 root_url = quote(url,safe='/:"htmlcode">def parser(self, root_url): html = self.downloader.download(root_url) datas = self.parser.parserTwo(html) self.outputer.output_html3(datas)downloader下载器代码如下：
def download(self, chaper_url): if chaper_url is None: return None headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0'} req = urllib.request.Request(url=chaper_url, headers=headers) response = urllib.request.urlopen(req) if response.getcode() != 200: return None return response.read()headers是模仿浏览器的请求头。不然下载不到html文件。
解析器代码如下：
# 解析种子文件 def parserTwo(self,html): if html is None: return soup = BeautifulSoup(html,'html.parser',from_encoding='utf-8') res_datas = self._get_data(soup) return res_datas # 将种子文件的标题，磁力链接和迅雷链接进行封装 def _get_data(self,soup): res_datas = [] all_data = soup.findAll('a',href=re.compile(r"/detail")) all_data2 = soup.findAll('a', href=re.compile(r"magnet")) all_data3 = soup.findAll('a',href=re.compile(r"thunder")) for i in range(len(all_data)): res_data = {} res_data['title'] = all_data[i].get_text() res_data['cl'] = all_data2[i].get('href') res_data['xl'] = all_data3[i].get('href') res_datas.append(res_data) return res_datas通过分析爬下来的html文件,种子链接在a标签下。然后提取magnet和thunder下的链接。
最后输出器输出html文件，代码如下：
def __init__(self): self.datas = [] def collect_data(self, data): if data is None: return self.datas.append(data) #输出表单 def output_html3(self,datas): fout = open('output.html', 'w', encoding="utf-8") fout.write("<html>") fout.write("<head><meta http-equiv=\"content-type\" content=\"text/html;charset=utf-8\"></head>") fout.write("<body>") fout.write("<table border = 1>") for data in datas: fout.write("<tr>") fout.write("<td>%s</td>" % data['title']) fout.write("<td>%s</td>" % data['cl']) fout.write("<td>%s</td>" % data['xl']) fout.write("</tr>") fout.write("</table>") fout.write("</body>") fout.write("</html>") fout.close()
项目就结束了。源代码已上传，链接https://github.com/Ahuanghaifeng/python3-torrent，觉得有用请在github上给个star，您的鼓励将是作者创作的动力。
以上这篇python3爬取torrent种子链接实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。