本文实例讲述了Python多进程方式抓取基金网站内容的方法。分享给大家供大家参考，具体如下：
在前面这篇//www.jb51.net/article/162418.htm我们已经简单了解了”python的多进程”，现在我们需要把抓取基金网站(28页)内容写成多进程的方式。
因为进程也不是越多越好，我们计划分3个进程执行。意思就是 ：把总共要抓取的28页分成三部分。
怎么分呢？
# 初始range r = range(1,29) # 步长 step = 10 myList = [r[x:x+step] for x in range(0,len(r),step)] print(myList) # [range(1, 11), range(11, 21), range(21, 29)]
看上面代码，我们就把1~29分成了三部分，list里三个range。
2、还记得我们抓取基金网站内容的getData()函数？
def getData(start, end):
for x in range(start, end+1):
# 去第几页 输入框
tonum = driver.find_element_by_id("tonum")
# 去第几页 提交按钮
jumpBtn = driver.find_element_by_id("btn_jump")
tonum.clear() # 第x页 输入框
tonum.send_keys(str(x)) # 去第x页
jumpBtn.click() # 点击按钮
WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) .get_attribute("class").find("at") != -1)
# 保存抓取到的html内容
# 保存到html目录下
with open("./htmls/{0}.txt".format(x),"wb") as f:
f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))
f.close()
函数是有2个参数：一个开始页码，一个结束页码，也就是从第start页，到第end页。
这2个参数实际上也是range。
改造getData()函数如下（参数不同了）：
# 循环抓取网页内容的函数
def getData(myrange):
for x in myrange:
# 去第几页 输入框
tonum = driver.find_element_by_id("tonum")
# 去第几页 提交按钮
jumpBtn = driver.find_element_by_id("btn_jump")
tonum.clear() # 第x页 输入框
tonum.send_keys(str(x)) # 去第x页
jumpBtn.click() # 点击按钮
WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) .get_attribute("class").find("at") != -1)
# 保存抓取到的html内容
# 保存到html目录下
with open("./htmls/{0}.txt".format(x),"wb") as f:
f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))
f.close()
3、创建进程，把target设置为上面的getData()：
# 初始range
r = range(1,int(total_page)+1)
# 步长
step = 10
myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段
# 创建进程
processList = []
if __name__ == "__main__":
for r in myList:
p = Process(target=getData,args=(r,))
processList.append(p)
# 开始执行进程
for p in processList:
p.start()
这样就有三个进程分别抓取。
4、多进程抓取基金网站多页内容完全代码：
# coding: utf-8
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions
from multiprocessing import Process
driver = webdriver.PhantomJS(executable_path=r"你phantomjs的可执行文件路径")
# 请求一个网址
driver.get("http://fund.eastmoney.com/fund.html")
page_text = driver.find_element_by_id("pager").find_element_by_xpath("span[@class='nv']").text
total_page = ''.join(filter(str.isdigit,page_text)) # 得到总共有多少页
# 循环抓取网页内容的函数
def getData(myrange):
for x in myrange:
# 去第几页 输入框
tonum = driver.find_element_by_id("tonum")
# 去第几页 提交按钮
jumpBtn = driver.find_element_by_id("btn_jump")
tonum.clear() # 第x页 输入框
tonum.send_keys(str(x)) # 去第x页
jumpBtn.click() # 点击按钮
WebDriverWait(driver, 20).until(lambda driver: driver.find_element_by_id("pager") .find_element_by_xpath("span[@value={0} and @class!='end page']".format(x)) .get_attribute("class").find("at") != -1)
# 保存抓取到的html内容
# 保存到html目录下
with open("./htmls/{0}.txt".format(x),"wb") as f:
f.write(driver.find_element_by_id("tableDiv").get_attribute("innerHTML").encode("utf8"))
f.close()
# 初始range
r = range(1,int(total_page)+1)
# 步长
step = 10
myList = [r[x:x+step] for x in range(0,len(r),step)] # 把页面分段
# 创建进程
processList = []
if __name__ == "__main__":
for r in myList:
p = Process(target=getData,args=(r,))
processList.append(p)
# 开始执行进程
for p in processList:
p.start()
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python进程与线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。