python有许多库可以让我们很方便地编写网络爬虫，爬取某些页面，获得有价值的信息！但许多时候，爬虫取到的页面仅仅是一个静态的页面，即网页 的源代码，就像在浏览器上的“查看网页源代码”一样。一些动态的东西如javascript脚本执行后所产生的信息，是抓取不到的，这里暂且先给出这么一 些方案，可用于python爬取js执行后输出的信息。
1、两种基本的解决方案
1.1 用dryscrape库动态抓取页面
js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这个引擎，dryscrape便是其中之一，它调用webkit引擎来处理包含js等的网页！
import dryscrape # 使用dryscrape库 动态抓取页面 def get_url_dynamic(url): session_req=dryscrape.Session() session_req.visit(url) #请求页面 response=session_req.body() #网页的文本 #print(response) return response get_text_line(get_url_dynamic(url)) #将输出一条文本
这里对于其余包含js的网页也是适用的！虽然可以满足抓取动态页面的要求，但缺点还是很明显的：慢！太慢了，其实想一想也合理，python调用 webkit请求页面，而且等页面加载完，载入js文件，让js执行，将执行后的页面返回，慢一点也是应该的！除外还有很多库可以调用 webkit：PythonWebkit，PyWebKitGit，Pygt（可以用它写个浏览器），pyjamas等等，听说它们也可以实现相同的功能！
1.2 selenium web测试框架
selenium是一个web测试框架，它允许调用本地的浏览器引擎发送网页请求，所以，它同样可以实现抓取页面的要求。
# 使用 selenium webdriver 可行，但会实时打开浏览器窗口
def get_url_dynamic2(url): driver=webdriver.Firefox() #调用本地的火狐浏览器，Chrom 甚至 Ie 也可以的 driver.get(url) #请求页面，会打开一个浏览器窗口 html_text=driver.page_source driver.quit() #print html_text return html_text get_text_line(get_url_dynamic2(url)) #将输出一条文本
这也不失为一条临时的解决方案！与selenium类似的框架还有一个windmill，感觉稍复杂一些，就不再赘述！
2、selenium的安装与使用
2.1 selenium的安装
在Ubuntu上安装可以直接使用pip install selenium。由于以下原因：
1. selenium 3.x开始，webdriver/firefox/webdriver.py的__init__中，executable_path="geckodriver"；而2.x是executable_path="wires"
2. firefox 47以上版本，需要下载第三方driver，即geckodriver
还需要一些特殊操作：
1. 下载 geckodriverckod 地址：
mozilla/geckodriver
2. 解压后将geckodriverckod 存放至 /usr/local/bin/ 路径下即可：
sudo mv ～/Downloads/geckodriver /usr/local/bin/
2.2 selenium的使用
1. 运行报错：
driver = webdriver.chrome() TypeError: 'module' object is not callable
解决方案：浏览器的名称需要大写Chrome和Firefox，Ie
2. 通过
content = driver.find_element_by_class_name('content')
来定位元素时，该方法返回的是FirefoxWebElement，想要获取包含的值时，可以通过
value = content.text
python,动态网站
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。