目标
嗯，我们知道搜索或浏览网站时会有很多精美、漂亮的图片。
我们下载的时候，得鼠标一个个下载，而且还翻页。
那么，有没有一种方法，可以使用非人工方式自动识别并下载图片。美美哒。
那么请使用python语言，构建一个抓取和下载网页图片的爬虫。
当然为了提高效率，我们同时采用多线程并行方式。
思路分析
Python有很多的第三方库，可以帮助我们实现各种各样的功能。问题在于，我们弄清楚我们需要什么：
1）http请求库，根据网站地址可以获取网页源代码。甚至可以下载图片写入磁盘。
2）解析网页源代码，识别图片连接地址。比如正则表达式，或者简易的第三方库。
3）支持构建多线程或线程池。
4）如果可能，需要伪造成浏览器，或绕过网站校验。（嗯，网站有可能会防着爬虫 ;-)）
5）如果可能，也需要自动创建目录，随机数、日期时间等相关内容。
如此，我们开始搞事情。O(∩_∩)O~
环境配置
操作系统：windows 或 linux 皆可
Python版本：Python3.6 ( not Python 2.x 哦)
第三方库
urllib.request
threading 或者 concurrent.futures 多线程或线程池（python3.2+）
re 正则表达式内置模块
os 操作系统内置模块
编码过程
我们分解一下过程。完整源代码在博文最终提供。
伪装为浏览器
import urllib.request
# ------ 伪装为浏览器 ---
def makeOpener(head={
'Connection': 'Keep-Alive',
'Accept': 'text/html, application/xhtml+xml, */*',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Connection': 'keep-alive',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0'
}):
cj = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
header = []
for key, value in head.items():
elem = (key, value)
header.append(elem)
opener.addheaders = header
return opener
获取网页源代码
# ------ 获取网页源代码 ---
# url 网页链接地址
def getHtml(url):
print('url='+url)
oper = makeOpener()
if oper is not None:
page = oper.open(url)
#print ('-----oper----')
else:
req=urllib.request.Request(url)
# 爬虫伪装浏览器
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:57.0) Gecko/20100101 Firefox/57.0')
page = urllib.request.urlopen(req)
html = page.read()
if collectHtmlEnabled: #是否采集html
with open('html.txt', 'wb') as f:
f.write(html) # 采集到本地文件，来分析
# ------ 修改html对象内的字符编码为UTF-8 ------
if chardetSupport:
cdt = chardet.detect(html)
charset = cdt['encoding'] #用chardet进行内容分析
else:
charset = 'utf8'
try:
result = html.decode(charset)
except:
result = html.decode('gbk')
return result
下载单个图片
# ------ 根据图片url下载图片 ------
# folderPath 定义图片存放的目录 imgUrl 一个图片的链接地址 index 索引，表示第几个图片
def downloadImg(folderPath, imgUrl, index):
# ------ 异常处理 ------
try:
imgContent = (urllib.request.urlopen(imgUrl)).read()
except urllib.error.URLError as e:
if printLogEnabled : print ('【错误】当前图片无法下载')
return False
except urllib.error.HTTPError as e:
if printLogEnabled : print ('【错误】当前图片下载异常')
return False
else:
imgeNameFromUrl = os.path.basename(imgUrl)
if printLogEnabled : print ('正在下载第'+str(index+1)+'张图片，图片地址:'+str(imgUrl))
# ------ IO处理 ------
isExists=os.path.exists(folderPath)
if not isExists: # 目录不存在，则创建
os.makedirs( folderPath )
#print ('创建目录')
# 图片名命名规则，随机字符串
imgName = imgeNameFromUrl
if len(imgeNameFromUrl) < 8:
imgName = random_str(4) + random_str(1,'123456789') + random_str(2,'0123456789')+"_" + imgeNameFromUrl
filename= folderPath + "\\"+str(imgName)+".jpg"
try:
with open(filename, 'wb') as f:
f.write(imgContent) # 写入本地磁盘
# if printLogEnabled : print ('下载完成第'+str(index+1)+'张图片')
except :
return False
return True
下载一批图片（多线程/线程池模式皆支持）
# ------ 批量下载图片 ------
# folderPath 定义图片存放的目录 imgList 多个图片的链接地址
def downloadImgList(folderPath, imgList):
index = 0
# print ('poolSupport='+str(poolSupport))
if not poolSupport:
#print ('多线程模式')
# ------ 多线程编程 ------
threads = []
for imgUrl in imgList:
# if printLogEnabled : print ('准备下载第'+str(index+1)+'张图片')
threads.append(threading.Thread(target=downloadImg,args=(folderPath,imgUrl,index,)))
index += 1
for t in threads:
t.setDaemon(True)
t.start()
t.join() #父线程，等待所有线程结束
if len(imgList) >0 : print ('下载结束，存放图片目录：' + str(folderPath))
else:
#print ('线程池模式')
# ------ 线程池编程 ------
futures = []
# 创建一个最大可容纳N个task的线程池 thePoolSize 为 全局变量
with concurrent.futures.ThreadPoolExecutor(max_workers=thePoolSize) as pool:
for imgUrl in imgList:
# if printLogEnabled : print ('准备下载第'+str(index+1)+'张图片')
futures.append(pool.submit(downloadImg, folderPath, imgUrl, index))
index += 1
result = concurrent.futures.wait(futures, timeout=None, return_when='ALL_COMPLETED')
suc = 0
for f in result.done:
if f.result(): suc +=1
print('下载结束，总数：'+str(len(imgList))+'，成功数：'+str(suc)+'，存放图片目录：' + str(folderPath))
调用例子
如百度贴吧为例
# ------ 下载百度帖子内所有图片 ------ # folderPath 定义图片存放的目录 url 百度贴吧链接 def downloadImgFromBaidutieba(folderPath='tieba', url='https://tieba.baidu.com/p/5256331871'): html = getHtml(url) # ------ 利用正则表达式匹配网页内容找到图片地址 ------ #reg = r'src="/UploadFiles/2021-04-08/(.*">效果
完整源码请见
我的github：https://github.com/SvenAugustus/PicDownloader-example
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。