Python有许多强大的库用于爬虫，如beautifulsoup、requests等，本文将以网站https://www.xiurenji.cc/XiuRen/为例（慎点！！），讲解网络爬取图片的一般步骤。
为什么选择这个网站？其实与网站的内容无关。主要有两项技术层面的原因：①该网站的页面构造较有规律，适合新手对爬虫的技巧加强认识。②该网站没有反爬虫机制，可以放心使用爬虫。
第三方库需求
- beautifulsoup
- requests
步骤
打开网站，点击不同的页面：
发现其首页是https://www.xiurenji.cc/XiuRen/，而第二页是https://www.xiurenji.cc/XiuRen/index2.html，第三页第四页以此类推。为了爬虫代码的普适性，我们不妨从第二页以后进行构造url。
选中封面图片，点击检查：
可以发现，图片的信息，都在'div',class_='dan'里，而链接又在a标签下的href里。据此我们可以写一段代码提取出每一个封面图片的url：
def getFirstPage(page):
url='https://www.xiurenji.cc/XiuRen/index'+str(page)+'.html'#获得网站每一个首页的网址
res=requests.get(url)#发送请求
res.encoding="gbk"#设置编码方式为gbk
html=res.text
soup=BeautifulSoup(html,features='lxml')
lists=soup.find_all('div',class_='dan')#找到储存每一个封面图片的标签值
urls=[]
for item in lists:
url1=item.find('a').get('href')#寻找每一个封面对应的网址
urls.append('https://www.xiurenji.cc'+url1)#在列表的尾部添加一个元素，达到扩充列表的目的，注意要把网址扩充完整
return urls#返回该主页每一个封面对应的网址
点击封面图片，打开不同的页面，可以发现，首页的网址是https://www.xiurenji.cc/XiuRen/xxxx.html，而第二页的网址是https://www.xiurenji.cc/XiuRen/xxxx_1.html，第三第四页同理。同样为了普适性，我们从第二页开始爬取。
右键，点击“检查”：
可以发现所有的图片信息都储存在'div',class_='img'中，链接、标题分别在img标签中的src和alt中，我们同样也可以将它们提取出来。
def getFirstPage(page):
url='https://www.xiurenji.cc/XiuRen/index'+str(page)+'.html'#获得网站每一个首页的网址
res=requests.get(url)#发送请求
res.encoding="gbk"#设置编码方式为gbk
html=res.text
soup=BeautifulSoup(html,features='lxml')
lists=soup.find_all('div',class_='dan')#找到储存每一个封面图片的标签值
urls=[]
for item in lists:
url1=item.find('a').get('href')#寻找每一个封面对应的网址
urls.append('https://www.xiurenji.cc'+url1)#在列表的尾部添加一个元素，达到扩充列表的目的，注意要把网址扩充完整
return urls#返回该主页每一个封面对应的网址
完整代码
import requests
from bs4 import BeautifulSoup
def getFirstPage(page):
url='https://www.xiurenji.cc/XiuRen/index'+str(page)+'.html'#获得网站每一个首页的网址
res=requests.get(url)#发送请求
res.encoding="gbk"#设置编码方式为gbk
html=res.text
soup=BeautifulSoup(html,features='lxml')
lists=soup.find_all('div',class_='dan')#找到储存每一个封面图片的标签值
urls=[]
for item in lists:
url1=item.find('a').get('href')#寻找每一个封面对应的网址
urls.append('https://www.xiurenji.cc'+url1)#在列表的尾部添加一个元素，达到扩充列表的目的，注意要把网址扩充完整
return urls#返回该主页每一个封面对应的网址
def download(urls):
for url1 in urls:
print("prepare to download pictures in "+url1)
getEveryPage(url1)#下载页面内的图片
print("all pictures in "+url1+"are downloaded")
def getEveryPage(url1):
total=0#total的作用：对属于每一个封面内的图片一次编号
for n in range (1,11):#每一个封面对应下载10张图，可自行调整
temp=url1.replace('.html','')
url2=temp+'_'+str(n)+'.html'#获得每一内部页面的网址
res=requests.get(url2)
res.encoding="gbk"
html=res.text
soup=BeautifulSoup(html,features='lxml')
lists1=soup.find_all('div',class_='img')#储存图片的路径
for item in lists1:
url=item.find('img').get('src')
title=item.find('img').get('alt')#获取图片及其标题
picurl='https://www.xiurenji.cc'+url#获取完整的图片标题
picture=requests.get(picurl).content#下载图片
address='D:\pythonimages'+'\\'#自定义保存图片的路径
with open(address+title+str(total)+'.jpg','wb') as file:#保存图片
print("downloading"+title+str(total))
total=total+1
file.write(picture)
if __name__ == "__main__":
page=int(input('input the page you want:'))
urls=getFirstPage(page)
download(urls)
本文仅供学习参考，切勿用作其他用途！
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。