最近因为剧荒，老大追了爱奇艺的一部网剧，由丁墨的同名小说《美人为馅》改编，目前已经放出两季，虽然整部剧槽点满满，但是老大看得不亦乐乎，并且在看完第二季之后跟我要小说资源，直接要奔原著去看结局……
随手搜了下，都是在线资源，下载的话需要登录，注册登录好麻烦，写个爬虫玩玩也好，于是动手用 node 写了一个，这里做下笔记
工作流程
- 获取 URLs 列表(请求资源
request模块) - 根据 URLs 列表获取相关页面源码(可能遇到页面编码问题，
iconv-lite模块) - 源码解析，获取小说信息(
cheerio模块) - 保存小说信息到 Markdown 文件，并且加适当修饰以及章节信息(写文件
fs、同步请求资源sync-request模块) - Markdown 转 PDF (使用 Pandoc 或者 Chrome 的打印功能)
获取 URLs
根据小说的导航页，获取小说所有章节的 URL，并且以 JSON 数组的方式存储。
- 首选通过
http.get()方法获取页面源码 - 获取到源码，打印发现中文乱码，查看发现
charset = 'gbk'，需要进行转码 - 使用
iconv-lite模块进行转码，中文显示正常后开始解析源码，获取需要的 URL，为了更方便地解析，需要引进cheerio模块，cheerio可以理解为运行在后台的 jQuery，用法与 jQuery 也十分相似，熟悉 jQuery 的同学可以很快的上手 - 将源码加载进
cheerio，分析了源码后得知所有章节信息都存于被div包裹的a标签中，通过cheerio取出符合条件的a标签组，进行遍历，获取章节的 title 和 URL，保存为对象，存进数组，(因为链接中存储的 URL 不完整，所以存储时需要补齐) - 将对象数组序列化，写进
list.json文件
var http = require("http")
var fs = require("fs")
var cheerio = require("cheerio")
var iconv = require("iconv-lite")
var url = 'http://www.17fa.com/files/article/html/90/90747/index.html'
http.get(url, function(res) { //资源请求
var chunks = []
res.on('data', function(chunk) {
chunks.push(chunk)
})
res.on('end', function() {
var html = iconv.decode(Buffer.concat(chunks), 'gb2312') //转码操作
var $ = cheerio.load(html, {
decodeEntities: false
})
var content = $("tbody")
var links = []
$('div').children('a').each(function(i, elem) {
var link = new Object()
link.title = $(this).text()
link.link = 'http://www.17fa.com/files/article/html/90/90747/' + $(this).attr('href') //补齐 URL 信息
if (i > 5) {
links.push(link)
}
})
fs.writeFile("list.json", JSON.stringify(links), function(err) {
if (!err) {
console.log("写文件成功")
}
})
}).on('error', function() {
console.log("网页访问出错")
})
})
获取的列表示例
[{
"title": "3 法医司白",
"link": "http://www.17fa.com/files/article/html/90/90747/16548771.html"
}, {
"title": "4 第1个梦 ",
"link": "http://www.17fa.com/files/article/html/90/90747/16548772.html"
}, {
"title": "5 刑警韩沉 ",
"link": "http://www.17fa.com/files/article/html/90/90747/16548773.html"
}, {
"title": "6 最初之战",
"link": "http://www.17fa.com/files/article/html/90/90747/16548774.html "
}]
获取数据
有了 URLs 列表，接下来的工作就很机械了，遍历 URLs 列表请求资源，获取源码，解析源码，获取小说，写文件，但是，因为最终将所有的章节保存入一个文件，要保证章节的顺序，因此写文件需要 同步操作，实际上，我在编码的时候所有的操作都改成了同步方式
获取源码
通过解析读取的 list.json 文件，获取到 URLs 列表，遍历列表获取资源，因为需要确保章节的顺序，所以这里引进 sync-request 模块进行同步 request 请求资源，请求资源后照例转码
var http = require("http")
var fs = require("fs")
var cheerio = require("cheerio")
var iconv = require("iconv-lite")
var request = require('sync-request')
var urlList = JSON.parse(fs.readFileSync('list.json', 'utf8'))
function getContent(chapter) {
var res = request('GET',chapter.link)
var html = iconv.decode(res.body, 'gb2312') //获取源码
}
for (let i = 0; i < urlList.length; i++) {
getContent(urlList[i])
}
解析源码，获取小说
还是通过 cheerio 模块获取小说内容，避免影响观感，写操作之前去除内容中的的 html 标签
function getContent(chapter) {
var res = request('GET',chapter.link)
var html = iconv.decode(res.body, 'gb2312')
var $ = cheerio.load(html, {
decodeEntities: false
})
var content = ($("div#r1c").text()).replace(/\ /g, '')
}
保存小说
写操作也需要同步操作，因此使用了同步写函数 fs.writeFileSync() 和 同步添加函数 fs.appendFileSync()，第一次写使用写函数，之后的内容都是进行 append 操作，为了改善阅读体验，每个章节前添加标题
也可以在内容前添加 拍 [TOC]，作为导航链接
var http = require("http")
var fs = require("fs")
var cheerio = require("cheerio")
var iconv = require("iconv-lite")
var path = require('path')
var urlList = JSON.parse(fs.readFileSync('list.json', 'utf8'))
function getContent(chapter) {
console.log(chapter.link)
http.get(chapter.link, function(res) {
var chunks = []
res.on('data', function(chunk) {
chunks.push(chunk)
})
res.on('end', function() {
var html = iconv.decode(Buffer.concat(chunks), 'gb2312')
var $ = cheerio.load(html, {
decodeEntities: false
})
var content = ($("div#r1c").text()).replace(/\ /g, '')
if (fs.existsSync('美人为馅.md')) {
fs.appendFileSync('美人为馅.md', '### ' + chapter.title)
fs.appendFileSync('美人为馅.md', content)
} else {
fs.writeFileSync('美人为馅.md', '### ' + chapter.title)
fs.appendFileSync('美人为馅.md', content)
}
})
}).on('error', function() {
console.log("爬取" + chapter.link + "链接出错！")
})
}
for (let i = 0; i < urlList.length; i++) {
console.log(urlList[i])
getContent(urlList[i])
}
Markdown 转 PDF
我将小说保存在 Markdown 文件中，为了提升阅读体验，可以将 Markdown 文件转换成 PDF 文件，目前我较为喜欢的两种方式，通过 Chrome 的打印功能 以及 pandoc 转换
Chrome 打印
SublimeText 有个插件 markdown preview ，可通过 Alt + m 快捷键在 Chrome 中预览 Markdown，在 Chrome 页面中右键，选择打印，调整好参数后，选择另存为 PDF，简单，粗暴，深得我心
打印效果：
pandoc 转换
pandoc 是十分强大的文件格式转换工具，可以将 Markdown 文件转换成多种格式，今晚在 windows10 下折腾了半天，始终检索不到 pdflatex，关于 pandoc，后面会专门写一篇总结。
PDF 已经发给老大了，现在正在看
关于python、node、爬虫
在之前很长的一段时间里，很想用 Python，很想写爬虫，更想用 Python 写爬虫，甚至成为了心里的一块执念，随着接触的知识更全面，执念也逐渐淡去，少了很多“想”，遇事想着多去动手，实践出真知。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
3月27日消息，苹果宣布2024年全球开发者大会（WWDC）将于6月10日至6月14日举行，巧合的是，这次大会与端午假期重合。
苹果官方表示：
在线参加 Apple 每年规模最大的开发者盛会。亲眼见证 Apple 最新平台、技术和工具的发布。了解如何创建和改进你的 App 和游戏。与 Apple 设计师和工程师互动交流，与全球开发者社区建立联系。以上活动均免费在线举行。
探索各种新的工具、框架和功能，助力你打造出理想的 App 和游戏。通过视频讲座学习新技能，与 Apple 专家进行一对一会面，以推进你的项目，完善你的构思。
Swift Student Challenge 旨在支持和鼓舞下一代开发者、创作者和企业家。太平洋时间 3 月 28 日，我们将公布今年的获奖者名单。获奖者将有资格参加在 Apple Park 举办的特别活动。我们还会选出 50 名杰出获胜者，他们将受邀前往库比提诺，获得为期三天的非凡体验，包括参加 Apple Park 的特别活动。
RTX 5090要首发 性能要翻倍！三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB，每个模块容量为2GB。其速度预设为32 Gbps（PAM3），但也可以降至28 Gbps，以提高产量和初始阶段的整体性能和成本效益。
据三星表示，GDDR7内存的能效将提高20%，同时工作电压仅为1.1V，低于标准的1.2V。通过采用更新的封装材料和优化的电路设计，使得在高速运行时的发热量降低，GDDR7的热阻比GDDR6降低了70%。