Python爬取电子课本,送给居家上课的孩子们
在这个全民抗疫的电课日子,中小学生们也开启了居家上网课的本送生活。很多没借到书的家上孩子,不得不在网上看电子课本,孩们有的电课电子课本是老师发的网络链接,每次打开网页去看,本送既费流量,家上也不方便。孩们今天我们就利用python的电课爬虫功能,把网络链接的本送课本爬下来,再做成PDF格式的家上本地文件,让孩子们随时都能看。孩们本文案例爬取的电课网络课本见下图:

实现思路为两部分:
用python从网站爬取全部课本图片; 将图片合并生成PDF格式文件。具体过程:
一、本送爬取课本图片
爬虫4流程:发出请求——获得网页——解析内容——保存内容。家上
根据上篇python批量爬取网络图片里讲过的知识,网页里的图片有单独的网址,爬取图片时需要先爬取出图片网址,再根据图片网址爬取图片。
1、发出请求:
首先找出合适的香港云服务器网址URL,因是静态网页网址,我们可直接用浏览器地址栏的网址,下图2中红框位置即为要用的网址,复制下来就行。

网页网址为:http://www.shuxue9.com/beishida/cz8x/ebook/1.html
2、发出请求获得响应:
url = http://www.shuxue9.com/beishida/cz8x/ebook/1.htmlresponse = requests.get(url)3、解析响应获得网页内容:
soup = BeautifulSoup(response.content, lxml)4、解析网页内容,获得图片网址:
jgp_url = soup.find(div, class_="center").find(a).find(img)[src]5、向图片网址发出访问请求,并获得图片(因为该网址仅有图片,不需用find解析):
jpg = requests.get(jgp_url).content6、保存图片:
f = open(set_path() + number + .jpg,wb)f.write(jpg)其中,set_path()是提前建好的用于存放图片的路径,代码见下,也可直接写上想用的路径:
def set_path(): path = re:/python/book if not os.path.isdir(path): os.makedirs(path) paths = path+/ return(paths)7、存在问题:
以上就完成了课本图片的爬取,我们打开文件夹,发现只有一张图片被下载了,后面的都没。这是因为浏览网页时,每个页面都有不同的云服务器网址,我们试着分析一下,发现电子课本的每一页网址很有规律:
第1页网址:http://www.shuxue9.com/beishida/cz8x/ebook/1.html 第2页网址:http://www.shuxue9.com/beishida/cz8x/ebook/2.html ...... 第n页网址:http://www.shuxue9.com/beishida/cz8x/ebook/n.html每页上的图片网址各不相同,没规律。我们可以根据规律用循环方式,对网址发起访问,获得图片后,自动循环访问下一个网址......最终获得全部图片。
8、设置循环提取:
在以上全部过程纳入到一个for循环里,根据网页,我们可以看到共有152页,设置循环后完整代码为:
import requests , osfrom bs4 import BeautifulSoupfor i in range(1, 153):# 发出请求 url = "http://www.shuxue9.com/beishida/cz8x/ebook /{ }".format(i)+".html" response = requests.get(url)# 获得网页 soup = BeautifulSoup(response.content, lxml)# 解析网页得到图片网址 jgp_url = soup.find(div, class_="center").find(a).find(img) [src]# 发出请求解析获得图片 jpg = requests.get(jgp_url).content# 设置图片保存路径 p = re:/python-book if not os.path.isdir(p): os.makedirs(p)# 保存图片 f = open(p + / + str(i) + .jpg, wb) f.write(jpg)print("下载完成")运行程序,即可一次下载全部课本图片,效果为:


二、将图片合并生成PDF格式文件
图片下载完成后,将图片生成PDF格式才方便使用。网上有专门的软件,但免费的试用版只能合并几张图片。今天教大家一个免费且常用的OFFICE—ppt软件来将多张图片合并成一个PDF格式文件。
新建一个PowerPoint空白文件,点击插入——相册——新建相册,

在弹出的窗体里,点击左上角的“文件/磁盘”,将刚才下载的高防服务器图片全部导入进去,导入后的效果如下图右侧红框样式,然后点击“创建”,保存文件时另存为PDF格式即可。

总结:
至此,从网页爬取电子课本图片,生成PDF格式的本地文件就全部完成了。其中,如何找到并提取网页中的图片网址,在本头条上一篇文章里已有详述,有疑问的可查阅或留言交流。
另分享一个从网页内容中找到图片网址的简便方法:在打开的开发者工具界面,点击左上角的箭头符号,然后在网页上点击想要查找网址的图片,会自动高亮显示图片网址所在位置。如下所示:
