博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
爬虫:保存linux网页教程为pdf格式
阅读量:6646 次
发布时间:2019-06-25

本文共 1615 字,大约阅读时间需要 5 分钟。

hot3.png

安装wkhtmltopdf,在官网下载或在windows终端输入 pip install wkhtmltopdf

添加到系统变量Path后重启电脑

使用 pip install pdfkit 安装pdfkit

使用wkhtmltopdf将 中的linux网页教程为pdf格式  存在问题:

 1. 编码问题: 如果将保存的pdf文件命名为中文则出现    names = unicode(name, encoding='utf-8') TypeError: decoding Unicode is not supported 错误  

 

#-*-coding:utf-8-*-import pdfkitimport requestsimport sysimport osimport urllib2import rereload(sys)sys.setdefaultencoding('utf-8')class Spider:    def get_pdf(self, urls, name):        if os.path.exists('E:/linux_pdf'):            print 'already exists!!!'        else:            os.mkdir('E:/linux_pdf')        os.chdir('E:/linux_pdf/')        print 'url = ' + urls        # names = unicode(name, encoding='utf-8')        # print names        pdfkit.from_url(urls, name + '.pdf')        print 'hahhaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa'    def get_main_page(self,url):        header = {'User-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}        html = requests.get(url)        url_field = re.findall('
', html.text, re.S)[0] url_lists = re.findall('class="menu-item.*?', url_field, re.S) print url_lists print '-'*100 name_lists = re.findall('(.*?)',url_field, re.S) if len(url_lists) == len(name_lists): for i in range(1, len(url_lists)+1): self.get_pdf(url_lists[i-1], str(i)) else: print "crawl lists is wrong!!!"if __name__ == '__main__': url = 'http://www.linuxprobe.com/' spider = Spider() spider.get_main_page(url)

 

转载于:https://my.oschina.net/spacewe/blog/861226

你可能感兴趣的文章
Linux卸载系统自带的httpd的方法
查看>>
《Oracle从入门到精通》读书笔记第十五章 Oracle数据备份与恢复之二
查看>>
Android安全讲座第九层(二) 内存dump
查看>>
弹出菜单效果
查看>>
SQL常用语句集合(不断更新)
查看>>
centos 5 安装教程注意事项
查看>>
回顾2014,展望2015
查看>>
BIOS基础知识(下)
查看>>
nmom结果记录
查看>>
Iterator 和 Iterable 区别和联系
查看>>
经典SQL语句大全
查看>>
测试LCD1602的显示,显示时间,提示语
查看>>
Linux常用命令
查看>>
Windows系统一键备份还原工具,支持UEFI和Legacy模式
查看>>
MySQL对分隔符的处理(二)
查看>>
centos 6.3 源码安装mysql
查看>>
SecureCRT 连接Ubuntu乱码解决
查看>>
Zabbix
查看>>
Linux运维学习历程-第十二天-bash脚本与程序包管理
查看>>
Restorator V2009 单文件版
查看>>