Gitbook2pdf :抓取 Gitbook 生成的网站生成 pdf 文件的工具

[fuergaosi]

介绍

经常发现很多用gitbook生成的书籍质量很高
就想离线下来看
但是gitbook生成的pdf都无法复制且体积很大
有的网站甚至不提供下载的选项
就和小伙伴一起做了个工具
对于gitbook生成的网站进行抓取
解析以后使用weasyprint进行生成文件

特性

• 异步抓取 使用aiohttp抓取 对于网站内容抓取基本秒速完成

• 文本可复制

• 保持原目录结构
  

• 保留原文链接

• 完整还原原 html 页面样式
• 体积小，800+页的 pdf 只占用 4.6M

[aWangami]

(Python3) ➜ gitbook2pdf python gitbook.py
Traceback (most recent call last):
File "gitbook.py", line 5, in <module>
import weasyprint
File "/Users/Python3/lib/python3.7/site-packages/weasyprint/__init__.py", line 393, in <module>
from .css import preprocess_stylesheet # noqa
File "/Users/Python3/lib/python3.7/site-packages/weasyprint/css/__init__.py", line 26, in <module>
from . import computed_values
File "/Users/Python3/lib/python3.7/site-packages/weasyprint/css/computed_values.py", line 17, in <module>
from .. import text
File "/Users/Python3/lib/python3.7/site-packages/weasyprint/text.py", line 14, in <module>
import cairocffi as cairo
File "/Users/Python3/lib/python3.7/site-packages/cairocffi/__init__.py", line 39, in <module>
cairo = dlopen(ffi, 'cairo', 'cairo-2', 'cairo-gobject-2', 'cairo.so.2')
File "/Users/Python3/lib/python3.7/site-packages/cairocffi/__init__.py", line 36, in dlopen
raise OSError("dlopen() failed to load a library: %s" % ' / '.join(names))
OSError: dlopen() failed to load a library: cairo / cairo-2 / cairo-gobject-2 / cairo.so.2

这是啥情况？

[privil]

@fuergaosi #18 抓取的时候也报错了，不过我 vps 内存真小，才 512Mb，抓原来的 k8s handbook 是不行的。

https://funhacks.gitbooks.io/explore-python
crawling : https://funhacks.gitbooks.io/explore-python/Conclusion/reference_material.html
Traceback (most recent call last):
File "gitbook.py", line 298, in <module>
Gitbook2PDF("https://funhacks.gitbooks.io/explore-python/").run()
File "gitbook.py", line 190, in run
loop.run_until_complete(self.crawl_main_content(content_urls))
File "/usr/local/python3.7.2/lib/python3.7/asyncio/base_events.py", line 584, in run_until_complete
return future.result()
File "gitbook.py", line 212, in crawl_main_content
await asyncio.gather(*tasks)
File "gitbook.py", line 233, in gettext
text = ChapterParser(metatext, level).parser()
File "gitbook.py", line 95, in parser
if len(context.find('footer')):
TypeError: object of type 'NoneType' has no len()

[privil]

@aWangami #21 依赖的库没装 https://weasyprint.readthedocs.io/en/latest/install.html#linux

[hooych]

@aWangami mac python3 同 OSError: dlopen() failed to load a library: cairo / cairo-2 / cairo-gobject-2 / cairo.so.2
@fuergaosi 啥情况

[hooych]

@fuergaosi #23 多谢，安装再试下

[fuergaosi]

@privil 无法重现 这个报错是官方推荐的锅 我本来没有写 len 今天跑的时候官方提示我以后可能不让直接 if None 了 就推荐写成这样 结果成了个 bug 我这就去改

[mseasons]

@changjiangzzZ 不是 timeout 的问题，似乎是 https 验证的问题。我把所有的 get 请求参数增加 verify=False 就好了。

[mseasons]

@fuergaosi url 我没改，直接 git clone 下来运行的源码。我后面查了一下文档，将所有的 get 请求增加参数 verify=False 就通过了。

[dyxang]

好想直接用，为什么不 py2exe ？

[leesymbol]

帮顶

[cye3s]

试了个，目录结构没保留啊，比如这个
https://go.tanglei.name/content

[fuergaosi]

@cye3s 我测试了一下 目录结构保留了 不过因为有两个 404 所以少了两个章节  另外希望有问题可以直接发到 issues 区
@dyxang 因为我没有 windows ┑(￣Д ￣)┍

[soulteary]

@fuergaosi 你的小工具很好用鸭，但是看到有些同学搞不定环境，所以我封装了一个容器镜像，代码在这里： https://github.com/soulteary/docker-gitbook-pdf-generator

如果你愿意稍微调整项目目录结构 & 打 release tag 的话，后续升级维护能够更方便，比如定制电子书风格, etc...