一个类似 chatpdf 的项目, 让 gpt 帮你读文档 支持 pdf/epub/md 等多种格式

[wenjie0032]

最近在研究 chatpdf.com 类的项目,

主要功能是通过 gpt 实现: 问题结合文章内容的 ai 对话,

具体的实现原理是

1. 利用 embedding 接口对文章内容进行向量化, 存储索引
2. 提问的问题再次利用 embedding 接口进行向量化
3. 根据 问题的向量数据在 文章的索引中进行搜索, 找寻到近似的章节
4. 将 问题和近似的 embedding 一同提交到 complation 接口, 获取到 openai 的回复

结合以上思路实现了 chatdoc 这个项目, 支持更丰富的文件类型, 如 .pdf, .epub, .docx, .md, .txt, 甚至支持填写链接

当然程序中会根据不同的文件类型先去解析出文本, 然后再进行上面的索引构建等步骤

本项目使用到的技术

1. 语言: 前端 vue, 后端 python
2. 向量索引构建: llama_index 这个库是对索引构建及 openai 查询的封装, 功能十分丰富
3. 文件解析: EbookLib, epub2txt, PyPDF2, beautifulsoup4 等

github: https://github.com/daodao97/chatdoc

欢迎大家试用并提出改进意见, 如果想要支持更多文件格式也可以留言.

预览图, UI 还比较丑, css 太难写了😭 (有前端大佬有兴趣一起改进的话那就更好了)

[fkname]

听起来不错，已 star

[justin2018]

还有个
https://chatdoc.com/

[malusama]

sk 暴露了吧?
小心被盗用

[wenjie0032]

@malusama #3 哈哈, 没事, 那个 key 过期了

[holala]

导一本书那得花多少 token 呀

[wenjie0032]

@holala #5 这个要看总的文本大小, 可以格局字数简单估计下 , openai 有在线查看 token 数的功能 https://platform.openai.com/tokenizer

[mxT52CRuqR6o5]

看图里右边的问答，正确性有点捉急

[wenjie0032]

@mxT52CRuqR6o5 #7 还得多调教一下

[kongkongye]

最近都是这种类型的应用

[fenglingyu]

不错