这是一个创建于 170 天前的主题，其中的信息可能已经有所发展或是发生改变。
一堆 pdf 报告，文字版。
不同机构出具，因此具有不同的格式。
目前的需求是：提取其中的结论部分。这个结论区块，标题可能叫“XX 结论”或者“专家意见”或者别的，可能是文字段落或者表格，也可能中间被换页了(很可能有页眉页脚)。
之间尝试 python 提取文字，再根据规则匹配。费了不少时间，没成功，中断了。
刚刚试了 kimi ，给 kimi 点提示，kimi 居然很出色地完成了这个工作。
但 kimi 的缺点：联网有数据泄漏风险，量大了可不便宜。
所以，有没有能完成这工作的开源模型，最好是专用或者优化后能在普通低配服务器上跑起来的。
不同机构出具，因此具有不同的格式。
目前的需求是：提取其中的结论部分。这个结论区块，标题可能叫“XX 结论”或者“专家意见”或者别的，可能是文字段落或者表格，也可能中间被换页了(很可能有页眉页脚)。
之间尝试 python 提取文字，再根据规则匹配。费了不少时间，没成功，中断了。
刚刚试了 kimi ，给 kimi 点提示，kimi 居然很出色地完成了这个工作。
但 kimi 的缺点：联网有数据泄漏风险，量大了可不便宜。
所以，有没有能完成这工作的开源模型，最好是专用或者优化后能在普通低配服务器上跑起来的。
第 1 条附言 · 170 天前
注意：需求是提取 pdf 中的指定部分，不是提供一个以文档作为知识库的对话 AI
6 条回复 • 2024-07-13 02:24:32 +08:00
 |
1
TimePPT 170 天前 via Android
应该有现成框架，langchain 或者 llamaimex 好像都自带
|
 |
2
maolon 170 天前 via Android
提取块的: qanything, ragflow 但是是把整篇文章分块，你要求的段落在里面，然后 llm 问答，可以在管理界面查看管理提取过的段落
普通低配能跑: 这两都不怎么行 最后开源模型: qwen 1.5 的 7 或者 14 应该能满足你需求 |
 |
3
mumbler 170 天前
这是常见 NLP 场景，有个 6G 显存的 GPU ，ollama 跑 llama3 8B 就能完成得很好，CPU 长文分析太慢了
|
 |
4
NoobNoob030 169 天前
普通低配服务器？ 2 核 4G 没显卡的吗？如果是跑不了一点
|
 |
5
mmdsun 169 天前
大模型基本上都可以。本地电脑 WSL 2 直接跑的 qwen 14b 4090 显卡。自己部署就不会有什么数据泄露了
|
 |
6
myhloli 111 天前 via iPhone
|
Select Language