sci-hub on P2P!

2021-08-01 16:47:54 +08:00
 Trim21

之前提到的 sci-hub on p2p 的想法已经实现了

https://sci-hub-p2p.readthedocs.io/en/latest/zh/简介

感谢 reddit 上一位好心人的帮助,生成了全部的索引。

现在从 BT 网络获取数据的功能完全可用

也可以使用同一份数据,同时在 IPFS 的 P2P 网络中做种,在 IPFS 网络中提供的是可以用 CID 获取的原始数据文件,而不是整个 ZIP 文件。也就是说是可以直接通过普通的 IPFS 网关下载论文的。(在 BT 网络中做种还是需要其他的 BT 客户端,没有必要重复造轮子了)

目前 Reddit 上的 ipfs 基本上都是直接添加的 zip 文件,基本上相当于死数据。。。

在本地测试了一下,用官方的 ipfs desktop 成功了 pin 了 10 个 G 的 pdf 文件。

(急需有人帮忙写一下英文文档)

3380 次点击
所在节点    分享创造
29 条回复
shadows
2021-08-01 20:47:15 +08:00
期待易用的工具,之前想要获取论文是需要下载所有文件吗?
v2tudnew
2021-08-01 20:55:23 +08:00
@shadows #1 至少需要下载一个种子的压缩包,10-100GB 不等.....
hertzry
2021-08-01 21:34:01 +08:00
这个厉害了。
hertzry
2021-08-01 21:43:50 +08:00
英文文档看上去不是写得差不多了吗?机翻再人工修订一下会不会快一点。想尝试翻译一下,奈何心有余而力不足。
Trim21
2021-08-01 22:39:36 +08:00
@shadows 之前需要下载大概 1gb 的压缩包
Trim21
2021-08-01 22:49:02 +08:00
@hertzry 之前的英文文档差不多就是我半机翻的…
lovestudykid
2021-08-02 07:54:40 +08:00
索引文件就够大了,还是需要中心化的网站提供支持吧
Trim21
2021-08-02 08:25:47 +08:00
@lovestudykid 索引文件压缩后才 3g 大
fiht
2021-08-02 09:52:24 +08:00
期待中心化的网络提供支持+1
等你的 WebUI !
Trim21
2021-08-02 10:05:39 +08:00
@fiht Web ui 找别人写了()
Trim21
2021-08-02 10:07:27 +08:00
@fiht 而且中心化的网络继续用 scihub 的网站不就好了= =
fiht
2021-08-02 12:45:35 +08:00
@Trim21 中心化的 WebUI 负责托管 10GB+的索引文件,然后从 P2P 网站做拉取呀。
哪天 scihub 挂掉了,你的这套随便找一台机器就能 run 起来,就很厉害
Trim21
2021-08-02 13:04:55 +08:00
@fiht 索引文件在网上需要传输的尺寸只有 3g 大…现在是用 bt 分发的
Trim21
2021-08-02 13:07:42 +08:00
@fiht 20gb 是索引写到 bolt 数据库的硬盘占用
lovestudykid
2021-08-02 22:02:22 +08:00
@Trim21 就是为了下这些文献,额外占用 20GB 硬盘空间,大部分人应该不会接受啊
Trim21
2021-08-03 02:18:02 +08:00
@lovestudykid 大部分人继续用网站不就好了…
Trim21
2021-08-03 02:27:06 +08:00
不过这个 20g 的尺寸应该是可以优化的,bolt 直接写完所有的索引应该还是有很多空洞,暂时还没精力做这个
lovestudykid
2021-08-03 02:40:37 +08:00
@Trim21 我以为你是想取代 scihub...反正现在也没更新了,用一个更去中心化的服务取代也挺好的
Trim21
2021-08-03 03:05:53 +08:00
@lovestudykid 我是懒得扒新论文然后打包传到 p2p 网络里去,那肯定是取代不了的…
Trim21
2021-08-03 03:10:49 +08:00
@Trim21 额 或者说现阶段还取代不了

添加新论文之类的我现在虽然有想法,但是具体怎么实现我也没想好,主要我自己也不想当扒论文的人,这个工作太枯燥了…

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/793004

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX