有哪些值得抓取的网站？

2018-04-25 02:02:42 +08:00
 rock_cloud

打算构建一个无偏语料库，因此需要爬取各行各业相关的网站，想问一下大家知道哪些主要内容是文本的网站。 目前收集到的网站有大概以下几个分类

综合新闻站

垂直 /非垂直论坛

问答站

媒体

财经

医学

影视

小说

教科书

这里并没有列全，目前在抓的有 60 个网站左右，每天能获取 300K 个页面，单机。想问问大家有没有什么别的类目、行业、领域以及各分类下的文字类网站可供补充？无所谓内容质量好坏。

4564 次点击
所在节点    问与答
27 条回复
mushan099
2018-04-25 02:19:56 +08:00
其他类别不知道，影视那一栏我倒是了解不少(^-^)/
rock_cloud
2018-04-25 02:27:33 +08:00
@mushan099 来几个例子？
flyz
2018-04-25 07:39:51 +08:00
@rock_cloud t66y sixinsix 91 avgle 大哥只能帮你这么多了。
jiangnanyanyu
2018-04-25 07:42:03 +08:00
我来一个吧，javbus,javlib
ob
2018-04-25 07:46:35 +08:00
cnbeta
aice114
2018-04-25 07:54:35 +08:00
v2ex
lunatic5
2018-04-25 08:28:12 +08:00
@flyz 大佬调皮
huluhulu
2018-04-25 08:31:05 +08:00
不是 1024 最值得吗？
jasonyang9
2018-04-25 08:42:34 +08:00
nytimes
arstechnica
slashdot
x86
2018-04-25 09:19:29 +08:00
avmoo
huiyifyj
2018-04-25 09:22:53 +08:00
影视竟然没有 douban
chroming
2018-04-25 09:23:13 +08:00
单机爬这么多是用了代理池？
logOo
2018-04-25 09:23:33 +08:00
pxxnhub
rock_cloud
2018-04-25 10:05:27 +08:00
@huiyifyj 有，在论坛分类里，抓全站
rock_cloud
2018-04-25 10:06:23 +08:00
@chroming 没有代理池，因为站点多，所以每个站慢慢爬，也不是问题
rock_cloud
2018-04-25 10:07:29 +08:00
@aice114 我居然忘了 V 站，话说 V 站是不是有访问频次限制？
akira
2018-04-25 10:33:07 +08:00
3l 老司机
mhycy
2018-04-25 10:35:17 +08:00
*ornhub
video.fc2.com
xt*e
torbrowserbridge
2018-04-25 10:43:57 +08:00
91
yense
2018-04-25 11:02:01 +08:00
煎蛋站长瑟瑟发抖...

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/449595

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX