如何做到网站内容只能会员查看,但又不影响搜索引擎抓取内容及排名?

2021-05-06 21:59:18 +08:00
 herozzm

这是一个矛盾啊

1754 次点击
所在节点    站长
11 条回复
Jooooooooo
2021-05-06 22:01:43 +08:00
放过爬虫呗

虽然有可能会被钻漏洞, 但还是很小一部分
herozzm
2021-05-06 22:02:25 +08:00
@Jooooooooo 搜索引擎官方指南说:它看到的就要是用户看到的,不然就是违规,有被惩罚的风险
opengps
2021-05-06 22:03:35 +08:00
这个要求显然冲突,搜索引擎爬虫能爬的都是可以直接打开的
herozzm
2021-05-06 22:04:48 +08:00
@opengps 前端用 js 判断是否为会员,不是的话,各种遮挡?
FragmentLs
2021-05-06 22:08:30 +08:00
meta keywords
herozzm
2021-05-06 22:11:33 +08:00
@FragmentLs 对于搜索引擎来说 meta keyword 是不够的啊
miyuki
2021-05-06 22:15:04 +08:00
搜索引擎不是还有快照吗
herozzm
2021-05-06 22:38:55 +08:00
@miyuki 这不是重点,历史信息无所谓,关键还是问题如何解决
iBugOne
2021-05-06 22:40:08 +08:00
一般这样用户体验会很差,不过真想做的话可以参考 Red Hat 的知识库,不付费只能看到标题和前几行字,也不影响搜索引擎抓取

还有 Expers-Exchange,这个网站在 Stack Overflow 上常常被戏称做 dash-site,因为上面内容质量很差而且还有 pay wall
lovestudykid
2021-05-07 02:53:23 +08:00
zachlhb
2021-05-07 08:06:22 +08:00
程序判断蜘蛛,如果是蜘蛛直接放行

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/775289

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX