新人写博客，前天刚把删除功能做出来，今天一看被 google 爬虫全删掉了

argsno

2017-01-23 11:29:24 +08:00

我的锅咯~~~~~~~~~

wly19960911

2017-01-23 11:29:51 +08:00

其实可以当爬虫经过的时候把某个页面给隐藏掉直接返回 404 ，使用类似于 lz 这样拿一个瞄链接等爬虫爬，然后过一段时间再恢复应该可以吧。

MXA

2017-01-23 12:48:10 +08:00

@mritd hi ， nice too meet U

Jackeriss

2017-01-23 14:05:33 +08:00

19 杀！全场最佳： Google

DualWield

2017-01-23 14:38:45 +08:00

22333333 今日最佳

cherrypi

2017-01-23 15:30:11 +08:00

身经百战的爬虫也是懵逼了！

loddit

2017-01-23 15:31:03 +08:00

@jarlyyn 「 1. 如果你在用 Google 浏览器，你的测试链接也会上传到 google 爬虫」这个有确定的证据吗？

jarlyyn

2017-01-23 15:43:33 +08:00

@loddit

经验和网上的链接

比如

https://news.ycombinator.com/item?id=3034288

另外， baidu 统计也会提交到百度的搜索引擎。

l2003529

2017-01-23 15:53:43 +08:00

笑出声哈哈😂

sobigfish

2017-01-23 16:13:24 +08:00

耿直 boy
Google Bot 说给我钱，然后他就给了 0 ， 0

tianice

2017-01-23 16:45:56 +08:00

今日最佳

codeyung

2017-01-23 16:57:04 +08:00

偷笑 - -

daysv

2017-01-24 08:53:17 +08:00

笑死我了...... 还能这样做的

ZhLTE

2017-01-24 16:09:27 +08:00

@xmumiffy 哈哈哈哈哈哈哈

overlords

2017-01-24 20:34:37 +08:00

第一次知道被蜘蛛删了

r00tt

2017-01-25 22:21:23 +08:00

楼主好萌,看笑了

Vicer

2017-01-29 10:38:55 +08:00

有故事，才会成长

pacino

2017-02-12 18:07:53 +08:00

厉害了

xiaorun

2017-02-14 19:39:41 +08:00

robots.txt

henneko

2017-02-16 16:30:56 +08:00

我感觉 LZ 发明了新的开车技巧