PHP 蜘蛛判断,这个函数应该蛮 OK 的,不会有浏览器被误判吧

2020-11-17 11:58:44 +08:00
 loveuloveme
function is_bot()
{
    return isset($_SERVER['HTTP_USER_AGENT']) &&
               preg_match('/bot|crawl|slurp|spider|mediapartners/i',  $_SERVER['HTTP_USER_AGENT']);
}
2212 次点击
所在节点    PHP
4 条回复
maskerTUI
2020-11-17 12:03:38 +08:00
意义不大,ua 是可以伪造的,正常情况下爬虫都会伪装成浏览器。
loveuloveme
2020-11-17 12:05:44 +08:00
@maskerTUI 不会有浏览器被误判就行了,伪造的不用管
sadfQED2
2020-11-17 12:06:22 +08:00
意义不大+1

你这个只能拦住正规爬虫,拦正规爬虫可以直接写 robot.txt
westoy
2020-11-17 12:09:34 +08:00
看你打算干什么了

几大搜索引擎都会用非标识的 IP 段和 UA 检测网站, 判断爬虫 UA 针对性吐数据 SEO 可能会被降权的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/726142

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX