asp.net – 如何以程序方式检测漫游器

我们有一种情况,我们记录访问和访问者的页面命中和机器人堵塞了我们的数据库.我们不能使用这样的验证码或其他技术,因为在我们甚至要求人类输入之前,基本上我们正在记录页面匹配,我们只想记录人类的页面匹配.

有没有已知的机器人IP的列表在那里？检查已知的漫游器用户代理是否工作？

解决方法

最重要的机器人在代理字符串中清楚地识别自己,所以有一个已知的机器人列表,你可以适应大多数.在列表中,您还可以添加一些HTTP库默认使用的代理字符串,以便从甚至不知道如何更改代理字符串的人捕获机器人.如果您只是记录访问者的代理字符串,您应该可以选择要存储在列表中的代码.

您也可以在您的页面上放置一个隐藏的链接,导致robots.txt文件中过滤出的页面,从而形成“坏的机器人陷阱”.严重的机器人不会跟随链接,人类不能点击它,所以只有机器人不符合规则才能请求文件.

（编辑：安卓应用网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!