asp.net – 如何防止未经授权的蜘蛛侠

我想阻止从我们的某个网站自动html抓取,同时不影响合法的蜘蛛网(googlebot等).有没有什么东西可以实现这一目标？我甚至使用了正确的术语吗？

编辑：我主要是想阻止那些恶意这样做的人.即他们不会遵守robots.txt

编辑2：如果通过“使用率”阻止使用…如果检测到自动化并且流量不是来自合法(谷歌,雅虎,MSN等)IP,则验证码继续浏览.

解决方法

在这种情况下使用robots.txt的问题是蜘蛛可以选择忽略它.

编辑：速率限制是一种可能性,但它存在一些识别(和跟踪)“好”和“坏”用户代理/ IP的相同问题.在我们编写的系统内部页面查看/会话计数中,我们根据页面查看率消除了会话,但我们也不担心消除“好”蜘蛛,因为我们不希望它们在数据中计算.我们不会阻止任何客户实际查看页面.

（编辑：安卓应用网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!