联系官方销售客服

1835022288

028-61286886

问题 求助问题 分享经验 开发需求
开发框架 版主：迅睿框架研发组
请问如何避免搜索引擎
enchong
类型：迅睿CMS 更新时间：2021-03-30 19:17:21

请问如何避免搜索引擎，通过这种方式，消耗站点资源

https://域名.com/news/search/catid-8-keyword-注意事项.html
我就想知道，catid-8-是如何被检索到的，如何进行避免，之前网站被MJ12bot一天几百次的爬取，禁止几个搜索引擎之后，现在谷歌开始这样爬取了，主要是带有catid-8-不能正常的完成搜索，出现404页面。

{xunruicms_img_title}

回帖
  • 迅睿框架技术-张洪
    #1楼    迅睿框架技术-张洪
    2021-01-24 18:32:31
    Chrome 0
    通过服务器来拒绝，一般主机服务商有这些规则设置方法
  • 止咳糖浆
    #2楼    止咳糖浆
    2021-01-24 18:55:16
    Chrome 0
    reboot啊，可以过滤
    满意答案
  • 司马老贼
    #3楼    司马老贼
    2021-01-24 18:56:04
    Chrome 0
  • enchong
    #4楼    enchong
    2021-03-30 19:17:21
    Chrome 0
    @止咳糖浆：感谢，最简单的方法就是robots.txt禁止访问了