联系官方销售客服

1835022288

028-61286886

问题 求助问题 分享经验 开发需求
开发框架 版主：迅睿框架研发组
搜索设置集成栏目页后，是否需要禁止爬虫访问栏目页
卧龙隐者
类型：迅睿CMS 更新时间：2020-11-17 15:44:10

模块搜索设置集成栏目页后，是否需要禁止爬虫访问栏目页？

因为集成栏目页后，访问栏目页会定向到搜索页面。还看到要尽量屏蔽蜘蛛爬虫访问搜索页面。

所以就有了这个问题。

回帖
  • 叫我老三
    #1楼    叫我老三
    2020-11-05 10:14:21
    Chrome 0
    • 过滤防火墙

      蜘蛛防火墙过滤，IP防火墙过滤，拦截指定IP，拦截不常用的蜘蛛，不浪费流量

    我用这个屏蔽的蜘蛛
  • 帅不过十秒
    #2楼    帅不过十秒
    2020-11-05 10:16:45
    Chrome 0
    rebox.txt
  • 卧龙隐者
    #3楼    卧龙隐者
    2020-11-05 10:35:57
    Chrome 0
    我知道使用这个方式可以屏蔽，但是不知道这种情况需不需要屏蔽。
    帅不过十秒
    满意答案
  • 卧龙隐者
    #4楼    卧龙隐者
    2020-11-17 15:44:10
    Chrome 0
    @卧龙隐者：没人给建议，那就关闭回复吧