联系官方销售客服

1835022288

028-61286886

问题 求助问题 分享经验 开发需求
开发框架 版主：迅睿框架研发组
robots.txt 哪些目录是不能限制抓取的
伦少
类型：迅睿CMS 更新时间：2021-09-29 00:15:52

用迅睿做的一般企业站，网址已经做伪静态了，robots.txt 哪些目录是不能限制抓取的？我可以把所有目录都限制抓取吗？

回帖
  • 迅睿框架技术-陈泽希
    #1楼    迅睿框架技术-陈泽希
    2021-09-26 17:51:01
    Chrome 0
    这个没有强制的规定，按具体站点来定，建议使用chinaz工具来生成一个
    满意答案
  • 知忆
    #2楼    知忆
    2021-09-26 20:26:29
    Chrome 0
    这东西就是一个君子协议，一般只有大的搜索引擎会遵守，比如百度（但是也是会有抓取的情况）对于第三方来说，卵用没的
  • 小波工作室--标签和API大师
    #3楼    小波工作室--标签和API大师
    2021-09-26 20:33:37
    Chrome 0
    知忆

    明白人，现在百度都不遵守robotstxt协议了


    我好几个客户用我的站群插件，本身主站禁止了robots，百度偏要去爬主站

  • 李治
    #4楼    李治
    2021-09-26 20:36:32
    Chrome 0
    robots.txt 不需要设置了，没有作用的，不像以前的seo了
  • 知忆
    #5楼    知忆
    2021-09-26 20:56:18
    Chrome 0
    小波工作室--标签和API大师 你说能通过修改火车头的发布文件来实现一个后台发布多站点数据不
  • 小波工作室--标签和API大师
    #6楼    小波工作室--标签和API大师
    2021-09-26 21:07:04
    Chrome 0
    知忆 当然可以，需要修改发布入库脚本，需要安装我开发的多站同步数据的插件
  • 知忆
    #7楼    知忆
    2021-09-26 22:25:24
    Safari 0
    小波工作室--标签和API大师 数据肯定不能同步的，对优化不好我指的是将数据不重复的发布到各站点
  • 独白
    #8楼    独白
    2021-09-26 23:15:22
    Chrome 0
    这年头根本不需要这个文件了，很多搜索引擎是不讲武德的
  • 伦少
    #9楼    伦少
    2021-09-29 00:15:52
    Firefox 92.0 0
    @迅睿框架技术-陈泽希：已经解决