联系官方销售客服

1835022288

028-61286886

问题 求助问题 分享经验 开发需求
开发框架 版主：迅睿框架研发组
怎么屏蔽所有的动态不被爬取，只爬取静态页面
初级前端-新手上路
类型：迅睿CMS 更新时间：2021-12-24 10:20:10

网站日志里被爬取的地址很多都是动态URL，如图：

2021-12-24_095044

怎么屏蔽所有的动态不被爬取，只爬取静态页面。

回帖
  • 瓦力
    #1楼    瓦力
    2021-12-24 09:57:13
    Chrome 0
    rebots.txt
  • 初级前端-新手上路
    #2楼    初级前端-新手上路
    2021-12-24 10:00:55
    Chrome 0
    瓦力 要怎么写，屏蔽文件夹还是写规则？不会写动态的屏蔽。
  • 小青年
    #3楼    小青年
    2021-12-24 10:01:39
    Chrome 0
    chinaz里面有蜘蛛屏蔽文件生成器
  • 初级前端-新手上路
    #4楼    初级前端-新手上路
    2021-12-24 10:19:12
    Chrome 0
    😴 😴 😴 😴 说得于没说。
    满意答案
  • 初级前端-新手上路
    #5楼    初级前端-新手上路
    2021-12-24 10:20:10
    Chrome 0
    @初级前端-新手上路：自己解决吧。关帖。