迅睿CMS框架是一款PHP8高性能·简单易用的CMS开源开发框架,基于MIT开源许可协议发布,免费且不限制商业使用,是免费开源的产品,以万端互联为设计理念,支持的微信公众号、小程序、APP客户端、移动端网站、PC网站等多终端式管理系统。
联系官方销售客服
1835022288
028-61286886
用迅睿做的一般企业站,网址已经做伪静态了,robots.txt 哪些目录是不能限制抓取的?我可以把所有目录都限制抓取吗?
明白人,现在百度都不遵守robotstxt协议了
我好几个客户用我的站群插件,本身主站禁止了robots,百度偏要去爬主站
明白人,现在百度都不遵守robotstxt协议了
我好几个客户用我的站群插件,本身主站禁止了robots,百度偏要去爬主站