联系官方销售客服

1835022288

028-61286886

问题 求助问题 分享经验 开发需求
应用插件 版主：官方插件技术组
蜘蛛抓取全是找不到页面
罗斯
类型：迅睿CMS 更新时间：2023-12-09 12:53:30 蜘蛛爬行监控
插件 蜘蛛爬行监控 V2.15
应用作者 迅睿官方团队
发布时间 2017-12-07 17:19:39
更新时间 2024-04-10 17:33:20

QQ截图20231202115914

请问这个是怎么回事，这些URL是后台文件地址吗？  为什么打不开，更新了系统配置和缓存，蜘蛛一抓就遇到错误  我其他页面都不抓了，动态地址 我robots禁止过 蜘蛛还是会爬

插件教程：https://www.xunruicms.com/doc/app-266.html

回帖
  • 开源社区插件技术-小鹏
    #1楼    开源社区插件技术-小鹏
    2023-12-02 19:16:33
    Chrome 0
    这个插件是记录蜘蛛的抓取日志。他不能控制蜘蛛抓取哪个不能抓哪个，这个是控制不了的。这个插件只是记录单纯的记录蜘蛛的抓取页面，记录蜘蛛抓取了你的网站哪些页面无法控制不让他抓哪个
  • 罗斯
    #2楼    罗斯
    2023-12-02 20:15:06
    小米手机 0
    是我的网站设置问题吗？
  • Jazz
    #3楼    Jazz
    2023-12-02 20:30:10
    Chrome 0
    这个插件是记录日志，并不是控制蜘蛛，你需要通过日志来找原因
  • 罗斯
    #4楼    罗斯
    2023-12-09 11:39:04
    Chrome 0
    请问这个是不是蜘蛛来网站--访问首页--遇到错误--网站重定向--又访问首页--又遇到错误--又重定向--又访问首页，最后就走了，我根目录没有这些文件，很多都是调用字段、模版等，其他页面都没有蜘蛛爬 网站系统日志也没有显示错误的，该怎么办
  • 小孟学编程
    #5楼    小孟学编程
    2023-12-09 11:53:11
    Chrome 0
    有可能你这个域名，在很久以前被蜘蛛光临过，猪猪记住了他的路径，所以才按以前的套路来爬
  • 罗斯
    #6楼    罗斯
    2023-12-09 12:23:58
    小米手机 0
    请问那怎么处理
  • 黄老邪
    #7楼    黄老邪
    2023-12-09 12:40:48
    Chrome 0
    你需要在百度上提交死链接，让蜘蛛不要抓取这些链接
  • 罗斯
    #8楼    罗斯
    2023-12-09 12:53:30
    小米手机 0
    目录都不知道，怎么提交
相关问题