联系官方销售客服

1835022288

028-61286886

问题 求助问题 分享经验 开发需求
开发框架 版主：迅睿框架研发组
禁止抓取 index.php
黑马
类型：迅睿CMS 更新时间：2024-10-16 17:15:23 CodeIgniter

/index.php?s=api&c=module&siteid=1&app=news&m=hits&id=238  这种地址 是禁止搜索引擎抓取的  请问 这个抓取是在哪个文件里面改啊！我想变通改一下 禁止他还抓一些其他页面！ 如广告页  如  css等

回帖
  • 封不平
    #1楼    封不平
    2024-10-05 20:25:30
    Chrome 0
    rebox.txt里面去写地址
  • 小黄人 18html
    #2楼    小黄人 18html
    2024-10-06 16:02:28
    Chrome 0
    • Robots爬虫协议生成器

      告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎蜘蛛获取的，...

    如果不会写，可以考虑使用插件
  • 魂
    #3楼    魂
    2024-10-12 18:28:48
    Edge 0
    robots.txt文件中添加禁止：
    User-agent: *
Disallow: /index.php
    禁止抓取index.php文件
    Disallow: /index.php*
    禁止抓取以index.php开头的所有链接
  • shijian
    #4楼    shijian
    2024-10-16 17:15:23
    Chrome 0 
    Disallow: /index.php*禁止抓取这个的文件，但是这个只是禁止，你访问还是可以访问的
相关问题