联系官方销售客服

1835022288

028-61286886

问题 求助问题 分享经验 开发需求
开发框架 版主：迅睿框架研发组
怎么设置有些栏目不希望被蜘蛛抓取
缘梦
类型：迅睿CMS 更新时间：2022-07-21 19:04:44 友情链接

有些栏目不希望被蜘蛛抓取，怎么设置才能显示为不可点击


image

image


有没有什么解决办法，

还有友情链接模块也生成出来的，蜘蛛全都抓取了友情链接

很头疼



image

回帖
  • 在路上
    #1楼    在路上
    2022-03-21 17:26:12
    Chrome 0
    蜘蛛txt文件控制
  • 湖边小伙
    #2楼    湖边小伙
    2022-03-21 17:30:57
    Chrome 0
    robots.txt 设置下
  • 志伟
    #3楼    志伟
    2022-03-21 17:55:17
    Chrome 0
    前台不访问栏目列表的话，可以把栏目封面模板和列表模板设置成空白。然后robots.txt再屏蔽下。
  • 缘梦
    #4楼    缘梦
    2022-04-09 16:41:49
    Edge 0
    湖边小伙 这个只是一种权宜之计，但是希望还是不要直接被抓取，不要显示，感觉怪怪的
  • 我不是大佬
    #5楼    我不是大佬
    2022-04-09 16:45:58
    Chrome 0
    <meta name="robots" content="noarchive">
  • 开心果
    #6楼    开心果
    2022-04-09 16:50:10
    Chrome 0
    通过 robots.txt文件设置 Disallow:这里是不希望被蜘蛛抓取的目录如果不知道怎么设置，可以通过网站https://tool.chinaz.com/robots?qq-pf-to=pcqq.group生成后放到网站根目录
  • 开心果
    #7楼    开心果
    2022-04-09 16:51:59
    Chrome 0
    友链地址可以增加 rel="nofollow" 让蜘蛛知道这个不抓取
  • 缘梦
    #8楼    缘梦
    2022-07-19 11:21:23
    Edge 0
    开心果 这个方法我知道，我的意思是怎么能让这些链接不出现在文件里面
  • 新手上路
    #9楼    新手上路
    2022-07-20 15:46:01
    Chrome 0
    安装官方的sitemap工具。然后写对应的sql屏蔽栏目id比如：

    1658303114997

    就是屏蔽栏目id为8
    满意答案
  • 缘梦
    #10楼    缘梦
    2022-07-21 19:04:44
    Edge 0
    @新手上路：好的，老哥
相关问题