当前位置:首页 > 运营管理 > 正文内容

禁止抓取机制robots.txt设置方法及注意事项

lmwmm5年前 (2022-03-14)运营管理3292

  今天我们主要学习一下robots.txt文件的使用和设置方法。

一、认识robots.txt文件 从网站优化和网站安全的方面来说,我们的站点并不是每一个页面都需要用户访问,这就好比即使再好的朋友来到了您的家里,您也不会将家里所有的东西都展示给朋友看。那么怎么控制搜索引擎蜘蛛抓取网站的范围呢?这就是我们今天要讲的主角——robots.txt文件。 robots.txt文件是搜索引擎来到网站之后访问的第一文件,robots.txt文件中设置了搜索引擎的抓取范围。


二、robots.txt文件设置要求 1、robots.txt文件必须放置在网站根目录; 2、robots.txt文件名必须小写。 根据上面两点提示我们查看到绝大部分网站的robots.txt文件,如果出现无法访问的现象,最大可能就是网站根目录中没有此文件。


三、robots.txt文件规则解读 robots.txt的书写格式为:<域>:<可选空格><域值><可选空格> 常见的robots.txt指令为: User-agent: * Disallow: / 此指令代表禁止所有的搜索引擎抓取网站的任何部分。此指令常用于站点不想被搜索引擎收录或者建站初期,当网站结构没有建设完成的时候,我们是不希望搜索引擎抓取网站任何内容的。

1、User-agent: 用于指定某个搜索引擎蜘蛛,如果使用通配符*代表所有的搜索引擎蜘蛛,如: User-agent: Baiduspider指的是指定百度蜘蛛; User-agent: Googlebot 指的是指定谷歌蜘蛛。

2、Disallow: / 代表着禁止抓取网站的某些内容,如“/”后面没有任何参数代表禁止抓取网站所有内容。我们来学习一下参数后面分别代表的含义: Disallow: /admin/ 禁止抓取admin目录下的所有内容; Disallow: /cgi-bin/*.htm 禁止抓取/cgi-bin目录下的所有以.htm结尾的文件; Disallow: /*?* 禁止抓取网站中所有包含问号 (?) 的网址; Disallow:/ab/adc.html 禁止抓取ab文件夹下面的adc.html文件; 在这里重点强调一点,Disallow指令有一个比较特殊的地方,Disallow: /代表着禁止抓取,但是Disallow: 代表着允许抓取,如: User-agent: * Disallow: 此指令代表允许所有的搜索引擎抓取网站的任何内容。

3、Allow:/ 该指令用于允许蜘蛛抓取某些文件。Allow:/指令后面的参数与Disallow指令相同,如: User-agent: * Disallow: /a/ Allow: /a/b/ 该指令的含义是不允许蜘蛛抓取a目录下的其他目录和文件,但是可以抓取a目录下的b目录中的内容。

4、$通配符,代表着以某个字符结尾的URL。 User-agent: * Disallow: /.jpg$ 此指令的含义是禁止所有搜索引擎抓取所有.jpg文件。 $指令在效果上有些地方和*是相同的,$指令常见于动态网址,互联网中应用不是特别广泛。 Disallow: /.jpg$ 等同于 Disallow: /*.jpg

5、Sitemap:告诉蜘蛛XML网站地图的位置,格式为: Sitemap:http://你的域名/sitemap.xml 主流的搜索引擎都会遵守robots文件指令,但是被robots文件禁止抓取的网址还会出现在搜索引擎结果中,这就好比你虽然不告诉我发生了什么事,但是我从别人那里知道了你的事情一样。只要禁止被抓取的网址在互联网中存在导入链接,搜索引擎就会知道这个网址的存在,有可能被搜索引擎收录,但是搜索结果标题下方会出现对应的提示: 由于该网站的tobots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容。    

扫描二维码推送至手机访问。

版权声明:本文由点度点度金讯时代-BLOG发布,如需转载请注明出处。

本文链接:https://lmwmm.com/post/304.html

分享给朋友:

“禁止抓取机制robots.txt设置方法及注意事项” 的相关文章

新手如何布局私域流量,线下实体店运营实操分享

新手如何布局私域流量,线下实体店运营实操分享

经历过一场疫情过后,你会不会经常遇到这样一种情况:曾经经常光顾的小店已经贴上“店铺转让”的通知,之前吃着觉得还不错的餐饮店早已经换了招牌和装修,变成了时尚气息十足的服装店……疫情冲击下,人们出门购物的欲望降低,线下实体行业陷入了经营困境,私…

【火龙果电影】解说教程合集,适合普通人的副业赚钱项目

【火龙果电影】解说教程合集,适合普通人的副业赚钱项目

文案及教学流程】.xls火龙果直播文案】.mp4ArcTime字幕教学字幕教程1.mp4字幕教程2.mp4AU录音教学AU火龙果教程.mp4手机录音1233.mp4修音课程如何修音-AU软件.mp4火龙果AU修音课件.txt声音训练00.你…

蜜雪冰城的营销“骗”局

蜜雪冰城的营销“骗”局

说到蜜雪冰城,你的耳边是不是就开始响起“你爱我,我爱你,蜜雪冰城甜蜜蜜”的洗脑神曲。 靠土味营销出圈,主打三四线城市的新式茶饮“网红”蜜雪冰城,如今门店的终端营收从2018年的35亿,跨越到了2019年的65亿,净利润高达8亿。&…

励志正能量美文,读一读让你的心灵平静,品一品让生活充满美好

励志正能量美文,读一读让你的心灵平静,品一品让生活充满美好

生命是觉醒的,不是昨天,不是明天,只要今天。活在当下,展望未来。生活是一种态度,平静自然而宽广。不同的你和我,不同的心态,不同的生活。所谓成长,就是逼你做一个男人,受伤,坚强 人生旅途劳累,静静地听一段音乐,让他们陶醉在优雅的音乐中…

美文欣赏|兰开二度

美文欣赏|兰开二度

暮春时节,废置于阳台的蝴蝶兰,居然有两株在老茎上又开花了! 这令我十分惊异。 去年春节前夕,外甥送我两盆蝴蝶兰,一盆紫红,一盆金黄。这种温室养殖的蝴蝶兰,花型舒展妩媚,…

微信地震预警在四川上线 快速精准触达预警信息1988年,23岁巩俐和38岁张艺谋泳池边的照片,这一幕相当滑稽可笑

微信地震预警在四川上线 快速精准触达预警信息1988年,23岁巩俐和38岁张艺谋泳池边的照片,这一幕相当滑稽可笑

本文转自:人民网-四川频道 人民网成都5月11日电 (朱虹)今年5月12日是汶川地震15周年,也是第15个全国防灾减灾日。5月11日,四川省地震局正式上线全省官方地震预警平台,通过微信公众号与小程序实现地震预警触达。用户可通过关注公…