小雨资源网:百度蜘蛛叫Baiduspider不是baidubot – 菜鸟库

【baiduspider】百度蜘蛛叫Baiduspider不是baidubot

百度蜘蛛叫Baiduspider不是baidubot
明天又遇到有同窗问我关于ROBOTS该如何去写的成绩,这里整理下给大家,其实也都是来源于网路上,留意百度的蜘蛛叫做Baiduspider而不是baidubot,谷歌的叫做googlebot。
1565247107204908.jpg
1、制止一切搜索引擎拜访网站的任何局部

User-agent:*

Disallow:/

2、允许一切的robot拜访(或许也可以建一个空文件”/robots.txt”)

User-agent:*

Allow:/

另一种写法是

User-agent:*

Disallow:

3、仅制止Baiduspider拜访您的网站

User-agent:Baiduspider

Disallow:/

4、仅允许Baiduspider拜访您的网站

User-agent:Baiduspider

Allow:/

5、制止spider拜访特定目录

在这个例子中,该网站有三个目录对搜索引擎的拜访做了限制,即robot不会拜访这三个目录。需求留意的是对每一个目录必需

分开声明,而不能写成”Disallow:/cgi-bin//tmp/”。

User-agent:*

Disallow:/cgi-bin/

Disallow:/tmp/

Disallow:/~joe/

6、允许拜访特定目录中的局部url

User-agent:*

Allow:/cgi-bin/see

Allow:/tmp/hi

Allow:/~joe/look

7、运用“*”限制拜访url

制止拜访/cgi-bin/目录下的一切以”.htm”为后缀的URL(包括子目录)。

User-agent:*

Disallow:/cgi-bin/*.htm

8、运用“$”限制拜访url

仅允许拜访以”.htm”为后缀的URL。

User-agent:*

Allow:/.htm$

9、制止拜访网站中一切静态页面

User-agent:*

Disallow:/*?*

10、制止Baiduspider抓取网站上一切图片

仅允许抓取网页,制止抓取任何图片。

User-agent:Baiduspider

Disallow:/*.jpg$

Disallow:/*.jpeg$

Disallow:/*.gif$

Disallow:/*.png$

Disallow:/*.bmp$

11、仅允许Baiduspider抓取网页和gif格式图片

允许抓取网页和gif格式图片,不允许抓取其他格式图片

User-agent:Baiduspider

Allow:.gif$

Disallow:/.jpg$

Disallow:/.jpeg$

Disallow:/.png$

Disallow:/.bmp$

12、仅制止Baiduspider抓取jpg格式图片

User-agent:Baiduspider

Disallow:/.jpg$

人已赞赏
seo优化

小叮当辅助网:百度快照是什么意思,百度快照的含义 - 菜鸟库

2020-7-18 17:42:46

seo优化

奇特吧: 搜索引擎优化:如何做站外优化? - 菜鸟库

2020-7-18 17:43:52

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索