网站改版如何正确使用robots文件-网站的robots协议在哪里看

简述信息一览：

• 1、网站改版,链接结构完全变了,怎样使用robots禁止访问以前的url
• 2、robot.txt的使用技巧
• 3、如何设置robot.txt让搜索引擎只收录主页而不收录其他页
• 4、浅析网站Robots协议语法及使用
• 5、新手SEO具体操作必须怎么写robots文件。

网站改版,链接结构完全变了,怎样使用robots禁止访问以前的url

如果只是文章对应的URL变了，而文章内容没变，最好使用301，。

//第1种 //使用$限制访问url，仅允许访问以.html为后缀的URL。

或者也可以建一个空文件 /robots.txt）User-agent：Disallow：或者 User-agent：Allow： / 例 仅禁止Baiduspider访问您的网站 User-agent： Baiduspider Disallow： / 禁止访问/cgi-bin/目录下的所有以.htm为后缀的URL（包含子目录）。

网页内容互异性原则”。***用robots.txt文件可以屏蔽掉次要的链接。网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。***用robots.txt文件删除旧的链接符合搜索引擎友好。一些没有关键词的页面，比如本站的这个页面，屏蔽掉更好。一般情况下，站内的搜索结果页面屏蔽掉更好。

robots 文件 搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件，它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。

robot.txt的使用技巧

打开设置，选择root，把限制抓取更改为允许 robots文件中到底要不要屏蔽JS和css？robots.txt文件中不需要专门屏蔽CSSJS等文件 因为robots.txt只是给搜索引擎蜘蛛爬去做限制的，告诉蜘蛛哪些文件夹或路径不要去爬取。

写完之后你就可以把他保存成名为robot.txt的文件，用FTP上传到你网站的根目录就可以了！（切记，必须是名为robot.txt的文件）。

那么你需要在robots.txt文件里设置避免动态网页被蜘蛛索引，以保证这些网页不会被视为是网站重复的内容。robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：Sitemap： http：//www.***.com/sitemap.xml目 前对此表示支持的搜索引擎公司有Google， Yahoo， Ask and MSN。

如何设置robot.txt让搜索引擎只收录主页而不收录其他页

例一：通过/robots.txt禁止所有搜索引擎蜘蛛抓取/bin/cgi/目录，以及 /tmp/目录和 /foo.html 文件，设置方法如下：User-agent：Disallow： /bin/cgi/ Disallow： /tmp/ Disallow： /foo.html 例二：通过/robots.txt只允许某个搜索引擎抓取，而禁止其他的搜索引擎抓取。

robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。

robot.txt它是一个文件，通过这个文件中的文本来告诉搜索引擎，哪个目录，哪个页面不愿意被收录。例如，你网站的后台，一些有密码保护的内容你不希望被搜索引擎收录。你就可以利用robot.txt，来做到不让搜索引擎收录。

浅析网站Robots协议语法及使用

放置位置与语法规则 robots文件必须存放在网站根目录下，如域名/robots.txt，可以验证其存在性。其内容包括user-agent指令来指定搜索引擎，以及Disallow指令定义爬虫的访问限制。例如，User-agent： *表示所有搜索引擎都将遵循协议，而Disallow： /？s*则阻止包含“/？s”路径的页面爬取。

Robots协议用来告知搜索引擎哪些页面能被抓取，哪些页面不能被抓取；可以屏蔽一些网站中比较大的文件，如：图片，音乐，***等，节省服务器带宽；可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容；设置网站地图连接，方便引导蜘蛛爬取页面。下面是Robots文件写法及文件用法。

Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。robots基本语法符号：/ 、* 、/ 在允许和禁止的文件和文件夹前写；通配符，能够匹配所有的英文字符包括数字0；表示结束符，用于屏蔽图片时候用。具体的操作过程以及写法注意事项如图。如果不清楚可以直接关注。

新手SEO具体操作必须怎么写robots文件。

1、定义： robots.txt 是存放在站点根目录下的一个纯文本文件，让搜索蜘蛛读取的txt文件，文件名必须是小写的“robots.txt”。作用： 通过robots.txt可以控制搜索引擎收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。

2、php？前缀的链接，比如index.php？=865 Disallow： /tmp/ 表示不允许收录根目录下的tmp目录，包括目录下的文件，比如tmp/23html 具体使用方法百度和谷歌都有解释，百度http：// Robots.txt文件可以帮助我们让搜索引擎删除已收录的页面，大概需要30-50天。

3、找到网站死链后，到百度站长平台提交死链，等待百度删除即可。

关于网站改版如何正确使用robots文件，以及网站的robots协议在哪里看的相关信息分享结束，感谢你的耐心阅读，希望对你有所帮助。