不少SEO职员都会遇见一个问题，在网站建好之后明明按期更新文章内容，然而就是不被搜索引擎网站收录网站。遇见如此的问题会让不少优化职员无从下手，找不到正解。今天博久网络就携带大伙一块儿找找SEO网站不网站收录是什么原因，这个答案你或许会在Robots协议里找到。
1、robots协议到底是什么？先来讲怎么说是Robots协议，它也叫机器人协议或爬虫协议，它并非一个指令，而是一个文本，通常来讲容易见到的文本编辑器都可以创建和编辑它，它具备很强大有哪些用途和功能。网站可以通过Robots协议告诉搜索引擎什么网站页面可以抓取，什么网站页面不可以被抓取。有些SEO职员可能用的智能建站自带Robots.txt文件，有些压根就没Robots.txt文件。这使得爬虫没办法对网站进行爬取索引。自然而然的不会网站收录你的网站，所以大伙在网站建设之后必须要记得查询是不是存在在Robots.txt与它的内容是不是规范。2、robots.txt文件设置需要1、robots.txt文件需要放置在网站根目录；2、robots.txt文件名需要小写。依据上面两点提示大家查询到绝大多数网站的robots.txt文件，假如出现没办法访问的现象，最大可能就是网站根目录中没此文件。3、容易见到语法的概念User-agent:概念搜索引擎。假如想概念所有搜索引擎请用*;Disallow:禁止搜索引擎抓取，“/”表示根目录，代表网站的所有目录。Allow: 是允许的意思，这里只简单的做一下描述，具体的操作写法请参考百度文库。期望以上关于SEO的robots协议的内容对大伙有帮助，通常主流的搜索引擎都会遵守robots文件指令，Robots可以用来预防搜索引擎抓取那些大家不想被搜索引擎索引的内容。大家可以用它来保护一些隐私的内容，屏蔽死链接和无内容页面和重复页面。
目前标题robots协议对于SEO中网站收录的影响
