robots.txt的概念
robots.txt是一个纯文本文件，必须放置在一个站点的根目录下，而且文件名必须全部小写.在robots.txt文件中可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。
robots.txt的作用
当一个搜索机器人访问一个网站时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
首先告诉大家robots.txt文件要放在你网站的根目录里面。当你修改了你的robots.txt一般会在48小时内生效（对于搜索引擎来说）。
robots.txt的基本用法：
1.允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 “/robots.txt” file
2.禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3.禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
4.禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /
5.只允许某个搜索引擎的访问（下例中的Crawler）
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
robots.txt的具体实例
1、如果下面的这两个链接的内容差不多，那么根据利于优化的原则，第一个链接我们可以屏蔽掉！
/XXX?123 /123.html
如果像第一个的链接这样的链接非常多的话，其实只要屏蔽/XXX?就可以屏蔽所有的链接了。
具体代码如下：Disallow： /XXX?
2、用robots.txt屏蔽多余的链接，一般保留静态的链接(HTML、htm、shtml等)
由于网站中经常会出现多个链接指向同一个页面的情况，而这样会让搜索引擎对网站的友好度降低。为了避免这一个情况，我们就可以通过robots.txt把非主要的链接去掉。
比如以下两个链接指向同样的页面： /OOO?123 /123.html
那么根据利于优化的原则，第一个链接我们可以屏蔽掉.
代码如下： Disallow： /OOO?123
3、用robots.txt屏蔽死链
死链就是曾经存在的网页，因为改版或其他原因而失去效用后就变成死链，也就是说看似一个正常的网页链接，但点击后不能打开相对应的网页页面。
比如，原来在目录为/seo下的所有链接，因为目录地址的改变，现在都变成死链接了，那么我们可以用robots.txt把它屏蔽掉。
代码如下：Disallow： /seo/
4、告诉搜索引擎你的sitemap.xml地址
利用robots.txt可以告诉搜索引擎你sitemap.xml文件的地址，而不需要在网站上添加sitemap.xml的链接。
以本人博客为例代码如下：Sitemap： http://www.seo0596.com/sitemap.xml
以上说明了robots.txt的概念、基本写法，具体实例，希望你的网站可以有一个好的robots.txt，因为robots.txt是搜索引擎了解你网站的一个非常重要的途径。
