网店推广中的网络营销之seo优化第一课
网店在做seo的过程中最关键的是设置标题（title）和一些meta值，其中最关键的meta值有：keywords，description，robots。 第一课我就带领大家来探讨下robots的作用。 搜索引擎和robots.txt到底是什么关系，meta name robots的设定又如何，他们对网站的优化又有什么好处呢？ 1.介绍robots.txt。 robots.txt是一个纯文本文件，在这个文件中seo可以声明该网站中不想被robots访问的部分， 或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它首先爬行该站点根目录下是否存在 robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在， 那么搜索机器人就沿着链接抓取。 其次，robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。
2.robots.txt写作语法 首先，我们来看一个robots.txt范例：/robots.txt 访问以上具体地址，我们可以看到robots.txt的具体内容如下： # Robots.txt file from User-agent: * 以上文本表达的意思是允许所有的搜索机器人访问www.nvyouwm.cn站点下的所有文件。 具体语法分析：其中#后面文字为说明信息；User-agent:后面为搜索机器人的名称，后面如果是*，则泛指所有的搜索机器人；Disallow:后面为不允许访问的文件目录。 下面，我将列举一些robots.txt的具体用法： 允许所有的robot访问 User-agent: * 或者也可以建一个空文件 “/robots.txt” file 禁止所有搜索引擎访问网站的任何部分 User-agent: * 禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录） User-agent: * 禁止某个搜索引擎的访问（下例中的BadBot） User-agent: BadBot 只允许某个搜索引擎的访问（下例中的Crawler） User-agent: Crawler User-agent: * 另外，我觉得有必要进行拓展说明，对robots meta进行一些介绍： Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放 在页面的＜head＞＜/head＞中，专门用来告诉搜索引擎ROBOTS 如何抓取该页的内容。 Robots META标签的写法： Robots META标签中没有大小写之分，name=”Robots”表示所有的搜 |
