• 我的WordPress这样SEO (3)－robots.txt

    分类：WordPress | 标签： | 浏览次数：8,179

    在继续说明如何采用实际方法进行WordPress的SEO优化前，我插入了这一篇：robots.txt。

    什么是robots.txt？其实它只是一个放在网站根目录内，并且记了些文字的文本文件罢了。但它是如何在网站的SEO优化中起到作用的呢？简单的说就是，搜索引擎会根据robots.txt的内容“按规操作”。哪些内容应该搜索，哪些内容不应该搜索，全部都由robots.txt来指挥。

    那我们应该如何设置robots.txt的内容呢？以下是我自己的设定，适合WordPress使用的：

    User-agent: *
    # disallow all files in these directories
    Disallow: /cgi-bin/
    Disallow: /z/j/
    Disallow: /z/c/
    Disallow: /stats/
    Disallow: /dh_
    Disallow: /about/
    Disallow: /contact/
    Disallow: /tag/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /contact
    Disallow: /manual
    Disallow: /manual/*
    Disallow: /phpmanual/
    Disallow: /category/
    Disallow: /wp-
    Disallow: /feed/
    Disallow: /trackback/
    Disallow: */feed*
    Disallow: */trackback

    User-agent: Googlebot
    # disallow all files ending with these extensions
    Disallow: /*.php$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$
    Disallow: /*.gz$
    Disallow: /*.wmv$
    Disallow: /*.cgi$
    Disallow: /*.xhtml$

    # disallow all files with ? in url
    Disallow: /*?*

    # disable duggmirror
    User-agent: duggmirror
    Disallow: /
    # allow google image bot to search all images
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*

    # allow adsense bot on entire site
    User-agent: Mediapartners-Google*
    Disallow:
    Allow: /*

    你可以把它复制，然后另存为robots.txt并放在你的WordPress根目录下就行了。

    请注意下面的一句：

    # disallow all files with ? in url
    Disallow: /*?*

    上面的那句是让搜索引擎不去搜索所有带“？”的网址。如果你的WordPress的链接形式是默认的那一种：yourweb.com/?pxx的形式的话，请把它删掉。

    这样，搜索引擎在搜索我们的网站时才会显得更有效率，避免了浪费时间什么的去搜索一些无意义的目录，如是wp-admin/这一类目录。我们也能通过robots.txt更好的让自己的网站被收录。所以，如果你的WordPress还没有robots.txt，赶快设置一个吧！

    你正在浏览《我的WordPress这样SEO》的最新篇。如果你想查看已经发表的该专题所有文章，请点击这里。你也可以通过订阅本站文章(RSS),方便留意本专题的最新动向。

    Technorati tags: robot.txt, SEO, WordPress, Google

     

     

    或者收藏到 Delicious。建议通过 RSS 订阅本站更新。你还可以 follow me 谢谢！ — by Jinwen @ 2007/04/04 10:21