一页聚合已经为"robots.txt"建立了3934021条聚合，部分结果未予显示！

  1. 百度搜索帮助中心-禁止搜索引擎收录的方法

    我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？ 如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然...

    http://www.baidu.com/search/robots.html   2010-07-17   一页分享


  2. 关于robots.txt

    有道 - 网易旗下搜索 帮助 有道首页 | 更多有道产品 站长帮助中心 网站抓取 网站索引与更新 关于robots.txt 帮助首页 > 站长帮助中心 关于robots.txt robots.txt有什么用？ 怎么使用robots.txt？ 怎么写robots.txt文件？ ...

    http://www.youdao.com/help/webmaster/robot/   2010-07-15   一页分享


  3. 详谈robots.txt写法规则-嘉纪商联公司

    Disallow: /*.htm 说明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”为后缀的文件)⑥robots.txt充许所有搜索引擎蜘蛛访问以某个扩展名为后缀的网页地址被抓取，设置代码如下:User-agent: * ...

    http://www.znzncn.com/html/589.html   2010-07-12   一页分享


  4. 什么是robots.txt - 西部数码站长资讯中心

    概念和结构的robots.txt已发展了10多年前，如果你有兴趣更多地了解它，请访问http://www.robotstxt.org/或者你可以直去，以标准为机器人排斥 ，因为在这篇文章中我们将只处理最重要的方面robots.txt文件。今后我们将继续进行结构...

    http://www.west263.com/info/html/wangzhanyunying/sousuoyouhua/20080225/45092.html   2010-07-19   一页分享


  5. robots.txt使用技巧 搜索引擎优化 豆苗网

    比如：大多数网站服务器都有程序储存在"cgi-bin"目录下，因此在robots.txt文件中加入"Disallow: /cgi-bin"是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、...

    http://www.doumiao.net/www/12/2007-11/154.html   2010-07-18   一页分享


  6. 使用 robots.txt 文件拦截或删除网页 - 网站站长工... - GOOGLE

    文件。（虽然某些漫游器可能会以不同的方式解释 robots.txt 文件中的指令，但所有正规的漫游器都会遵循这些指令。然而，robots.txt 不是强制执行的，一些垃圾信息发送者和其他麻烦制造者可能会忽略它。因此，我们建议对机密信息采用...

    http://www.google.com/support/webmasters/bin/answer.py?answer=40360   2010-07-11   一页分享


  7. robots.txt_搜搜百科

    当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中...共3千字robots...|robots...|robots...|robots...

    http://baike.soso.com/v234081.htm?pid=baike.box   2010-07-19   一页分享


  8. robots.txt

    robots.txt很简单，也很重要，但3年来，一直没有用过。 2004.11.09,我们2个站点终于用上了robots.txt。 这对spiders确实友好多了，也减轻了网站的无效负荷。...目前本站使用的robots.txt还非常简单，应该再增加一点。...

    http://www.zhuoda.org/hofman/7764.html   2010-07-15   一页分享


  9. "robots.txt"是什么？_百度知道

    您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者...

    http://zhidao.baidu.com/question/7716925.html   2010-07-17   一页分享


  10. robots.txt - 网页陶吧

    搜索引擎指南robots.txt文件 龙犊整理|天极网|2006-03-27 09:23 搜索引擎指南robots.txt文件-- 有一种力量其实一直在渗入大量的网站和页面，我们通常看不到它们，而且它们通常也很蛮横，大部分人甚至不知道它的存在，大家不要误会，...

    http://homepage.yesky.com/tags/1832598965/his.shtml   2010-07-19   一页分享


  11. 搜索引擎技术：robots.txt写作_海洋之心_新浪博客

    也可以建一个空文件“/robots.txt” file b、禁止所有搜索引擎访问网站的任何部分 C、禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录) User-agent: * Disallow: /01/ Disallow: /02/ Disallow: /03/ ...

    http://blog.sina.com.cn/s/blog_620ba0cf0100hgz7.html   2010-07-14   一页分享


  12. robots.txt怎么写，我只想让百度、谷歌、雅虎蜘蛛爬我的站_百度知道

    robots.txt怎么写？ 求完整正确的写法 User-agent: Baiduspider Disallow: User-agent: googlespider Disallow: User-agent: yahoospider Disallow: User-agent: * Disallow: / 1 回答者： chenxd2012 - 一级 2010-2-28 19:07 ...

    http://zhidao.baidu.com/question/139439219.html   2010-07-15   一页分享


  13. 基础知识 ROBOTS.TXT 语法和作用 - 建站交流 - Discuz! 官方站 ...

    3个回复 - 发帖时间: 2007年12月6日

    http://www.discuz.net/thread-803453-1-1.html   2010-07-13   一页分享


  14. 竹影清风：被忽略的SEO利器robots.txt - 站长网 admin5.com

    站长网:站长必上的网站 各位站长朋友可能比较少关注robots.txt,但善用robots.txt绝对对你的网站是有百益而无一害的。作用1：SEO中引导搜索蜘蛛抓取网站地图，更好...

    http://www.admin5.com/article/20090921/181290.shtml   2010-07-12   一页分享


  15. robots.txt和Robots META标签_技术_科技时代_新... - 新浪科技

    "robots.txt"文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL, or NL作为结束符)，...要注意的是:上述的robots.txt和Robots META标签限制搜索引擎机器人(ROBOTS)抓取站点内容的办法只是一种规则，...

    http://tech.sina.com.cn/s/2006-03-28/1715880747.shtml   2010-07-16   一页分享


  16. 如何写robots.txt？ - 点石互动

    robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时，它会首先检查该站点根目录下是否存在robots...

    http://www.dunsh.org/2006/08/02/robotstxt/   2010-07-15   一页分享


  17. 如何使用robots.txt防止搜索引擎抓取页面--太平洋电脑网Pconline-...

    有些时候，我们建立的一些网页，不希望被网友通过搜索引擎找到，该如何做呢？本文介绍了如何使用robots.txt防止搜索引擎抓取页面的一些技巧。

    http://www.pconline.com.cn/pcedu/soft/virus/safe/0804/1260827.html   2010-07-19   一页分享


  18. robots.txt写法,规范,作用

    Robots.txt是存放在网站根目录下的一个文件，通常情况下，搜索引擎会对所有的网站页面进行抓取分析，如果一个网站管理员不想让搜索引擎抓取一些页面，比如网站管理后台，网站次要目录或者涉及到不愿被搜索引擎抓取公开的内容等，...

    http://www.360doc.com/content/070420/10/25551_456998.html   2010-07-15   一页分享


  19. 如何编写一个 robots.txt - 技术情报

    http://www.robotstxt.org/orig.html (http://www.robotstxt.org/orig.html) http://www.robotstxt.org/wc/faq.html (http://www.robotstxt.org/wc/faq.html) http://www.robotstxt.org/ (http://www.robotstxt.org/) Microsoft Internet Information ...

    http://support.microsoft.com/kb/217103/zh-cn   2010-07-11   一页分享


  20. robots.txt - Википедия - WIKIPEDIA

    и структуры файла robots.txt существует ряд специализированных ...Использование robots.txt - официальная помощь Яндекса ...

    http://ru.wikipedia.org/wiki/Robots.txt   2010-07-14   一页分享


  21. [url]http://w3.org/robots.txt[/url]

    # # robots.txt for http://www.w3.org/ # # $Id: robots.txt,v 1.60 2010/05/28 07: 27:43 dom Exp $ # # For use by search.w3.org User-agent: W3C-gsa Disallow: ...

    http://www.w3.org/robots.txt   2010-07-12   一页分享


  22. robots.txt - 互动百科

    请用一段简单的话描述该词条，马上添加摘要。 robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

    http://www.hudong.com/wiki/robots.txt   2010-07-12   一页分享


  23. The Web Robots Pages

    The Robots Database has a list of robots. The /robots.txt checker can check your site's /robots.txt file and meta tags. The IP Lookup can help find out more about what robots are visiting you. ...

    http://www.robotstxt.org/   2010-07-18   一页分享


  24. robots.txt一分钟教程-SEO实验室

    kyw的回答： robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。 robots有什么作用？kyw的回答：通过robots.txt可以...

    http://www.seotest.cn/BLOG/seo-jiaocheng-robots.html   2010-07-16   一页分享


  25. robots.txt大家看我这样写对吗_百度知道

    User-agent: * Disallow: /images/ Disallow: /Search/Search.asp 大家告诉我写的对不对是什么意思，谢谢大家了。有回赠分数 ...

    http://zhidao.baidu.com/question/59609155.html   2010-07-15   一页分享


  26. Html:robots.txt禁止搜索引擎收录的方法-HTML/DHTML-华夏名网资讯...

    一．什么是robots.txt文件?搜索引擎通过一种程式robot（又称spider），自动访问互连网上的网页并获取网页信息。你能在你的网站中创建一个纯文本文件robots.txt，在...

    http://www.sudu.cn/info/article/articleInfo.php?aId=320138   2010-07-17   一页分享


  27. 转贴：robots.txt语法详解 百度空间_应用平台

    robots.txt语法。最简单的 robots.txt 文件使用两条规则： User-Agent: 适用下列规则的漫游器 Disallow: 要拦截的网页 这两行被视为文件中的一个条目。您可...

    http://apps.hi.baidu.com/share/detail/5440744   2010-07-15   一页分享


  28. robots.txt用法_有图网

    此外，还有Robots META标签，百度和google都可以识别，不过对于使用cms建站的大多数人来说，更快捷的方法仍然是在robots.txt上书写规则，要容易的多，若非专业的大型项目网站管理员不用掌握。 对于网站而言，如果是动态网站，robots...

    http://www.utosee.com/post/robots.txt.html   2010-07-19   一页分享


一页聚合
相关聚合