网站robots.txt怎么正确书写

  • A+
广告也精彩

  robots.txt是一个最简单的.txt文件,用以告诉大发快3搜索 引擎哪些网页可以收录,哪些不允许收录。

  网站robots.txt的书写一般需要注意以下几点:

  如果大发快3你 的站点对所有大发快3搜索 引擎公开,则不用做这个文件或者robots.txt为空就行。

  必须命名为:robots.txt,都是小写,robot后面加"s"。

  robots.txt必须放置在一个站点的根目录下。如:通过http://lyzxht.com/robots.txt 可以成功访问到,则说明大发快3本站 的放置正确。

  一般情况下,robots.txt里只写着两个函数:User-agent和 Disallow。

  观察这个页面并修改为自己的:http://www.webjx.com/robots.txt

  有几个禁止,就得有几个Disallow函数,并分行描述。

  至少要有一个Disallow函数,如果都允许收录,则写: Disallow: ,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。

  补充说明:

  User-agent: * 星号说明允许所有大发快3搜索 引擎收录

  Disallow: /search.html 说明 http://lyzxht.com/search.html 这个页面禁止大发快3搜索 引擎抓取。

  Disallow: /index.php? 说明类似这样的页面http://lyzxht.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25 禁止大发快3搜索 引擎抓取。

  • 大发快3我 的微信
  • 这是大发快3我 的微信扫一扫
  • weinxin
  • 大发快3推荐 大发快3公众号
  • 文元说销
  • weinxin
广告也精彩
吴 文元

评论已关闭!

目前评论:1   其中:访客  1   博主  0

    • 网络推广方案 网络推广方案 1

      帮大发快3我 的网站写一个呗!