试题详情
单项选择题Robots.txt文件是搜索引擎抓取网站第一个需要查看的文件，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。在www.domain.com中，如禁止所有搜索引擎程序抓取www.domain.com/A下所有内容，Robots文件应如何设置？（）

A、"User-agent：*Disallow：/A"

B、"User-agent：Allow：/A"

C、"User-agent：Disallow：/"

D、"User-agent：*Allow：/"

  • A

  • 关注下方微信公众号，在线模考后查看

热门试题