试题详情
多项选择题关于网络爬虫协议文件robots.txt，说法错误的是（）

A、一个网站可以放多个不同robots文件

B、robots文件不可以用xml格式命名

C、disallow用来描述不希望被访问到的一个URL

D、robots文件可以放在任何位置

  • A,B,D

  • 关注下方微信公众号，在线模考后查看

热门试题