robots.txt.liquid
巴克励步
发布于：2024-07-07
模板 robots.txt.liquid 呈现 robots.txt 托管在 /robots.txt URL 上的文件。
该文件 robots.txt 告诉搜索引擎哪些页面可以或不能在网站上抓取。它包含执行此操作的规则组，每个组有三个主要组件：
用户代理，用于记录规则组应用于哪个爬网程序。例如，
adsbot-google.规则本身，用于记录爬网程序可以访问或无法访问的特定 URL。
可选的站点地图网址。
baklib默认情况下会生成一个 robots.txt 文件，该文件适用于大多数站点，因此默认情况下此模板不包含在任何主题中。
通用代码：
User-Agent: *
Disallow: