# 51黑料网 · 站群 robots.txt(相对路径,多域名通用) # Sitemap 由 index.php 动态补全为当前域名绝对地址 User-agent: * Allow: / User-agent: Baiduspider Allow: / User-agent: Sogou web spider Allow: / User-agent: 360Spider Allow: / User-agent: Bytespider Allow: / User-agent: Googlebot Allow: / # 相对路径 · 爬虫自动解析为当前站点域名 Sitemap: /sitemap.xml