robots txt怎么写：改动前怎样保存原始状态
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8dcccf0b68e7.html
📄
robots txt怎么写：改动前怎样保存原始状态
改动 robots.txt 之前，先把当前线上文件完整保存下来，并记录它的来源、时间和生效范围。最直接的做法是：用浏览器打开站点根目录下的 robots.txt，另存为带日期的纯文本文件；同时把文件内容复制到版本记录里，写清抓取时间、访问 URL 和当时的 HTTP 状态。这样一旦新规则误封目录，可以立刻对照原始内容回滚，而不是凭记忆重写。
假设一个场景：先保存，再动手
假设你接手一个站点，需要禁止抓取测试目录 /tmp-test/。此时不要直接编辑线上文件。先做三步：
- 访问
https://example.com/robots.txt，确认返回的是 200 而不是 404 或跳转页。 - 把页面内容原样复制到一个新文件，命名如
robots-2025-06-01-origin.txt，不要改动任何字符。 - 记录访问时间、文件大小、HTTP 状态码，以及这份文件是通过服务器目录、CDN 还是后台面板下发的。
保存完成后，再在副本上添加 Disallow: /tmp-test/。上线前用同一 URL 复查，确认新内容已生效，且没有把 Disallow: / 这类全站封禁误带进去。
保存原始状态时要检查什么
只保存文本还不够，至少要核对以下项目：
- 字符是否一致：空格、大小写、换行位置都可能影响解析，不要顺手格式化。
- 来源是否唯一：确认服务器、CDN、建站平台没有各自生成一份 robots.txt，避免改了 A 处、线上仍返回 B 处。
- 状态码是否正常：返回 404 时，不同搜索引擎对“无 robots.txt”的处理并不相同，保存一份 404 页面没有回滚价值。
- 是否被重定向：如果访问根目录 robots.txt 跳到其他路径，要记录最终 URL，而不是只保存跳转前的内容。
这些检查的意义在于：回滚时你要恢复的是“线上实际生效的那份”，而不是“你以为线上有的那份”。
常见错误：保存了，但回滚不了
最常见的错误是只保存了改动后的版本，或者把原始内容存进聊天记录、临时笔记，过几天找不到。另一种错误是保存时经过编辑器自动转换，把制表符变成空格、把换行符改成 CRLF，导致回滚后解析结果与原来不同。
还有一种情况容易被忽略：robots.txt 的抓取限制不等于可靠的索引移除。即使原始文件恢复成功，已经被抓取并建立索引的页面也可能继续出现在结果中。因此保存原始状态解决的是“规则回滚”问题，不是“删除索引”问题。若目标是移除已收录内容，需要另行走页面级 noindex 或移除工具，并分别核查不同搜索引擎的支持情况。
时间有限时，最先做哪一步
如果只能做一件事，就做“完整备份 + 来源确认”。具体判断标准是：你能否在不求助他人的情况下，用保存的文件在五分钟内还原线上 robots.txt。能做到，再开始改；做不到，先补齐备份。
改动上线后，下一步是立刻复查线上返回内容，并与备份逐行对比。发现差异时先回滚，再排查是缓存、CDN 还是多份配置冲突。站点地图不保证收录，HTTPS 也不保证安全或排名，这些都不应成为跳过备份的理由。
