有时我们可能有一个包含图片或者临时文件的目录，并且我们不一定希望这些文件被搜索引擎索引。

请记住，Robots.txt 文件并非用于访问控制。
如果我们想保护某些数据的安全，那么我们一开始就不应该公开访问这些数据。

确保某些文件不会被索引的最好方法是为目录添加密码保护。
然而，这种极端的措施并不总是必要的，此外，目录的内容仍然可以在公开可用的页面上使用。
在这种情况下，我们可以尝试对目录进行 noindex 以使其远离主要搜索引擎。

使用 robits.txt 阻止目录

如果我们只有一个目录，例如名为 images 的目录，其中包含我们不想编入索引的文件和子目录，则可以在 robots.txt 文件中使用以下代码段：

User-agent: *
Disallow: /images/

如果我们想阻止访问多个目录，只需将它们列在彼此下面，就像在本例中所做的那样：

User-agent: *
Disallow: /images/
Disallow: /temp/
Disallow: /cgi-bin/