或许这个不是很多人知道,谷歌在很早之前就有一个从主机端来控制noarchive, noindex,nofollow的标签X-Robots-Tag,这个标签的主要目的就是控制那些无法在页面Header里享用noindex等标签的内容,比如说PDF,DOC,JPG文件。因为很有可能有些网站不希望这些文件被谷歌收录,但又没有办法写在header里面,所以X-Robots-Tag就可以从主机端直接告诉谷歌蜘蛛哪些不要收录。
Example of X-Robots-Tag NoArchive Directive
<Files ~ "\.html$">
Header append X-Robots-Tag "noarchive"
</Files>
Example of X-Robots-Tag