禁止网站部分网页不被收录的方法有哪些?

发布时间:2024-11-13 点击:234
通常做网站的目标就是让搜索引擎收录,扩大推广面,但是如果你的网站涉及个人隐私或者机密性非公开的网页而需要禁止搜索引擎收录抓取的话,那么禁止网站部分网页不被收录的方法有哪些?
1) noindex 标签
利用“noindex”禁止搜索引擎抓取页面,在不希望被收录的网页中使用以下指令:
<meta name=robots content=noindex>
利用这个方法可以有效的解决不想要被收录页面。也是比较推荐的方式,可以解决大多数的问题,操作容易,就是需要单页面设定,如果页面数量多会有执行困难,需要后台开发单页面代码插入功能。
2) robots.txt 协议
robots.txt 文件位于网站根目录,能够向搜索引擎爬虫表明你不希望被收录的网站内容路径。在大多数的情况下都可以解决不想被收录的问题,不过
robots.txt 本身还是有一些限制的,比如它不是强制的指令,因此不是每个搜索引擎都会完全遵守 robots.txt 内的协议。
3) 服务器设定解决
直接在服务器上把目录或文件设定成密码存取,例如使用apache网页服务器时,可以编辑 .htaccess
文件使目录受密码保护。如此一来就可以保证搜索引擎不会抓取,这是最根本且绝对有效的方式,不过这样设定也代表了用户无法查看网页,可能会不符合网站设计的目的,因此这个方法通常只适合应用在敏感的资料上。


物流网站应该如何运营?应注意哪些问题?
影响搜索引擎优化排名的因素
更新网站文章注意的细节有哪些?
网站内容收录的有效方法
大数据时代的剖析工具百度指数
网络推广中网站需要做的地方有哪些?
企业到底是应该做点击
天津SEO需要靠坚持才能成功