说米网

或许有的朋友会古怪，网站的页面不是让查找引擎抓的越多越好吗，怎样还会有怎样让网站页面内容不被抓取的注意。

首要，一个网站比如美橙互联能够分出去的权重是有限，哪怕是Pr10的站，也不或许无限的分权重出去。这权重包含链到他人网站的处链以及自己网站内的内链。

外链的话，除非是想坑被链的人。不然外链都是需求让查找引擎所抓取。这不在本文评论规模之内。

而内链，由于有些网站有不少重复或冗余的内容。 比方一些按条件查询的查找成果。特别是一些B2C站，在专门查询页或在一切产品页面的某个方位内，都能够按产品类型，类型，色彩，巨细等进行分类查找。这些页面尽管对阅览者来说是极大的便利，但对查找引擎来说，这但是消耗蜘蛛极大的抓取时刻，特别是网站页面较多时。一起也会分散页面权重,对SEO晦气。

别的网站办理登陆页面，备份页面，测验页面等等，也是站长不想让查找引擎所录入的。

所以就有需求让网页的某些内容，或某些页面不被查找引擎所录入。

下面笔者先介绍一下较为有用的几种办法：

1.在FLASH展现不想被录入的内容

众所周知，查找引擎对FLASH的内容抓取才能有限，不能彻底抓取一切FLASH内的一切内容。但惋惜的是，也不能彻底确保FLASH的一切内容都不会被抓取。由于谷歌和Adobe正尽力的完成FLASH抓取技能。

2.运用robos文件

这是暂时最有用的办法，但有个很大的缺陷。便是不传出任何的内容及链接。我们知道，在SEO来说比较健康的页面应该是有进有出的。有外链的链入，一起也页面内也需求有链到外部网站的链接，所以robots文件操控，让此页面只进不出，查找引擎也不知道内容是什么。会把此页定为低质量页面。权重有或许受必定的赏罚。这个多用于网站办理页面，测验页面等。

3.运用nofollow标签包裹不想被录入的内容

这个办法也不能彻底确保不被录入，由于这并不是严格要求恪守的标签。别的，如果有外部网站链向了有nofollow标签的页面。这样就很有或许会被查找引擎抓取。

4.用Meta Noindex标签加上follow标签

这个办法能够做到避免录入并且还能传递出权重。要不要传递，看网站建造站长自己的需求。这个办法的缺陷是，也是会较大的糟蹋蜘蛛的抓取页面时刻。

5.用robots文件的一起在页面上运用iframe标签展现需求查找引擎录入的内容robots文件能够阻挠iframe标签以外的内容被录入 。所以，能够把不想录入的内容放到正常页面标签下。而想被录入的内容放在iframe标签内。

紧接着，再说一下现已失效的办法，我们今后不要用这些办法了。

1.运用表格

谷歌和百度早现已能抓取表格用的内容了，无法阻挠录入。

2.运用Javascript及Ajax技能

以现在的技能来说，Ajax和javascript现在的终究运算的成果还是以HTML的方式传给阅览器以作显现，所以这相同无法阻挠录入。

初学者大多着眼于怎样录入，但细节决定胜败。怎样让网站页面内容不被抓取也是SEO进阶人士需求留意的。谢谢阅览，希望能帮到我们，