说米网

在这些年的确诊中，我这儿发现不低于20%的360收录域名网站都存在着一个严峻的抓取问题，但是古怪的是，却一直得不到大多数人的重视。而研讨透彻并分享这个问题的人，更是没有发现。今天这篇文章，咱们就来看一下这个问题。
什么问题呢?
连接超时，或许抓取超时，假如你的360收录域名网站呈现过这个问题，至今没有处理到位的，就把这篇文章转载一下吧。
很多人说，不便是几十次的超时吗?有什么大不了的，假如这样认为，那么真的是活该网站做不好了，正常的网站是什么样的呢?咱们来举个比方：
这是一个权重4的站点，哪怕十多万次的抓取，却依旧没有呈现过一次的抓取过错!假如你的每日抓取过错量超越10次(十天半个月就呈现一次过错，或许接连多天呈现的)，就真的应该严肃处理一下这个问题了，由于当时问题的存在，现已长期的限制了网站的发展上限，甚至由于这个问题，诱发网站的降权，都一点不古怪。
为什么会犯错?
有人说，不用理会，这便是一个BUG，由于我在网站的LOG日志中，并没有发现这个问题。之前在百度站长的VIP群里，有人这样解说过。但是我想说的是：百度无法抓取到网站，你的网站LOG日志，能计算到这样的过错吗?所以，上述解说是彻底说不过去的。
那么，为什么会呈现这样的过错呢?
A，问题，无论是蜘蛛仍是用户拜访网站，首要就需要域名的做了正确的解析，然而解析是解析了，你能确认真的安稳吗?不少站点的过错，正是由于不安稳而造成的。尤其是那些又做域名注册，又搞‘域名抢注’的渠道，这样的渠道，更容易呈现解析不安稳的状况，尤其是在抢注高峰期。具体哪些品牌，这个就不点名了，假如你的域名在这些渠道中，贺贵江强烈主张你将其转出。
B，页面太大，有一些网站的部分页面达到了四五六七八兆的状况，甚至还见过很少的网站呈现过一个页面有巨细。这样的页面，更容易呈现链接超时。正常状况，并不主张网站的页面巨细超越，一起主张网站服务器启用紧缩。
C，带宽不足，这是一个很常见的状况，不少站点呈现链接超时都是由于带宽不足而引发的。咱们知道的带宽峰值下载是，假如网站是接入，页面巨细是，假如一起2个人在翻开页面，那么就需要4秒才可以下载结束。假如带宽是，页面巨细是，一个人翻开网站需要8秒，可假如是10个人一起翻开呢?所以带宽这儿，一定要做足。站长或许企业都应当调查一下站点的均匀带宽，以及峰值带宽状况，假如经常呈现‘带宽峰值’类型的拜访，那么就一定要升级带宽了。
D，首字节时刻，可能很多同学没有听说过这个问题，它指的是从发送恳求到WEB服务器的时刻+WEB服务器处理恳求并生成响应花费的时刻。有一些站点，首字节时刻竟然都可以达到，这样的状况，网站还能正常吗?
1、对于首字节时刻这儿，咱们应当留意：避免网站与其他网站共享同一个服务器其他网站会占用自身网站服务器处理时刻。
2、削减内容和拜访者之间的“距离”将静态内容分发到，的内容自动复制到各个方位，在地理上更接近用户，然后削减的时刻。留意的是，已定要设置‘缓存时刻’针对于网站拜访较慢的页面或栏目。
3、避免网站使用虚拟主机系统如网站在一段时刻未有流量产生，系统会推迟或暂停虚拟服务器，当新访客进入时，将重新进行服务器备份处理。
4、后端优化软件性能削减服务器生成的响应到浏览器的时刻，比方：操作码缓存、服务器端缓存、本地缓存、总缓存等。