说米网

本文纲要：

1、爬虫是什么？反爬虫又是什么？

2、爬虫有哪些分类？

3、爬中流程与查找引擎工作流程

4、http/https协议与状况码

5、robots协议

爬虫是什么？反爬虫又是什么？

这儿的爬虫不是咱们日子中的爬虫，如蜘蛛。这儿的爬虫更多指的是网络爬虫，即咱们叫它网页蜘蛛或网络机器人。当然，在SEO里，叫网页蜘蛛更多。

网络爬虫，是一种依照必定规矩，主动地抓取互联网上的信息的一种程序。他有一个英文名叫spider，比方百度网页蜘蛛就叫baiduspider，那搜狗的就叫Sogou spider。

这也是咱们SEO人员做网站优化排名会听说的一个词。网站为啥没收录呢？本来蜘蛛没来抓取！怎么看这个爬虫蜘蛛朋友来没来呢，让技能把网站日志下载给咱们，咱们就能够判断了，你说算不算好朋友？

百度爬虫是什么？Baiduspider是啥？

Baiduspider是百度查找引擎的一个主动程序，它的效果是拜访互联网上的网页，树立索引数据库，使用户能在百度查找引擎中查找到网站上的网页。百度还有哪些蜘蛛呢？如下图。最多是圈中这个，记得哈~

图片

反爬虫是什么？

咱们以新世界电讯网站举例，企业网站也同理哈。门户网站经过相应的战略和技能手法，防止爬虫程序进行网站数据的爬取，这就叫反爬虫。

当然，其实还有反反爬虫，即爬虫程序经过相应的战略和技能手法，破解了门户网站的反爬虫手法，从而爬取到相应的数据，这就叫反反爬虫。

再文言举例：你要来收集我的内容（爬虫），我不给你采并且我做防收集（反爬虫）。你呢，又搞了更高技能把我防收集攻破了收集（反反爬虫），这样理解了吧？

爬虫有哪些分类？

爬虫一共就分两类：通用爬虫与聚集爬虫。

通用爬虫：简略说便是尽可能的把网上的一切的网页下载下来，放到服务器里再对这些网页做相关处理，最后给用户查找用，通常指的查找引擎爬虫。比方：谷歌爬虫、百度爬虫、搜狗爬虫、360爬虫等。

聚集爬虫：它是依据指定的需求抓取网络上指定网站的数据。比方：获取知乎问答上的某一问题的浏览量和答复人数，而不是获取整个页面中一切数据。它也能够理解叫特定爬虫。

上面说到的反爬虫与反反爬虫，基本上都是在反这种聚集爬虫哈，你也能够理解为爬虫攻防战哈哈哈。

爬中流程与查找引擎工作流程

爬虫一般工作流程：确认某个URL——发送恳求——呼应内容——提取数据——保存数据。

查找引擎蜘蛛工作流程：爬取网页——存储数据——数据预处理——供给用户查找网页排名。

是不是感觉难理解？发送恳求是什么，呼应内容又是什么？这个往下看HTTP协议与状况看完你就懂了。

关于查找引擎数据预处理在处理什么，怎么理解？看大众号白杨SEO两年前写过这篇《白杨SEO：大文言告知你理解查找引擎工作原理的含义和运用》，看完你就懂了。

http/https协议与状况码

HTTP协议是指Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网 WWW（World Wide Web缩写）服务器传输超文本到本地浏览器的传送协议。默认端口号：80。

而HTTPS (Secure Hypertext Transfer Protocol)安全超文本传输协议指的是HTTPS是在HTTP上树立SSL加密层，并对传输数据进行加密，是HTTP协议的安全版。默认端口号：443。

你是不是理解不了这个HTTP到底什么东东？简略文言来说这个便是用来传输和接收页面的，确保你的电脑能快速传输文本文档并且让你看到哈。

至于HTTP的恳求头，呼应头，都是各种代码，白杨SEO就不在这儿写了，假如你要真的想了解，自己去查找，这儿只讲一下咱们SEO中会看到的HTTP恳求呼应状况码，一般状况码如下：

图片

上面只要是2或者3开头都是好的，比方查白杨SEO博客的：

图片

图片

输入http://www.baiyang查找引擎优化.com回来是301，而输入https://www.baiyang查找引擎优化.com 回来的是200正常的你知道为什么吗？

其实，这在SEO里来说，是因为两个不同URL内容是如出一辙，为了让查找引擎防止以为作弊，所以做了301永久重定向。简略理解，你用不带s的HTTP那个域名翻开便是这个带的了哈。

关于这个状况码，假如你想学习了解更深入一点，相同能够白杨SEO大众号上这篇：《白杨SEO：SEO入门学习之查找引擎蜘蛛与网站HTTP状况码》

robots协议

最后，来到针对查找引擎网页蜘蛛robots协议了。这个假如你是学SEO的，肯定要学的。

robots协议是什么？简略理解便是网站经过Robots协议告知查找引擎，网站上哪些页面能够抓取，那些页面不能抓取！但是，它仅仅是互联网中的一种约好而已。所以有些人说我分明制止XXX蜘蛛仍是被抓取了哈哈哈。

它长啥样？到底有什么用？

图片

长啥样，如上图，效果便是上面说的，在SEO里便是告知蜘蛛来爬我这儿，一般每个站都会做这个，因为蜘蛛首先要爬取一个页面这个地方是最先爬取的，也会重复爬取。

不要问我为啥要给蜘蛛爬取，你做一个网站意图是啥，不便是要让蜘蛛爬取然后用户查找的时候看到你带来流量吗？当然，你说我做网站只是用来存储我自己看除外哈哈哈。