零基础学爬虫大概多久?应该如何学习？

关于网络爬虫的概念，我们先来瞅瞅维基百科（Wikipedia）上面的定义：

网络爬虫（英语：web crawler），也叫网上蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

这里提到的编纂网络索引，就是搜索引擎干的事情。我们对搜索引擎并不陌生，Google、百度等搜索引擎可能每天都在帮我们快速获得信息。可能小猿们要问，搜索引擎的工作过程是怎样的呢？

首先，就是有网络爬虫不断抓取各个网站的网页，存放到搜索引擎的数据库； 接着，索引程序读取数据库的网页进行清理，建立倒排索引； 最后，搜索程序接收用户的查询关键词，去索引里面找到相关内容，并通过一定的排序算法（Pagerank等）把最相关最好的结果排在最前面呈现给用户。

看上去简简单单的三个部分，却构成了强大复杂的搜索引擎系统。而网络爬虫是其中最基础也很重要的一部分，它决定着搜索引擎数据的完整性和丰富性。我们也看到网络爬虫的主要作用是获取数据。

由此简单地说，网络爬虫就是获取互联网公开数据的自动化工具。

这里要强调一下，网络爬虫爬取的是互联网上的公开数据，而不是通过特殊技术非法入侵到网站服务器获取的非公开数据。

可能你要问，什么是“公开数据”呢？简而言之，就是网站上公开让用户浏览、获取的数据。

虽然数据是公开的，但是当某人或机构（如，搜索引擎）大量收集这些数据并因此获利时，也会让数据生产方——网站很不爽，由此而产生法律纠纷。比如，早些年Google因此而惹上官司。

网站们看着搜索引擎因为搜索引擎抓取自己的内容而获利不爽，但也因为搜索引擎带来的流量而高兴不已，于是就出现了网站主动进行搜索引擎优化（SEO, Search Engine Optimization），也就是告诉搜索引擎，我这里的内容好，快来抓取吧！

搜索引擎和网站的博弈，催生了一个君子协议： robots.txt。网站在自己的网站上放上这个文件，告诉爬虫哪些内容可以抓，哪些内容不可以抓；搜索引擎读取网站的robots.txt来知道自己的抓取范围，同时也在访问网站时通过User-Agent来向网站表明自己的身份（这种表明也是君子协议，技术上很容易假扮他人），比如，Google的爬虫叫做Googlebot，百度的爬虫叫做Baiduspider。这样，二者和平共处，互惠互利。

二、大数据时代的网络爬虫

时代在发展，数据变得越来越重要，“大数据”已经成为各行各业讨论的话题，人们对数据的渴望也变成贪婪，数据也就成了“石油”，爬虫也就成了“钻井机”。

为了获取石油，人们使用钻井机；为了获取数据，人们使用爬虫。为了获得数据，人们把互联网钻的是“千疮百孔”。哈哈，这里有些夸张。但人们对数据的获取，已经打破的君子协定，和网站们玩起了猫捉老鼠的游戏，展开了道高一尺魔高一丈的较量。

为什么说是较量呢？因为大量爬虫的行为会给网站带来网络带宽、服务器计算力等方面很大的压力，却几乎不带来任何利益。为了降低这种毫无利益的压力和避免自己的数据被他人集中收集，网站肯定要通过技术手段来限制爬虫；另一方面，爬虫为了获取石油般的数据，就想方设法来突破这种限制。

对于这种较量的理解，还是看活生生的例子来得更透彻。

你有没有花几十块钱让某个软件帮你抢火车票？ 攻： 抢票爬虫会不断访问12306来获得火车票座位数据，并进而购买火车票； 防： 12306网站出了变态的认证码，人都经常识别错误。 各种秒杀让你很受伤！ 攻： 研究网站的秒杀机制，提前写好爬虫，秒杀时刻，人快不过机器； 防： 有些秒杀的宣传作用很大就懒得防；有些秒杀机制复杂到你很难写出对应的爬虫；有些秒杀成功被发现作弊也会被取消。 爬虫变得越来越多，越来越肆无忌惮，网站也不得不使用各种技术手段来禁止或限制爬虫。这些手段大致包括：

使用账户保护数据，数据仅对登录用户可见； 数据多次异步加载； 限制IP访问频率，甚至封锁IP； 输入验证码以获得访问权限； 数据在服务器端加密，浏览器端解密； …… 而这些手段也是爬虫在技术实现中要解决和突破的问题。

Python爬虫学习路线分享给大家

（一）如何学习Python

学习Python大致可以分为以下几个阶段：

1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 | 菜鸟教程

2.看完基础后，就是做一些小项目巩固基础，比方说：做一个终端计算器，如果实在找不到什么练手项目，可以在 Codecademy - learn to code, interactively, for free 上面进行练习。

4.Python库是Python的精华所在，可以说Python库组成并且造就了Python，Python库是Python开发者的利器，所以学习Python库就显得尤为重要：The Python Standard Library ，Python库很多，如果你没有时间全部看完，不妨学习一遍常用的Python库：Python常用库

5.Python库是开发者利器，用这些库你可以做很多很多东西，最常见的网络爬虫、自然语言处理、图像识别等等，这些领域都有很强大的Python库做支持，所以当你学了Python库之后，一定要第一时间进行练习。

6.学习使用了这些Python库，此时的你应该是对Python十分满意，也十分激动能遇到这样的语言，就是这个时候不妨开始学习Python数据结构与算法，Python设计模式，这是你进一步学习的一个重要步骤：faif/python-patterns

7.当度过艰难的第六步，此时选择你要研究的方向，如果你想做后端开发，不妨研究研究Django，再往后，就是你自己自由发挥了

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

三、Python视频合集

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、Python练习题

检查学习结果。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

 最后祝大家天天进步！！

上面这份完整版的Python全套学习资料已经上传至CSDN官方，朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。