Python爬虫入门教程 100

爬虫 100 例的原则上最后一篇文章，很激动，有很多话想说，请允许我写这么一篇唠唠叨叨的文章。

写爬虫系列很迷，估计和很多进入爬虫编码圈的人一样，单纯的我只想看一些图片，然而一页页的去翻，真的好麻烦，总想着可以自动化处理多好，那一年是 2010 年，而我只会简单的 C#语言，不过还是靠着拖拽控件，到处复制粘贴修改代码的方式，拼凑出了一个图片下载器，那一年距离现在恰好 10 年。

很多人注意到，梦想橡皮擦确实是一个老程序员了，在 CSDN 一个非常不友好的设计中，无情的展示了橡皮擦的年纪。这家伙至少在 IT 圈子 12 年了。没错，这个账号大概是 08 年还是 09 年注册，而那一年我确实接触了编程，第一门是 HTML，勉强算是编程语言。 当然后来还是慢慢接触了 ASP,PHP,JS,C#,C++,Python，还有更多的小框架语言。 而作为一个深度的编程爱好者，无论何时都想用程序解决问题，即使后来成为项目经理，技术总监，编程老师，产品经理，都没有把一线编码放下（当然技术的深度无法直接去评判了）。

工作履历中因为有互联网讲师的经历（6 年），让我认识到编程最难的其实是入门，是真的万事开头难，要想成为一个好的编码者，进门时对编程产生浓厚的兴趣太重要了。

这套课程设计的初衷，也是想通过爬虫这一件充满趣味的编程方向，让更多的人喜欢上编程，了解到，哦！编程还可以下载一些图片到本地，还可以抓取一些数据分享给别人。

当你身边的朋友需要这些数据时，你通过自己的小小努力，帮助到他，你的成就感会更加爆棚，兴趣这件小事就成就未来一个顶级的软件开发工程师。

例如，小 A 分享他女友是销售代表，老板给的工作是每日必须收集 200 个潜在用户电话（这些电话都是从竞品网站获取的），看着女友每天半夜复制粘贴，小 A 用很短的代码实现了一个小爬虫，对于小 A 来说，可能一瞬间就爱上了编程（O(∩_∩)O 哈哈~）。

注册 CSDN 已经是很久之前的事情了，只是在 2018 年才想到，写点文章，在网上留下点痕迹也许不错，从 Python 爬虫开始吧。于是就有了 2018 年 7 月 30 日的第一篇文章，CentOS 环境安装，只是当初并没有说要写到 100 例，并没有那么庞杂的一个设计。 7,8,9 月，三个月，合起来也就写到了第 3 篇，坚持写博客和为了工作写课件，明显后者驱动力更强，到 10 月份觉得这么写也太没成就感了，要写就好好的写成一个系列，之后连续 4 个月，大概写到了 30 篇左右。

人呀，就是容易犯懒，时间来到了 2018 年春节，多么快乐的一个月啊，哈哈，我断更啦。

过完大年，开开心心工作去，新年过后，又到了立 flag 的日子呢，所以又坚持更新了 2 个多月，又断更啦。

再之后，拖拖拉拉断更半年…

时间来到了 2020 年，一场疫情让我们在家办公。也叫我想起我还欠着 40 多篇的稿子呢。

不过结局还是很 Happy 的，这场耗时 2 年 2 个月的漫长旅程，终于在 2020 年 10 月 28 日圆满的画上的句号。

爬虫百例课程终于在这一天完整的呈现在了大家面前，而我也终于成为了爬虫领域的一个新人，没错，一个本职工作是产品经理的技术博主。

当然，这时断时续的更新期间，我也完成了其他系列的专栏呢，哈哈。

爬虫百例依托的是 Python 语言体系，Python 语言近些年一直风头很盛，那作为语言方面的首选，肯定要选择一个热门语言了。

其次是课程内容，编程入门有很多方向可以选择，但是以我的经历来看，爬虫是最容易营造成就感的一个体系，尤其是在与 Python 语言结合之后，二者简直是编程入门必备良药。

爬虫 100 例从构建爬虫环境开始，经过爬取库，解析库，综合库，API 爬取，爬虫框架，APP 爬取，反爬，分布式爬虫…从简单逐步到复杂，最后落地是一些场景的应用，也就是帮粉丝写爬虫的由来。

当然橡皮擦在写课的过程中，省略掉了商业爬虫部分，也省略到了一些会被发律师函的案例，最终给大家呈现了一套自认为还算及格的爬虫 100 例课程。

这 100 篇博客中，其实核心一直在围绕三个短句来写，抓取数据，解析数据，获取数据，任何爬虫其实都离不开这三个步骤，而这三个步骤中最难的就是抓取到你想要的数据，还有一句话可以分享给你，“在互联网上只要眼睛可以看到的数据，都可以爬取到本地电脑上—梦想橡皮擦” 。

其实坚持学习爬虫 100 例的朋友应该会逐步感受到，写爬虫其实需要扩展的方方面面知识非常多，你要了解前端技术体系，你要了解服务器解析体系，你要了解存储技术体系，你甚至要了解 逆&向^破*解 体系，而这些在爬虫中都会遇到，甚至有的伙伴在中途 APP 爬取的过程中，转型到了移动端开发，成功进入移动开发领域，这可能就是爬虫体系带来的意外之喜吧。

这套课，从橡皮擦的角度希望你除了了解爬虫技术以外，还可以对各种问题有解决办法，毕竟这个领取充满程序员之间的斗智斗勇（反爬&反反爬）。

很多朋友私信问，这个系列的课程会不会到 100 讲之后就停止更新了，按照橡皮擦的断更频率，很有可能的。

现在大家不用担心了，以前橡皮擦是个无人认识的小小博主，现在好歹有点点粉丝，在大家的激励下，后续的爬虫课程还会继续下去，因为爬虫课是时效性很强的一个技术，很多网站今天可以这么爬，明天也许就不可以了，网站的更新，技术的迭代，都让爬虫课有无限进行下去的可能。

后续会出现一个新的专栏【Python 爬虫小课】还是采用案例的形式，会出现在梦想橡皮擦的博客之上。

2 年 2 月的陪伴，将近 800 天，非常痛快，爬虫 100 例，收工。

梦想橡皮擦，2020/10/27，河北。

如果你想跟博主建立亲密关系，可以关注同名公众号 “梦想橡皮擦”，近距离接触一个逗趣的互联网高级网虫。 博主 ID：梦想橡皮擦，希望大家点赞、评论、收藏。

爬虫百例教程导航链接 ： https://blog.csdn.net/hihell/article/details/86106916

以下内容无用，为本篇博客被搜索引擎抓取使用 (*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣) python 是干什么的 零基础学 python 要多久 python 为什么叫爬虫 python 爬虫菜鸟教程 python 爬虫万能代码 python 爬虫怎么挣钱 python 基础教程 网络爬虫 python python 爬虫经典例子 python 爬虫 python 爬虫 python 爬虫 python 爬虫 python 爬虫 python 爬虫 python 爬虫 (*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣)(*￣︶￣) 以上内容无用，为本篇博客被搜索引擎抓取使用