Python网络爬虫程序技术

1.什么是爬虫

爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来控制它咯。比如它在抓取一个网页，在这个网中他发现了一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。

网络爬虫就是一组能自动从网站的相关网页中自动搜索与提取数据的程序，提取与存储这些数据是进一步实现数据分析的关键与前提。Python语言程序简单高效，编写网络爬虫有特别的优势，尤其业界有专门为Python编写的各种各样的爬虫程序框架，使得爬虫程序的编写更加简单高效。

Python是一种面向对象的解释型计算机程序设计语言，该语言开源、免费、功能强大，而且语法简洁清晰，具有丰富和强大的库，是目前应用广泛的程序语言。

2.浏览网页的过程

在用户浏览网页的过程中，我们可能会看到许多好看的图片，比如 https://image.baidu.com/ ，我们会看到几张的图片以及百度搜索框，这个过程其实就是用户输入网址之后，经过DNS服务器，找到服务器主机，向服务器发出一个请求，服务器经过解析之后，发送给用户的浏览器 HTML、JS、CSS 等文件，浏览器解析出来，用户便可以看到形形色色的图片了。

因此，用户看到的网页实质是由 HTML 代码构成的，爬虫爬来的便是这些内容，通过分析和过滤这些 HTML 代码，实现对图片、文字等资源的获取。