Python爬取淘宝商品信息（全网商品详情数据，商品列表，商品销量，商品优惠券等）

一、淘宝商品信息爬取 这篇文章主要是讲解如何爬取数据，数据的分析放在下一篇。之所以分开是因为爬取淘宝遇到的问题太多，而猪哥又打算详细再详细的为大家讲解如何爬取，所以考虑篇幅及同学吸收率方面就分两篇讲解吧！宗旨还会不变：让小白也能看得懂！ 本次爬取是调用淘宝 pc 端搜索接口，对返回的数据进行提取、然后保存为 excel 文件！

二、爬虫单页数据

1. 查找加载数据 URL

我们在网页中打开淘宝网，然后登录，打开 chrome 的调试窗口，点击 network，然后勾选上 Preserve log，在搜索框中输入你想要搜索的商品名称

这是第一页的请求，我们查看了数据发现：返回的商品信息数据插入到了网页里面，而不是直接返回的纯 json 数据！

直接返回一个链接而 不是 json 数据，这个链接是什么鬼？点一下。。。

铛铛铛，滑块出现，有同学会问：** 用 requests  能搞定淘宝滑块吗？咨询过几个爬虫大佬，滑块的原理是收集响应时间，拖拽速度，时间，位置，轨迹，重试次数等然后判断是否是人工滑动。而且还经常变算法，讨论出一个封装接口的方式解决滑块，接口代码如下：

1.请求方式：HTTPS  GET  POST  ；请求链接：http://c0b.cc/30G0f2

2.公共参数：

名称

类型

必须

描述

key

String

是

调用key（必须以GET方式拼接在URL中）

secret

String

是

调用密钥 （复制v:Taobaoapi2014 )

api_name

String

是

API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等]

cache

String

否

[yes,no]默认yes，将调用缓存的数据，速度比较快

result_type

String

否

[json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读

lang

String

否

[cn,en,ru]翻译语言，默认cn简体中文

version

String

否

API版本

3.请求代码示例，支持高并发请求（CURL、PHP 、PHPsdk 、Java 、C# 、Python...）

4.响应示例

5.代码报错说明