抖音爬虫及各API记录

爬取的抖音的数据。然后卖给抖音的电商

抓取的所有用户的资料信息，当然可以后续跟进需求进行更改

我就简单的讲一下

难点：

1，用的是模拟器+fiddler

2，视频集和个人资料页的处理方法

视频集是有对应的api接口，json数据每个链接里有15条数据，并且每个链接里cursor值有20倍数的变化，从中取出author_user_id 即可构建个人资料页爬取

3，分析各页面的数据情况即对应的抓取规则

个人简介也有api对应，返回的也是json数据，但是这里面需要链接参数传完全才返回完全的真实数据、

部分链接的访问需要合法的设备信息，所谓合法的设备信息，即通过安装抖音第一次打开时，向服务器发送android_id和IEMI所返回的iid和device_id。

URL:https://aweme-eagle.snssdk.com/aweme/v1/notice/?notice_group=6&count=10&max_time=1561688662&min_tim