爬虫爬取新浪财经纸浆行业期货年线数据

亲测有效，抓包页面在这里点进新浪财经网页，点击上方期货，左侧滑动，点击你想要抓取的行业，然后进入有图线的页面，点击年线，在这个页面又键检查即可，找到带有Dailykline的包。输入下面代码（换url,换headers)最终结果在最后。

import csv import requests import re import json f = open('年线.csv',mode='a',encoding='utf-8',newline='') csv_writer = csv.DictWriter(f,fieldnames=['日期','开盘','最高','最低','收盘','成交量','均价']) csv_writer.writeheader() url = 'https://stock2.finance.sina.com.cn/futures/api/jsonp.php/var%20_SP02023_12_17=/InnerFuturesNewService.getDailyKLine?symbol=SP0&_=2023_12_17' headers = {'User-Agent':                'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36',            }

response = requests.get(url=url,headers=headers)

content = re.findall('\{(.*?)\}',response.text) for index in content:     index_dict = '{'+index+'}'     json_data = json.loads(index_dict)     dit = {         '日期':json_data['d'],         '开盘': json_data['o'],         '最高': json_data['h'],         '最低': json_data['l'],         '收盘': json_data['c'],         '成交量': json_data['v'],         '均价': json_data['s']

    }     csv_writer.writerow(dit)