requests+selenium 爬取企查查网，1000+条数据轻轻松松

2024-07-14 11:08| 来源: 网络整理| 查看: 265

对于这个我们就很简答了，我们需要获取公司的具体链接在这里插入图片描述我们根据如下链接去爬取公司的具体链接： https://blog.csdn.net/qq_44936246/article/details/120049948?spm=1001.2014.3001.5501 selenium 轻松模拟登录企查查，获取企业详细信息链接

数据

在这里插入图片描述

注意注意注意注意我们在根据链接，去获取 HTML的时候，前后获取的我们需要设置停顿时间---time.sleep(60)，我一般是60s,如果我们不设置十分容易被封IP，本人就是时间间隔设置短了，10s，废了好几个IP，才爬取了几条数据，后来时间设置长一点，一个IP轻松爬取1000+条数据完整代码 import requests import time from lxml import etree import pandas as pd import csv base_url = 'https://www.qcc.com/web/search?key=' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0' } data = pd.read_csv('./data.csv',header=None) data.columns=['id','url'] a = [] f = open('企查查.csv','w',newline='') writer = csv.writer(f) title = ['统一社会信用代码','企业名称','法定代表人','登记状态','成立日期','注册资本','实缴资本','核准日期','组织机构代码','工商注册号','纳税人识别号','企业类型','营业期限','纳税人资质','所属行业','所属地区','登记机关','人员规模','参保人数','曾用名','英文名'

【本文地址】

公司简介

联系我们