【Python】抓取基金数据

相信有很多朋友还是喜欢买基金的，今天刚好有时间就给大家来一个基金的。虽然暴富不可能，但是对于理财方面还是有所帮助的。代码就放在下面了。

爬虫常规思路：

1.分析网页
2.对网页发送请求，获取响应
3.提取解析数据
4.保存数据

Python版本：3.6.5
import requests
import time
import csv
import re

分析网页

其实这个网站的网页数据没有太多的反爬，就是网页需要构建一个params的参数，该参数里面包含了网页翻页的数据，时间戳的数据，这些是动态的，需要怎么自己指定一下，如图所示：

如上分析后，就可以对该链接发送请求了，但是这个网站还有一个和别的地方不一样的，他给你返回的不是html源码，也不是json数据，而是字符数据，如图：

我们可以看到这些不同html和json数据，所以就需要用到正则表达式老进行过滤提取了。经过以上分析，我的大体思路就是，先爬取一页的数据，利用正则提取，能成功爬取到一页的数据后，只用做一个循环遍历，就可以爬取多页的数据了。

代码部分：

构建请求需要的参数

###
###Python学习交流Q群：906715085####
 def get_params(self):   
      \"\"\"     
 构建params参数的方法       
  :return:    
      \"\"\"    
params = {          
  \"t\": \"1\",          
    \"lx\": \"1\",          
      \"letter\": \"\",           
       \"gsid\": \"\",           
        \"text\": \"\",          
          \"sort\": \"zdf,desc\",          
            \"page\": f\"{str(self.page)},200\",            
            \"dt\": str(self.TIMESTRF),            
            \"atfc\": \"\",          
              \"onlySale\": \"0\",    
                  }       
                   return params

dt这个参数上面说了，是一个不正规的时间戳，那么我们怎么办，思路是，用time模块先提取出真正的当前时间戳，然后用int()把他强制转换成整数，然后乘以1000，就可以得到这个不正规的时间戳了，在构建的时候，在把这个时间戳转换成str()就可以了。

int(time.time()) * 1000

发送请求，获取响应数据

def parse_url(self, url):       
 \"\"\"        
 发送请求，获取响应数据的方法       
  :param url:       
 :return:        
 \"\"\"      
   params = self.get_params()       
    response = requests.get(url, headers=self.headers, params=params)    
        if response.status_code == 200:            
        return response.content.decode()

提取数据

def get_data(self, data_str):  
      \"\"\"       
       提取基金数据的方法 
              :param data_str:   
                   :return:     
   \"\"\"       
    str_data = re.findall(\'var db=.*,datas:(.*),count:.*}\', data_str, re.S)[0]       
     data_list = eval(str_data)        
     for data in data_list:            
     yield {              
       \'基金代码\': data[0],              
         \'基金简称\': data[1],               
          \'单位净值\': data[3],               
           \'累计净值\': data[4],               
            \'日增长值\': data[6],                
            \'日增长率\': data[7],              
              \'手续费\': data[17]          
                }

实现程序的完整思路

def run(self):      
   \"\"\"    
 实现主要逻辑思路       
  :return:      
    \"\"\"       
     with open(\'./jjData.csv\', \'a\', encoding=\'utf-8-sig\', newline=\"\") as csvfile:           
      fieldnames = [\'基金代码\', \'基金简称\', \'单位净值\', \'累计净值\', \'日增长值\', \'日增长率\', \'手续费\']            
      write_dict = csv.DictWriter(csvfile, fieldnames=fieldnames)            
      write_dict.writeheader()           
       # 1，发送请求，获取响应数据            
       data_str = self.parse_url(self.API_URL)           
        # 2，提取数据          
          fund_data_list = self.get_data(data_str)           
           for fund_data in fund_data_list:               
            print(fund_data)               
             # 3，保存数据             
                write_dict.writerow(fund_data)

效果展示

END

最后，到这里就没有了，不懂的小伙伴可以跟着视频学一遍，这一篇文章到这里就接近尾声了，喜欢的小伙伴可以点赞，不懂的小伙伴评论留言。

来源：https://www.cnblogs.com/123456feng/p/16077203.html
本站部分图文来源于网络，如有侵权请联系删除。