百木园前言
嗨喽，大家好呀~这里是爱看美女的茜茜呐
一周工作，忙忙碌碌，身心疲惫，一到周末，倒头大睡，懒得做饭，点个外卖。
今天我们要采集的网站呢，是国内知名的网上订餐平台~
我做的是采集商家商品数据信息，你也可以采集另外数据哦~
准备工作
下面的尽量跟我保持一致哦~不然有可能会发生报错 💕
环境使用:
-
Python 3.8
-
Pycharm
模块使用:
-
requests >>> pip install requests
-
csv
如果安装python第三方模块:
-
win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
-
在pycharm中点击Terminal(终端) 输入安装命令
如何配置pycharm里面的python解释器?
-
选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)
-
点击齿轮, 选择add
-
添加python安装路径
pycharm如何安装插件?
-
选择file(文件) >>> setting(设置) >>> Plugins(插件)
-
点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese
-
选择相应的插件点击 install(安装) 即可
-
安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效
基本流程: <通用的>
一. 数据来源分析
分析清楚自己想要数据内容, 是请求那个数据包<url>地址可以得到的
通过开发者工具进行抓包分析...
I. 鼠标右键点击检查（或按F12）弹出开发者工具， 选择network 点击第二页数据 第一个数据包就是我们想要数据内容
二. 代码实现步骤过程:
-
发送请求, 对于模拟浏览器对于url地址发送请求
-
获取数据, 获取服务器返回响应数据 ---> 开发者工具里面response
-
解析数据, 提取我们想要数据内容
-
保存数据, 保存表格
额外 翻页多页数据采集
代码展示
因审核因素，我把代码里的网址删去啦~你们可以自行添加一下呐。
一共改了五处网址，采集的网站我会在评论区打出，方便你们添加网址哦~
发送请求
对于模拟浏览器对于url地址发送请求
# - 如何批量替换内容 # 选中替换内容, 按ctrl + R 输入正则表达式命令 # (.*?): (.*) # \'$1\': \'$2\', # - <Response [403]> 返回响应对象 403 状态码 # 大多数请求, 加防盗链即可解决 for page in range(0, 320, 32): time.sleep(1)
确定请求url地址
url = \'https://apimobile..com/group/v4/poi/pcsearch/70\'
请求参数
字典数据类型, 构建完整键值对
data = { \'uuid\': \'4b9d79d54b524ab5a319.1656309336.1.0.0\', \'userid\': \'266252179\', \'limit\': \'32\', \'offset\': page, \'cateId\': \'-1\', \'q\': \'会所\', } # 请求头: 伪装, 把python代码伪装(模拟)成浏览器发送请求 headers = { # Referer 防盗链 告诉服务器我们请求url地址从哪里跳转过来的 \'Referer\': \'https://chs..com/\', # User-Agent 用户代理 表示浏览器基本身份标识 \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36\' }
发送请求
<Response [403]> 返回响应对象 403 状态码 表示请求你没有访问权限 <说明没请求成功> 200 表示请求成功
response = requests.get(url=url, params=data, headers=headers) print(response)
获取数据
获取响应对象json字典数据
# print(response.json())
# pprint.pprint(response.json())
解析数据
---> 根据得到数据, 选择最佳解析方法 直接通过键值对取值方式(根据冒号左边的内容[键], 提取冒号右边的内容[值])
# 把列表里的数据一个一个提取出来, 怎么操作用什么方法 ---> for循环遍历 for index in response.json()[\'data\'][\'searchResult\']: href = f\'https://www..com/xiuxianyule/{index[\"id\"]}/\' # 如果我不炒股, 他说要股票数据, 给我钱 让我给她采集 dit = { \'标题\': index[\'title\'], \'商圈\': index[\'areaname\'], \'店铺类型\': index[\'backCateName\'], \'评分\': index[\'avgscore\'], \'人均消费\': index[\'avgprice\'], \'评论量\': index[\'comments\'], \'经度\': index[\'longitude\'], \'维度\': index[\'latitude\'], \'详情页\': href, } csv_writer.writerow(dit) print(dit)
import requests import re url = \'https://www..com/xiuxianyule/1718272961/\' headers = { \'Host\': \'www..com\', \'User-Agent\': \'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36\', } response = requests.get(url=url, headers=headers) # print(response.text) shop_info = re.findall(\'\"cityName\":\"(.*?)\",\"cityPy\":\"chs\",\"brandName\":\"\",\"shopName\":\"(.*?)\",\"score\":(.*?),\"avgPrice\":(.*?),\"address\":\"(.*?)\",\"phone\":\"(.*?)\",\"openTime\":\"(.*?)\"\', response.text) print(shop_info)
多页列表数据采集:
# 导入数据请求模块 ---> 第三方模块 需要 在cmd里面 pip install requests import time import requests # 导入格式化输出模块 ---> 内置模块... import pprint # 导入csv模块 import csv # 创建文件 f = open(\'1.csv\', mode=\'a\', encoding=\'utf-8\', newline=\'\') csv_writer = csv.DictWriter(f, fieldnames=[ \'标题\', \'商圈\', \'店铺类型\', \'评分\', \'人均消费\', \'评论量\', \'经度\', \'维度\', \'详情页\', ]) csv_writer.writeheader()
尾语 💝
感谢你观看我的文章呐~本次航班到这里就结束啦 🛬
希望本篇文章有对你带来帮助 🎉，有学习到一点知识~
躲起来的星星🍥也在努力发光，你也要努力加油（让我们一起努力叭）。
最后，博主要一下你们的三连呀（点赞、评论、收藏），不要钱的还是可以搞一搞的嘛~
不知道评论啥的，即使扣个6666也是对博主的鼓舞吖 💞 感谢 💐
来源：https://www.cnblogs.com/Qqun261823976/p/16455905.html
本站部分图文来源于网络，如有侵权请联系删除。