㊗️本期内容已收录至专栏《Python爬虫实战》持续完善知识体系与项目实战建议先订阅收藏后续查阅更方便㊙️本期爬虫难度指数⭐⭐⭐福利一次订阅后专栏内的所有文章可永久免费看持续更新中保底1000(篇)硬核实战内容。全文目录 开篇语0️⃣ 前言Preface1️⃣ 摘要Abstract2️⃣ 背景与需求Why3️⃣ 合规与注意事项必写4️⃣ 技术选型与整体流程What/How5️⃣ 环境准备与依赖安装可复现6️⃣ 核心实现请求层Fetcher7️⃣ 核心实现解析层Parser8️⃣ 数据存储与导出Storage9️⃣ 运行方式与结果展示必写 常见问题与排错强烈建议写1️⃣1️⃣ 进阶优化可选但加分1️⃣2️⃣ 总结与延伸阅读 文末✅ 专栏持续更新中建议收藏 订阅✅ 互动征集✅ 免责声明 开篇语哈喽各位小伙伴们你们好呀我是【喵手】。运营社区 C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO欢迎大家常来逛逛一起学习一起进步我长期专注Python 爬虫工程化实战主理专栏 《Python爬虫实战》从采集策略到反爬对抗从数据清洗到分布式调度持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”让数据价值真正做到——抓得到、洗得净、用得上。专栏食用指南建议收藏✅ 入门基础环境搭建 / 请求与解析 / 数据落库✅ 进阶提升登录鉴权 / 动态渲染 / 反爬对抗✅ 工程实战异步并发 / 分布式调度 / 监控与容错✅ 项目落地数据治理 / 可视化分析 / 场景化应用专栏推广时间如果你想系统学爬虫而不是碎片化东拼西凑欢迎订阅专栏《Python爬虫实战》一次订阅后专栏内的所有文章可永久免费阅读持续更新中。订阅后更新会优先推送按目录学习更高效0️⃣ 前言Preface在做城市空间分析或者竞品分析时拿到精准的门店坐标、名称和分类数据是第一步。本文将手把手带你使用Python 高德官方 Web 服务 API通过矩形网格递归搜索算法突破官方 1000 条数据的显示限制实现指定区域内 POI 的全量采集。读完你能获得一套可运行的网格切分采集框架解决数据拿不全的痛点。地理坐标系转换GCJ-02与数据清洗的实战经验。工业级爬虫的容错与数据入库SQLite逻辑。1️⃣ 摘要Abstract本文聚焦于高德地图 POI 数据的深度采集采用 Pythonrequests库调用 Web API重点突破单次查询 1000 条的结果上限产出包含名称、经纬度、分类、地址等维度的结构化数据库。核心技术点递归网格算法动态切分地理区域确保不遗漏任何角落。数据持久化SQLite 高效存储避免重复采集。异常处理自动重试与并发频率控制。2️⃣ 背景与需求Why为什么要爬单纯的地图搜索只能看不能算。无论是想分析某个城市的“瑞幸咖啡”分布密度还是想做特定区域的停车场配套分析都需要结构化的.csv或数据库支撑。目标站点高德地图 Web 服务 API (restapi.amap.com)目标字段清单字段名含义示例idPOI唯一IDB0FFF0001name店名/地点名某某星巴克type分类名称餐饮服务;咖啡厅location经纬度116.4814,39.9904pname/cityname省/市北京市/朝阳区address详细地址望京街10号院3️⃣ 合规与注意事项必写作为一名资深爬虫爱好者法律红线和道德准则必须牢记API 配额管理请务必遵守高德开放平台的 QPS每秒并发限制。如果你是个人开发者别冲太猛。拒绝非法抓取不要尝试通过高强度的并发去绕过封禁这可能导致你的 Key 被永久封号。数据用途爬取的数据仅限学术研究或个人分析严禁二次售卖或用于侵害他人隐私的商业行为。频率控制本文代码将内置time.sleep()模拟人类理性调用。4️⃣ 技术选型与整体流程What/How技术栈Python 3.10RequestsPandasSQLite3。为什么选 API 而非 Selenium地图类页面是 Canvas/WebGL 渲染的普通的 CSS 选择器很难抓到。官方 API 返回标准的 JSON不仅解析快而且数据更精准带经纬度。整体流程区域选定定义一个左下角和右上角的经纬度范围。递归检索调用搜索接口。如果搜索结果 800 条接近上限则将该矩形平分为 4 个小矩形递归再搜。解析清洗提取 JSON 字段过滤无效项。存储写入 SQLite 数据库并建立唯一 ID 索引去重。5️⃣ 环境准备与依赖安装可复现项目目录建议Amap_POI_Project/ ├── data/ # 存放导出的 CSV ├── db/ # 存放 SQLite 数据库 ├── scripts/ │ └── amap_crawler.py # 核心代码 └── requirements.txt安装依赖pipinstallrequests pandas sqlalchemy6️⃣ 核心实现请求层Fetcher这一层主要解决“稳健拿数据”的问题。importrequestsimporttimefromrequests.adaptersimportHTTPAdapterfromurllib3.util.retryimportRetryclassAmapFetcher:def__init__(self,key):self.keykey self.base_urlhttps://restapi.amap.com/v3/place/polygonself.sessionrequests.Session()# 设置重试策略retriesRetry(total5,backoff_factor1,status_forcelist[429,500,502,503,504])self.session.mount(https://,HTTPAdapter(max_retriesretries))deffetch(self,polygon,keywords,page1):params{key:self.key,polygon:polygon,# 格式: x1,y1|x2,y2keywords:keywords,offset:20,page:page,extensions:base}try:responseself.session.get(self.base_url,paramsparams,timeout10)dataresponse.json()ifdata[status]1:returndataelse:print(f⚠️ API Error:{data.get(info)})returnNoneexceptExceptionase:print(f❌ Request Failed:{e})returnNone7️⃣ 核心实现解析层Parser这里最关键的是处理网格逻辑。如果count太接近 1000必须分而治之defsplit_grid(rect): 将一个矩形切分为四个小矩形 rect: [min_lng, min_lat, max_lng, max_lat] min_lng,min_lat,max_lng,max_latrect mid_lng(min_lngmax_lng)/2mid_lat(min_latmax_lat)/2return[[min_lng,min_lat,mid_lng,mid_lat],[mid_lng,min_lat,max_lng,mid_lat],[min_lng,mid_lat,mid_lng,max_lat],[mid_lng,mid_lat,max_lng,max_lat]]# 递归主函数逻辑伪代码示意defget_all_pois(rect,keywords):polygon_strf{rect[0]},{rect[1]}|{rect[2]},{rect[3]}first_pagefetcher.fetch(polygon_str,keywords)countint(first_page.get(count,0))ifcount800:# 接近上限切分sub_rectssplit_grid(rect)forsubinsub_rects:get_all_pois(sub,keywords)else:# 正常翻页采集...pass8️⃣ 数据存储与导出Storage推荐使用pandas配合SQLAlchemy代码量最少效率最高。importpandasaspdfromsqlalchemyimportcreate_engine# 字段映射表# id: TEXT, name: TEXT, location: TEXT, address: TEXTdefsave_to_sqlite(poi_list,db_pathdata.db):enginecreate_engine(fsqlite:///{db_path})dfpd.DataFrame(poi_list)# 使用 name 作为唯一去重依据或者 iddf.drop_duplicates(subset[id],keepfirst,inplaceTrue)df.to_sql(pois,conengine,if_existsappend,indexFalse)9️⃣ 运行方式与结果展示必写如何启动申请高德 Web 服务 Key。在脚本中填入 Key 和 想要搜的关键词如“咖啡馆”。设定左下角和右上角的经纬度。运行python amap_crawler.py。输出路径./db/poi_data.sqlite展示结果CSV 预览idnametypelocationaddressB000A123瑞幸咖啡(望京店)餐饮;咖啡116.48, 39.99望京路2号B000A456星巴克(SOHO店)餐饮;咖啡116.49, 39.98阜通东大街 常见问题与排错强烈建议写403 ForbiddenKey 失效或欠费检查高德后台。拿到空壳 JSON检查keywords是否过偏或者polygon格式写反了高德要求是经度,纬度。乱码高德 API 返回的是 UTF-8Python 默认处理得很好但写入 Excel 时如果中文乱码请改用utf-8-sig编码。坐标偏离注意高德使用的是GCJ-02火星坐标系。如果你要在 Google Map 或 OpenStreetMap 上展示需要写个转换函数转成 WGS-84。1️⃣1️⃣ 进阶优化可选但加分并发提升使用concurrent.futures.ThreadPoolExecutor对网格进行并发检索速度提升 5-10 倍。断点续爬将已切分成功的网格记录在 Redis 或文本中万一断网下次跳过。日志记录使用logging模块记录每一个切分的矩形范围方便后期回溯。1️⃣2️⃣ 总结与延伸阅读通过本文我们不仅学会了如何调用高德 API更重要的是掌握了处理地理数据时最核心的空间搜索逻辑。下一步可以尝试使用Playwright自动化获取高德搜索的实时路况。结合Scrapy构建一个分布式地图数据采集系统。将数据导入QGIS进行可视化热力图分析。 文末好啦以上就是本期的全部内容啦如果你在实践过程中遇到任何疑问欢迎在评论区留言交流我看到都会尽量回复咱们下期见小伙伴们在批阅的过程中如果觉得文章不错欢迎点赞、收藏、关注哦三连就是对我写作道路上最好的鼓励与支持❤️✅ 专栏持续更新中建议收藏 订阅墙裂推荐订阅专栏 《Python爬虫实战》本专栏秉承着以“入门 → 进阶 → 工程化 → 项目落地”的路线持续更新争取让每一期内容都做到✅ 讲得清楚原理✅ 跑得起来代码✅ 用得上场景✅ 扛得住工程化想系统提升的小伙伴强烈建议先订阅专栏 《Python爬虫实战》再按目录大纲顺序学习效率十倍上升✅ 互动征集想让我把【某站点/某反爬/某验证码/某分布式方案】等写成某期实战评论区留言告诉我你的需求我会优先安排实现(更新)哒~⭐️ 若喜欢我就请关注我叭更新不迷路⭐️ 若对你有用就请点赞支持一下叭给我一点点动力⭐️ 若有疑问就请评论留言告诉我叭我会补坑 更新迭代✅ 免责声明本文爬虫思路、相关技术和代码仅用于学习参考对阅读本文后的进行爬虫行为的用户本作者不承担任何法律责任。使用或者参考本项目即表示您已阅读并同意以下条款合法使用 不得将本项目用于任何违法、违规或侵犯他人权益的行为包括但不限于网络攻击、诈骗、绕过身份验证、未经授权的数据抓取等。风险自负 任何因使用本项目而产生的法律责任、技术风险或经济损失由使用者自行承担项目作者不承担任何形式的责任。禁止滥用 不得将本项目用于违法牟利、黑产活动或其他不当商业用途。使用或者参考本项目即视为同意上述条款,即 “谁使用谁负责” 。如不同意请立即停止使用并删除本项目。