【BUG】【Python】【爬虫】爬取加载中的数据
示例网页链接https://movie.douban.com/subject/36907263/BUG浏览器开发者模式可以看到所需信息有对应的HTML显式结构但代码爬取时发现结构被hidden需要二次加载importrequests urlhttps://movie.douban.com/subject/36907263/headers{User-Agent:Mozilla/5.0}responserequests.get(url,headersheaders)print(response.text)即便使用selenium将修改type属性让其不隐藏再取出被隐藏的数据也不行fromseleniumimportwebdriver driverwebdriver.Chrome()driver.get(https://movie.douban.com/subject/36907263/)jsdocument.getElementById(red).typetext;driver.execute_script(js)contentdriver.find_element(byid,valuered).textprint(content)driver.quit()其实我觉得这个逻辑是对的但结果非预期求助是不是哪块代码没写对 T^T 想打印下修改后的HTML也没打印出来 o(╥﹏╥)oDEBUGSelenium 的核心功能是模拟用户在浏览器中的操作所以只需要增加等待时间等待页面全部加载出来即可。加载后的页面就是我们在浏览器开发者模式下看到的全部HTML结构。fromseleniumimportwebdriverimporttime driverwebdriver.Chrome()driver.get(https://movie.douban.com/subject/36907263/)time.sleep(5)# 等待页面加载contentdriver.find_element(byid,valueinfo).textprint(content)driver.quit()注意加载后要找的就是加载后的数据即idinfo不再是之前的idred。

相关新闻

22-5. PLC的程序控制指令(子程序)

22-5. PLC的程序控制指令(子程序)

2026/7/7 5:08:13 阅读更多 →
深入了解大数据领域Hive的HQL语言特性

深入了解大数据领域Hive的HQL语言特性

2026/7/3 20:59:39 阅读更多 →
基于STM32的智能停车场系统设计(实物设计)

基于STM32的智能停车场系统设计(实物设计)

2026/7/3 20:59:40 阅读更多 →

最新新闻

熬夜观赛适合喝哪款养生酒?聊聊复盛公六味地黄酒优势

熬夜观赛适合喝哪款养生酒?聊聊复盛公六味地黄酒优势

说实话,以前熬夜看球赛,我总习惯拿瓶啤酒或者红酒凑合,但第二天醒来总觉得头重脚轻、口干舌燥。后来朋友推荐我在观赛时试试养生酒,我研究了一圈,最后锁定了复盛公六味地黄酒,今天聊聊它在我这儿的真实体验…

2026/7/8 18:15:18 阅读更多 →
界面控件DevExtreme v26.1新版亮点——AI Agent Skills

界面控件DevExtreme v26.1新版亮点——AI Agent Skills

DevExtreme包括4个单独的产品套件,具有80多个UI组件和集成的开发模板/dev工具,帮助用户轻松创建高影响力和响应性的桌面和移动Web应用程序。 在接下来的系列文章中,我将为大家一一介绍DevExtreme v26.1在新版本中的更新亮点,希望…

2026/7/8 18:15:18 阅读更多 →
MATLAB版R-CNN汽车检测完整工程包:含样本图、训练脚本与检测演示

MATLAB版R-CNN汽车检测完整工程包:含样本图、训练脚本与检测演示

本文还有配套的精品资源,点击获取 简介:直接在MATLAB里跑起来的R-CNN汽车检测方案,带30张实拍道路车辆图(image_00001.jpg到image_00278.jpg),覆盖多角度、不同光照和部分遮挡场景。包里有RCNN.m主脚本、…

2026/7/8 18:13:18 阅读更多 →
2026封神!5款AI写作辅助软件实测,解决内耗焦虑,论文速成不熬夜!

2026封神!5款AI写作辅助软件实测,解决内耗焦虑,论文速成不熬夜!

对于学生、科研工作者而言,论文写作常常面临诸多挑战:文献资料筛选耗时冗长、格式排版反复调整、重复率控制难度大、逻辑结构梳理不清,这些问题严重制约了写作效率与学术成果的规范性。随着AI技术在2026年的持续突破,各类AI论文写…

2026/7/8 18:09:12 阅读更多 →
Java个人记账系统源码:SpringBoot后端+Thymeleaf页面,含MySQL建表脚本与完整分层结构

Java个人记账系统源码:SpringBoot后端+Thymeleaf页面,含MySQL建表脚本与完整分层结构

本文还有配套的精品资源,点击获取 简介:直接可运行的Java个人理财管理项目,后端用SpringBoot搭建,Controller、Service、DAO、Entity分层清晰,所有代码按标准Maven结构组织;前端用Thymeleaf渲染&#xf…

2026/7/8 18:07:11 阅读更多 →
Apriori和FP-Growth算法Python实现对比包(含可运行代码+详细说明)

Apriori和FP-Growth算法Python实现对比包(含可运行代码+详细说明)

本文还有配套的精品资源,点击获取 简介:提供两个主流关联规则挖掘算法的轻量级Python实现:Apriori和FP-Growth。每个算法封装为独立脚本(Apriori.py、FP_growth.py),支持灵活设置最小支持度、最小置信度…

2026/7/8 18:05:10 阅读更多 →

日新闻

3大核心能力重塑《明日方舟》游戏体验:MAA自动化助手的革命性突破

3大核心能力重塑《明日方舟》游戏体验:MAA自动化助手的革命性突破

3大核心能力重塑《明日方舟》游戏体验:MAA自动化助手的革命性突破 【免费下载链接】MaaAssistantArknights 《明日方舟》小助手,全日常一键长草!| A one-click tool for the daily tasks of Arknights, supporting all clients. 项目地址: …

2026/7/8 0:00:48 阅读更多 →
MyBatis 批量操作深度优化——从 N+1 到批处理的全路径

MyBatis 批量操作深度优化——从 N+1 到批处理的全路径

MyBatis 批量操作深度优化——从 N1 到批处理的全路径 一、从"功能正确"到"性能可接受"——MyBatis 批量操作的三段式进化 MyBatis 在日常增删改查场景中几乎是无感的——实体映射直观、SQL 控制灵活。但当数据量从千级上升到十万级、百万级,许…

2026/7/8 0:00:48 阅读更多 →
工业负载控制方案:TPD2015FN与PIC18F45K22应用解析

工业负载控制方案:TPD2015FN与PIC18F45K22应用解析

1. 工业负载控制方案概述在工业自动化、电机驱动和照明控制等高需求场景中,可靠地控制电感和电阻负载是核心挑战之一。TPD2015FN作为东芝的8通道高端智能功率开关IC,配合PIC18F45K22微控制器,能够构建一套稳定、高效的负载控制系统。这套组合…

2026/7/8 0:02:48 阅读更多 →

周新闻

B站视频下载神器BiliTools:5分钟学会轻松保存任何B站内容

B站视频下载神器BiliTools:5分钟学会轻松保存任何B站内容

B站视频下载神器BiliTools:5分钟学会轻松保存任何B站内容 【免费下载链接】BiliTools A cross-platform bilibili toolbox. 跨平台哔哩哔哩工具箱,支持下载视频、番剧等等各类资源 项目地址: https://gitcode.com/GitHub_Trending/bilit/BiliTools …

2026/7/8 16:14:06 阅读更多 →
威胁模型全解析:从新手入门到实战应用,助你构建安全产品!

威胁模型全解析:从新手入门到实战应用,助你构建安全产品!

威胁模型的陌生现状在忙碌疲惫的一天里,参与了关于混合后量子密码学的讨论,应付端点攻击找茬的人,还参与留言板讨论后,发现“威胁模型”对多数人仍是陌生概念,且多被当作时髦用语。有趣的相关画作有一幅由 Embyr 创作的…

2026/7/7 12:34:47 阅读更多 →
渗透测试入门指南:从零基础到实战环境搭建

渗透测试入门指南:从零基础到实战环境搭建

1. 从“看热闹”到“入门”:我理解的渗透测试到底是什么?每次看到新闻里说某个大公司的数据被“黑”了,或者某个网站被攻击导致服务瘫痪,你是不是和我一样,心里会冒出两个念头:一是“这黑客真厉害”&#x…

2026/7/8 16:59:55 阅读更多 →

月新闻