网页
资讯
视频
图片
知道
文库
贴吧
地图
采购
进入贴吧
全吧搜索
吧内搜索
搜贴
搜人
进吧
搜标签
日
一
二
三
四
五
六
签到排名:今日本吧第
个签到,
本吧因你更精彩,明天继续来努力!
本吧签到人数:0
一键签到
成为超级会员,使用一键签到
一键签到
本月漏签
0
次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行
补签
。
连续签到:
天 累计签到:
天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
03月19日
漏签
0
天
python吧
关注:
472,447
贴子:
1,961,269
看贴
图片
吧主推荐
视频
游戏
5
回复贴,共
1
页
<<返回python吧
>0< 加载中...
requests-html使用arender对多网页js渲染,如何合理控制内存资源
只看楼主
收藏
回复
286zcy
白丁
1
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
各位有用requests-html爬网页的吗?如果有100个网页协程用arender,后台会开100个chrome.exe。。。。请问如何解决资源过大问题?有没有只开少量chrome.exe实现arender的方法?
286zcy
白丁
1
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
semaphore设置不起作用。。。或者有复用chrome.exe的方法?
济南威希信息科技
pythn环境搭建在线下载,一次下载长期使用;全系列版本都有,选择性下载,致力用户高效开发,支持远程协助安装,支持重置,使用便捷放心。
2025-03-19 00:06
广告
立即查看
贴吧用户_0RJ37AE
进士
8
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
我劝你还是放弃吧,大佬从不用这些
正品美妆专供
探花
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
你这是在协程中使用了适配型的内部_future实现等待了进程级别的operation吧,
协程一般来说,一个进程就够了更准确的说一个线程就够了
如果确实需要超高量的io并发级别的并行,那就多进程配合协程,然后在一个进程内多线程基本上也是必须的,因为除了协程所在的线程,别的线程要作为某个进程与协程交互的桥梁,否则是不能跨越进程与协程进行复杂的交互的(比如非io任务,状态安排等)
正品美妆专供
探花
11
该楼层疑似违规已被系统折叠
隐藏此楼
查看此楼
异步渲染啊
控制semaphore即可,你肯定初始化没设置好并发量,设计好后对于这个任务入口肯定不会超过这个并发量,只要不要在任务入口内部再分发出多重协程任务,并发量完全在控制中。
要么就在最后一句的前面加上 异步等待上下文同步原语,这样的好处是让之前的代码块多了更多的选择,而仅仅控制了异步渲染任务的数量
登录百度账号
扫二维码下载贴吧客户端
下载贴吧APP
看高清直播、视频!
贴吧页面意见反馈
违规贴吧举报反馈通道
贴吧违规信息处理公示