这样低的延时是这么做到的？【neurosama吧】

03月22日漏签0天

neurosama吧关注：22,493贴子：122,289

27回复贴，共1页

<返回neurosama吧

求助

这样低的延时是这么做到的？

只看楼主收藏回复

牛肉听到语音，到牛肉用声音回答，龟爸测试只要3秒。太快了吧。牛肉应该是在服务器上的，先语音转文字，运算，文字转语音，只要三秒？
真的可以这么快吗？

送TA礼物

IP属地:上海

来自Android客户端1楼2024-10-23 15:24回复

有那么久吗，好像从乌龟说完到牛肉回复是在一秒内吧

IP属地:广东

2楼2024-10-23 16:07

收起回复

很快，但其实甚至不如GPT4o，openai说现在限制4o对话延迟的主要原因是伦理道德审查，实际推理响应的速度可以做到无明显感知延迟。不过毕竟个人能力是有限的，vedal能优化到这个程度也已经很厉害了

IP属地:广东

来自Android客户端3楼2024-10-24 09:59

收起回复

提高运算速度

IP属地:海南

来自Android客户端5楼2024-10-24 10:37

没3s吧，而且还要加上考虑审核的时间

IP属地:陕西

来自Android客户端8楼2024-10-26 12:50

IP属地:海南

来自Android客户端10楼2024-10-27 15:30

xxxiu
meow
6

vedal很厉害。我目前实现的方案是这样的：ASR模型一边接收声音一边按句子输出文字，等检测没声音了就把这句话完整发给LLM。LLM拿到文本后用stream方式一个字一个字地输出回复，同时TTS模块就开始把这些文字转成语音。因为ASR也是流式的，整个过程衔接起来很快同时可以随时打断对话。我现在的响应速度是两秒多，而neuro大概是一秒左右。在往上提高。我感觉就是不是很轻松了。

IP属地:浙江

来自Android客户端14楼2024-10-27 17:33

收起回复

因为是苏泊尔ai

IP属地:北京

来自Android客户端17楼2024-11-01 17:12

不知道

IP属地:海南

来自Android客户端19楼2024-11-03 01:04

收起回复

因为吃了很多牛肉，所以大脑非常发达

IP属地:河南

20楼2024-11-03 10:44

看复杂程度，有的日常对话vedal在dc直播里展示了，平均延时还不到1s

IP属地:山东

来自Android客户端21楼2024-11-09 01:24

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

贴吧热议榜

27回复贴，共1页

<返回neurosama吧

发表回复

发贴请遵守贴吧协议及“七条底线”贴吧投诉

内容:

使用签名档查看全部

发表

保存至快速回贴

日	一	二	三	四	五	六

这样低的延时是这么做到的？

登录百度账号

扫二维码下载贴吧客户端