-
Notifications
You must be signed in to change notification settings - Fork 378
New issue
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.
By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.
Already on GitHub? Sign in to your account
AI 代理 Wasm 插件对接腾讯混元大模型 #944
Comments
申领这个任务,麻烦帮忙分配下 @CH3CHO |
在开发的时候遇到一个小问题,混元的api的验证token,需要body和header一起参与计算获得这个token,然后放在header里,在我了解到的目前的proxy-wasm-go-sdk,貌似并未提供这样的策略(也就是headers的处理函数里要获取body的值,但是这不被允许)?@CH3CHO 请问能给一些建议吗? |
***@***.*** 请问能给一些建议吗?
现在是支持在处理 body 的时候修改 header 的。你可以参考一下 qwen 实现中对 streaming 的处理方式。
|
@CH3CHO hi,我参考了qwen的代码,发现其中forcestreamming参数是写死的true(这导致在onRequestBody并没有实际执行的修改header的代码),我手动改为false,但是发现qwen执行失败,请问您知道是怎么回事吗? |
你看的代码不是最新的吧。。。 |
hi,大佬,我参考了你的建议,然后按照https://higress.io/zh-cn/docs/user/wasm-go这篇文档本地测了一下(调通过月之暗面的代码),在测试千问的时候,发现OnRequestBody这个函数没被调用啊?大佬能给点关于这种情况的可能性吗? |
要不你先提一个 draft PR 我看看? |
好的 |
等等,大佬,那个draftPR中,是要提供我写的未完成的hunyuan的代码?还是本地测试千问的配置文件呢? |
|
https://cloud.tencent.com/document/product/1729
The text was updated successfully, but these errors were encountered: