比如支持直接使用transfomer 本地模型使用openai api方式
以及vllm ollm等第三方
现在vllm本身支持openai的api 。但是有bug 7B模型不知道为什么不行，0.5B的可以