流式传输

大模型的 API 通常都支持流式传输。所谓流式传输,就是指将大模型生成的文字拆分成一小块一小块发送过来,比如说每隔 55 秒就发送一次生成的文字,而不是等文字全部生成完毕才一次性全部发送。

这样做的好处在于

langchain

langchainChatOpenAI 已经包装的十分完善了。