流式传输
大模型的 API 通常都支持流式传输。所谓流式传输,就是指将大模型生成的文字拆分成一小块一小块发送过来,比如说每隔 秒就发送一次生成的文字,而不是等文字全部生成完毕才一次性全部发送。
这样做的好处在于
langchain
langchain
的 ChatOpenAI
已经包装的十分完善了。
大模型的 API 通常都支持流式传输。所谓流式传输,就是指将大模型生成的文字拆分成一小块一小块发送过来,比如说每隔 秒就发送一次生成的文字,而不是等文字全部生成完毕才一次性全部发送。
这样做的好处在于
langchain
langchain
的 ChatOpenAI
已经包装的十分完善了。