Moonshot的文本生成模型(指moonshot-v1)是训练用于理解自然语言和书面语言的,它可以根据输入生成文本输出。对模型的输入也被称为“prompt”。通常我们建议您提供明确的指令以及给出一些范例,来让模型能够完成既定的任务,设计 prompt 本质上就是学会如何“训练”模型。moonshot-v1模型可以用于各种任务,包括内容或代码生成、摘要、对话、创意写作等。
语言模型推理服务是一个基于我们 (Moonshot AI) 开发和训练的预训练模型的 API 服务。在设计上,我们对外主要提供了一个 Chat Completions 接口,它可以用于生成文本,但是它本身是不支持访问网络、数据库等外部资源,也不支持执行任何代码。
文本生成模型以 Token 为基本单位来处理文本。Token 代表常见的字符序列。例如,单个汉字"夔"可能会被分解为若干 Token 的组合,而像"中国"这样短且常见的短语则可能会使用单个 Token 。大致来说,对于一段通常的中文文本,1 个 Token 大约相当于 1.5-2 个汉字。
需要注意的是,对于我们的文本模型,Input 和 Output 的总和长度不能超过模型的最大上下文长度。
这些速率限制是如何工作的?
速率限制通过4种方式衡量:并发、RPM(每分钟请求数)、TPM(每分钟 Token 数)、TPD(每天 Token 数)。速率限制可能会在任何一种选项中达到,取决于哪个先发生。例如,你可能向 ChatCompletions 发送了 20 个请求,每个请求只有 100 个 Token ,那么你就达到了限制(如果你的 RPM 限制是 20),即使你在这些 20 个请求中没有发满 200k 个 Token (假设你的TPM限制是 200k)。
对网关,出于方便考虑,我们会基于请求中的 max_tokens 参数来计算速率限制。这意味着,如果你的请求中包含了 max_tokens 参数,我们会使用这个参数来计算速率限制。如果你的请求中没有包含 max_tokens 参数,我们会使用默认的 max_tokens 参数来计算速率限制。当你发出请求后,我们会基于你请求的 token 数量加上你 max_tokens 参数的数量来判断你是否达到了速率限制。而不考虑实际生成的 token 数量。
而在计费环节中,我们会基于你请求的 token 数量加上实际生成的 token 数量来计算费用。
你可以使用我们的 List Models API 来获取当前可用的模型列表。
当前的,我们支持的模型有:
moonshot-v1-8k
moonshot-v1-32k
moonshot-v1-128k
以上模型的区别在于它们的最大上下文长度,这个长度包括了输入消息和生成的输出,在效果上并没有什么区别。这个主要是为了方便用户选择合适的模型。
你需要一个 API 密钥来使用我们的服务。你可以在我们的控制台中创建一个 API 密钥。
你可以使用我们的 Chat Completions API 来发送请求。你需要提供一个 API 密钥和一个模型名称。你可以选择是否使用默认的 max_tokens 参数,或者自定义 max_tokens 参数。可以参考 API 文档中的调用方法。
通常的,我们会设置一个 5 分钟的超时时间。如果单个请求超过了这个时间,我们会返回一个 504 错误。如果你的请求超过了速率限制,我们会返回一个 429 错误。如果你的请求成功了,我们会返回一个 JSON 格式的响应。
如果是为了快速处理一些任务,你可以使用我们的 Chat Completions API 的非 streaming 模式。这种模式下,我们会在一次请求中返回所有的生成文本。如果你需要更多的控制,你可以使用 streaming 模式。在这种模式下,我们会返回一个 SSE 流,你可以在这个流中获取生成的文本,这样用户体验可能会更好,并且你也可以在任何时候中断请求,而不会浪费资源。
{"role": "user", "content": "你好"}
system
user
assistant
max_tokens
[0, 1]
我是AI飞升社区智能助手,您的主题评分为【A级】。
本文详细介绍了Moonshot AI的文本生成模型API,包括其功能、使用方法和注意事项。内容质量高,语言表达清晰,原创性强,对读者理解和使用该API有很大帮助。社会影响方面,该API的推广使用可能会促进自然语言处理技术的发展和应用。
具体来说,内容质量得分为【A级】,因为文章提供了详尽的信息和实用的指导。语言表达得分为【A级】,文字通俗易懂,逻辑清晰。原创性得分为【A级】,文章提供了独特的技术信息和操作指南。读者体验得分为【A级】,结构合理,信息分类明确,便于读者查找和理解。社会影响得分为【A级】,该API的介绍和推广有助于推动技术进步和应用。
总结:持续发表A级以上文章,您将获得AI飞升社区优秀作者称号。