Azure Openai 服务文档一站式学习系列(1)——基础概念

最近业务和个人工作中,逐步开始试用chatpgt等来完成部分文档的输出,也借着这个机会对于Azure Openai的服务文档进行学习和总结。

接下来以系列的方式,逐步完成对该服务文档的学习笔记输出;Azure Openai基本上和OpenAI官方服务文档一致,两者学习其一即可。


Azure OpenAI 服务提供对 OpenAI 强大语言模型的 REST API 访问,这些模型包括 GPT-4、GPT-35-Turbo 和嵌入模型系列。 Azure OpenAI的使用需要进行申请,申请入口点这里;其与直接调用OpenAI能力基本一致。

模型

MODELSDESCRIPTION
GPT-4一组改进GPT-3.5的模型,可以理解和生成自然语言或代码
GPT-3.5一组改进GPT-3的模型,可以理解和生成自然语言或代码
DALL·E可以在自然语言提示时生成和编辑图像的模型
Whisper一个可以将音频转换为文本的模型
Embeddings一组可以将文本转换为数字形式的模型
Moderation一个微调的模型,可以检测文本是否敏感或不安全
*截止2023年7月数据

Token令牌

OpenAI 通过将文本分解为标记来处理文本。 标记可以是单词,也可以是字符块。给定请求中处理的标记总数取决于输入、输出和请求参数的长度; 处理的标记数量也会影响模型的响应延迟和吞吐量。

作为一个粗略的经验法则,1个令牌对于英语文本来说大约是4个字符或0.75个单词对于大多数型号来说,这是4096个代币或大约3000个单词。

例如,单词“hamburger”将分解为标记“ham”、“bur”和“ger”,而“pear”之类的常见短单词只是一个单个标记。

配额和限制

任何接口的调用都不是无限和任意的,主要的限制如下:

  • 每个区域最多可以创建30个资源,最大微调模型部署:2个
  • 单个模型的默认配合(每分钟令牌数量):Text-Davinci-003:120 K 、GPT-4:20 K、GPT-4-32K:60 K 、其他:240 K
  • 每个请求的最大令牌数量(上下文)
    • gpt-4 模型最多支持 8192 个输入令牌,而 gpt-4-32k 模型最多支持 32768 个令牌
    • gpt-35-turbo 模型最多支持 4096 个输入令牌,而 gpt-35-turbo-16k 模型最多支持 16,384 个令牌
    • text-embedding-ada-002向量模型支持最多8191个输入令牌


本系列的所有文章:

  1. Azure Openai 服务文档一站式学习系列(1)——基础概念
  2. Azure Openai 服务文档一站式学习系列(2)——Prompt工程和技巧
  3. Azure Openai 服务文档一站式学习系列(3)——OpenAI API的使用
  4. Azure Openai 服务文档一站式学习系列(4)——API调用私有数据的能力
  5. Azure Openai 服务文档一站式学习系列(5)——Embeddings嵌入/向量化
  6. Azure Openai 服务文档一站式学习系列(6)——Fine-tuning微调
滚动至顶部