OpenAI 在其 2024 年开发者日活动上推出了四款新的人工智能工具。这些工具——实时 API、基于 GPT-4o 语言模型的视觉微调、提示缓存和模型蒸馏，有助于开发者创建更复杂的人工智能应用，且通常成本更低。
通过引入这四款工具，OpenAI 旨在帮助人工智能应用的开发者更轻松地实现目标，主要是通过简化必要的工作流程和降低开发成本。
第一个工具是实时 API，目前处于测试阶段。这个工具允许开发者在他们的应用程序中构建低延迟的多模态体验。例如，开发者可以开发类似于 ChatGPT 中高级语音模式语音功能的应用。该工具允许开发者使用六种预定义的声音设置自然的语音到语音对话。
对于其应用不需要实时 API 的低延迟的开发者，OpenAI 还在 Chat Completions API 中宣布了音频输入和输出。
实时 API 的文本标记成本为每 100 万个输入标记 5 美元，每 100 万个输出标记 20 美元。音频输入每 100 万个标记将花费 100 美元，音频输出每 100 万个标记 200 美元。这意味着每分钟的成本，音频输入为 0.06 美元，输出为 0.24 美元。
视觉微调
第二个发布的是针对 GPT-4o 语言模型的视觉微调。这使得开发者能够使用图像和文本对其语言模型进行微调。这对于增强视觉搜索功能、改进自动驾驶汽车的物体检测和高精度的医学分析尤为重要。
该功能现已在 GPT-4o 的付费版本中的最新 GPT-4o 快照（gpt-4o-2024-08-06）中可用。在本月底之前，这家人工智能巨头还每天免费提供 100 万个训练标记，以便开发者可以使用图像测试 GPT-4o 的微调。
从 11 月开始，训练将花费每 100 万个标记 25 美元，推理将花费每 100 万个输入标记 3.75 美元。输出将花费每 100 万个输出标记 15 美元。
提示缓存
为开发者提供的另一个新的人工智能工具是 API 中的提示缓存。有了这个功能，OpenAI 终于跟上了谷歌和 Anthropic 等竞争对手的步伐，这些竞争对手已经提供此功能有一段时间了。提示缓存应该帮助开发者降低 API 的延迟和成本。通过这项服务，开发者可以将处理费用降低 50％，并提高速度。
提示缓存已自动为 OpenAI 的最新版本 GPT-4o、GPT-4o mini-、o1-和 o1 mini-语言模型启用。这些特定模型的完成版本也自动启用了提示缓存功能。
模型蒸馏套件
最后但同样重要的是，OpenAI 推出了新的模型蒸馏套件。该套件帮助开发者使用大型模型的输出对较小的语言模型进行微调。此功能允许开发者使较小的语言模型在特定任务上具有大型模型的性能，但成本要低得多。
此前，模型蒸馏是一个复杂的过程，并且常常需要无法简单交互的工具，而现在发布的套件允许整个蒸馏流程在平台内进行。
模型蒸馏对所有开发者可用。同样，这家人工智能巨头在本月底之前每天为 GPT-4o mini 提供 200 万个免费训练标记，为 GPT-4o 提供 100 万个免费标记。从 11 月开始，训练和运行蒸馏模型的成本与当前的微调相同。在 2024 年开发者日活动中，OpenAI 没有宣布任何新的语言模型。
