Azure 聊天完成示例 (预览)

, ,
3月 28, 2023
在 Github 中打开

此示例将介绍使用 Azure OpenAI 服务的聊天完成。它还包括有关内容过滤的信息。

设置

首先，我们安装必要的依赖项并导入我们将要使用的库。

! pip install "openai>=1.0.0,<2.0.0"
! pip install python-dotenv
import os
import openai
import dotenv

dotenv.load_dotenv()

身份验证

Azure OpenAI 服务支持多种身份验证机制，包括 API 密钥和 Azure Active Directory 令牌凭据。

use_azure_active_directory = False  # Set this flag to True if you are using Azure Active Directory

使用 API 密钥进行身份验证

要设置 OpenAI SDK 以使用 Azure API 密钥，我们需要将 api_key 设置为与您的终结点关联的密钥（您可以在 Azure 门户 中的“资源管理”下的“密钥和终结点”中找到此密钥）。您还可以在此处找到资源的终结点。

if not use_azure_active_directory:
    endpoint = os.environ["AZURE_OPENAI_ENDPOINT"]
    api_key = os.environ["AZURE_OPENAI_API_KEY"]

    client = openai.AzureOpenAI(
        azure_endpoint=endpoint,
        api_key=api_key,
        api_version="2023-09-01-preview"
    )

使用 Azure Active Directory 进行身份验证

现在让我们看看如何通过 Azure Active Directory 进行身份验证。我们将首先安装 azure-identity 库。此库将提供我们需要进行身份验证的令牌凭据，并帮助我们通过 get_bearer_token_provider 帮助程序函数构建令牌凭据提供程序。建议使用 get_bearer_token_provider 而不是向 AzureOpenAI 提供静态令牌，因为此 API 将自动缓存和刷新令牌。

有关如何设置 Azure Active Directory 身份验证与 Azure OpenAI 的更多信息，请参阅文档。

! pip install "azure-identity>=1.15.0"
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

if use_azure_active_directory:
    endpoint = os.environ["AZURE_OPENAI_ENDPOINT"]

    client = openai.AzureOpenAI(
        azure_endpoint=endpoint,
        azure_ad_token_provider=get_bearer_token_provider(DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"),
        api_version="2023-09-01-preview"
    )

注意：如果未提供 AzureOpenAI，则会从其相应的环境变量中推断以下参数

  • api_key 来自 AZURE_OPENAI_API_KEY
  • azure_ad_token 来自 AZURE_OPENAI_AD_TOKEN
  • api_version 来自 OPENAI_API_VERSION
  • azure_endpoint 来自 AZURE_OPENAI_ENDPOINT

部署

在本节中，我们将创建一个 GPT 模型的部署，我们可以使用它来创建聊天完成。

部署：在 Azure OpenAI Studio 中创建

让我们部署一个模型以用于聊天完成。转到 https://portal.azure.com，找到您的 Azure OpenAI 资源，然后导航到 Azure OpenAI Studio。单击“部署”选项卡，然后为您要用于聊天完成的模型创建部署。您为模型提供的部署名称将在下面的代码中使用。

deployment = "" # Fill in the deployment name from the portal here

创建聊天完成

现在让我们使用我们构建的客户端创建一个聊天完成。

# For all possible arguments see https://platform.openai.com/docs/api-reference/chat-completions/create
response = client.chat.completions.create(
    model=deployment,
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Knock knock."},
        {"role": "assistant", "content": "Who's there?"},
        {"role": "user", "content": "Orange."},
    ],
    temperature=0,
)

print(f"{response.choices[0].message.role}: {response.choices[0].message.content}")
response = client.chat.completions.create(
    model=deployment,
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Knock knock."},
        {"role": "assistant", "content": "Who's there?"},
        {"role": "user", "content": "Orange."},
    ],
    temperature=0,
    stream=True
)

for chunk in response:
    if len(chunk.choices) > 0:
        delta = chunk.choices[0].delta

        if delta.role:
            print(delta.role + ": ", end="", flush=True)
        if delta.content:
            print(delta.content, end="", flush=True)

内容过滤

Azure OpenAI 服务包括对提示和完成响应的内容过滤。您可以在此处了解有关内容过滤以及如何配置它的更多信息。

如果提示被内容过滤器标记，则库将引发带有 content_filter 错误代码的 BadRequestError 异常。否则，您可以访问响应中的 prompt_filter_results 和 content_filter_results，以查看内容过滤的结果以及标记了哪些类别。

import json

messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "<text violating the content policy>"}
]

try:
    completion = client.chat.completions.create(
        messages=messages,
        model=deployment,
    )
except openai.BadRequestError as e:
    err = json.loads(e.response.text)
    if err["error"]["code"] == "content_filter":
        print("Content filter triggered!")
        content_filter_result = err["error"]["innererror"]["content_filter_result"]
        for category, details in content_filter_result.items():
            print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What's the biggest city in Washington?"}
]

completion = client.chat.completions.create(
    messages=messages,
    model=deployment,
)
print(f"Answer: {completion.choices[0].message.content}")

# prompt content filter result in "model_extra" for azure
prompt_filter_result = completion.model_extra["prompt_filter_results"][0]["content_filter_results"]
print("\nPrompt content filter results:")
for category, details in prompt_filter_result.items():
    print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")

# completion content filter result
print("\nCompletion content filter results:")
completion_filter_result = completion.choices[0].model_extra["content_filter_results"]
for category, details in completion_filter_result.items():
    print(f"{category}:\n filtered={details['filtered']}\n severity={details['severity']}")