在 Cloudflare Workers AI 上使用 Llama 3.2 11B Vision Instruct 模型

先决条件

在开始之前，请确保您具备以下条件：

1. 一个已启用 Workers 和 Workers AI 的 Cloudflare 帐户 ↗。
2. 您的 CLOUDFLARE_ACCOUNT_ID 和 CLOUDFLARE_API_TOKEN。
   • 您可以在 Cloudflare 仪表板的“API 令牌”下生成 API 令牌。
3. 已安装 Node.js，用于处理 Cloudflare Workers（可选但推荐）。

1. 同意 Meta 的许可协议

首次使用 Llama 3.2 11B Vision Instruct 模型时，您需要同意 Meta 的许可协议和可接受使用政策。

curl

curl https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/ai/run/@cf/meta/llama-3.2-11b-vision-instruct \
  -X POST \
  -H "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
  -d '{ "prompt": "agree" }'

将 $CLOUDFLARE_ACCOUNT_ID 和 $CLOUDFLARE_API_TOKEN 替换为您的实际帐户 ID 和令牌。

2. 设置您的 Cloudflare Worker

1. 创建 Worker 项目 您将使用 create-cloudflare CLI (C3) 创建一个新的 Worker 项目。此工具有助于简化新应用程序到 Cloudflare 的设置和部署。

   在您的终端中运行以下命令：

npm

npm create cloudflare@latest -- llama-vision-tutorial

yarn

yarn create cloudflare llama-vision-tutorial

pnpm

pnpm create cloudflare@latest llama-vision-tutorial

For setup, select the following options:

• For What would you like to start with?, choose Hello World example.
• For Which template would you like to use?, choose Worker only.
• For Which language do you want to use?, choose JavaScript.
• For Do you want to use git for version control?, choose Yes.
• For Do you want to deploy your application?, choose No (we will be making some changes before deploying).

完成设置后，将创建一个名为 llama-vision-tutorial 的新目录。

2. 导航到您的应用程序目录 切换到项目目录：

   cd llama-vision-tutorial

3. 项目结构 您的 llama-vision-tutorial 目录将包括：

   • src/index.ts 中的“Hello World” Worker。
   • 用于管理部署设置的 wrangler.json 配置文件。

3. 编写 Worker 代码

编辑 src/index.ts（如果您不使用 TypeScript，则为 index.js）文件，并用以下代码替换其内容：

export interface Env {
  AI: Ai;
}

export default {
  async fetch(request, env): Promise<Response> {
    const messages = [
      { role: "system", content: "你是一个乐于助人的助手。" },
      { role: "user", content: "请描述我提供的图片。" },
    ];

    // 将此替换为您的 base64 编码的图像数据或 URL
    const imageBase64 = "data:image/png;base64,IMAGE_DATA_HERE";

    const response = await env.AI.run("@cf/meta/llama-3.2-11b-vision-instruct", {
      messages,
      image: imageBase64,
    });

    return Response.json(response);
  },
} satisfies ExportedHandler<Env>;

4. 将 Workers AI 绑定到您的 Worker

1. 打开 Wrangler 配置文件 并添加以下配置：

wrangler.jsonc

{
  "env": {
    "production": {
      "bindings": [
        {
          "binding": "AI",
          "type": "ai"
        }
      ]
    }
  }
}

wrangler.toml

[[env.production.bindings]]
binding = "AI"
type = "ai"

2. 保存文件。

5. 部署 Worker

运行以下命令以部署您的 Worker：

wrangler deploy

6. 测试您的 Worker

1. 部署后，您将收到一个唯一的 Worker URL（例如，https://llama-vision-tutorial.<your-subdomain>.workers.dev）。
2. 使用 curl 或 Postman 等工具向您的 Worker 发送请求：

curl -X POST https://llama-vision-tutorial.<your-subdomain>.workers.dev \
  -d '{ "image": "BASE64_ENCODED_IMAGE" }'

将 BASE64_ENCODED_IMAGE 替换为实际的 base64 编码图像字符串。

7. 验证响应

响应将包含模型的输出，例如基于所提供图像的描述或对您提示的回答。

示例响应：

{
  "result": "这是一只金毛寻回犬，坐在草地公园里。"
}