程序员老韩
8 分钟

API与工具调用

API（Application Programming Interface）就是 软件之间沟通的接口 。（不像人话） 简单理解： 智能体如果想使用大模型的能力，比如生成图片，生成视频，生成音频的多模态能力，就必须使用一个标准的方式去调用，目

API与工具调用

image.png

什么是API

API 的定义

API（Application Programming Interface）就是软件之间沟通的接口。（不像人话）

简单理解：

智能体如果想使用大模型的能力，比如生成图片，生成视频，生成音频的多模态能力，就必须使用一个标准的方式去调用，目前主流的调用方式就是API的形式，随着深入的了解，会发现智能体的沟通基本都是通过API的形式。

API = 能力链接方式

智能体 -> 调用大模型的API -> 获取文字/图片/视频/音频能力

API的简单示例

用户想生成一个视频 （火山引擎的Seedance）
需求
一只熊猫在竹林里喝茶，电影质感，镜头慢慢推进。
请求地址：https://ark.cn-beijing.volces.com/api/v3/contents/generations/tasks
-H "Content-Type: application/json"
-H "Authorization: Bearer ark-xxxx-xxxx-xxxx-xxxx-xxxxxxxx-xxxxx"
-d '{
    "model": "doubao-seedance-1-0-pro-fast-251015",
    "content": [
        {
            "type": "text",
            "text": "一只熊猫在竹林里喝茶，电影质感，镜头慢慢推进 --resolution 1080p  --duration 5 --camerafixed false --watermark true"
        },
        {
            "type": "image_url",
            "image_url": {
                "url": "https://ark-project.tos-cn-beijing.volces.com/doc_image/seepro_i2v.png"
            }
        }
    ]
}

在AI时代不需要自己去接入API，这些工作都是由编码Agent（Claude code，Codex，Workbuddy等）实现的，由于这些API都是消耗算力的，所以需要自己来选择使用哪些模型厂商以及申请权限（API Key）。至于接入和测试都有AI来实现。

AI工具（Tool）调用

image.png

什么是工具

大模型就像大脑，但是大脑做事情，需要“手”和“眼睛”

工具就是AI的：眼睛，手，脚，外部能力

多模态大模型可以理解问题，分析需求，生成文字，做推理，但是他不能查看实时的天气，发送邮件，生成视频，生成音频，查询数据库，这些能力都需要借助工具。

都有哪些工具

信息获取类工具

搜索工具

能力：

  • 搜索互联网信息
  • 查询新闻
  • 查找资料
  • 获取最新内容

数据查询工具

连接实时数据。

例如：

  • 天气数据
  • 股票数据
  • 地图数据
  • 电商价格

文件处理类工具

文档

例如：

  • Word
  • PDF
  • Markdown

能力：

  • 阅读文件
  • 总结内容
  • 提取信息
  • 修改文档

表格

例如：

  • Excel
  • CSV

能力：

  • 数据分析
  • 制作报表
  • 生成图表

内容生成类工具

图片生成工具

例如：

  • 文生图
  • 图片编辑
  • 风格转换

应用：

  • 海报设计
  • 产品图片
  • 插画生成

视频生成工具

例如：

  • 文生视频
  • 图生视频
  • 视频编辑

应用：

  • 短视频制作
  • 广告视频

音频工具

例如：

  • 文字转语音
  • 语音识别
  • AI配音

软件操作类工具

办公软件

例如：

  • 邮件
  • 日历
  • 文档
  • 表格

可以：

  • 创建邮件
  • 安排会议
  • 生成文件

企业系统

连接：

  • CRM
  • ERP
  • OA系统

例如：

查询客户信息，并生成销售报告。

数据库/API工具

数据库

例如：

  • MySQL
  • PostgreSQL
  • MongoDB

AI可以：

  • 查询数据
  • 分析数据
  • 生成报告

外部API

例如：

  • 支付接口
  • 地图接口
  • 快递接口
  • 翻译接口

代码执行工具

让 AI 执行程序。

例如：

  • Python运行环境
  • Shell命令
  • 开发环境

能力：

  • 运行代码
  • 测试程序
  • 自动处理任务