API与工具调用

API 的定义

API（Application Programming Interface）就是软件之间沟通的接口。（不像人话）

简单理解：

智能体如果想使用大模型的能力，比如生成图片，生成视频，生成音频的多模态能力，就必须使用一个标准的方式去调用，目前主流的调用方式就是API的形式，随着深入的了解，会发现智能体的沟通基本都是通过API的形式。

API = 能力链接方式

智能体 -> 调用大模型的API -> 获取文字/图片/视频/音频能力

用户想生成一个视频 （火山引擎的Seedance）
需求
一只熊猫在竹林里喝茶，电影质感，镜头慢慢推进。
请求地址：https://ark.cn-beijing.volces.com/api/v3/contents/generations/tasks
-H "Content-Type: application/json"
-H "Authorization: Bearer ark-xxxx-xxxx-xxxx-xxxx-xxxxxxxx-xxxxx"
-d '{
    "model": "doubao-seedance-1-0-pro-fast-251015",
    "content": [
        {
            "type": "text",
            "text": "一只熊猫在竹林里喝茶，电影质感，镜头慢慢推进 --resolution 1080p  --duration 5 --camerafixed false --watermark true"
        },
        {
            "type": "image_url",
            "image_url": {
                "url": "https://ark-project.tos-cn-beijing.volces.com/doc_image/seepro_i2v.png"
            }
        }
    ]
}

在AI时代不需要自己去接入API，这些工作都是由编码Agent（Claude code，Codex，Workbuddy等）实现的，由于这些API都是消耗算力的，所以需要自己来选择使用哪些模型厂商以及申请权限（API Key）。至于接入和测试都有AI来实现。

大模型就像大脑，但是大脑做事情，需要“手”和“眼睛”

工具就是AI的：眼睛，手，脚，外部能力

多模态大模型可以理解问题，分析需求，生成文字，做推理，但是他不能查看实时的天气，发送邮件，生成视频，生成音频，查询数据库，这些能力都需要借助工具。

信息获取类工具

搜索工具

能力：

• 搜索互联网信息
• 查询新闻
• 查找资料
• 获取最新内容

数据查询工具

连接实时数据。

例如：

• 天气数据
• 股票数据
• 地图数据
• 电商价格

文件处理类工具

文档

例如：

• Word
• PDF
• Markdown

能力：

• 阅读文件
• 总结内容
• 提取信息
• 修改文档

表格

例如：

• Excel
• CSV

能力：

• 数据分析
• 制作报表
• 生成图表

内容生成类工具

图片生成工具

例如：

• 文生图
• 图片编辑
• 风格转换

应用：

• 海报设计
• 产品图片
• 插画生成

视频生成工具

例如：

• 文生视频
• 图生视频
• 视频编辑

应用：

• 短视频制作
• 广告视频

音频工具

例如：

• 文字转语音
• 语音识别
• AI配音

软件操作类工具

办公软件

例如：

• 邮件
• 日历
• 文档
• 表格

可以：

• 创建邮件
• 安排会议
• 生成文件

企业系统

连接：

• CRM
• ERP
• OA系统

例如：

查询客户信息，并生成销售报告。

数据库/API工具

数据库

例如：

• MySQL
• PostgreSQL
• MongoDB

AI可以：

• 查询数据
• 分析数据
• 生成报告

外部API

例如：

• 支付接口
• 地图接口
• 快递接口
• 翻译接口

代码执行工具

让 AI 执行程序。

例如：

• Python运行环境
• Shell命令
• 开发环境

能力：

• 运行代码
• 测试程序
• 自动处理任务