图片理解(多模态大模型)
调用多模态大模型理解图片内容并生成业务含义描述,支持 MiniMax VLM、OpenAI GPT-4V 与 Anthropic Claude Vision。
它能帮你做什么
先看懂,再决定要不要交给 AI。
通过本地 Python 脚本调用多模态大模型对图片(PNG、JPG、JPEG、GIF、WebP)进行理解,输出聚焦数据内容与业务逻辑的文字描述,而非简单的元素位置罗列。支持 MiniMax(默认,推荐中文场景)、OpenAI(GPT-4V)和 Anthropic(Claude Vision)三种后端,可通过环境变量配置 API 凭证。可选传入自定义提示词,以适配图表解读、文档照片、截图等不同场景。
怎么交给 AI
在线读取优先,本地安装作为备选。
适合能访问网页的 ChatGPT、Agent 或其他 AI。
请访问 https://skills.dhmip.cn/skills/unknown/minimax-image-understanding/SKILL.md,读取并按照该 Skill 完成任务;如当前环境支持本地安装,也可以下载该 Skill。未登录时可使用公共安装文档;登录后可以按不同 AI 分开管理。
请根据 https://skills.dhmip.cn/install/skillhub.md,安装 @unknown/minimax-image-understanding。兼容性与要求
安装或使用前,先确认环境是否匹配。
适用客户端
使用要求
- Python 3 环境
- 至少配置一个模型提供方的 API Key:MINIMAX_API_KEY(可选 MINIMAX_API_HOST)、OPENAI_API_KEY 或 ANTHROPIC_API_KEY
- 可访问对应模型提供方的网络
- 本地图片文件路径(PNG/JPG/JPEG/GIF/WebP)
⌘技术详情查看完整 SKILL.md 与原始内容⌄
name: minimax-image-understanding
description: 使用多模态大模型理解图片内容,生成业务含义描述。支持多种模型:(1) MiniMax VLM (2) OpenAI GPT-4V (3) Claude Vision。用于理解截图、图表、文档照片等,生成精准的文字描述。
图片理解
调用多模态大模型理解图片,生成精准的业务描述。
支持的模型
| 模型 | 环境变量 | 说明 |
|------|----------|------|
| MiniMax VLM | MINIMAX_API_KEY, MINIMAX_API_HOST | 默认,推荐用于中文理解 |
| OpenAI | OPENAI_API_KEY | GPT-4V |
| Anthropic | ANTHROPIC_API_KEY | Claude Vision |
使用方法
前提条件
设置对应模型的环境变量(至少一个):
# MiniMax(默认)
export MINIMAX_API_KEY="your-minimax-key"
export MINIMAX_API_HOST="https://api.minimaxi.com"
# 或 OpenAI
export OPENAI_API_KEY="your-openai-key"
# 或 Anthropic
export ANTHROPIC_API_KEY="your-anthropic-key"
调用脚本
python3 <skill>/scripts/understand_image.py <图片路径> [model] [prompt]
参数:
- 图片路径:本地图片文件(PNG、JPG、JPEG、GIF、WebP)
- model(可选):
minimax(默认)、openai、anthropic - prompt(可选):自定义提示词
示例
# 使用默认(MiniMax)
python3 ~/.openclaw/workspace/skills/minimax-image-understanding/scripts/understand_image.py /path/to/image.png
# 指定模型
python3 ~/.openclaw/workspace/skills/minimax-image-understanding/scripts/understand_image.py /path/to/image.png openai
# 自定义提示词
python3 ~/.openclaw/workspace/skills/minimax-image-understanding/scripts/understand_image.py /path/to/image.png minimax "描述图表中的数据趋势"
输出
直接输出图片的业务含义描述,不再罗列元素位置,聚焦数据内容和业务逻辑。