图片处理中等风险

图片理解(多模态大模型)

调用多模态大模型理解图片内容并生成业务含义描述,支持 MiniMax VLM、OpenAI GPT-4V 与 Anthropic Claude Vision。

by @unknownv1.0.07 浏览3 下载
#Claude Vision#GPT-4V#VLM#中文NLP#图像理解#图表解读#多模态
推荐方式

直接交给 AI

无需安装文件。复制一句话,让 AI 在线读取这个 Skill。

下载 Skill ZIP ↓ 查看 SKILL.md 原文 ↗
01

它能帮你做什么

先看懂,再决定要不要交给 AI。

通过本地 Python 脚本调用多模态大模型对图片(PNG、JPG、JPEG、GIF、WebP)进行理解,输出聚焦数据内容与业务逻辑的文字描述,而非简单的元素位置罗列。支持 MiniMax(默认,推荐中文场景)、OpenAI(GPT-4V)和 Anthropic(Claude Vision)三种后端,可通过环境变量配置 API 凭证。可选传入自定义提示词,以适配图表解读、文档照片、截图等不同场景。

✓理解产品/界面截图并生成业务说明
✓解读图表、报表图片中的数据趋势
✓对文档照片进行结构化文字描述
✓为无障碍场景生成图片替代文本
✓辅助内容创作中对参考图进行语义提炼
02

怎么交给 AI

在线读取优先,本地安装作为备选。

◎
在线读取推荐 · 不需要安装

适合能访问网页的 ChatGPT、Agent 或其他 AI。

AI Prompt请访问 https://skills.dhmip.cn/skills/unknown/minimax-image-understanding/SKILL.md,读取并按照该 Skill 完成任务;如当前环境支持本地安装,也可以下载该 Skill。
↓
下载安装到 Agent适合支持 Skills 的客户端

未登录时可使用公共安装文档;登录后可以按不同 AI 分开管理。

Install Prompt请根据 https://skills.dhmip.cn/install/skillhub.md,安装 @unknown/minimax-image-understanding。
登录后管理多个 AI →
03

兼容性与要求

安装或使用前,先确认环境是否匹配。

适用客户端

命令行脚本openclaw/workspace 技能调用

使用要求

  • Python 3 环境
  • 至少配置一个模型提供方的 API Key:MINIMAX_API_KEY(可选 MINIMAX_API_HOST)、OPENAI_API_KEY 或 ANTHROPIC_API_KEY
  • 可访问对应模型提供方的网络
  • 本地图片文件路径(PNG/JPG/JPEG/GIF/WebP)
⌘技术详情查看完整 SKILL.md 与原始内容
⌄
SKILL.mdRaw ↗

name: minimax-image-understanding
description: 使用多模态大模型理解图片内容,生成业务含义描述。支持多种模型:(1) MiniMax VLM (2) OpenAI GPT-4V (3) Claude Vision。用于理解截图、图表、文档照片等,生成精准的文字描述。


图片理解

调用多模态大模型理解图片,生成精准的业务描述。

支持的模型

| 模型 | 环境变量 | 说明 |
|------|----------|------|
| MiniMax VLM | MINIMAX_API_KEY, MINIMAX_API_HOST | 默认,推荐用于中文理解 |
| OpenAI | OPENAI_API_KEY | GPT-4V |
| Anthropic | ANTHROPIC_API_KEY | Claude Vision |

使用方法

前提条件

设置对应模型的环境变量(至少一个):

# MiniMax(默认)
export MINIMAX_API_KEY="your-minimax-key"
export MINIMAX_API_HOST="https://api.minimaxi.com"

# 或 OpenAI
export OPENAI_API_KEY="your-openai-key"

# 或 Anthropic
export ANTHROPIC_API_KEY="your-anthropic-key"

调用脚本

python3 <skill>/scripts/understand_image.py <图片路径> [model] [prompt]

参数:

  • 图片路径:本地图片文件(PNG、JPG、JPEG、GIF、WebP)
  • model(可选):minimax(默认)、openai、anthropic
  • prompt(可选):自定义提示词

示例

# 使用默认(MiniMax)
python3 ~/.openclaw/workspace/skills/minimax-image-understanding/scripts/understand_image.py /path/to/image.png

# 指定模型
python3 ~/.openclaw/workspace/skills/minimax-image-understanding/scripts/understand_image.py /path/to/image.png openai

# 自定义提示词
python3 ~/.openclaw/workspace/skills/minimax-image-understanding/scripts/understand_image.py /path/to/image.png minimax "描述图表中的数据趋势"

输出

直接输出图片的业务含义描述,不再罗列元素位置,聚焦数据内容和业务逻辑。