基于Claude Code – 《王者荣耀世界》PvE AI 队友系统逆向技术架构分析

一、系统概览

该系统为《王者荣耀世界》训练 PvE Boss 战 AI 队友（Bot）。AI Bot 操控英雄角色，在线上 PvE 副本中与人类玩家协同挑战 Boss。AI 控制英雄执行移动、技能释放、目标锁定、视角控制等操作。Boss 本身不使用强化学习——在训练系统中仅作为观测输入，无策略输出头。推断 Boss 可能由引擎脚本/行为树驱动，具体机制在 RL 配置之外，未确认。

模型不使用图像 CNN 处理画面像素，而是从游戏引擎直接提取结构化状态向量 + 射线检测作为观察空间，通过 TCNN 推断（时序卷积网络，配置仅标注 backend: "tcnn"）和 LSTM 进行时序推理，使用 PPO 算法配合多头奖励函数进行训练。当前部署模式为 online（线上服务），由游戏服务器（DS）在线下发难度等级控制 AI 队友的表现水平。

二、系统架构

Go 推理服务连接 UE4 游戏引擎和 Python 训练后端，形成完整的在线强化学习闭环。

数据流水线

游戏帧数据（UE4 Protobuf） → 特征提取（XML 驱动） → 批量推理（最大 64，5ms） → TCNN + LSTM（512 维隐状态） → 动作解码（6 维离散） → 游戏指令（移动/技能/视角）

三、模型架构

模型采用 TCNN + LSTM 架构，而非图像 CNN。推断 TCNN 可能为时序卷积网络，配置中仅标注 backend: "tcnn"，具体架构未公开。所有视觉信息通过射线检测（Raycast）编码为结构化向量，不处理像素。

输出张量

四、动作空间

6 维多离散动作空间，各维度独立采样，总组合数约 124 万。

五、特征空间

XML 驱动的特征提取框架。每个特征通过 func 属性绑定 Go 侧提取函数，通过 type 定义归一化方式。

主角色 × 1

其他玩家 × 6

Boss × 3

弹道 × 15

导航 Agent（独立模型）

六、奖励结构

采用多头奖励设计，每个奖励头对应独立的价值函数和折扣因子 γ，避免不同维度的奖励信号相互干扰。

方案 A：标准战斗（3 头）

头 2：伤害（主奖励头）γ = 0.98

方案 B：角色专属 — 主战/梦王（7 头）推测

「主战」「梦王」为拼音缩写 zhuzhan / mnwj 的猜测翻译，配置中无中文原文。

七、训练配置

八、动态难度系统

10 级渐进难度，从"笨拙 AI"平滑过渡到"完美反应"。DS 可在线下发难度等级（diffi: 2 表示在线模式）。

九、多 Actor 配置

三套独立的 Actor 配置，对应不同场景和角色，各自使用独立模型和奖励函数。

十、为什么选择 PPO？推断

从配置中的 neglogps、gae_length、tdlamda 可确认使用 PPO。以下算法对比和优势分析为基于系统架构的推断，非来自官方文档。

算法对比

PPO 的 5 个核心优势

1. 多离散动作分解 — 6 个维度独立输出 Categorical 分布，联合训练但独立采样
2. 多头价值 + 多 γ — Actor-Critic 框架天然支持多头价值函数，每个头独立 GAE 计算
3. LSTM + On-Policy 兼容 — 轨迹由当前策略生成，避免 off-policy 的隐状态过期问题
4. 蒸馏友好 — logits 概率分布输出天然支持 KL 散度蒸馏到 Student 模型
5. 工业级稳定性 — Clip ratio 限制更新幅度，360 Bot 并发 + 30 秒同步下不会突然崩溃

十一、技术栈

十二、反推代码结构 推测

从配置中引用的模块名、函数名和数据路径反推的代码组织。以下文件名和目录结构均为推测，实际源码不可见。仅确认存在的是配置中引用的函数名（如 StateVector、SkillVector 等 func 属性）和模型路径（如 models/fight_zhuzhan/）。

aisvr/                                # Go 推理服务端
├── main.go                           # 入口，加载 globalConfig.yaml
├── server/
│   ├── server.go                     # TCP :15010，pprof :6060
│   ├── pipeline.go                   # 流水线并行（预处理 + 全局凑 batch）
│   └── batch_predictor.go            # 最大 batch=64，超时 5ms
├── actor/
│   ├── multi_actor.go                # 3 个 Actor: pvp / nav / mnwj
│   └── actor.go                      # 特征提取 → 推理 → 解码 → 发样本
├── feature/
│   ├── extractor.go                  # XML 驱动的特征提取框架
│   ├── state_vector.go               # func="StateVector"
│   ├── skill_vector.go               # func="SkillVector" × 13
│   ├── buff_vector.go                # func="PlayerBuffVector" × 20
│   ├── raycast_vector.go             # func="RayCastVector" (126+8)
│   ├── boss_vector.go                # func="BossVector"
│   ├── bullet_vector.go              # func="BulletVector" × 15
│   ├── soldier_vector.go             # func="SoldierVector"
│   ├── interact_vector.go            # func="PlayerInteractVector"
│   ├── nav_state_vector.go           # func="NavStateVector"
│   ├── nav_raycast_vector.go         # func="NavRaycastVector" (252)
│   ├── nav_area_vector.go            # func="NavAreaVector"
│   └── legal_action_vector.go        # func="LegalActionVector" (24 / 49)
├── reward/
│   ├── calculator.go                 # 多头奖励分发计算
│   └── heads.go                      # 伤害、击杀、技能、闪避、空战、环境、Buff
├── action/
│   ├── decoder.go                    # Logits → 游戏指令
│   └── difficulty.go                 # 10 级动态难度
├── model/
│   ├── tcnn_predictor.go             # CGO → C++ TCNN 推理后端
│   ├── model_pool.go                 # 30 秒同步，20 个历史版本
│   └── lstm_state.go                 # h/c 隐状态管理（512 维）
├── sample/
│   └── mempool_sender.go             # MCP++ → 样本池
└── distill/
    ├── teacher.go                    # 教师模型服务
    └── student.go                    # 学生模型 + KL 损失

trainer/                              # Python 训练端
├── learner.py                        # PPO 训练主循环
├── model/
│   ├── tcnn_model.py                 # 时序一维卷积网络
│   ├── lstm.py                       # LSTM（hidden=512）
│   ├── policy_heads.py               # 6 个 Categorical 策略头
│   └── value_heads.py                # 7 头价值函数
├── gae.py                            # 多头 GAE（λ=0.97, T=64）
└── utils/
    ├── mempool_reader.py             # 从样本池消费数据
    └── model_saver.py                # 发布到模型池

十三、核心设计洞察 推断

「设计原因」列为基于配置的推断分析。

识别出的可玩角色（10 位）

从特征配置 state.xml、奖励配置和技能 XML 中提取。

Boss 战信息

注意：Boss 灼绒不由强化学习控制——在训练系统中 Boss 仅作为观测输入（BossVector / StateBossVector），无策略输出头。推断 Boss 行为可能由引擎脚本或行为树驱动，但具体机制不在本 RL 系统范围内，未确认。强化学习训练的是与人类玩家协同作战的 AI 队友（Bot），由游戏服务器在线下发难度等级（10 级）控制 Bot 表现水平。

从 AI 奖惩信号推导的通关策略

以下策略从 4 套奖励配置中提取。● = 被强化的行为，● = 被抑制的行为。

核心输出

生存优先

闪避与跳跃

位置控制

技能管理

其他

角色专属 Boss 战节奏 推断

以下节奏建议从奖励信号和特征配置推导，非官方攻略。

东方曜 (DFY) — 空战流

利用空中攻击（+0.0003）打出连招，掌握流派切换时机。能量系统需要规划释放窗口，记住上一技能衔接。

节奏：地面起手 → 空中连段 → 完美闪避 Boss 反击 → 循环

铠 (KAI) — 强普爆发

强化普攻间隔 750ms，大招充能后爆发。近战贴脸（+0.001）是核心收益来源。

节奏：蓄能 → 大招开启 → 强普连续输出 → 闪避 → 蓄能

冷春 (LengChun) — R 技能二段

Q 技能 CD 2 秒，需要高频使用。R 有两段释放（R1/R2），存在血量惩罚机制。

节奏：Q 起手 → 普攻填充 → R1 爆发 → R2 追击 → 闪避重置

嘉洛 (JL) — 资源管理

R 技能冷却最长（10–18 秒），有独立资源系统。核心是资源积累和大招窗口把握。

节奏：普攻/小技能攒资源 → 资源满后 R 爆发 → 长 CD 期间安全输出

西施 (XS) — 三能量体系

Q 能量 + 球数量 + E 能量三套系统联动。发球机制需要精确管理。

节奏：发球蓄能 → Q/E 消耗能量输出 → 保持安全距离 → 循环

萌芽 (MY) — 热量控制

子弹 + 热量双资源。过热会导致无法攻击。

节奏：持续射击 → 热量接近上限时停火/换技能 → 冷却后继续

孙膑 (SB) — 炸弹消耗

炸弹有存在时间和状态追踪，Q 可叠 2 层。

节奏：Q 叠层 → 炸弹布置 → 引爆时机配合 Boss 硬直 → 闪避

元初 (YCZL) — 追击连段

追击技能 + 破命技时间窗口 + Z 轴能量系统。

节奏：消耗蓄能 → 追击突进 → 破命技窗口内爆发 → 脱离

Boss 弹道分析（AI 视角的 15 弹道追踪）

AI 对每个弹道追踪 ~48 维特征。从特征设计可以反推攻击模式的复杂度（注意：弹道追踪覆盖所有实体，不仅限于 Boss）。

难度系统揭秘：AI 队友如何变笨/变强

动态难度分 10 级，由游戏服务器（DS）在线下发。以下是 AI 队友在不同难度下被施加的"枷锁"——当你觉得 AI 队友反应迟钝或闪避不精准时，可能是低难度在起作用。

附录 A：服务运维配置详解

以下从 globalConfig.yaml 和 privateConfig.yaml 中提取的完整运维参数。

服务端口与进程管理

内存与性能

超时配置

模型加载策略

流水线并行

附录 B：蒸馏（Distillation）系统配置

系统内置 Teacher-Student 蒸馏框架，当前部署为 is_distill: false（未启用）。

附录 C：战斗对抗（Battle）系统配置

系统内置 Master-Slave 对抗框架，当前部署为 is_battle: false（未启用）。

附录 D：游戏参数详解

基础参数

地图坐标（离线导航）

地图中心坐标：[18734, 90018, 41387]（三套地图配置均相同）

角色专属冷却限制

疲劳系统（未启用）

附录 E：动作空间精确配置

从 general_action_config.json 中提取的精确动作值。

移动方向（10 选 1）

[0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°, −1(停止), 9999(空)]

技能（11 选 1）

["normal_atk", "jump", "dash", "charge_atk", "q", "e", "r", "t", "switch", "none", "f"]

目标选择（10 选 1）

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

俯仰角 turn-up（15 选 1）— 非对称分布

[−30, −25, −20, −15, −10, −5, −3, 3, 5, 10, 15, 20, 25, 30, 0]

注意：0° 在最后而非中间，且正负侧不对称（负侧有 −3°，正侧有 3°）。

偏航角 turn-right（15 选 1）— 非对称分布

[−60, −50, −40, −30, −20, −10, −5, 5, 10, 20, 30, 40, 50, 60, 0]

同样 0° 在末尾，正负不完全对称。

导航前进 Nav-f-slct（5 选 1）

[0, 1, 2, 3, −1(停止)]

未启用：turn-down（13 选 1）

[−21, −15, −10, −6, −3, −1, 1, 3, 6, 10, 15, 21, 9999]

used_by_model: false

附录 F：射线与视觉感知详细配置

从 feature_extractor/config.json 中提取。

Face Screen（面部屏幕）感知

俯视图感知

移动状态半高

[90, 60, 40] cm — 站立 / 蹲下 / 匍匐三种姿态的碰撞半高。

附录 G：难度系统详细参数

从 difficulty_confs/config.json 中提取。当前部署 enable: false（由 DS 在线下发，不使用本地配置）。

等级范围（Level 1 → Level 10）

Normal 模式 Level 1 覆盖值

当使用 normal 模式第 1 级时，部分参数有独立覆盖值：

注意：damage_ratio: 0.8 仅出现在 normal level 1 中，意味着低难度下 AI 只造成 80% 伤害。

难度模式说明（diffi 字段）

附录 H：第四套奖励配置 — config_battle2.json

除了 config_battle.json（3 头标准）和 config_battle_mnwj.json（7 头梦王）外，还存在两套未在主配置中激活的奖励变体。

config_battle2.json（3 头 — 防御导向变体）

关键差异：这是一个防御/站位导向的训练配置——伤害奖励被禁用，受伤惩罚提高 100 倍，强调保持 Boss 距离和避免乱跳。

config_battle_zhuzhan.json（7 头 — 主战变体）

与 config_battle_mnwj.json 对比：

关键差异：zhuzhan 版的 H2 头用距离控制（远程/近战奖惩）替代了 mnwj 版的技能管理（滥用惩罚 + 流派保持），但这两项都被设为 use: false（禁用）。同时 models/fight_zhuzhan/ 目录存在 tcnn.struct 和 tcnn.weights 模型文件，但未在 multiActorConfig.yaml 中激活。

四套奖励配置总览

附录 I：数据可视化系统

从 common/datavis.json 中提取（当前 disabled: false，已启用）。

可视化服务端口：:8080