Research Brief: 1v1 博弈场景中的多智能体长时推理

Problem Statement

探索在 1v1 博弈游戏场景下，多智能体如何通过长时推理实现测试时优化或自进化，提升决策质量和对抗能力。核心挑战是如何在推理阶段动态调整策略，而非依赖大规模后训练。

Research Direction

核心方向: 1v1 competitive game settings 中的 multi-agent long-horizon reasoning for test-time optimization and self-evolution

关键词:

• 1v1 competitive games (e.g., board games, card games, strategy games)
• Multi-agent reasoning
• Test-time optimization
• Self-play evolution
• Long-horizon planning
• Inference-time adaptation

Constraints

Technical Constraints

• No heavy post-training: 避免从头训练或大规模 RLHF。可接受轻量级方法如 LoRA、prompt tuning
• Fast fine-tuning is acceptable: 可以使用快速微调方法（如 few-shot adaptation、in-context learning）
• Focus on test-time: 核心创新应在推理阶段，不是训练阶段
• Multi-agent interaction: 必须涉及多个 agent 的交互和博弈

Compute Constraints

• 假设有 GPU 资源用于快速实验（单卡或小规模多卡）
• 需要能在合理时间内验证想法（hours to days，不是 weeks）

Timeline

• 目标会议: ICLR 2027
• 需要在 2026 年内完成核心实验和论文初稿

What We Want to Avoid

• ❌ 纯粹的离线训练方法（standard RL training from scratch）
• ❌ 需要海量数据和算力的大模型预训练
• ❌ 单智能体场景（non-interactive settings）
• ❌ 短时决策问题（single-step or few-step decisions）
• ❌ 纯理论工作，缺乏实验验证

What We’re Looking For

✅ Test-time reasoning mechanisms:

• 如何在推理时展开多步博弈树搜索
• 如何动态调整策略而不重新训练
• 在线学习和适应机制

✅ Self-evolution without heavy training:

• Self-play at inference time
• Bootstrapping from weaker models
• Meta-learning for fast adaptation

✅ Multi-agent interaction patterns:

• Agent-agent negotiation and coordination
• Adversarial reasoning
• Theory of mind in competitive settings

✅ Scalable and practical approaches:

• 可在常见 benchmark 上验证（如 board games, card games）
• 有明确的 baseline 可以比较
• 实验可重复

Domain Knowledge

• 熟悉强化学习基础（Q-learning, Policy Gradient, Actor-Critic）
• 了解多智能体系统（MARL, game theory basics）
• 对 LLM reasoning（如 chain-of-thought, tree-of-thought）有一定了解
• 知道 AlphaGo/AlphaZero 的核心思想（MCTS + self-play）

Potential Starting Points

1. 搜索增强推理: 在推理时使用 MCTS、beam search 等搜索算法，配合轻量级价值/策略网络
2. In-context learning for games: 利用 LLM 的 in-context 能力，在推理时动态学习对手策略
3. Self-play at test time: 测试时让 agent 快速自对弈进化，无需离线训练
4. Meta-learned reasoning modules: 预训练一个通用推理模块，在新游戏上快速适应

Success Criteria

• 新颖性: 方法在测试时优化/自进化方面有明确创新
• 实验验证: 在至少 2-3 个 1v1 博弈 benchmark 上超越 baseline
• 效率: 推理时间和计算开销在可接受范围内
• 理论/实证结合: 既有方法动机，也有充分实验支撑

Expected Output

从 idea discovery 流程中，期望得到：

1. Top 3-5 validated ideas，每个包含：
   • 核心假设和方法描述
   • 与现有工作的差异
   • 初步实验计划
2. 一个 pilot-tested 的最优 idea，包含：
   • 在简单场景下的可行性验证
   • 预期的实验设置和 baseline
   • 潜在的技术挑战和解决方案