在机器人领域，实现通用机器人策略需要大量数据，而在真实世界收集这些数据又耗时费力。尽管模拟为生成场景级和实例级的不同体量的数据提供了一种经济的解决方案，但由于需要大量的人力（尤其是对复杂任务），在模拟环境中增加任务多样性仍面临挑战。这就导致典型的人工模拟基准通常仅能包含数十到数百个任务。
如何解决呢？近年来，大语言模型在自然语言处理及各类任务的代码生成方面不断取得重大进展。同样，LLM 已经应用于机器人的多个方面，包括用户界面、任务和运动规划、机器人日志总结、成本和奖励设计，揭示了在物理基础和代码生成任务上的强大能力。
在近日的一项研究中，来自 MIT CSAIL、上海交通大学等机构的研究者进一步探究 LLM 是否可以用来创建多样化的模拟任务，并进一步挖掘它们的能力。
具体来讲，研究者提出了一种基于 LLM 的框架 GenSim，它为设计和验证任务资产安排、任务进展提供了一种自动化机制。更重要的是，生成的任务表现出了极大的多样性，促进了机器人策略的任务级泛化。此外从概念上讲，利用 GenSim，LLM 的推理和编码能力通过中间合成的模拟数据被提炼成了语言 - 视觉 - 行动策略。
GenSim 框架由以下三部分组成：
首先是通过自然语言指令提出新任务以及相应代码实现的提示机制；
其次是缓存以前生成的高质量指令代码以用于验证和语言模型微调的任务库，并作为综合任务数据集返回；
最后是利用生成的数据来增强任务级泛化能力的语言调整多任务策略训练流程。
同时该框架通过两种不同的模式运行。其中在目标导向设置中，用户有特定的任务或者希望设计一个任务课程。这时 GenSim 采取自上而下的方法，以预期任务作为输入，迭代地生成相关任务以实现预期目标。而在探索性环境中，如果缺少目标任务的先验知识，则 GenSim 逐渐探索现有任务以外的内容，并建立与任务无关的基础策略。
