4.1 计算卸载仿真

计算卸载仿真中，我们设置10个用户和10个ECN。将本文算法(TE Q-learning)、遗传算法(GA: genetic algorithm)、时间消耗优先的强化学习(RL-time: Reinforcement learning-time)算法和能量消耗优先的强化学习(RL-time: Reinforcement learning-time)算法进行对比。本文对三种算法的效用函数和迭代次数进行同样的约束，取20次计算结果进行对比，对比结果图2所示。

从图2从可以看出，GA求出的解中任务所需时间长、所需能量大。RL-time因为对任务完成时间的限定，所以计算出的方案能耗相对较大。RL-energy算法要求能耗最小，所以计算出的方案时间消耗大。而TES Q-learning算法在求解时同时考虑运行时间和能量消耗，所以解的分布更符合现实的应用常见。

由表1看出，本文提出的算法求出的最优解比其他的算法要好。对于数量级大的问题，我们求出三种算法的平均时间和能量消耗。本文提出的TE Q-learning算法在时间和能量消耗上做平衡。在能量消耗上比其他算法要小。在时间上，相比时间优先的RL-time算法略长，但比GA要短。