结合Q学习和模糊逻辑的单路口交通信号自学习控制方法

何兆成 ， 佘锡伟 ， 杨文 臣 ，陈宁宁
（ 中山 大学 智 能 交通研 究 中心 广 东省智 能交通 系统 重点 实验 室 ，广 州 ５ ０ ７ ） １ ２ ５
摘 要 ： 对城 市 交通 系统 的动 态性 和不确 定性 ， 出 了基 于 强化 学 习的 信 号 交叉 口智 能控 制 系统 结 构 ， 单 针 提 对
ｗ ｓ ａａ ｌ ｏ ｏｌ ｅ ｅｒｉｇ ｈｏ ｇ ｏ ｂｎｔ ｎｏ Ｂ ｅｒｌ ｅ ｏ ｎ ｌａ ｉｇａ ｏ ｔｍ ｕｔｅｍ ｒ， ｕ ｅ ａ ｐｂｅ ｆ ｎｉ ａ ｎ ｒｕｈａｃｍ ｉａｏ ｆ Ｐｎｕａｎ ｔ ｒ ａｄＱ— ｒ ｎ ｌ ｒｈ ．Ｆ ｒ ｒ ｏｅ ｄ ｅ ｏｔ ｃ ｎ ｌ ｎ ｔ ｉ ｗ ｋ ｅｎ ｇｉ ｈ ｔ ｈ ｍ ｌ—ｂｅｔ ｅ ｒｐｒ ａｉ ｓ ｎ ｌ ｏｔ ｌ ｈｓｐｐｒｄｖｌ ｅ ｅ ａｄｄｓ ｎｍ ｔｏ ｒＱ ｌ ｒｉｇｂ ｓｄｏ ｚｙ ｕｔ ｏｊｃ ｖ ｏｅ ｙｉ ｔ ｆｃ ｉ ａ ｃｎｒ ，ｔ ａ ｅ ｅｅ ｐ ｄａｒ ｒ ｅｉ ｅｈｄｆ — ａｎｎ ａｅ ｎｆ ｚ ｉ ｉ ｐ ｔ ｎ ｒ ｆ ｇ ｏ ｉ ｏ ｗ ｇ ｏ ｅ ｕ
Ｑ ｌａｎｎ ｎ ｚｙｌｇｃ — ｒｉｇａ ｄｆ ｚ ｏｉ ｅ ｕ
Ｈ Ｅ Ｚｈ ｏ— ｈ ｎ ａ ｃ ｅ ｇ，ＳＨＥ — Ｘｉ ｗｅｉ ＹＡＮＧ ｅ ｃ ｅ ， Ｗ ｎ— ｈ ｎ，ＣＨＥＮ ｎｇ ｎｉｇ Ｎｉ — ｎ
（ ｕｎ ｄｎ ｒ ｉ ｉｌ ｅ ａｏａｏｙｏ ｔ ｌｅｔＴａ ｓｏｔｔ ｎＳｓ ｍ， Ｔ ｅ ａｃ ｅｔ ， ｕ ａ— ｎ Ｕ ｉ ｒｔ，Ｇ ａ ｇｈ ｕ５ ０７ Ｇ ａｇ ｏｇＰｏ ｎ ａ Ｋ ｙＬ ｂｒｔｒ Ｉ ｅ ｉ ｎ ｒｎｐｒ ｉ ｙｔ ＩＳＲｓ ｒｈＣｎｅ Ｓ ｎＹ ｔｅ ｎｖ ｓｙ ｕｎｚｏ ２５，Ｃ ｉａ ｖｃ ｆ ｎ ｌ １０ —６ ５ ２ １ ． １ ０ ６ ｏ：０ ３ ６ ／．ｓａ ０ １ ３ ９ ．０ １ ０ ．５ ｓ．
Ｓ ｌ－ｅ ｒ ｉ ｇ ｔａ ｃ ｓｇ ａ ｏ ｔｏ ｔ ｏ ｆｉｏ ａｅ ｎ ｅ ｓ ｃ ｉ ｎ ｃ ｍｂ ｎ ｎ ｅｆｌ ａ ｎ ｎ ｒ ｆ ｉｎ ｌ ｃ ｎ ｒ ｌｍｅｈ ｄ ｏ ｓ ｌ ｔ ｄ ｉ ｔ ｒ ｅ ｔｏ ｏ ｉ ｉ ｇ ｉ
ｌｇ ｃ Ｃｏ ｕ ｔｄ ｓｍｕ ａｅ ｘ ｅ ｉ ｎ ｓｉ ｈｒ ｅ ｔａ ｃ ｓ ｅ ｒｏ ．ｕｓｎ ｈ ｒ ｍｉｓ ｍｉｒ ｓ ｏ ｃ ｔａ ｃ ｓｍｕ ａｉ ｏ ｔ ｒ ｏ ｉ． ｎｄ ｃｅ ｉ ｌｔ ｄ ｅ ｐ ｒｍｅ ｔ ｎ ｔ ｅ ｒ ｆ ｃ ｎａｉ ｓ ｉ ｉ ｇ ｔ ｅ Ｐａ ａ ｃ ｃｏ ｃ ｐｉ ｒｆ ｉ ｌ ｔ ｉ ｏｎ ｓ ｆｗａｅ． Ｅｘ ｒｍｅ ｔｌｒ ｓ ｔ ｈｏ ｔ ａ ｈ ｏ ｏ ｅ ｅｈ ｄ ｈ ｓｈｉｈ ｃ ｎｒ ｌｅ ｃｉｎ ｙ ｉ ｉｆｒ ｎｔｔａ ｃ ｓ ｅ ａ ｉ ，ａ ｄ ｉ ｉｎ ｆｃ ｎｔｙ ｐｅｉ ｎａ ｅ ｕｌｓｓ ｗ ｈ ｔｔ ｅｐｒ ｐ ｓ ｄ ｍ ｔ ｏ ａ ｇ ｏ ｔｏ ｆ ｅ ｃ ｎ ｄ ｆｅ ｅ ｒ ｆ ｃ ｎ ｒｏｓ ｎ ｓｓｇ ｉｉ ａ ｌ ｉ ｉ ｂ ｔｅ ｈａ ｘｅ ｉ ｎｇ ｃ ｎｔｏ ｔｏｄ ｅｔ ｒｔ ｎ ｆ ｄ ｔｍｉ ｏ ｒ ｌｍｅｈ ． ｉ Ｋｅ ｒ ｙ ｗｏ ｄｓ： ｔａ ｃ ｓｇ ｌｃ ｎ ｒ ｌ ｅｎ ｏ ｃ ｍｅ ｅ ｒ ｉ ｒｆ ｉｎａ ｏ ｔｏ ；ｒｉ ｆｒ ｅ ｎｔｌ ａ ｎｇ；ＢＰ ｕ ａ ｔ ｒ ｉ ｎ ｎｅ ｒ ｌｎｅｗｏ ｋ；ｆ ｚ ｙ ｅ ａ ｕ ｔｏ ｕ ｚ ｖ ｌ ａｉ ｎ； Ｐａａ ｃ ｉ ｌ ｔｏ ｒ ｍｉ ｓｓｍｕ ａｉｎ
Ａｂｓｒ ｃ ｔ ａ ｔ： Ｔｏ ａ ｒ ｓ ｈ ｙ ａ ｃ ｎ ｎｃ ｒａｎｔ ｎ ｕｎ ａ ｒ ｎ ｐｏｔ ｔｏ ｙ ｔ ｍ ，ｔ ｓｐａ ｒｐｒ ｐ ｓ ｄ ａ ｔａ ｃ ｓｇ ｌｃ ｎ ｒｌ ｄｄ ｅ ｓｔ ｅ ｄ ｎ ｍｉ ｓａ ｄ ｕ ｅｔ ｉ ｙ ｉ ｂ ｎ ｔａ ｓ ｒａｉ ｎ ｓ ｓｅ ｈｉ ｐｅ ｏ ｏ ｅ ｒ ｆ ｉｎａ ｏ ｔｏ ｉ ｓ ｓｅ ｂａ ｅ ｎ ｒ ｉ ｏ ｃ ｍｅ ｔｌ ａｎｉ ｙ ｔ ｍ ｓ ｄ ｏ ｅｎｆｒ ｅ ｎ ｅ ｒ ｎｇ，ｗｈｉｈ ｗａ ｕｔ ｂ ｅｆ ｒｒ ａ —ｉ ｏ ｒ ｌｉ ｓ ｌ ｔｄ ｉ ｔｒ ｅ ｔｏ ｃ ｓｓ ｉａ ｌ ｏ ｅ ｌｔｍｅｃ ｎｔｏ ｎ ｉｏ ａｅ ｎ ｅｓ ｃｉｎ． Ｔｈ ｒ ｐ ｓ ｄ ｍ ｅｈ ｄ ｅ ｐ ｏ ｏ ｅ ｔｏ
第２ ８卷第 １ 期
２１ ０ １年 １月
计 算 机 应 用 研 究
Ａｐ ｌ ａ ｉ ｎ Ｒｅ ｅ ｒ ｈ ｏ ｏ ｕ ｅ ｓ ｐ ｉ ｔｏ ｓ ａ ｃ ｆ Ｃ ｍｐ ｔｒ ｃ
Ｖ０ ． ８ Ｎｏ １ １２ ．
Ｊｎ ２ １ ａ ． ０１
当 士 日 口
Ｑ 学 习 和 模 糊 逻 辑 的 单 路 口 交 通 信 号 自学 习控 制 方 法 术
交叉 口动 态 实时控 制进 行 了研 究。将 Ｂ Ｐ神 经 网络 与 Ｑ 学 习算 法相 结合 实现 了路 口的在 线 学 习。 同 时， 对 交 针 通信 号控制 的 多 目标 评价特 征 ， 用基 于模 糊 逻辑 的 Ｑ 学 习奖 惩信 号设 计 方 法 ， 采 实施 对 交通 信 号 的优 化 控 制 。 最后 ， 三种 交通场 景 下 ， 用 Ｐ ｒｍｉｓ 在 应 ａａ ｃ 微观 交通 仿真软 件对 典型 十 字路 口进 行仿 真 实验 。结果表 明 ， 该方 法对 不 同交通场 景 下的 突变仍 可保持较 高的控制 效率 ， 制效 果 明显优 于定 时控 制 。 控 关键 词 ：交通信 号控 制 ；强化 学 习；Ｂ Ｐ神 经 网络 ； 糊 评价 ； ａａ ｃ 仿真 模 Ｐ ｒｍｉｓ 中图分类号 ：Ｔ ３ １９ Ｐ ９ ． 文献标 志码 ：Ａ 文章编 号 ：１０ — ６ ５ ２ １ ） ｌ０ ９ — ４ ０ １３ ９ （０ １ ｏ 一 １９ ０