基于CAS-FQL算法的区域交通控制

比基 于 Ｏ 学 习的控 制 方 法 ，Ｃ ．ＱＬ算 法能显 著加快 算 法的收敛 速度 、提 高交通效 率． 一 ＡＳＦ 关键词 ：区域 交通控 制 ；Ｃ Ｓ Ｆ ；灾 变策略 ；Ｏ一 Ａ －ＱＬ 学习 ；模 糊控 制 中图分 类号 ：Ｔ ３ １ Ｐ ９ 文献标志 码 ：Ａ
Ｕｒ ａ ｒ ｆｉ Ｃｏ ｔ ｏ ａ ｅ ｎＣａａ ｔｏ ｈ ・ ｕ ｚ － ａ ｎｎ ｂ ｎＴ ａ ｆ ｎ ｒ ｌ ｓｄ ｏ ｔｓｒ ｐ ｅＦ ｚ ｙ Ｑ・ ｃ Ｂ － Ｌｅ ｒ ｉｇ
ＬＩ Ｗ ｅ ’ ＬＩ Ｚｈ —ｙ ｎ ‘ ｎ Ｕ ｉ ｏ ｇ＇
，
（． ｃ ｏ ｌ ｆ ｎｏ ｍａｉｎＥ ｇｎ ｅｉｇ Ｗ ｕ ｉ ｉｅ ｓｔ， ｉｎ ｍｅ ２ ０ ０ Ｃｈｎ ； ． ｉｎ ｍｅ １ Ｓ ｈ ｏ ｆｒ ｔ ｎ ｉｅ ｒｎ ， ｙ ｖ ｒｉ Ｊａ ｇ ｎ５ ９ ２ ， ｉａ ２ Ｊａ ｇ ｎ ｏＩ ｏ Ｕｎ ｙ
第 ２ 卷 第 ３ ６ 期
２ ２ 纽 ０１
五 邑大学学 报 （自然科学版 ）
Ｊ ＯＵＲ ＮＡＬ ＯＦ Ｗ ＵＹＩ ＵＮＩ ＲＳＩ ＶＥ ＴＹ （Ｎａｕ ａ Ｓ ｉｎ ｅ ｔ ｒｌ ｃｅ ｃ Ｅｄｔ ｎ） ｉｏ ｉ
Ｖ １ ６ Ｎｏ ３ ０２ ＿． ．
Ａｕ ． ｇ ２ １ ０２
Ｆ （，） 一Ｊ （，） ａ 【（ 口 ＋ｙ ａ ’（ 口 】 （，） Ｉ（，） ． Ｑ 口 ÷ 口 ＋ ｆ ， ，） ｍ ｘＦ ， 八 口 一Ｆ 口｝ Ｑ ｛ Ｑ ） Ｑ
口Ｅ ’ Ａ
‘ （１ ）
式 中 ， ｒｓ口 为 Ａｇｎ （，） ｅｔ在 环 境 状 态 ｓ下 执 行 动 作 ａ后 的立 即 回报 值 ，令 口为 学 习 速 率 ，且 其 满 足
ｒ ｎ ｉ ｇ ｉ ｔ ｈ ｏ ａ ｐ ｉ ｕ ｎ ｎ ｎｏ ｔ ｅ ｌｃ ｌｏ ｔｍｕｍ，ｔ ｉ ａ ｅ ｕ ｓｆ ｒ ｒ ｉ ｄ ｏ ｅ ｉ ｎ ｌｔａ ｓ ｏ ｔ ｔｏ ｏ ｒ ｉ ａｉ ｎ ｈ ｓ ｐ ｐ ｒｐ ｔ ｏ ｗａ ｄ ａ ｋ ｎ ｆｒ ｇｏ ａ ｒ ｎ ｐ ｒａ ｉ ｎ ｃ ｏ ｄ ｎ ｔｏ
境 状 态 Ｓ 按 既 定 规 则 执 行 当前 动 作 口 对 应 的隶 属度 ，“ ”表 示 “ 辑 与 ”操 作 符 ． ｔｉｓ和 Ｐ 下 所 八 逻 Ｗａｋｎ ．
Ｄ ｙ ｎ在 文 献 【】 给 出 了 Ｏ一 习 收敛 所 需 满 足 的 ３个 条件 ：１）ｌ（，） ａａ ３中 学 ｓ口 ｌ ；２） 习速 率 ０ ｒ ＜吼 学 ｌ ，
８ 月
文 章 编 号 ： １ ０ －３ ２ （ ０ ２）０ － ０ ７０ ０ ６７ ０ ２ １ ３０ ６ －７
基 于 Ｃ — ＱＬ算 法 的 区域 交 通 控 制 ＡＳ Ｆ
李文 ’ ，刘 智 勇 ’ 。 。
（ ．五 邑 大 学 信 息 工 程 学 院 ，广 东 江 门 ５ ９ ２ ； １ ２ ０ ０
ｃｎｒｌｎ ｅ ｏ ｈｃ ｓ ｂ ｓｄ ｏ ａ ｓ ０ ｈ— ｕｚ － ｅｒｉｇ （Ａ － Ｑ ）ａｇｒ ｈ ．Ｔ ｅ ｏ ｔ ｌ ｇ ｍ ｔ ｄ ｗ ｉｈ ｉ ａｅ ｎ Ｃ ｔ ｔ ｐ ｅ Ｆ ｚｙ Ｑ Ｌ ａｎｎ Ｃ Ｓ Ｆ Ｌ ｌｏｉ ｍ ｈ ｏｉ ｈ ａｒ ｔ ｃｔ ｔ ｐ ｅ ｓ ａｅｙ ｉ ｃｍｂｎ ｄ ｉｔ ｔｅ ｌａｎｎ ｒｃｓ ｏ ｈ ｕｚ －ｅｒｉｇ ａ ｏｉ ｍ ｔ ａａ ｒ ｈ ｔ ｔ ｓ ｏ ｉｅ ｎｏ ｈ ｅ ｒｉｇ ｐｏｅｓ ｆｔｅｆｚｙ Ｑ ｌａｎｎ ｌ ｒｈ ｏ ｓｏ ｒ ｇ ｇ ｔ
２ ２ Ｃ — ＱＬ算 法 的基 本 原 理 ． ＡＳ Ｆ
ＣＡ ．ＱＬ算 法 是 在 Ｆ ＳＦ ＱＬ算 法 的 基 础 上 添加 灾 变 策 略 ．灾 变 ｆ 】 指 生 物 在 连 续 不 断 的演 化 进 程 是
中 ，由于 其 生 活 环 境 发 生 了 巨大 变 化 而 造 成 该地 区绝 大 部 分 物 种 濒 ｌ 种 ，只 剩 下那 些 具 有 特 别 强 临绝 生存 能 力 的种 群 或 个 体 能 继 续 存 活 繁 衍 ｆ １ 变策 略 的随 机 性 和 突 变性 可 在 Ｆ ．灾 ～ ＱＬ 算 法 得 到 局 部最 优 动作 后 。改 变 选 择 动 作 ，提 高 对 环 境 的空 间 遍 历 ，加 快 收 敛 速 度 ．文献 【】 明 了 灾 变策 略 能 有 效 ８证 避 免 粒 子 群算 法 的 早 熟 收 敛 ，并 能 提 高 粒 子 群 算 法 的 收敛 速 率 ．本 文 提 出 的新 算 法 旨在通 过 灾 变 策 略 提 高模 糊 Ｏ一 习 的优 化 效 率 ． 构造 灾 变 算 子 的过 程 中 ，以余 维 数 为 ２的 尖 点 灾 变模 型作 为 参 考 学 在
２ ．江 门职 业 技 术 学 院 ，广 东 江 门 ５ ９ ０ ２ ０ ０）
摘 要 ：针对 Ｏ 学 习算 法收 敛慢 、 易陷入 局部 最优 的缺 陷 ，提 出了一种 基 于 灾变模糊 Ｏ 学 习 一 一 （ ＡＳＦ Ｌ 算 法的 区域 交通协 调控 制 方法 ，即将 灾 变策略 引入到 模糊 Ｑ 学 习算 法的学 习过 程 Ｃ ．Ｑ ） 一
１ ＣＡ － ＱＬ算 法 Ｓ Ｆ
１１ 模 糊 Ｑ一 习 （Ｆ ． 学 ＱＬ）算 法 及 其 收 敛 条 件
Ｆ ＱＬ算 法 是 Ｑ一 习 与模 糊 控制 方 法 有 机 结 合 的 一 种 空 间搜 索 优 化 算 法 ， 能 为智 能 体 （ ｇ ｎ ） 学 它 Ａ ｅ ｔ 在 动 作 空 间遍 历 动作 序 列 提 供 先验 知识 ， 高 Ｑ一 习 的收 敛 速 度 ．该 算 法 实 质 上 是 优 化 一个 可进 行 提 学 迭 代 计 算 的 Ｑ一 函数 （，） 口 ，其 递 推 规 则 表 示 如下 ：
ｅ ｈ ｎ ｅａ ｄ ｉ ｒ ｖ ｔ ｏ ｔｍｉａｉｎａ ｉｔ ｎ ｅ ｒ ｉｇｅ ｉｉｎ ｙ Ｃｏ ｃ ｅｅｙ Ｃ － ＱＬ ａｇ ｒｔｍ ｎ ａ ｃ ｎ ｍｐ ｏ ｅｉ ｐｉ ｚ ｔ ｂｌ ｙａ ｄｌａｎｎ ｆ ｃｅ ｃ ． ｎ ｒｔｌ， ＡＳ Ｆ ｌｏｉ ｓ ｏ ｉ ｈ
ｉ ｐｐｉ ｄ ｔ ｐ ｉ ｚ ｈｅｃ ｃ ｅ ｎ ｆｓ ｔ ｆｅ ｃ ｎ ｅ ｓ ｃ ｉｎ ｉ ｈ ｒ ｆｉ ｔ ｒ ，ａ ｈ ｐ ｉ ｉ ｓａ ｌｅ ｏ ｏ ｔｍｉ ｅｔ ｙ ｌ ｓａ ｄ ｏｆ ｅｓｏ ａ ｈ ｉ ｔ ｒｅ ｔｏ ｎｔ ｅｔａ ｃｎｅｗｏ ｋ ｎｄｔ ｅ ｓ ｌｔ ｓ
∈（ １， ∈ ０ １设为 Ｑ 函数值的折扣 系数 ，Ａ为动作序列的集合 ， ０ ） （，） ， 一
（ ，， 口 表示 Ａ ｅ ｔ ） ｇｎ 在环境
转 化 为新 状 态 下 按 既 定 规 则 选 取 新 动 作 口 后 获 得 的折 扣 累积 回报 值 ，／ （，） 示 Ａｇ ｎ 在 当前 环 ￣ ｓ口 表 ｏ ｅｔ
近 年来 ，通 过 法 和控 制 技 术 的不 断 研 究 与探 索 ，相 继研
发 了绿 信 比 、周期 、相 位 差 优 化 技 术 系统 （ Ｃ Ｔ 、悉 尼 自适 应 交 通 控 制 系统 （ Ｃ Ｔ Ｓ ＯＯ Ｓ） Ｓ Ａ Ｓ）等 经典
Ｐ ｌｔｃ ｎｃＣ ｌ ｇ ， ｉｎ ｍｅ ２ ０ ０ Ｃ ｉ ａ ｏｙｅ ｈ ｉ ｏｌ ｅ Ｊａ ｇ ｎ５ ９ ０ ， ｈ ｎ ） ｅ
Ａ ｓ ａｔ ｎ ｏｄ ｒｔ ｇｌｅ ｔｅ ｐｏ ｌ ｆＱ ｌａｎｎ ｌｏｉ ｍ Ｓ ｓ ｗ ｃｎ ｅｇ ｎ ｅａ ｄ ｅｓ ｙ ｂｔ ｃ：Ｉ ｒｅ ｏ ｏｖ ｈ ｒｂｅ ｏ －ｅｒｉｇ ａ ｒｈ ’ ｌ ｏ ｖｒｅ ｃ ｎ ａｉ ｒ ｍｓ ｇ ｔ ｏ ｌ
随 着智 能 控 制 理 论 研 究 的 不 断 深 入 ，基 于 人 工 智 能 的交 通 控 制 方 法 越 来 越 受 到 人 们 的 关 注 ．目前 ， 采 用强 化 学 习 理 论 研 究 交 通 信 号 的协 调 控 制 是 一个 研 究 热 点 ， 中 Ｏ一 习 是 一 种 被 广 泛应 用 的强 化 其 学 学 习算 法 ．它 的优 势 不 仅 在 于 不需 要 建 立 交 通 路 网 的数 学 模 型 ，而 且 能 实现 对 非 线 性 复 杂 系统 进 行
ｏ ｔｍ ｉｅ ｂ ｏ ｖ ｎ ｉ ｎ ｌｍｅ ｈ ｄ．Ｔｈ ｒ ｓ ｌｓ ｆｏ Ｉ Ｓ ｔａｆｃ ｓ ｍｕ ａ ｉ ｎ ｐ ａ ｆ ｒ ｓ ｏ ｈ ｔｔ ｅ ｐ ｉ ｚ ｄ ｙ ｃ ｎ ｅ ｔｏ ａ ｔ ｏ ｅ ｅ ｕ ｔ ｒ ｍ ＳＩ ｒ ｆｉ ｉ ｌ ｔｏ ｌ ｔｏ ｍ ｈ ｗｓ ｔ ａ ｈ ｃ ｔｓ ｒ ｐ ｅ ｓ ｒ ｔ ｇ ａ ｃ ｅ ｅ ａ ｅ ｔ ｅ ａｇ ｒｔ ｍ ｏ ｖ ｒ ｅ ｃ ｐ ｅ ｉ ｎ ｆｃ ｎ ｌ ｎ ｍｐ ｏ ｉ ｇ ｔ ｅ ａ ａ ｔｏ ｈ ｔａｅ ｙ ｃ ｎ ａ ｃ ｌ ｒ ｔ ｈ ｌ ｏ ｉｈ ｃ ｎ ｅ ｇ ｎ ｅ ｓ ｅ ｄ ｓｇ ｉｉ ａ ｔｙ ａ ｄ ｉ ｒ ｖｎ ｈ
ｔａ ｆｃｅ ｆｃ ｅ ｃ ｒ ｆｉ ｆｉ ｉ ｎ ｙ．
Ｋ ｙｗ ｒｓ ａｅ ａｆ ｏ ｔ ｌＣ Ｓ Ｆ Ｌ ｔｅ ａａｔ ｐ ｅｓ ａｅｙ Ｑ ｌａｎｎ ；ｕｚ ｏ ｔ ｌ ｅ ｏｄ ： ｒａｔ ｆｃｃｎｒ ； Ａ － Ｑ ；ｈ ｔｓ ｏ ｈ ｔ ｔｇ； －ｅ ｒｉｇ ｆｚｙｃｎｒ ｒ ｉ ｏ ｃ ｒ ｒ ｏ
有 效 学 习 的能 力 ， 用 于 城 市 区 域 交 通路 网协 调 控 制 【．然 而 ，Ｑ一 习算 法 本 身 亟待 克服 收 敛 较慢 、 适 学
易 陷入 局 部最 优 等缺 陷 ．为 此 。本 文 提 出添加 灾 变策 略 ， 即在 模 糊 Ｑ一 习基 础 上构 造 灾 变 模 糊 Ｑ 学 一 学 习 （ ＡＳ Ｆ Ｃ －ＱＬ）算 法 ，利 用 灾 变 算 子 的 突 变性 来 改 进 Ｑ 学 习 的学 习 效 率 ，提 高 其 收敛 速 度 ． 一
收稿 日期 ：２ ｌ － ４ ０ ０２０－９
基 金 项 目 ：广 东省 自然 科 学 基 金 资 助 项 目 （ １ ２ ０ ０ １０ ０ ４ ； 广 东省 高等 学 校 自然 科 学 重 点 研 究项 目 ８ ９ ２ ０ ０ ０ ｌ ） ５