基于深度强化学习的资产组合管理通用模型的研究与实现

【摘要】：根据2022年世界银行组织对全球金融市场规模最新统计数据显示,中国以超过12万亿(美元)的规模成为世界仅次于美国的第二大金融市场。中国金融市场的繁荣发展,吸引越来越多的投资者希望通过量化交易的投资的方式获取收益。然而,通过量化交易进行投资对于普通投资者来说存在三个困难:首先,面对众多不同的投资理论,量化交易模型复杂,投资者难以采用有效的方法获得收益;然后,数据采集和预处理容易出错,同时模型建立、开发和调试工作任务繁重;最后,模型训练耗时且缺乏标准的模型评估。没有专业知识和熟练技能,普通投资者无法实施有效的量化交易策略。因此,本文在分析现有主流资产组合管理技术特点的基础上,设计并实现了一个基于深度强化学习的资产组合管理通用模型,对普通量化交易和投资爱好者较为友好。该模型主要具有以下三个优点:(1)广泛的适用性,一方面,我们的模型可以支持不同时间粒度的交易窗口,比如股票市场的分钟、天、周;另一方面,该模型可以模拟多个股票市场的交易环境,包括道琼斯指数(DJIA)、上证50(上证50)和沪深300等;(2)高度的完整性,我们的模型提供了主流的DRL算法(DDPG、PPO)实现和完善的资产组合管理能力,包括各种数据集预处理、多市场环境模拟、精心设计的奖励函数,以及标准的评价指标计算;(3)强大的扩展性,采用层次结构组织和模块化设计,我们的模型分为资产组合服务、数据集服务、模型服务和环境服务。除此之外,我们的模型保留了完整的用户扩展界面,用于实现不同的强化学习算法、预处理不同的市场数据集以及模拟不同的市场环境。此外,我们设计了一系列对比实验来评估模型的实用性。对中美股市的深入实验表明,我们的模型累计收益率超过30%,实用性明显。完成上述工作后,我们从数据增强、探索增强和策略网络增强三个方向开始对现有模型进行优化。与基准实验对比,验证了模型优化方案的可行性。