返回上级

喻华丽:自主打造智能监管系统,科技赋能交易全程监管——深圳证券交易所交易监管系统的建设及成效

《金融电子化》杂志

时间:2023-11-24

近年来,以大数据、人工智能为代表的新一代信息科技,引发金融市场深刻变革创新,一方面交易越来越高效便捷,另一方面异常交易和违法违规行为越来越隐蔽复杂。随着资本市场全面深化改革,监管理念要求更加精准、透明、高效,利用科技手段提升监管效能,已成为全球金融监管机构共识。中国证监会高度重视监管科技,加快推进技术与业务深度融合,强化科技对监管的有效支撑。

交易监管系统是深圳证券交易所(以下简称深交所)贯彻党中央关于资本市场的重大决策部署,落实加强对交易的全程监管,依法从严打击证券违法活动等监管要求,完全自主设计研发,具有完整知识产权和中国特色的智能化证券交易监管系统。交易监管系统构建全面支持实时监控、调查分析、监管流程、业务研究的一体化工作平台,关键性能指标和业务支持能力达到国际领先水平,是科技赋能监管的应用典范。

一、业务目标

交易监管系统是深交所的核心监管应用系统,是开展交易监控工作的主要抓手,直接用户为深交所交易监管、公司管理、会员管理、基金管理和债券管理等一线监管部门,间接用户为与深交所交易监管相关的上市公司、证券公司、投资者等市场参与者。系统满足了以下业务目标:一是一站式平台,支持从报警、分析、报告、处理、归档的全流程业务处理,建立业务研究、验证、测试、反馈、评估、优化的长效机制;二是全品种交易监管,支持股票、基金、债券、期权等全品种实时和事后交易监管,跨品种联动监管;三是数据源全面,结合证券市场内外数据,从全结构数据中提取信息并综合使用,增强交易监管数据全面性;四是可视化场景交互,对交易重演、账户关联分析等场景结合业务目标提供视觉效果丰富、交互操作灵活的数据可视化能力;五是业务规则配置化,实时计算、事后监控和线索筛查引擎的规则参数可灵活配置,核心业务能力服务化;六是安全可审计,满足市场交易监管特有的业务安全审计要求。

交易监管系统从交易系统、结算系统、业务管理系统、互联网等多渠道采集、整合海量数据,提取监管所需信息,嵌入交易监控指标和内幕交易、市场操纵、趋同交易(老鼠仓)等违法违规线索筛查分析模型,研发关联账户分析、投资者画像、盈亏分析、交易重演等智能化可视化辅助分析工具,搭建实时监控、调查分析、事后核查等一体化业务工作平台,有效支撑异常交易实时监测监控、市场运行情况分析、违法违规线索筛查分析等交易全程监管业务。

二、技术目标和技术框架

交易监管系统基于大数据、流计算等新一代信息技术,系统实现了以下技术目标:一是高可用,采用同城数据平台双活双加载,数据应用多服务整体高可用的部署方案,通过集群化部署、数据副本冗余、多服务等方式,实现数据和服务高可用。二是高性能,处理能力与深交所第五代交易系统匹配,当前系统实际峰值50万笔/秒的订单,订单入库时延不超过1秒,日处理订单9亿笔;简单交互式查询不超过1秒,复杂统计查询不超过5秒。三是高容量,可容纳5万只证券产品,5亿个证券账户,支持完整历史数据库内分析能力。四是可扩展,支持业务的灵活扩展,支持处理性能的水平扩展。五是可移植,系统具备国际化、本地化的可移植性。

交易监管系统完全自主研发,采用全新的系统架构和软件设计理念,搭建业内首个基于开放开源、分布式架构的企业级大数据平台,业内首个基于高效流计算技术的实时计算引擎,自主研发离线计算平台,探索应用高性能可视化的客户端技术,覆盖大数据、流计算等前沿技术领域。在数据资源采集方面,支持丰富的交易监管数据源,包括高速消息流实时从交易系统接收交易数据,支持场外数据和非结构化数据等,增强交易监管数据的全面性。在数据存储平台方面,采用混合的数据平台架构,既有传统关系型数据库、MPP、Hadoop等数据库产品,也有搜索引擎、图数据库、机器学习等特定数据分析领域的产品。在计算平台方面,研发了业内首个基于流计算的实时计算引擎,支持高效实时报警;研发了交易重演、盈亏计算、关联分析等基础业务服务组件和统计分析,支持对海量数据进行深度挖掘和复杂分析;自主研发了调度系统、ETL系统、数据服务、报表服务等。在业务管理方面,通过工作流引擎与周边系统实时联通,实现一站式流程协作。在前端应用框架方面,基于开源技术开发了适配大数据量信息展示的图形表格组件和统计分析组件,提供高效的可视化展示和灵活的交互式操作界面。在运维保障支持方面,自主开发了业务运维管理系统。系统技术框架如图所示。

 

三、系统创新点

1.研发业内首个基于高效流计算技术的实时报警引擎,性能指标达到国际领先水平,大大提升实时监控报警能力。交易监管系统在业内率先研究流计算技术,在实时计算平台方面,为提高数据吞吐能力,降低实时计算时延,实时流计算平台核心采用开源分布式流计算技术,搭建实时计算框架。创造性地提出和实现Flink+Kafka实时计算网络、时间映射等解决方案。流计算技术应用效果显著,一是实时监控报警效率大大提升,每秒可处理申报笔数50万笔/秒,日处理订单近9亿笔,报警平均延迟在5秒以内,关键性能指标达到国际领先水平。二是支持多个复合型复杂报警指标同时运行,已利用流计算报警引擎开发报警指标100余个,大大提升报警精确性。

2.搭建业内首个基于分布式架构的企业级大数据平台,海量数据存储和处理能力大幅提升。在企业大数据平台方面,为满足交易监管系统多元化的数据分析场景,企业大数据平台采用混合的大数据平台架构,既包括传统关系型数据库,也包括MPP、Hadoop分布式大数据平台、搜索引擎ElasticSearch、图数据库Neo4j等NoSQL或NewSQL数据库。不同类型的数据库,在计算特征、计算时延、数据容量、数据吞吐等方面各有特长,可互相补充,满足历史统计分析、交互式查询、高并发访问、文本检索等各种场景。

3.自主研发的企业数据中台,有效提升数据生产力,沉淀企业级可复用能力。交易监管系统自主研发企业数据中台,降低数据开发成本,释放数据生产力。一是自主研发调度系统、数据采集/同步、ETL平台、实时计算平台等技术平台,满足交易监管系统等数据分析应用的数据汇聚整合、清洗加工需要。二是自主研发数据服务,解耦数据应用和大数据平台,实现业务服务能力形式化,研发指标及标签系统,构建投资者、账户等实体指标及标签体系,满足交易监管系统及其他应用的数据查询、数据推送、大数据量结构化文件下载的需要,实现业务服务能力内容资产化。三是自主研发数据开发语言QDSL,统一ETL、报表、查询的研发模式并提供在线IDE,降低开发难度,提高数据开发效率。

4.业内率先探索应用图计算等前沿技术,开发智能化辅助分析工具,有效提高异动账户分析效率。交易监管系统在业内率先探索利用知识图谱、图计算、可视化等前沿技术,开发关联账户识别分析、投资者画像、可视化交易重演等智能化辅助分析工具,全面提升异动账户的分析效率。一是开发可视化关联账户识别分析模块。整合多类监管数据,构建关联关系识别挖掘模型,开发可视化分析图谱,有效提升账户关联关系挖掘能力和分析效率。二是开发投资者画像模块。从身份背景、交易持股、监管档案等多维度构建标签和指标,并应用到多个业务场景,全方位刻画投资者主要交易特征。三是开发可视化交易重演工具,实时展示投资者申报所属档位、交易前后订单簿变化、申报成交占比等情况,动态还原异常交易现场。

5.业内率先搭建一体化业务工作平台,提供场景化服务,有效提升交易监管工作的效率和规范性。交易监管系统在业内率先搭建实时监控、市场分析、调查分析、事后核查等一体化业务工作平台,全面提升交易监管业务的规范化水平和处理效率。一是开发全过程留痕的电子化工作流并嵌入到业务平台中,实现自律监管措施、所内联合监管、跨境联合监管等业务流程电子化并自动留痕,有效提升业务处理的规范化水平。二是集成筛查模型和分析工具,提供场景化服务。将筛查模型指标和智能分析工具集成到业务流程中,为监管人员提供引导式场景化服务,有效提高业务效率。

四、应用成效

1.交易监管应用。交易监管系统自2018年底上线以来,已安全平稳运行四年多,是深交所交易一线监管的利器,有效提升交易监管效能。在遏制证券违法犯罪方面,基于交易监管系统,深交所成功挖掘上报内幕交易、市场操纵、趋同交易(老鼠仓)等各类违法违规线索,发现并协助查处了证券市场操纵最重量刑案,“吴某某”黑嘴案、“伪市值管理”系列操纵案等一批市场关注度高、影响力大的大案要案,得到社会的广泛关注和中央电视台等主流媒体的全面报道,有效震慑了违法犯罪分子,保护投资者合法权益。在维护资本市场稳定运行方面,针对异常交易行为及时采取监管措施,切实维护市场交易秩序;服务创业板改革并试点注册制、公募REITs推出、全市场注册制等重要改革,为改革平稳落地提供支持。

2.国际化推动应用。交易监管系统国际化版是以交易监管系统为基础,以产品化、配置化为理念,全新打造的一个高效、实用、好用、灵活的国际化交易监管平台。基于交易监管系统的技术架构,全新构建安全、可靠、易维护的中小规模国际化交易监管技术平台,实现应用界面国际化,对外接口标准化,报警规则配置化,业务能力服务化。基于交易监管系统业务平台和模块,重新设计包括市场分析、实时监控、交易重演、证券分析、统计报表、外部咨询、报警管理、案件管理和系统管理等九大业务模块,支持灵活配置实现各种定制化报警和报表需求,满足跨品种监管、“穿透式”监管等不同交易监管业务场景的需要,国际化系统是具有中国特色的交易监管解决方案,是支持“一带一路”国家战略的金融创新服务举措。

2019年,在商业公开竞标中,深交所击败众多全球顶尖系统供应商,成功中标巴基斯坦交易所技术系统升级项目,于2023年5月15日正式上线启用,启用以来运行平稳,有效支持了交易监管。迈出了我国证券技术系统走出国门的第一步。

3.全行业促进应用。一是行业标准方面,基于交易监管系统建设成果,深交所牵头完成并发布了《证券期货大数据平台性能测试指引》,促进了行业标准化。二是行业示范方面,作为行业首例大数据技术在核心监管系统落地应用,在行业内率先探索出一条适用于中国特色资本市场的交易监管系统先进技术路线。为其他交易所、证券公司提供可借鉴可复制的解决方案,技术架构被行业参考借鉴。三是行业推广方面,建设成果在深交所行业技术联盟和技术大会进行推广,基于Flink流计算的“实时计算解决方案”成为阿里云推广的行业示范案例。推动证券行业技术合作发展,助力提升全行业科技智能监管水平。四是行业探索方面,通过国际化推广应用,为中国证券技术系统走出国门进行有益的探索,服务“一带一路”国家战略。

未来,深交所将依托交易监管系统,继续大力发展监管科技,提升交易监管质效,为促进资本市场平稳健康发展积极贡献力量,奋力建设优质创新资本中心和世界一流交易所。