世界即时:ChatGPT出品首个A股市场展望,中金尝试效果如何?理出报告三大短板

ChatGPT能分析市场形势吗?近日,中金公司让ChatGPT独立撰写了一篇《2023年全球市场展望》,并以文字对话形式,让ChatGPT进行了一场虚拟路演。


(相关资料图)

中金公司研究部称,ChatGPT对股票和黄金看法比较积极,但对债券和商品较为谨慎。整篇文章结构较为清晰,逻辑基本自洽,观点相对鲜明,内容覆盖了疫情、通胀、货币政策等市场热点问题,反映ChatGPT具备一定的金融知识储备与市场分析能力。

同时,中金公司研究部指出,测试显示ChatGPT尚未具备独立的市场分析能力,根据ChatGPT在文章撰写和虚拟路演中的表现,发现ChatGPT有以下几个明显短板,一是具备广博知识积累,但信息精确度低:二是具备简单推理能力,但弱于复杂分析;三是了解市场焦点问题,但缺乏新颖观点。

中金公司研究部认为,ChatGPT虽然是一个强大的人工智能,但暂不具备独立进行市场分析、指导投资决策的能力。但是,如果与人类分析师互相配合,ChatGPT与类似的机器学习模型或许在提高投研生产率方面有着广阔应用前景。

“投资者使用ChatGPT可以提高工作效率,即人类分析师提供观点与分析框架,ChatGPT补充逻辑细节与文字撰写,再由人类分析师检查错误,可以提高投研效率。”中金公司研究部称。

独立撰写《2023年全球市场展望》与文字路演

据介绍,测试中让ChatGPT完成了3项任务,一是独立撰写一篇完整市场分析文章,二是对文章内容进行答疑路演;三是根据分析师的指导,辅助完成一篇市场分析文章。根据这3项任务的测试结果,评估ChatGPT的长处与短板,探索前沿AI科技在宏观市场分析的应用前景。

“在市场分析文章撰写部分,我们提供了较少指示,要求ChatGPT对指定话题进行‘命题作文’,应该说ChatGPT的文章完成度非常高。全文采用‘总-分-总’结构,层次比较分明。并且,ChatGPT自行加入一段对于潜在风险的分析,对自己的观点进行平衡。文章整体观点也比较清晰,能够使用一些证据和逻辑展开分析,基本可以自圆其说。内容上,ChatGPT围绕近两年投资者关心的关键问题(疫情、通胀、货币政策等)展开讨论,体现了对近期市场形势的一定理解。”中金公司研究部称。

在ChatGPT完成上文后,中金公司分析员与ChatGPT进行了一场“文字路演”,对中国海外市场形势、美联储政策、衰退与通胀前景等热点问题展开讨论,测试ChatGPT能否理解自己的文章,并结合文章对问题进行合理有效的回复。

中金公司研究部介绍,在路演部分,测试中多次挑战ChatGPT的观点,指出其论述中的数据事实错误与逻辑漏洞。ChatGPT一方面承认自己的分析漏洞,但是也能坚持鲜明观点,并不含糊其辞,而且能使用一些新的证据为自己的观点辩护,体现了一定的逻辑分析与交流能力。

尚未具备独立分析市场能力

中金公司研究部认为,ChatGPT功能强大,但尚未具备独立分析宏观市场的能力,主要有以下几点原因。

一是具备广博知识积累,但信息精确度低。

在文章与路演中,分析员与ChatGPT讨论了中国海外不同市场情况,涉及通胀、货币政策、衰退、疫情等热点话题,可以感受到ChatGPT对经济学的基本原理、近期市场焦点有较为丰富的知识积累。但是ChatGPT经常输出一些错误信息,严重削弱了分析可信度。

例如,ChatGPT引用的IMF对全球经济增长预测的数据有误,也搞错了2020年经济衰退的时间。由于信息准确是市场分析的最低要求,因此ChatGPT生成的内容需要专业人士仔细检查后才能指导投资决策。

二是具备简单推理能力,但弱于复杂分析。

中金公司研究部指出,ChatGPT可以理解经济变量之间的简单关系。例如,ChatGPT理解如果经济增速高,则有利于股票表现;如果经济变差,则股市表现不好。但是当经济环境中有多个因素时,ChatGPT分析能力就暴露不足。

例如,ChatGPT会用经济变差但企业盈利好来论证股市表现占优,但没有意识到经济增长变差同时也会影响公司盈利。当多个因素影响作用相反时,ChatGPT无法有效论证哪个因素会起主导作用,倾向于先指出影响因素较多,然后反复强调自己支持的因素。这也削弱了分析的可信度。

三是了解市场焦点问题,但缺乏新颖观点。

ChatGPT在文章与路演中讨论了近几年市场关注的焦点问题,但是与流行认识差异度较小,文章内容相对接近一致预期,缺乏新的角度与观察。

“一篇优秀的市场分析文章或者研究报告,需要找到市场的关键边际变化,以一个新颖的视角来阐述观点。反之,同质化的市场分析价值相对较低。”中金公司研究部称。

中金公司研究部称,了解ChatGPT的长处与短板,可以使用ChatGPT提高投研工作效率。既然ChatGPT不擅长提出新颖的研究观点以及展开复杂分析,但可以机器与人类互相配合扬长避短提高市场研究的效率,即人类分析师提供视角和逻辑,ChatGPT进行具体撰稿填充内容,再由人类分析师更正ChatGPT文章中的事实与数据错误。

中金公司研究部提到,上面这篇文章《ChatGPT:2023年全球市场展望(人机合作版)》由ChatGPT直接生成,没有进行任何修改。文章提纲出自中金大类资产团队2022年11月发布的《大类资产2023年展望:势极生变》。可以看出,人类分析师提供思路与提纲,ChatGPT进行具体文字撰写,通过人机合作,可以较短时间完成一篇简单的投资分析文章。

证券业与ChatGPT的“相爱相杀”

应该正视的是,证券行业正在加速与ChatGPT“合作”。

2月22日,广发证券官宣将正式接入百度“文心一言”,广发证券的主要目的是,通过探索大语言模型融入金融应用场景,尝试打造更为丰富、个性化的金融需求挖掘和服务支持等,为客户提供更智能、更有温度的财富管理服务体系。

近日,ChatGPT与国泰君安AI机器人君弘灵犀之间开展了一场投资大PK。

国泰君安得出的结论是,ChatGPT的自然语言处理能力非常强,在给出投资建议时也非常标准和谨慎;但可能是受限于模型训练(该语言模型为超大规模预训练模型,是基于2021年底之前的数据训练,无之后的行情数据信息),目前ChatGPT对于A股市场的问题回答得中规中矩,在提供伴随式、场景化、专业的投资决策辅助服务方面仍有空间。

此前,首份用ChatGPT撰写的券商研报也赚足了行业眼球。

2月5日,财通证券发布了一篇题为《提高外在美,增强内在自信——医疗美容革命》的研报,这是一篇由ChatGPT写成、由分析师进行修改的试验性研报。

从结果来看,财通证券认为,不可否认的是,ChatGPT在文字表意、标题撰写等方面均具有较高水平,但采用该种直接生成+翻译模式形成的报告仍具有三大短板,一是在标点和术语方面存在明显错误,二是无法得知引用数据来源及可靠性,三是部分复杂语句翻译后表意不清晰。

此外,海通证券也对ChatGPT相关课题进行了前瞻性研究,重点围绕账户全景分析、智能投顾服务等场景进行探索;中泰证券用相关技术原理在辅助系统建设代码编写方面进行了初步尝试,未来或规划利用相关技术原理助力业务发展。

关键词: chatgpt 中金公司