金融研报数据魔改Yi-34B & DeepSeek 67B 谁更强? D

在微调大型模型的过程中,一个常用的策略是“知识蒸馏”,这意味着借助高性能模型,如GPT-4,来优化性能较低的开源模型。这种方法背后隐含的哲学理念与logos中心论相似,把GPT-4等模型视为更接近唯一的逻辑或真理的存在。

虽然这种方法在许多领域已经证明了其成功(例如Alpaca/Orca等研究),但其在特定的专业领域中效果有限,比如金融学。这是因为通过知识蒸馏得到的模型性能难以超越其原始模型。而像GPT-4这样的模型,其训练和性能与人类反馈紧密相关。在一些尖端领域,如金融学中的有效市场理论与行为金融学的辩论、古典主义与货币主义的争论等,并不存在所谓的“唯一逻辑”,这限制了模型在这些领域的应用。

为了更好地帮助研究人员和投资者作出理性判断,一个理想的金融领域大模型应能理解新闻或数据事件,并能够即时地从主观和量化两个角度对事件进行评估。

制作这样一个模型是Deepmoney项目研究的目标。

在金融投资领域,研报数据在分析和决策过程中起着关键作用。这些报告提供了深入的市场分析、行业趋势、公司财务状况及投资建议,对金融专业人士至关重要。在训练金融模型时,这些数据的深度和广度使其成为理想的训练材料,帮助模型更好地理解复杂的金融概念和市场动态。然而,这些研报中包含大量的数值型图表,这些图表在解释研报的观点和推断中起着核心作用。如果只保留文字内容而忽略这些图表,整个内容往往会显得残缺不全,逻辑混乱。因此,在传统的语言模型训练中,很难充分利用专业研报数据的价值。

机器之心最新一期线上分享邀请到了SOTA!模型社区LLM魔改小组成员,Deepmoney 项目主理人星野源,与大家分享使用金融研报数据魔改开源模型的一手经验,并在直播期间在线对 Yi-34B、DeepSeek-67B等热门开源基座进行魔改的Deepmoney模型版本进行典型案例对比实测及技术分析,进行技术探讨。


分享主题:金融研报数据魔改Yi-34B & DeepSeek 67B 谁更强?

环节1:金融研报数据大模型魔改:以Deepmoney项目为例

- 金融研报地特点和信息丰富性

- 大模型在处理复杂数据方面的潜力和挑战

- 多模态模型在识别和处理研报数据中的应用

- 解构主义视角下的数据分析:不关注中心化论点在数据分析中的优势

- 魔改实操:数据准备、训练过程

环节2:实测分析 + QA 研讨

- 典型场景不同版本魔改模型在线实测推理效果对比分析

- 局限性和可能的改进方向

- 解构主义和大模型在金融领域的未来应用前景

分享嘉宾:星野源,Deepmoney项目主理人;量化金融数据分析工程师

项目链接:

https://sota.jiqizhixin.com/project/deepmoney

分享时间:2月27日19:00 - 20:00

直播间:关注机器之心机动组视频号,立即预约直播。

交流群:本次直播设有 QA 环节,欢迎加入活动群探讨交流。

扫码添加 SOTA!模型社区助手,回复关键词「特别活动」加入活动群
机器之心 · 机动组
机动组是机器之心发起的人工智能技术社区,聚焦于学术研究与技术实践主题内容,为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动,欢迎所有 AI 领域技术从业者加入。