摘要

近年来，深度学习和大语言模型（LLMs）的快速发展为股票投资领域应用专家混合模型（MoE）机制铺平了道路。尽管这些模型在交易表现方面展现出巨大潜力，但它们通常是单模态的，忽视了其他模态（如文本数据）中蕴含的丰富信息。此外，传统的基于神经网络的路由选择机制未能充分考虑上下文和现实世界的细微差别，导致专家选择效果不佳。为解决这些问题，本文提出了一种名为LLMoE的新框架，该框架采用大语言模型作为MoE架构中的路由机制。具体来说，本文用LLMs取代了传统的基于神经网络的路由器，利用其广泛的世界知识和推理能力，根据历史价格数据和股票新闻来选择专家。这种方法提供了一种更有效、更具解释性的选择机制。在对多模态真实股票数据集进行的实验中，LLMoE的表现优于最先进的MoE模型和其他深度神经网络方法。此外，LLMoE灵活的架构使其能够轻松适应各种下游任务。

1. 引言：传统方法的局限性及深度学习的兴起

传统的交易方法主要依赖于统计分析或预测模型。然而，这些方法往往难以适应金融市场的复杂性和波动性，无法有效应对未见过的模式和数据分布的变化。作为应对之策，深度学习方法作为量化交易的替代方案应运而生，展现出强大的特征学习和洞察市场表现的能力。尽管深度学习方法具有这些优势，但基于深度学习的算法通常依赖于单一预测器，导致性能不稳定，对市场波动敏感。

为了克服这些局限性，专家混合模型（MoE）方法被引入。MoE方法通过利用多个专业化的专家，实现了卓越的性能和更好的泛化能力。在交易算法中，MoE机制模仿了现实世界中的交易室，不同领域的专家协同工作以应对特定挑战。尽管前景广阔，但传统的MoE模型往往存在局限性。路由器通常设计为静态神经网络，在金融环境中缺乏灵活性，并且在训练数据有限时容易崩溃。此外，当前的管道主要是单模态的，仅依赖于数值数据，而忽略了文本信息，例如新闻，这些信息可以提供有价值的上下文并增强专家选择。

2. 问题定义与方法论

问题定义

本文的目标是开发一种基于LLM的专家混合模型（LLMoE）框架，用于股票价格预测和交易策略生成。具体来说，给定一个由五个连续描述性表示组成的滚动窗口：

其中每个 是一个描述性字符串，结合了当天的数值特征和相应的新闻标题，概括了当天的市场状况。目标是预测下一天股票走势 。

此外，本文旨在基于 开发一种交易策略，利用定量数据和定性上下文的统一整合来增强决策能力。该框架的灵感来自之前的研究方法。

LLMoE：基于大语言模型的专家混合模型方法

本文提出了一种名为LLMoE的新框架，该框架利用大语言模型作为MoE架构中的路由器，从而提供更有效的专家选择，并整合多模态数据。LLMoE框架由以下三个阶段组成：

’ fill=‘%23FFFFFF’%3E%3Crect x=‘249’ y=‘126’ width=‘1’ height=‘1’%3E%3C/rect%3E%3C/g%3E%3C/g%3E%3C/svg%3E)

(1) 基于大语言模型的路由器

第一阶段利用基于大语言模型的路由器处理和整合历史股票价格数据和相关的新闻信息。该路由器利用大语言模型的高级语言理解能力，能够解释和情境化多模态输入，从而对当前市场状况有一个全面的了解。为了进一步增强专家选择，本文根据不同情境（例如积极和消极的观点）对专家进行分类。积极专家在路由器识别为积极的实例上进行训练，而消极专家在识别为消极的实例上进行训练。这种基于情境的选择机制确保选择最合适的专家模型来处理每个实例。通过利用这种策略，路由器可以做出更明智的决策，提高整体专家选择过程的效率。

(2) 专家预测

第二阶段侧重于由针对乐观和悲观市场条件训练的专家模型生成的预测。这些前馈神经网络（FNN）利用由基于大语言模型的路由器识别出的数据，分析价格指标等数值输入，以应对特定的市场情景。这些专家经过优化，在准确性和效率方面表现出色，增强了预测准确性和决策能力，实现了稳定且稳健的回测性能。

(3) 交易算法生成

在最后阶段，利用选定的专家的预测来生成稳健的交易策略。本文采用“全进全出”策略，即当专家预测价格将上涨时，所有可用现金都将被投资，而当专家预测价格将下跌时，所有持仓都将被清算。这种策略旨在通过根据专家模型的输出动态调整投资头寸来最大化回报。

3. 实验

实验设置

为了评估LLMoE，本文使用了两个美国市场数据集，时间跨度为十年（2006-2016），结合了股票价格数据和新闻标题进行多模态分析。MSFT数据集存在大量缺失新闻的日子，对处理不完整数据提出了挑战，而AAPL数据集提供了一个更完整的环境。这些数据集全面评估了LLMoE在不同条件下整合多模态数据的能力。附录中提供了有关数据集组成和拆分的详细信息。

为了有效捕捉市场动态，本文设计了一系列特征，包括价格比率、每日价格变化以及根据不同长度的移动平均线计算的滚动偏差。这些特征旨在捕捉短期和长期的市场趋势，提供对市场行为的全面洞察。附录中提供了有关特征计算和公式的详细信息。

为了评估所提出的LLMoE框架的有效性，本文将其与几个基线模型进行了比较，包括梯度提升、神经网络和传统的专家混合模型（MoE）。这些模型提供了一组多样化的基准，用于评估LLMoE的性能。附录中提供了基线模型的详细描述。

为了评估交易模型的性能，本文采用了七种常用的金融指标：总回报率（TR）、年化波动率（VOL）、夏普比率（SR）、索提诺比率（SoR）、最大回撤（MDD）、卡尔马比率（CR）和下行偏差（DD）。这些指标共同衡量了模型在不同市场条件下平衡回报和风险的能力。附录中提供了这些指标的定义和公式。

为了确保稳健的性能评估，实验重复了十次随机种子，并从这些试验中指标的标准偏差计算了置信区间。

实验实施与评估

(1) 路由器

本文使用Llama3.2作为路由器，它是LLMoE框架中的关键组件，用于根据五天滚动窗口的特征和描述对市场前景进行分类，从而促进数值和文本数据的整合以进行决策。

输入特征和描述。路由器的输入包括五个连续数据点的滚动窗口：

每个 结合了数值特征和当天的相应新闻标题，形成一个描述性字符串，概括了当天的市场状况。这种表示将定量数据和定性上下文整合到一个统一的格式中以进行分析。

路由器输出。基于大语言模型的路由器提供了两个关键输出，以促进分类和可解释性：

• 分类：路由器评估数值和文本数据的滚动窗口，分配一个标签为乐观或悲观，反映预测的市场情绪：

标签 是基于最高可能性选择的：

• 推理：为了提高可解释性，路由器生成自然语言解释 ，提供影响其分类的因素的见解：

这种推理增强了透明度，但不会直接影响后续的专家模型。

(2) 专家模型

乐观和悲观市场条件的专家模型共享一个统一的架构，旨在处理数值特征并预测下一天股票价格走势的方向。该架构从输入层开始，处理通过特征工程从每日市场数据中提取的 个数值特征。这些特征被组织成滚动窗口结构：

其中每个 代表 11 个数值属性，包括每日价格指标和滚动偏差：

这种输入表示确保模型能够捕捉短期波动和长期趋势，从而生成准确的预测。附录中提供了有关隐藏层和输出层配置的详细信息。

(3) 实验结果

• 路由器的类人推理能力

LLMoE框架中的路由器通过整合数值数据和文本信息，展示了类人推理能力。例如，在特定实例中，“尽管新闻头条中强调了苹果增长前景的担忧”，路由器识别出“价格和成交量持续增长”，这表明了“谨慎乐观的前景”。这种推理展示了路由器权衡相互矛盾的信号（乐观的数值趋势与混合的文本情绪）的能力，从而能够产生平衡且情境感知的预测。

• LLMoE的卓越表现

本文的LLMoE模型在关键指标（包括总回报率（TR）、夏普比率（SR）和卡尔马比率（CR））上显著优于其他基线模型，展示了在平衡回报和风险方面的卓越表现，如表1所示。这突出了使用大语言模型作为路由器整合数值和文本数据的效率和准确性。

• 2专家MoE与LLMoE的比较

LLMoE通过利用大语言模型作为智能路由器，展示了其对2专家MoE模型的明显优势。与依赖静态路由的2专家MoE不同，LLMoE动态整合多模态数据，从而实现更有效的专家资源分配。这导致在风险调整后的回报指标（如夏普比率（SR）和卡尔马比率（CR））以及通过降低最大回撤（MDD）来改善风险管理方面取得了更好的表现。

结论

本文提出了一种名为LLMoE的新框架，该框架将预训练的大语言模型（LLM）作为专家混合模型（MoE）架构中的路由器。通过动态地将数值股票特征与文本新闻数据结合起来，LLMoE弥合了定量和定性分析之间的差距，实现了金融市场准确且可解释的预测。这种动态且情境感知的路由机制超越了传统MoE系统的静态局限性，增强了适应波动市场条件的能力。实验结果表明，LLMoE在关键风险调整后的回报指标（如夏普比率和总回报率）上实现了超过25%的提升，使其成为智能交易策略的尖端工具。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

CSDN粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉CSDN大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）