1. Retrieval-augmented Large Language Models for Financial Time Series Forecasting

股票动量预测是金融时间序列预测里很基础的一项任务，要从大量时间序列数据里找出关键影响因素。不过，现在那些基于文本训练或者数值相似性的检索方法，在处理复杂金融分析时，效果不太理想。

为了解决这个问题，我们提出了首个用于金融时间序列预测的检索增强生成（RAG）框架，这里面有三个关键创新点： 第一，用一个微调后的10亿参数大型语言模型（StockLLM）作为核心； 第二，想出了一种新方法，能借助大型语言模型的反馈来选择候选； 第三，设立了一个训练目标，让查询和历史上重要序列之间的相似性最大化。这样一来，我们的检索器FinSeer就能在复杂金融数据里找到有价值的模式，还能减少干扰信息。

我们还专门构建了新数据集，把财务指标和历史股票价格结合起来，训练FinSeer，保证评估结果可靠。实验结果显示，我们这个RAG框架比单独用StockLLM和随机检索效果要好，证明了它的有效性。FinSeer也超过了现有的检索方法，在BIGDATA22上准确率提高了8%，还能检索出更有影响力的序列。

论文: https://arxiv.org/pdf/2502.05878

2. Competitive Programming with Large Reasoning Models

我们发现，把强化学习用在大语言模型（LLMs）上，能让它在复杂的编码和推理任务里，表现有明显提升。

另外，我们对比了两种常见的推理模型，OpenAI的o1和早期的o3检查点，还和一个专门针对特定领域的系统o1-ioi做了比较。o1-ioi采用了专门为参加2024年国际信息学奥林匹克竞赛（IOI）设计的推理策略。

我们带着o1-ioi参加了2024年的IOI，用了精心设计的测试策略，最终成绩排在了前49%。要是竞赛条件更宽松些，o1-ioi能拿到金牌。不过，在评估o3这类更新的模型时，我们发现，o3就算没有专门设计的领域策略，也不受宽松条件限制，依然能拿到金牌。

从这些结果能看出，虽说像o1-ioi这种专门的流程，能带来很大改进，但o3这种不断升级的通用模型，不依赖那些人为设计的推理技巧，也能取得更好的成绩。更厉害的是，o3在2024年IOI里拿到了金牌，在Codeforces上的评分也和顶尖人类选手差不多。

论文: https://arxiv.org/pdf/2502.06807

3. Magic 1-For-1: Generating One Minute Video Clips within One Minute

在本文里，我们提出了Magic 1-For-1（简称Magic141），这是个高效的视频生成模型，在内存消耗和推理延迟方面都做了优化。

它的核心思路很简单，就是把从文本生成视频这个任务，拆成两个相对容易的任务，也就是对扩散步骤进行蒸馏，分别是从文本生成图像，再从图像生成视频。经过验证，在同样的优化算法下，从图像生成视频这个任务，确实比直接从文本生成视频更容易实现收敛。

为了降低训练图像到视频（I2V）模型的计算成本，我们还研究了一系列优化技巧，主要从三个方面入手：

1. 利用多模态先验条件注入，加快模型收敛速度；

2. 通过对抗性步骤蒸馏，减少推理延迟；

3. 采用参数稀疏化，优化推理时的内存成本。

靠这些技术，我们能在3秒内生成5秒的视频片段。要是用测试时间滑动窗口的方法，一分钟就能生成一分钟时长的视频，而且视觉质量和运动效果都有明显提升，平均下来生成1秒视频片段用不了1秒。

我们做了好些初步探索，就想在扩散步骤蒸馏过程中，找到计算成本和视频质量之间的最佳平衡点，希望这个模型能给开源探索打下个好基础。代码和模型权重可以在https://github.com/DA-Group-PKU/Magic-1-For-1 这里获取。

论文: https://arxiv.org/pdf/2502.07701

4. LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters!

大推理模型（LRMs）能解决复杂的推理问题，靠的是遵循长链推理（Long CoT），这个长链里包含了反思、回溯和自我验证这些环节。不过，怎么通过训练让模型掌握Long CoT，还有训练需要多少数据，大家了解得还不多。

在这篇文章里，我们发现大型语言模型（LLM）能通过数据高效监督微调（SFT）和参数高效低秩适应（LoRA），有效学会Long CoT推理。只用了17000个长链推理训练样本，Qwen2.5 - 32B - Instruct模型在很多数学和编程测试里，成绩都有明显提升。像在AIME 2024里，成绩从原来的基础上提高了40.0%，达到56.7%；在LiveCodeBench里提高了8.1%，达到57.0% ，和专有的o1 - preview模型44.6%和59.1%的得分已经很接近了。

更关键的是，我们发现Long CoT的结构对学习过程特别重要，相比之下，单个推理步骤里具体写了什么，影响反而没那么大。比如说，训练的时候用错的样本，或者把推理关键词去掉，对模型性能影响不大。但要是改变Long CoT的逻辑结构，比如重新排列推理步骤，或者删掉某些步骤，模型的准确率就会大幅下降。打个比方，用答案错误的长链推理样本训练模型，它的准确率只比用完全正确样本训练的模型低3.2个百分点。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】