Google Research推出Titans架构，解决Transformer处理长文本的二次方复杂度问题。该架构结合RNN速度与Transformer性能，引入"测试时学习"概念，通过"神经长期记忆模块"实时更新权重；利用"惊奇度"机制筛选重要信息，加入"动量"确保记忆连贯性，并采用"自适应遗忘"管理记忆容量。后续MIRAS框架进一步优化噪声处理能力。这种"有状态"学习范式标志着AI从无状态预测器向在线学习体的转变，是通向AGI的重要路径。

---

Google在2017年发表了《Attention Is All You Need》，一手缔造了Transformer 架构，如今所有主流大模型的辉煌都是在此基础上的构建的。

在过去的一年里，大模型（LLM）的竞赛似乎变成了一场单纯的“数字游戏”。从 32k 到 200k，再到 Gemini 1.5 Pro 的 100 万甚至 200 万 token，大家都在疯狂卷“上下文窗口”（Context Window）。

然而，这种暴力美学背后隐藏着一个巨大的隐忧：Transformer 的注意力机制（Attention）是极高的二次方复杂度。这就像是为了记住更多的东西，我们被迫把书桌做得无限大，直到房间再也装不下，显卡再也烧不起。

我们是否走错了方向？人类读完一本《红楼梦》，并不是把每一个字都平铺在脑子里（像 Transformer 那样），而是形成了一种“抽象的、深层的记忆”。我们能否让 AI 也学会这种“边读边记、边记边学”的能力？

前两天Google Research 团队在X上介绍了他们发布的 T****itans 架构，一种新的架构，它结合了 RNN 的速度和 Transformers 的性能，使用深度神经记忆实时学习，有效地扩展到超过 200 万个 token 的上下文中。

第一部分：困境｜为什么现在的 AI “记不住”？

在 Titans 出现之前，AI 记忆主要分为两派，各有各的问题：

Transformer 派（过目不忘但极其昂贵）：它们拥有完美的“短期记忆”（Attention）。为了回答你的问题，它必须回头把看过的内容重新扫描一遍。这就像一个天才，但他没有笔记本，书越厚，他回头翻书的时间就越长，直到内存崩溃。

线性 RNN 派（读得快但记得糊）：比如 Mamba，它们为了快，会将历史信息强行压缩进一个固定大小的“隐状态”。这虽然省资源，但压缩是有损的。把 100 万字压缩进一个几千维的向量，很多细节读着读着就丢了。Titans 的核心洞察在于：我们不需要在“记得准”和“读得长”之间二选一。我们可以模仿人脑，把“短期记忆”和“长期记忆”结合起来。

第二部分：Titans 的革命 — 会“呼吸”的记忆

Titans 的出现，不是一次简单的升级，而是对 AI 根本工作方式的颠覆。它引入了一个更新的概念：测试时学习（Test-Time Training, TTT）。

活着的权重：从“只读”到“读写”

传统的 AI 模型，训练好发版后，它的参数就是冻结的，就像一本印好的书，内容不会变。但 Titans 架构中，记忆本身就是一个学习过程。当你读到新的信息，你大脑的神经突触连接就会改变。

Titans 有一个“神经长期记忆模块”（Neural Memory Module）。这不仅仅是一个存储数据的容器，而是一个独立的深层神经网络（Deep MLP），这个神经网络在推理（为你服务）的时候，它的权重参数依然在实时更新！它就像一个住在 AI 脑子里的小说家，一边读你的输入，一边实时修改脑子里的“剧情大纲”。

惊奇度（Surprise）：什么值得被记住？

AI 每天面对海量信息，如果什么都记，脑子很快就炸了。Titans 借鉴认知心理学，引入了“惊奇度”机制来决定记什么。

在数学上，****惊奇度 = 梯度（Gradient）。

平庸的信息（低惊奇度）： 模型尝试预测下一个字。如果预测得很准（梯度小），说明这事儿平平无奇，“我早就知道了”。于是，模型选择不更新记忆，甚至让它自然淡忘。

重要的信息（高惊奇度）： 如果预测偏差很大（梯度大），说明这是一个“Surprise”（出乎意料）。模型会认为这很重要，于是大幅更新权重，把这个新知识狠狠地刻进脑子里。这像极了人类： 你记不住每天刷牙的细节，因为太熟悉了，但可能一辈子都忘不了第一次表白时的心跳。

动量（Momentum）：给记忆加点“惯性”

如果只看“惊奇度”，AI 可能会变得一惊一乍。为了解决这个问题，Titans 加入了“动量”。

想象你在开车：没有动量： 看到一个急弯（惊奇信息），猛打方向盘，车子容易翻（记忆被带偏）。有动量： 你的操作会参考之前的惯性。即使现在有个急弯，你也会结合之前的速度平滑地转过去。

动量的作用是让 Titans 记住一整段连贯的“剧情”，而不是只记住某个瞬间的惊吓。它让记忆的更新变得稳健、连贯。

遗忘”是为了更好地“记忆” (Adaptive Forgetting)

人类怎么做： 我们的大脑容量有限，必须主动遗忘那些琐碎、无用的旧信息，才能给新知识腾出空间。如果什么都记，大脑就会过载。

Titans它引入了自适应遗忘机制 (Adaptive Forgetting Mechanism)。

模型会根据输入内容的重要性，动态计算一个衰减率。如果判断当前信息很重要，就保留；如果旧记忆没用了，就通过权重衰减（Weight Decay）将其抹去。这让模型在处理无限长的流式数据时，始终能管理好自己的“脑容量”

此处与之前Karpathy对LLM智能的看法一致：

三种架构：MAC 架构，让 Attention 带高密度记忆

Titans 最强的形态是 MAC (Memory as a Context) 模式。它的逻辑非常精妙：

• 把超长输入切成块。
• 神经记忆模块先读历史，把几百万字的历史“学习”进自己的参数里，生成一个高度浓缩的“记忆摘要”。
• 这个“摘要”被当作 Context，喂给核心的 Attention 模块。

这相当于让 Attention 模块带着“作弊条”去考试。Attention 依然发挥它精准推理的特长，但它不需要看几百万字的原文，只需要看那份精准的“摘要”。

​最后

我在一线科技企业深耕十二载，见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事，早已在效率与薪资上形成代际优势，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。

我整理出这套 AI 大模型突围资料包：

• ✅AI大模型学习路线图
• ✅Agent行业报告
• ✅100集大模型视频教程
• ✅大模型书籍PDF
• ✅DeepSeek教程
• ✅AI产品经理入门资料

完整的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
​​

为什么说现在普通人就业/升职加薪的首选是AI大模型？

人工智能技术的爆发式增长，正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议，到全国两会关于AI产业发展的政策聚焦，再到招聘会上排起的长队，AI的热度已从技术领域渗透到就业市场的每一个角落。

智联招聘的最新数据给出了最直观的印证：2025年2月，AI领域求职人数同比增幅突破200% ，远超其他行业平均水平；整个人工智能行业的求职增速达到33.4%，位居各行业榜首，其中人工智能工程师岗位的求职热度更是飙升69.6%。

AI产业的快速扩张，也让人才供需矛盾愈发突出。麦肯锡报告明确预测，到2030年中国AI专业人才需求将达600万人，人才缺口可能高达400万人，这一缺口不仅存在于核心技术领域，更蔓延至产业应用的各个环节。

​​

资料包有什么？

①从入门到精通的全套视频教程⑤⑥

包含提示词工程、RAG、Agent等技术点

② AI大模型学习路线图（还有视频解说）

全过程AI大模型学习路线

③学习电子书籍和技术文档

市面上的大模型书籍确实太多了，这些是我精选出来的

④各大厂大模型面试题目详解

⑤ 这些资料真的有用吗?

这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。

所有的视频教程由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌，构建起"前沿课程+智能实训+精准就业"的高效培养体系。

课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事‌！

​​​​

如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！

应届毕业生‌：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。

零基础转型‌：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界‌。

业务赋能 ‌突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型‌。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓**

​