作者 | 小森

整理 |  NewBeeNLP

https://zhuanlan.zhihu.com/p/26593966342

部门与岗位：淘天集团 - 搜推智能产品事业部 - 多模态大模型

一面

1. 首先是自我介绍和过项目，面试官还一起探讨项目用到的方法，可行性之类的

2. 介绍一下 CLIP

3. 了解 LoRA 吗，LoRA 微调的原理是什么

4. 了解哪些多模态大模型，简要介绍几个

5. BLIP 的三个损失函数分别是什么，数据是怎样清洗的

6. BLIP2 相对于 BLIP 有哪些改进，BLIP3 又有哪些改进

7. Qwen-VL 的三个训练流程分别是什么，有什么作用

8. 视觉编码器和 LLM 连接时，使用 BLIP2 中 Q-Former 那种复杂的 Adaptor 好还是 LLaVA 中简单的 MLP 好，说说各自的优缺点

9. 代码：实现多头自注意力

一面比较常规，几乎都是八股问题，我觉得只要了解常见的多模态大模型都问题不大，主要还是要理解各个模型设计的动机是什么，这也是面试最喜欢考察的

二面

1. 自我介绍和过项目，简要问了项目中使用某些方法的动机，以及是否会导致其他的问题

2. 了解 Transformer 吗，编码器和解码器的注意力有什么区别，在计算注意力中时除以 \sqrt{d_k} 的原因是什么

3. 后来有哪些比较经典的基于 Transformer 的语言模型，Qwen 相比于原始 Transformer 有哪些结构上的改动，Qwen2 又有哪些改进

4. 了解 RLHF 吗，DPO 和 PPO 有什么区别，Loss 是什么样的，各自的优缺点是什么

5. 介绍一下 CLIP，还了解什么其他的对比学习方法

6. 开放题：了解哪些多模态大模型，目前多模态大模型最大的问题是什么

7. 代码：1143. 最长公共子序列

二面其实也偏常规，几乎也都是八股问题，但是也考察了一些对模型的理解以及知识面的广度，整体来说比一面的难度大一些

三面

1. 自我介绍，然后详细过了一下项目

2. 了解哪些大模型和多模态大模型，然后就聊了大模型这一路是怎么发展过来的，Transformer、BERT、GPT、LLaMA、Qwen 这些，以及当时的 o1 推理模型

3. 平常有尝试过训练过大模型吗，规模小一点的也没关系

4. 聊天，包括职业规划等等

三面比较轻松，面试官说知识点前面两面都考察过了，三面就轻松一些，大概40来分钟吧

总结

整体来说面试体验比较好，问的问题都不难，面试官也都不错，遇到一些卡壳的地方也会进行引导讨论，面试氛围很轻松。三面应该是加面的大老板面，从交流可以看出来对整个大模型这块的理解还是很深刻的，收获不小。

一起交流

想和你一起学习进步！『NewBeeNLP』目前已经建立了多个不同方向交流群（机器学习 / 深度学习 / 自然语言处理 / 搜索推荐 / 图网络 / 面试交流 / 等），名额有限，赶紧添加下方微信加入一起讨论交流吧！（注意一定o要备注信息才能通过）