LLM 面试题

模型原理

Transformer 的核心结构是什么？

Transformer 主要由自注意力机制、前馈网络、残差连接和归一化层组成。自注意力用于建模序列中不同位置之间的依赖关系。

Attention 解决了什么问题？

Attention 让模型在处理当前位置时，可以根据相关性动态关注输入序列的不同部分，从而更好地建模长距离依赖。

应用实践

RAG 的基本流程是什么？

RAG 通常包含查询改写、向量检索、候选召回、上下文拼接、模型生成和结果评估。它通过外部知识降低模型只依赖参数记忆的风险。

Prompt 和 fine-tuning 如何选择？

Prompt 适合快速验证、任务变化频繁或样本较少的场景。fine-tuning 适合任务稳定、数据充足且需要模型长期适配特定输出风格或领域知识的场景。

工程问题

LLM 应用为什么需要评估集？

评估集用于稳定衡量提示词、检索策略、模型版本和参数变化的影响。没有评估集时，优化很容易依赖少量主观样例。