机器学习模型笔试算法题精讲
机器学习模型笔试算法题精讲：高频FAQ解答
机器学习面试中，模型笔试算法题是考察候选人理论基础和实践能力的关键环节。无论是刚入门的新手，还是希望巩固知识的求职者，面对诸如“如何推导梯度下降”“SVM核函数选择”等问题时，常会感到困惑。本文精选了7个高频问题，涵盖模型原理、优化算法、评估指标等核心知识点，结合具体场景给出实用解答，帮助你在笔试中快速理清思路，提升解题效率。
1. 为什么梯度下降算法中学习率不能太大或太小？
学习率控制着参数更新的步长。如果学习率过大，参数可能在最优值附近震荡，甚至发散，导致模型无法收敛；如果学习率过小，收敛速度会非常慢，需要大量迭代次数，且容易陷入局部最优。实践中，建议从0.01或0.001开始尝试，并结合学习率衰减策略（如指数衰减或余弦退火）动态调整。此外，自适应优化器（如Adam）能自动调整学习率，适合初学者使用。记住，理想的学习率应让损失函数平稳下降，而不出现剧烈波动或停滞。
2. 逻辑回归为什么使用交叉熵损失而不是均方误差？
逻辑回归的输出是概率值（0到1之间），使用交叉熵损失能更好地衡量预测概率与真实标签的差异。交叉熵的梯度形式简洁，且当预测完全错误时（如真实为1，预测为0.001），损失会非常大，从而促使模型快速修正。而均方误差（MSE）对概率输出不够敏感，其梯度在预测接近0或1时会变得非常小，导致收敛缓慢。此外，交叉熵损失函数是凸函数，便于全局优化。在笔试中，可强调交叉熵与逻辑回归的Sigmoid函数天然匹配，能加速训练。
3. 支持向量机（SVM）中核函数的作用是什么？如何选择？
核函数的核心作用是将低维线性不可分的数据映射到高维空间，使其变得线性可分，从而找到最优分类超平面。常见核函数包括线性核、多项式核、RBF（高斯）核和Sigmoid核。选择时，若特征数量远大于样本数，优先用线性核（计算快）；若样本数量适中且特征较少，RBF核通常是默认选择（能处理非线性边界）；多项式核参数多，易过拟合，需谨慎使用。笔试中常问“为什么RBF核能近似任意函数”，可回答：RBF核对应无穷维映射，具有局部性，适合复杂数据。
4. 决策树中信息增益和基尼指数的区别是什么？
信息增益基于熵（信息量），衡量划分前后数据混乱度的减少量；基尼指数则衡量从数据集中随机抽取两个样本类别不一致的概率。两者都用于决定特征分裂的优先级，但信息增益倾向于选择取值较多的特征（可能导致过拟合），而基尼指数计算更简单（无需对数运算），且对多值特征惩罚更小。在CART决策树中，分类任务默认用基尼指数，回归任务用均方误差。新手常混淆的是：信息增益对稀疏特征敏感，而基尼指数在二分类问题中表现更稳定。
5. 过拟合和欠拟合分别如何检测和处理？
过拟合表现为训练集准确率很高但测试集表现差，曲线差距大；欠拟合则是训练集和测试集准确率都低。处理方法：对过拟合，可增加训练数据、降低模型复杂度（如剪枝、减少特征）、加入正则化（L2或Dropout）或早停；对欠拟合，需增加特征、提升模型复杂度（如增加决策树深度）、减少正则化强度。笔试中常结合交叉验证判断：若训练误差远低于验证误差，是过拟合；若两者都高，是欠拟合。实践中，建议先用简单模型（如线性模型）快速验证，再逐步调整。
6. 随机森林为什么比单棵决策树更稳定？
随机森林通过集成学习（Bagging）降低方差，从而提高稳定性。具体来说，它随机选择样本（有放回抽样）和特征（每棵树只使用部分特征），构建多棵不相关的决策树，最终取均值或投票结果。这种机制能减少单棵树过拟合的风险，且对数据中的噪声不敏感。相比之下，单棵决策树容易受异常值影响，且对数据微小变化敏感。笔试中常问“为什么随机化特征能提升泛化能力”，可解释：特征随机化增加了树之间的多样性，使集成模型更具鲁棒性，避免所有树都依赖相同特征。
7. 如何评估一个分类模型的性能？准确率高就一定好吗？
评估分类模型需结合具体场景。常用指标包括准确率、精确率、召回率、F1分数和ROC-AUC。准确率高不一定好，例如在癌症检测中（正样本仅1%），如果模型将所有样本预测为阴性，准确率可达99%，但完全无法识别病人。此时应关注召回率（捕捉真实病人）和F1分数（平衡精确率和召回率）。对于不平衡数据集，建议使用ROC-AUC（对样本分布不敏感）或混淆矩阵。笔试中，可举例：信用卡欺诈检测中，优先提高召回率，而垃圾邮件过滤中，可能更重视精确率。
总结
机器学习笔试算法题的核心在于理解模型背后的数学原理和实际应用场景。通过掌握梯度下降的学习率调节、损失函数选择、核函数应用、过拟合处理等高频考点，你不仅能应对笔试，还能在面试中展现扎实的思维逻辑。建议结合代码实现（如Python的Scikit-learn库）加深理解，并多练习推导公式（如SVM对偶问题）。最后，保持对常见陷阱的警惕，比如准确率的误导性，就能在笔试中从容不迫，脱颖而出。