Hinge Loss

Definition / 释义

Hinge loss（铰链损失）是一种常见的分类损失函数，主要用于支持向量机（SVM）与最大间隔分类思想中。它鼓励模型把样本分到正确一侧，并且至少留出一定“间隔（margin）”：
常见形式为
[ \max(0,\ 1 - y \cdot f(x)) ] 其中 (y \in {-1, +1})，(f(x)) 为模型对样本的打分。若分类正确且间隔足够大，损失为 0；否则损失随“间隔不足”线性增加。

Pronunciation (IPA) / 发音

/ˈhɪndʒ lɔs/

Examples / 例句

We trained the classifier using hinge loss to improve the margin.
我们使用铰链损失来训练分类器，以提升分类间隔。

In a linear SVM, minimizing hinge loss with regularization can yield a robust decision boundary even when some data are noisy.
在线性 SVM 中，将铰链损失与正则化一起最小化，即使数据存在噪声也能得到较稳健的决策边界。

Etymology / 词源

hinge 原意是“铰链”，暗示这种损失函数的形状像“门铰链”一样在拐点处折一下：当 (1 - y f(x)\le 0) 时损失为 0；当它大于 0 时损失开始线性增长，形成明显的“折角”。loss 为“损失”，指优化时要尽量减小的代价。作为术语，hinge loss来源于机器学习/统计学习中对该分段线性函数形状的形象命名。

Related Words / 相关词

• Support Vector Machine
• Margin
• Loss Function
• Logistic Loss
• Regularization
• Soft Margin
• Gradient Descent

Notable Works / 文献与作品

• Support-Vector Networks（Cortes & Vapnik, 1995）：SVM 经典论文，与铰链损失/间隔思想密切相关。
• The Nature of Statistical Learning Theory（Vladimir Vapnik, 1998）：系统阐述统计学习理论与间隔最大化框架。
• The Elements of Statistical Learning（Hastie, Tibshirani, Friedman）：机器学习经典教材，讨论 SVM 与相关损失。
• Pattern Recognition and Machine Learning（Christopher M. Bishop）：涵盖分类模型与损失函数思想，并讨论大间隔方法的关联内容。