给定数据集 。

• 考虑到 取值是连续的，因此它不能拟合离散变量。

  可以考虑用它来拟合条件概率 ，因为概率的取值也是连续的。

• 但是阶跃函数不满足单调可微的性质，不能直接用作 。

  对数几率函数()就是这样的一个替代函数：

  

  这样的模型称作对数几率回归(logistic regression或logit regression）模型。

由于 ，则有：

• 比值 表示样本为正例的可能性比上反例的可能性，称作几率(）。几率反映了样本作为正例的相对可能性。

  几率的对数称作对数几率(log odds，也称作logit）。

• 对数几率回归就是用线性回归模型的预测结果去逼近真实标记的对数几率。

虽然对数几率回归名字带有回归，但是它是一种分类的学习方法。其优点：

• 直接对分类的可能性进行建模，无需事先假设数据分布，这就避免了因为假设分布不准确带来的问题。
• 对数函数是任意阶可导的凸函数，有很好的数学性质，很多数值优化算法都能直接用于求取最优解。

给定训练数据集 ，其中 。可以用极大似然估计法估计模型参数，从而得出模型。

为了便于讨论，将参数 吸收进 中。

令：

令

则似然函数为： 。

由于 ，因此：

则需要求解最优化问题：

最终 回归模型为：

logistic 回归的最优化问题，通常用梯度下降法或者拟牛顿法来求解。

可以推广二分类的 logistic 回归模型到多分类问题。

设离散型随机变量 的取值集合为： ，则多元 回归模型为：

其参数估计方法类似二项 logistic 回归模型。