Derivative and Differential

作为一份简单的备忘录（忽略严谨的数学定义）

不知道从哪里看到过，说线性化是未来的一大潮流；作为一名学CS的同学，自然而然就会联想到 Taylor Expansion, 同时它也是和微分密切相关的。导数(derivative), 微分(differential) 和 梯度(gradient) 等这些关键概念是必须要被掌握的，于是，我想把它们记录下来。

一元函数情况

给定某个函数 \(f(x)\), 我们对其一阶 Taylor 展开得

\[f(x+\Delta x) -f(x) = A\Delta x + o(\Delta x)\]

两边同时除以 \(\Delta x\) 就可以得到

\[A = \frac{\mathrm{d}f}{\mathrm{d}x}\]

在一元函数中可微即可导。是不过前者是线性逼近，而后者就是一个数值(变化率)。

二元(多变量)函数

首先定义 偏导数(partial derivative), 我们和一元函数情况类似，可以得到

\[\frac{\partial f}{\partial x}|_{x=x_0, y=y_0} = \underset{\Delta x \to 0}{\lim} \frac{f(x_0 +\Delta x, y_0)-f(x_0,y_0)}{\Delta x}\]

偏导数本质上就是函数沿某一坐标轴的变化率。

但当维数变高了之后，我们会发现自变量之间亦存在一定的关系，我个人把它称为 方向。例如 \(\underset{(x,y)\to(0,0)}{\lim}\frac{x^2y}{x^4+y^2}\) 这一极限是不存在的。当我们取 \(y=kx^2\) 时，可得

\[\underset{x\to 0, y=kx^2}{\lim} \frac{x^2y}{x^4+y^2} = \frac{k}{1+k^2}\]

也就是说在多变量的情况下，我们沿着不同路径去接近某一个值，它的性质很可能会由于这一路径的选择而发生变化。于是，函数的连续性变成了一点 邻域 内的性态。当然，我们可以从很多种路径去研究函数的变化，其中特殊的一种就是 方向导数:

定义方向 \(\mathbf{e}=\cos\alpha \mathbf{i}+\cos\beta\mathbf{j}, \ \alpha+\beta=\pi/2\), 如果极限

\[\underset{t\to 0^+}{\lim} \frac{f(x+t\cos\alpha,y+t\cos\beta)-f(x,y)}{t}\]

存在，则我们记 \(\frac{\partial f}{\partial\mathbf{e}}\) 为函数在点 \((x,y)\) 沿方向 \(\mathbf{e}\) 的方向导数。

参照一元情形，我们将 \(f(x,y)\) 表示的曲面近似于用一个过某点的平面去表示，即

\[f(x+\Delta x,y+\Delta y)-f(x,y)=\Delta x\frac{\partial f}{\partial x} + \Delta y\frac{\partial f}{\partial y} + o(\rho), \ \rho = \sqrt{(\Delta x)^2+(\Delta y)^2}\]

注意到在多元情况下，可导就推不出可微了，但可微一定可导:

\[\frac{\partial f}{\partial\mathbf{e}} = \nabla f \cdot \mathbf{e}\]

其中 \(\nabla f = \frac{\partial f}{\partial x}\mathbf{i} + \frac{\partial f}{\partial y}\mathbf{j}\) 是函数在点 \((x,y)\) 处的 梯度。