机器学习数学基础(Python语言实现)

第1章　微积分 ★本章导读★ 在机器学习算法或深度学习算法中，微积分都是很基础的知识。所以，有必要梳理微积分的基本知识结构，以便更近一步学习机器学习算法。本章将介绍微积分中函数、极限、导数、梯度及积分等基本概念。 ★学习目标★ ·理解大部分概念，如函数、极限、导数、积分等。 ·能计算常见函数的导数、偏导数。 ·了解简单复合函数求导的链式法则。 ·理解泰勒公式和泰勒展开式。 ★知识要点★ ·函数、反函数、复合函数、极限的基础概念和性质。 ·导数、偏导数、全导数、求导法则、导数的应用。 ·方向导数和梯度。 ·不定积分和定积分的基础概念和性质。 1.1 函数和极限 函数的概念和性质是微积分的入门基础，是数学大厦不可或缺的根基。函数极限的性质也在机器学习算法的推导中经常用到，掌握这些基本概念是非常重要的。 1.1.1　函数的定义 在学习函数之前，我们可以先回忆一下自然界中的一些现象。“一个人的经验会随着年龄的增长而不断增加，同时一个人的体质会随着年龄的增长而不断下降。”这句文字描述只是简单地说明了它们之间的变化关系，具体如何刻画它们之间的变化呢？这时就要引入函数的定义。 函数的定义　设A，B都是非空的数的集合，f：x→y是从A到B的一个对应法则，那么从A到B的映射f：A→B就叫作函数，记作[y=fx]，其中[x∈A]，[y∈B]。 这里有3个重要的因素：定义域A、值域B和对应的映射法则f。变量x的变化范围叫作这个函数的定义域。通常x叫作自变量，y叫作函数值(或因变量)，变量y的变化范围叫作这个函数的值域。根据函数自变量和因变量之间的关系，可以把函数分为更多的种类，例如，单变量函数、多变量函数、复合函数、反函数等。 1.1.2　反函数 反函数的定义　设函数[y=fx]的定义域是D，值域是[fD]。如果对于值域[fD]中的每一个y，在D中有且仅有一个x使得[gy=x]，则按此对应法则得到了一个定义在[fD]上的函数，并把该函数称为函数[y=fx]的反函数，记作[x=f-1y]，[y∈fD]。 反函数有一个比较重要的性质，即关于[y=x]对称。如图1-1所示，[y=2x](x ≥ 0)与[x=log2(y)](y ≥ 1)互为反函数。 初等函数(初等函数可以简单地理解为中学阶段所学的常见函数，如指数函数、对数函数、三角函数等，初等函数的四则运算也是初等函数，微积分中的主要研究对象也是初等函数)中存在很多这样的关系，如指数函数和对数函数。 图1-1　反函数绘制 1.1.3　复合函数 通俗地说，复合函数是将几个简单的常用函数以一定的形式组合在一起形成的新函数。 复合函数的定义　若y是u的函数：[y=fu]，而u又是x的函数：[u=gx]，且[gx]的函数值的全部或部分在[fu]的定义域内，则y通过u成为x的函数，这种函数称为由函数[u=gx]和函数[y=fu]构成的复合函数，记作[y=fgx]，其中u叫作中间变量。 现实世界中存在很多的复合函数，如学习能力就是一个复合函数。学习能力首先是学历、执行力、专注度的函数，同时学历、执行力、专注度可以看成是随时间变化的函数。这样综合起来的函数就是复合函数。 1.1.4　多元函数 前面定义的函数自变量只有一个，实际问题中可能会有多个，这就引申到多元函数的定义。 多元函数中二元函数的定义　设有两个独立的变量x与y在其给定的变域D中，任取一组数值时，第3个变量z就以某一确定的法则有唯一确定的值与其对应，那么变量z称为变量x与y的二元函数，记作z = f (x,y)，其中x与y称为自变量，函数z也叫作因变量，自变量x与y的变域D称为函数的定义域。 多元函数在现实世界中也非常常见，如一个人的成长受多方面的影响，对于这个多方面就体现了多元函数的概念。 1.1.5　函数极限的性质 在学习函数极限之前，先来了解一下数列极限的定义。 1. 数列极限与函数极限 数列极限的定义　一般地，对于数列[x1,x2,??,xn,??]来说，若存在任意给定的正数ε(不论它多么小)，总存在正整数N，使得对于n＞N时的一切[xn]不等式[xn-a此外，此定义中的正数ε只有任意给定，不等式[xn-a通过上述数列极限的定义，可知数列可看作一类特殊的函数，即自变量取1到∞内的正整数，若自变量不再限于正整数的顺序，而是连续变化的，于是它就成了函数。下面来学习函数的极限。 函数极值有两种情况：一种是自变量无限增大；另一种是自变量无限接近某一定点x0，如果在这时，函数值无限接近于某一常数A，就称函数存在极值。我们已经了解了函数极值的情况，那么函数的极限如何呢？ 下面结合数列的极限来学习一下函数极限的概念，函数的极限可分为自变量趋向无穷大时函数的极限和自变量趋向有限值时函数的极限两种。 自变量趋向无穷大时函数极限的定义　设函数[y=f(x)]，若对于任意给定的正数ε(不论它多么小)，总存在正数X，使得对于适合不等式 [x>X]的一切x，所对应的函数值[f(x)]都满足不等式[f(x)-A自变量趋向有限值时函数极限的定义　设函数[f(x)]在某点x0的某个去心邻域内有定义，且存在数A，若对于任意给定的ε(不论它多么小)，总存在正数δ，当[0数列极限和函数极限都有很重要的定理，即夹逼定理。 数列极限的夹逼定理　如果数列[xn]，[yn]及[zn]满足下列条件： (1)[yn≤xn≤zn(n=1,2,3,…)]； (2)[limn→∞yn=a]，[limn→∞zn=a]， 则数列[xn]的极限存在，且[limn→∞xn=a]。 函数极限的夹逼定理　设函数[fx]在点a的某一去心邻域[Ua,δ]内(或[x≥X]时)满足下列条件： (1)[gx≤fx≤hx]； (2)[limx→agx=A]，[limx→ahx=A](或[limx→∞gx=A]，[limx→∞hx=A])， 则[limx→afx]存在，且[limx→afx=A](或[limx→∞fx]存在，且[limx→∞fx=A])。 从定理中可以看出，这个结论不仅说明了极限存在，而且给出了求极限的方法。 2. 函数极限的运算规则 前面的内容介绍了函数极限的定义，下面介绍函数极限的运算规则。 若已知x → x0(或x → ∞)时，[f(x)→A]，[g(x)→B]，则 (1)[limx→x0(f(x)±g(x))] 存在，且[limx→x0(f(x)±g(x))=A±B]； (2)[limx→x0f(x)·g(x)] 存在，且[limx→x0f(x)·g(x)=A·B]； (3)[limx→x0f(x)g(x)] 存在，且[limx→x0f(x)g(x)=AB(B≠0)]。 推论　[limx→x0k·f(x)=kA](k为常数)； [limx→x0f(x)m=Am](m为正整数)。 在求函数的极限时，利用上述规则就可把一个复杂的函数化为若干个简单的函数来求极限。 下面介绍两个比较重要的公式。 (1)[limx→0sinxx=1]； (2)[limx→01+x1x=e或limx→∞1+1xx=e]。 对于重要极限的求解，*直接的方式就是拼凑成这样的格式。第1个公式本质上就是[00]型，变化时就应该变成这样的形式。第2个公式本质上就是[1∞]型，计算时就需要拼凑成这样的形式。在数学中通常把[00]和[1∞]叫作不定型。