今天是凸函数的举例和讨论

形如： f ( x ) = e a x f(x)=e^{ax} f(x)=eax 是凸函数。

形如： f ( x ) = x a      x ∈ R + + f(x)=x^a \ \ \ \ x\in R_{++} f(x)=xa    x∈R++​ 其二阶偏导为： ∇ 2 f ( x ) = { ≥ 0 a ≥ 1 或 a ≤ 0 ≤ 0 0 ≤ a ≤ 1 \nabla^2f(x)= \begin{cases} \ge0 & a\ge1或a\le0 \\ \le0 & 0\le a\le1 \end{cases} ∇2f(x)={≥0≤0​a≥1或a≤00≤a≤1​ 二阶偏导大于零时为凸函数。

形如： f ( x ) = ∣ x ∣ p      x ∈ R + + f(x)=|x|^p\ \ \ \ x\in R_{++} f(x)=∣x∣p    x∈R++​ 其二阶偏导为： ∇ 2 f ( x ) = { p ( p − 1 ) x p − 2 x ≥ 0 p ( p − 1 ) x p − 2 x ≤ 0 \nabla^2f(x)= \begin{cases} p(p-1)x^{p-2} & x\ge0 \\ p(p-1)x^{p-2} & x\le0 \end{cases} ∇2f(x)={p(p−1)xp−2p(p−1)xp−2​x≥0x≤0​ 这里分类讨论是因为一阶偏导有负号，二阶偏导又消失了，所以是一样的结果。 可以得出： { p > 1 凸 p = 1 不 可 微 但 为 凸 p < 1 需 讨 论 \begin{cases} p>1 & 凸 \\ p=1 & 不可微但为凸\\ p1p=1p 0 \nabla^2f(x)=\frac{1}{x}>0 ∇2f(x)=x1​>0 为严格凸函数。

有 R n R^n Rn空间的范数 p ( x )    x ∈ R n p(x)\ \ x\in R^n p(x)  x∈Rn，其满足： { 1. p ( a x ) = ∣ a ∣ p ( x ) 2. p ( x + y ) ≤ p ( x ) + p ( y ) 3. p ( x ) = 0 ⇔ x = 0 \begin{cases} &1.p(ax)=|a|p(x)\\ &2.p(x+y)\le p(x)+p(y)\\ &3.p(x)=0 \Leftrightarrow x=0 \end{cases} ⎩⎪⎨⎪⎧​​1.p(ax)=∣a∣p(x)2.p(x+y)≤p(x)+p(y)3.p(x)=0⇔x=0​ 其中性质2被称为三角不等式。 证明：有 R n R^n Rn空间的范数为凸函数。 对 ∀ x , y ∈ R n 0 ≤ θ ≤ 1 \forall x,y\in R^n\qquad 0\le \theta \le1 ∀x,y∈Rn0≤θ≤1 根据性质2： p ( θ x + ( 1 − θ ) y ≤ p ( θ x ) + p ( ( 1 − θ ) y ) p(\theta x+(1-\theta)y\le p(\theta x)+p\big((1-\theta)y\big) p(θx+(1−θ)y≤p(θx)+p((1−θ)y) 根据性质3，上式右边等于： θ p ( x ) + ( 1 − θ ) p ( y ) \theta p(x)+(1-\theta )p(y) θp(x)+(1−θ)p(y) 所以其为凸函数。 注意 零范数不是范数，也不是凸函数，只是表示矩阵稀疏情况而已。

形如： f ( x ) = max { x 1 , ⋯   , x n } x ∈ R n f(x)=\text{max} \lbrace x_1,\cdots , x_n\rbrace\qquad x\in R^n f(x)=max{x1​,⋯,xn​}x∈Rn 一定是凸函数。 证明： 对于 ∀ x , y ∈ R n ∀ 0 ≤ θ ≤ 1 \forall x,y \in R^n\qquad \forall0\le\theta\le1 ∀x,y∈Rn∀0≤θ≤1 f ( θ x + ( 1 − θ ) y ) = max ⁡ { θ x i + ( 1 − θ ) y i , i = 1 , ⋯   , n } ≤ θ max ⁡ { x i , i = 1 , ⋯   , n } + ( 1 − θ ) max ⁡ { y i , i = 1 , ⋯   , n } = θ f ( x ) + ( 1 − θ ) f ( y ) \begin{aligned} f\big(\theta x+(1-\theta)y\big) &=\max\lbrace\theta x_i+(1-\theta)y_i,i=1,\cdots,n\rbrace\\ & \le \theta \max\lbrace x_i,i=1,\cdots,n\rbrace+(1-\theta)\max\lbrace y_i,i=1,\cdots,n\rbrace\\ & =\theta f(x)+(1-\theta)f(y) \end{aligned} f(θx+(1−θ)y)​=max{θxi​+(1−θ)yi​,i=1,⋯,n}≤θmax{xi​,i=1,⋯,n}+(1−θ)max{yi​,i=1,⋯,n}=θf(x)+(1−θ)f(y)​ 主要思想就是分部和极大小于等于分部极大和。 例1：极小极大问题 形如： min ⁡ x max ⁡ y f ( x , y ) \min\limits_{x}\max\limits_yf(x,y) xmin​ymax​f(x,y) 是个凸问题。 例2：解析逼近 因为极大值函数是没办法求导的，因此求值很困难，这里提出一种函数可以逼近极大值函数，它是一个凸函数。 log-sum-up \text{log-sum-up} log-sum-up函数，形如： f ( x ) = log ⁡ ( e x 1 , + ⋯ + e x n ) x ∈ R f(x)=\log(e^{x_1},+\cdots+e^{x_n})\quad x\in R f(x)=log(ex1​,+⋯+exn​)x∈R 对于一个极大值函数和 log-sum-up \text{log-sum-up} log-sum-up函数，有： max ⁡ { x 1 , ⋯   , x n } ≤ f ( x ) ≤ max ⁡ { x 1 , ⋯   , x n } + log ⁡ n \max\lbrace x_1,\cdots,x_n\rbrace\le f(x)\le \max\lbrace x_1,\cdots,x_n\rbrace+\log n max{x1​,⋯,xn​}≤f(x)≤max{x1​,⋯,xn​}+logn 近似误差最大为 log ⁡ n \log n logn。

形如： f ( x ) = ( x 1 , ⋯   , x n ) 1 n x ∈ R + + n f(x)=(x_1,\cdots,x_n)^{\frac{1}{n}}\qquad x\in R_{++}^n f(x)=(x1​,⋯,xn​)n1​x∈R++n​ 是凹函数。 例1：行列式的对数 形如： f ( x ) = log ⁡ det ⁡ ( x ) dom f = S + + n f(x)=\log \det(x)\qquad \text{dom}f=S_{++}^n f(x)=logdet(x)domf=S++n​ 是凹函数。

判断函数是否为凸函数，主要使用定义一和定义三（二阶条件）。其中，如果函数可微，那么肯定是二阶条件优先。