Pyro简介：产生式模型实现库（一），模型

#Pyro简介：产生式模型实现库（一），模型| 来源: 网络整理| 查看: 265

简介：

用Python框架实现产生式模型，最基本要实现的，就是概率函数。这类函数的实现，包含两个要素

确定性的Python代码随机数产生器

具体来说，随机函数可以是任何具备__call__（）方法的Python对象，或者Pytorch框架里的nn.Module方法。在本教程里，所有的随机函数被叫做模型，表达模型的方法，和正常的Python方法没有区别。

安装： pip install pyro-ppl

或者：

git clone https://github.com/uber/pyro.git cd pyro python setup.py install

注意：Pyro只支持python3.*,不支持Python 2.*!

最基础的随机函数模型

Pyro利用了Pytorch的distribution libraray。举个例子，我们想采样x服从标准正态分布 $\mathcal{N}(0,1)$ ，我们这样做：

import torch import pyro pyro.set_rng_seed(101) loc = 0. # 均值为0 scale = 1. #标准差为1 normal = torch.distributions.Normal(loc, scale) #构造一个正态分布的对象 x = normal.rsample() #从N(0,1)采样 print("sample", x) print("log prob", normal.log_prob(x)) # 采样分数 ##结果： ##sample tensor(-1.3905) ##log prob tensor(-1.8857) normal = pyro.distributions.Normal(loc, scale) #构造一个正态分布的对象 x = normal.rsample() #从N(0,1)采样 print("sample", x) print("log prob", normal.log_prob(x)) # 采样分数 ##结果： ##sample tensor(1.3834) ##log prob tensor(-1.8759)

这里torch.distributions.Normal是Distribution类的子类，它已经实现了采样和打分功能。Pyro的库pyro.distributions打包了torch.distributions的方法，这样做科研利用Pytorch的数学方法和自动求导功能。

一个简单的例子

假设我们手里有一批数据，记录了日常气温和阴晴。我们希望研究气温和阴晴的关系。于是我们首先用Pytorch构造如下函数，来描述数据的生成过程：

def weather(): cloudy_ = torch.distributions.Bernoulli(0.3).sample() cloudy = 'cloudy' if cloudy_.item() == 1. else 'sunny' mean_temp = {'cloudy': 55., 'sunny': 75.}[cloudy] # 注意，温度是华氏单位 scale_temp = {'cloudy': 10., 'sunny': 15.}[cloudy] temp = torch.distributions.Normal(mean_temp, scale_temp).rsample() return cloudy, temp.item()

我们逐行解释这个函数。在第二行，我们定义一个二值变量cloudy_，其伯努利参数0.3表示其值为1的概率。第三行cloudy为字符串变量，取值为‘cloudy’（阴天）或者‘sunny’（晴天）。模型规定，30%的可能性是阴天，70%的可能性是晴天。第四行规定，阴天的平均温度为华氏55度（约12.78°C），晴天为华氏75度（约23.89°C）。第五行规定了标准差。下面我们使用Pyro重写上面的函数。

def weather(): cloudy_ = pyro.sample('cloudy', pyro.distributions.Bernoulli(0.3)) cloudy = 'cloudy' if cloudy_.item() == 1.0 else 'sunny' mean_temp = {'cloudy': 55.0, 'sunny': 75.0}[cloudy] scale_temp = {'cloudy': 10.0, 'sunny': 15.0}[cloudy] temp = pyro.sample('temp', pyro.distributions.Normal(mean_temp, scale_temp)) return cloudy, temp.item() for _ in range(3): print(weather()) ###结果： #('cloudy', 64.5440444946289) #('sunny', 94.37557983398438) #('sunny', 72.5186767578125)

从表面来看，我们仅仅利用了pyro.sample，然而并非如此。假如我们想问，得到采样为70度，有多大概率是阴天？利用Pyro回答这个问题的方法，为了不破坏教程的连续性，我们将在下个教程中讲解。

框架的通用性：递归随机函数、高阶随机函数、随机数控制流

我们定义下面的简单模型：

def ice_cream_scales(): cloudy, temp = weather() expected_sales = 200. if cloudy == 'sunny' and temp > 80. else 50. ice_cream = pyro.sample('ice_cream', pyro.distributions.Normal(expected_sales, 10.)) return ice_cream

到此为止都是令人满意的。我们要问，Pyro能否涵盖更加复杂的模型？答案是肯定的。由于Pyro是基于Python代码的，它可以定义任意复杂的控制流，哪怕其中包含了随机数，也没有问题。例如，我们可以定义递归的随机函数，每次我们输入给pyro.sample确定性的采样。再如，我们定义几何分布，即计数实验失败的次数，直到实验成功为止：

def geometric(p, t=None): if t is None: t = 0 x = pyro.sample('x_{}'.format(t), pyro.distributions.Bernoulli(p)) if x.item() == 1.: return 0 else: return 1 + geometric(p, t + 1) print(geometric(0.5)) # 结果，注意该结果每次采样不一定相同 # 3

注意，在上面的geometric()函数里，系统将动态生成诸如x_0、x_1这样的变量。我们还可以把别的随机函数的结果作为新定义函数的变量，或者创造一个新函数。请看下面的例子：

def normal_product(loc, scale): z1 = pyro.sample('z1', pyro.distributions.Normal(loc, scale)) z2 = pyro.sample('z2', pyro.distributions.Normal(loc, scale)) y = z1 * z2 return y def make_normal_normal(): mu_latent = pyro.sample('mu_latent'', pyro.distributions.Normal(0., 1.)) fn = lambda scale: normal_product(mu_latent, scale) return fn

在make_normal_normal()中，其中一个输入是随机函数，该随机函数包含3个随机变量。 Pyro支持Python代码的各种形式：循环，递归，高阶函数，等等。这意味着Pyro具有通用性，更由于Pyro基于Pytorch而可以灵活地使用GPU加速。我们将在后面的教程中，逐渐介绍Pyro的强大用法。

【本文地址】

公司简介

联系我们