【深度学习算法原理】Deep Structured Semantic Models(DSSM)

您所在的位置:网站首页 dssm论文 【深度学习算法原理】Deep Structured Semantic Models(DSSM)

【深度学习算法原理】Deep Structured Semantic Models(DSSM)

2024-07-06 00:52:44| 来源: 网络整理| 查看: 265

1. 概述

深度语义模型(Deep Structured Sematic models, DSSM)是在2013年由微软的研究人员提出,主要解决的是在搜索的过程中,对于传统的依靠关键词匹配的方法的弊端(语义上的相似)提出的潜在语义模型。DSSM算法在实际工作中也被证明是卓有成效的算法,不仅在搜索中得到广泛的应用,同时也被使用在推荐系统的召回中。

2. 算法的基本思想2.1. DSSM的网络结构

DSSM算法的网络结构如下所示:

在这里插入图片描述在这里插入图片描述

从上述的网络结构图中可以看出,DSSM的核心思想是将不同的对象映射到统一的语义空间中,并在该空间中计算对象之间的相似度。 在其具体的计算过程包括两个方面:第一,将query和documents映射到同一个低维的向量空间中;第二,利用余弦计算相似性。

首先将query和documents分别表示成向量x_Q 和x_D ,在参考文献的论文中,作者针对向量的构建过程给出了一些具体的建议,针对具体的任务可以有选择的采用。得到query和documents的对应向量后,通过深层神经网络将其表示为同一个空间中的向量y_Q 和y_D ,即所谓的语义特征(Semantic feature)。具体的计算过程如下所示:l_i=f\left ( W_il_{i-1}+b_i \right )

其中,W_i 是第l_i 层网络的权重,b_i 是第l_i 层网络的偏置。f 是第l_i 层网络的激活函数。

在得到query和documents的语义特征后,通过cosine计算query和documents之间的相似性:

R\left ( Q,D \right )=cosine\left ( y_Q,y_D \right )=\frac{y_Q^Ty_D}{\left \| y_Q \right \|\left \| y_D \right \|}2.2. DSSM模型的损失函数

假设给定的query为Q ,document为D ,那么相似的概率P\left ( D\mid Q \right ) 为:P\left ( D\mid Q \right )=\frac{exp\left ( \gamma R\left ( Q,D \right ) \right )}{\sum _{{D}'\in \mathbf{D}}exp\left ( \gamma R\left ( Q,{D}' \right ) \right )}

其中\gamma 为平滑系数。在模型训练的过程中,我们希望使得相似的文档的概率较大,即对于正样本(Q,D+),使得其概率最大,通过最大似然,可以得到最终的损失函数:

L\left ( \Lambda \right )=-log\prod _{\left ( Q,D^+ \right )}P\left ( D^+\mid Q \right )

以上的损失函数是原始论文中提及的损失函数,同样,可以采用其他的损失函数形式,如直接使用相似性或者采用Triplet loss。

2.3. DSSM模型的训练

在训练的过程中,样本的构建也至关重要,对于Q ,选择一个正样本D^+ 以及4个负样本\left \{ D_j^-;j=1,\cdots,4 \right \} ,除了样本选择之外,需要计算损失函数的梯度,以便计算除网络中的参数W_i 和b_i 。

参考文献Learning deep structured semantic models for web search using clickthrough data


【本文地址】

公司简介

联系我们

今日新闻


点击排行

实验室常用的仪器、试剂和
说到实验室常用到的东西,主要就分为仪器、试剂和耗
不用再找了,全球10大实验
01、赛默飞世尔科技(热电)Thermo Fisher Scientif
三代水柜的量产巅峰T-72坦
作者:寞寒最近,西边闹腾挺大,本来小寞以为忙完这
通风柜跟实验室通风系统有
说到通风柜跟实验室通风,不少人都纠结二者到底是不
集消毒杀菌、烘干收纳为一
厨房是家里细菌较多的地方,潮湿的环境、没有完全密
实验室设备之全钢实验台如
全钢实验台是实验室家具中较为重要的家具之一,很多

推荐新闻


图片新闻

实验室药品柜的特性有哪些
实验室药品柜是实验室家具的重要组成部分之一,主要
小学科学实验中有哪些教学
计算机 计算器 一般 打孔器 打气筒 仪器车 显微镜
实验室各种仪器原理动图讲
1.紫外分光光谱UV分析原理:吸收紫外光能量,引起分
高中化学常见仪器及实验装
1、可加热仪器:2、计量仪器:(1)仪器A的名称:量
微生物操作主要设备和器具
今天盘点一下微生物操作主要设备和器具,别嫌我啰嗦
浅谈通风柜使用基本常识
 众所周知,通风柜功能中最主要的就是排气功能。在

专题文章

    CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭