LDA主题模型的困惑度随主题数的增加而增大,并没有随主题数的增加产生抛物线或者减小,这是什么原因? | 您所在的位置:网站首页 › lda模型图解读 › LDA主题模型的困惑度随主题数的增加而增大,并没有随主题数的增加产生抛物线或者减小,这是什么原因? |
1.ldamodel.log_perplexity() ①不看文档,简直血坑!!!!!!!!!!!命令不返回困惑度perplexity,如果想要计算困惑度应该用: perplexity = np.exp2(-(ldamodel.log_perplexity()) perplexity = 2**-(ldamodel.log_perplexity())#或者这个②使用上述代码,如果正常的话,则会得到随着主题数k增加而减小的perplexity曲线。但是我却得到了随主题数增加,一直递增的困惑度曲线图(在有限的k值范围内),甚至当我把k值设置到80,100,150时困惑度仍然没有减小,大概如下图。(下面两个不是我的实验图,但情况一模一样) 心情大概是下雨天摸电线杆,我人麻了呀。为此,我搜索到了以下问题 https://www.zhihu.com/question/32286630/answer/181200595 https://groups.google.com/g/gensim/c/TpuYRxhyIOc https://groups.google.com/g/gensim/c/iK692kdShi4有人也在自己的数据集上,得到了和我一样的结果,然而在斯坦福NLPToolkit数据集上却正常。有回答说,是因为ldamodel.log_perplexity()需要传入和训练时不同的测试集corpus,然而提问者尝试后发现并没什么用(我也一样)。 令人疑惑,因此换选CoherenceModel().get_coherence(),主题一致性指标。 |
CopyRight 2018-2019 实验室设备网 版权所有 |