crf
· 2 min read
一点也不懂nlp的我
吉布斯分布
- https://blog.csdn.net/tomheaven/article/details/62078935
- http://nebula2.deanza.edu/~lanasheridan/4C/Phys4C-Lecture20.pdf
Hammersley-Clifford_Theorem
损失函数
crf
- http://www.hankcs.com/wp-content/uploads/2016/08/%E6%9D%A1%E4%BB%B6%E9%9A%8F%E6%9C%BA%E5%9C%BA%E7%90%86%E8%AE%BA%E7%BB%BC%E8%BF%B0.pdf
- https://people.cs.umass.edu/~wallach/technical_reports/wallach04conditional.pdf
- https://repository.upenn.edu/cgi/viewcontent.cgi?article=1162&context=cis_papers
- https://folk.idi.ntnu.no/helgel/thesis/forelesning.pdf
计算参数的方式
crf 的参数非常多,怎么求呢? 通过最大似然估计
最大似然函数的本质是什么?
本质就是: 已知统计的分布 , 那么我们假定我们统计到的数据是最大可能出现的.那么这个最大的概率对应的参数就是我们想要的参数
拟牛顿法
标注方式
- B（词首），M（词中），E（词尾）和S（单独成词）
- https://www.cnblogs.com/hiyoung/archive/2018/09/25/9703976.html
函数
Y = { B , M , E , S}
X = {今,天,天,气,真, 热}
liner crf 参数求解
如何训练
- 标注 我们要怎么标注呢? 比如我有两个人民日报的句子
// 句子1
全总/j 致/v 全国/n 各族/r 职工/n 慰问信/n
// 句子2
勉励/v 广大/b 职工/n 发挥/v 工人阶级/n 主力军/n 作用/n ，/w 为/p 企业/n 改革/vn 发展/vn 建功立业/l
怎么标注呢
下面是例子
// 句子1
全/B 总/E 致/S 全/B 国/E 各/B 族/E 职/B 工/E 慰/B 问/M 信/E
// 句子2
勉/B 励/E 广/B 大E 职/B 工/E 发/B 挥/E 工/B 人/M 阶/M 级/E 主/B 力/M 军/E 作/B 用/E ，/S 为/S 企/B 业/E 改/B 革/E 发/B 展/E 建/B 功/M 立/M 业/E
参数估计
$$ P(Y|X) = \frac{P(x,y)}{P(x)} \\\\=\frac{1}{Z(X)} e^{\sum_{n=1}^{20} n^{2}} $$