机器学习系列-word2vec篇

开篇

深度学习方向当下如火如荼,就差跑进楼下大妈的聊天内容了。深度学习的宝藏很多,一个小领域的一段小代码,都可以发出璀璨的光芒。如果你也刚刚踏入这方向,一开始难免有一些彷徨,但慢慢会有,清晨入古寺 初日照高林,那种博大的体验。

word2vec就是这样的一小段代码,如果你对word2vec的代码了如指掌,那你可以直接return。这是一篇关于word2vec介绍的文章,读完以后你会欣喜的发现自己会灵活的使用word2vec,但你也可能会郁闷,因为还是会觉得像是盲人摸象一样,完全对深度学习没有一点头绪。没关系,谁不是这样一点一滴的积累起来的呢。

从需求入门

美国大选刚刚落幕,川普胜出。假设反过来想,给你一个川普的词,你会联想到哪些?正常的话,应该是美国、大选、希拉里、奥巴马;也就是相似词语的选取了。对于相识词的选取,算法非常的多。也有许多人用了很简单的办法就能求得两样东西的相似性,比如购物车里物品的相似度,最简单的办法就是看看同时买了这样东西的用户还同时买了什么,用简单的数据结构就很容易实现这样的一个算法。这种算法很简单也很方便,但就是这种简单而使他忽略了很多的问题。例如时间顺序,下面会有提到。

还是回归到相识度的问题。归结到数学问题上,最经常用的是把每个词都归结到一个坐标系下,再用距离公式(如:皮尔逊公式)可方便的求出各个词语之间的相识度。

这也是word2vec的方法,word2vec 通过训练,可以把对文本内容的处理简化为 K 维向量空间中的向量运算,而向量空间上的相似度可以用来表示文本语义上的相似度。如图,下面是有五维向量空间的单词:

算法的关键步骤就是如何求出词语的向量空间。

word2vec算法介绍

word2vec是2013年Google中开源的一款工具。2013年神经网络的各种算法都已经相当的成熟了,word2vec核心是神经网络的方法,采用 CBOW(Continuous Bag-Of-Words,即连续的词袋模型)和 Skip-Gram 两种模型,将词语映像到同一坐标系,得出数值向量的高效工具。

一般来说算法采用神经网络的话,要注意他的输入和输出。因为使用神经网络进行训练需要有输入和输出,输入通过神经网络后,通过和输入对比,进行神经网络的重新调整,达到训练网络的目的。抓住输入输出就能够很好的理解神经网络的算法过程。

语言模型采用神经网络,就要判断什么东西要作为输入,什么东西要作为输出。这是算法可以创新的地方,语言模型有许多种,大部分的原理也是采用根据上下文,来推测这个词的概率。
word2vec输入输出也算是鬼斧神功,算法跟哈夫曼树有关系。哈夫曼树可以比较准确的表达这边文章的结构。

a,b,c,d分别表示不同词,并附加找个词出现的频率,这些词就能有自己的路径和编码。

关于哈夫曼树就不仔细详细说明了,他是一种压缩算法,能很好的保持一篇文章的特性。

训练的过程是,把每一段落取出来,每个词都通过哈夫曼树对应的路径和编码。编码是(0和1),作为神经网络的输出,每个路径初始化一个给定维数的向量,跟自己段落中的每个词作为输入,进行反向的迭代,就可以训练出参数。

这就是算法的整个过程。

快速入门

  1. 代码下载: http://word2vec.googlecode.com/svn/trunk/
  2. 针对个人需求修改 makefile 文件,比如作者使用的 linux 系统就需要把 makefile 编译选项中的-Ofast 要更改为-O2 或者-g(调试时用), 同时删除编译器无法辨认的-march=native 和-Wno-unused-result 选项。 有些系统可能还需要修改相关的 c 语言头文件,具体网上搜搜应该可以解决。
  3. 运行“ make”编译 word2vec 工具。
  4. 运行 demo 脚本: ./demo-word.sh
    demo-word.sh主要工作为:
  • 1)编译( make)
  • 2)下载训练数据 text8,如果不存在。 text8 中为一些空格隔开的英文单词,但不含标点符号,一共有 1600 多万个单词。
  • 3)训练,大概一个小时左右,取决于机器配置
  • 4)调用distance,查找最近的词
    python版本的命令如下:

    Python的命令为python word2vec.py -train tx -model vb -cbow 0 -negative 0 -dim 5

应用

word2vec是根据文章中每个词的上下关系,把每个词的关系映射到同一坐标系下,构成了一个大矩阵,矩阵下反映了每个词的关系。这些词的关系是通过上下文相关得出来的,它具有前后序列性,而Word2vec同时采用了哈夫曼的压缩算法,对是一些热门词进行了很好的降权处理。因此他在做一些相似词,或者词语的扩展都有很好的效果。

这种相识性还可以用在,物品的推荐上,根据用户购买物品的顺序,把每个物品当成一个单词,相当于一门外语了,谁也看不懂而已,但里面放映了上下文的关系,这个是很重要的,也是我们一开头那种普通算法无法做到的,同时对一些热门的物品自然有降权的处理,非常的方便。

word2vec自然规避了两大问题:词语的次序和热门词语的降权处理。

数据工匠

数据工匠

厦门数析信息科技有限公司(品牌:数据工匠)成立于2014年10月14日。公司主要提供数据分析服务与产品,具体内容包括对企业与政府机构提供大数据咨询;平台级的通用化数据分析产品(软件)开发。
数据工匠

注:数据分析网遵循行业规范,任何转载的稿件都会明确标注作者和来源,若标注有误或遗漏,请联系主编邮箱:afenxi@afenxi.com

分享到:更多

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址