Python之NLP（转） - 物流园资讯移动站

Python之NLP（转）

2024-11-12 22:41

题记: 由于现在的项目是搜索引擎，所以不由的对自然语言处理产生了好奇，再加上一直以来都想学Python，只是没有机会与时间。碰巧这几天在亚马逊上找书时发现了这本《Python自然语言处理》，瞬间觉得这对我同时入门自然语言处理与Python有很大的帮助。所以最近都会学习这本书，也写下这些笔记。

Python之NLP（转）

NLTK模块及功能介绍

语言处理任务NLTK模块功能描述获取语料库nltk.corpus语料库和词典的标准化接口字符串处理nltk.tokenize,nltk.stem分词、句子分解、提取主干搭配研究nltk.collocationst-检验，卡方，点互信息词性标示符nltk.tagn-gram，backoff，Brill，HMM，TnT分类nltk.classify,nltk.cluster决策树，最大熵，朴素贝叶斯，EM，k-means分块nltk.chunk正则表达式，n-gram，命名实体解析nltk.parse图标，基于特征，一致性，概率性，依赖项语义解释nltk.sem,nltk.inferenceλ演算，一阶逻辑，模型检验指标评测nltk.metrics精度，召回率，协议系数概率与估计nltk.probability频率分布，平滑概率分布应用nltk.app,nltk.chat图形化的关键词排序，分析器，WordNet查看器，聊天机器人语言学领域的工作nltk.toolbox处理SIL工具箱格式的数据

　　我的Python版本是2.7.5，NLTK版本2.0.4

安装步骤跟http://www.nltk.org/install.html 一样

1. 安装Setuptools:

　在页面的最下面setuptools-5.7.tar.gz

2. 安装 Pip: 运行

3. 安装 Numpy (optional): 运行

4. 安装 NLTK: 运行

当出现以下界面进行nltk_data的下载

也可直接到 http://nltk.googlecode.com/svn/trunk/nltk_data/index.xml 去下载数据包，并拖到Download Directory。我就是这么做的。

最后在Python目录运行以下命令以及结果，说明安装已成功

　　现在开始进入正题，由于本人没学过python，所以使用NLTK也就是学习Python的过程。初次学习NLTK主要使用的时NLTK里面自带的一些现有数据，上图中已由显示，这些数据都在nltk.book里面。

3.1 搜索文本

concordance:搜索text1中的monstrous

similar:查找text1中与monstrous相关的所有词语

dispersion_plot：用离散图判断词在文本的位置即偏移量

3.2 计数词汇

len:获取长度，即可获取文章的词汇个数，也可获取单个词的长度

sorted:排序

3.3 频率分布

3.4 细粒度的选择词

3.5 词语搭配和双连词

用bigrams()可以实现双连词

3.6 NLTK频率分类中定义的函数

例子描述fdist=FreqDist(samples)创建包含给定样本的频率分布fdist.inc(sample)增加样本fdist['monstrous']计数给定样本出现的次数fdist.freq('monstrous')样本总数fdist.N()以频率递减顺序排序的样本链表fdist.keys()以频率递减的顺序便利样本for sample in fdist:数字最大的样本fdist.max()绘制频率分布表fdist.tabulate()绘制频率分布图fdist.plot()绘制积累频率分布图fdist.plot(cumulative=True)绘制积累频率分布图fdist1<fdist2测试样本在fdist1中出现的样本是否小于fdist2

最后看下text1的类情况. 使用type可以查看变量类型，使用help()可以获取类的属性以及方法。以后想要获取具体的方法可以使用help()，这个还是很好用的。

1. 词意消歧

2. 指代消解

3. 自动生成语言

4. 机器翻译

5. 人机对话系统

6. 文本的含义

虽然是初次接触Python，NLTK，但是我已经觉得他们的好用以及方便，接下来就会深入的学习他们。

以上就是本篇文章【Python之NLP（转）】的全部内容了，欢迎阅览！文章地址：http://nhjcxspj.xhstdz.com/quote/3764.html
行业资讯企业新闻行情企业黄页同类资讯网站地图返回首页物流园资讯移动站 http://yishengsujiao.xhstdz.com/ , 查看更多