语言学常用语料库

NLTK常用操作和语料库

Natural Language Toolkit (NLTK)是一个用于Python的开放源代码库，用于处理自然语言处理（NLP）任务。它包含了各种常用的操作和语料库，可用于文本处理、语言学研究、机器学习等多个领域。

下面是一些NLTK常用操作和语料库的简介：

1. 语料库的读取和访问：NLTK提供了丰富的语料库，包括各种文本、音频和图像。可以使用`nltk.corpus`模块来访问和读取这些语料库。例如，可以使用`nltk.corpus.gutenberg`获取古腾堡计划中的文本语料库。

2. 文本预处理：NLTK提供了一些方法来对文本进行预处理，如分词、词性标注、去除停用词等。可以使用`nltk.word_tokenize(`函数对文本进行分词，使用`nltk.pos_tag(`函数对词性进行标注，使用`nltk.corpus.stopwords`模块来获取停用词列表。

3. 词形还原和词干提取：NLTK包含了一些方法来对单词进行词形还原和词干提取。可以使用`nltk.stem.WordNetLemmatizer(`类进行词形还原，使用`nltk.stem.PorterStemmer(`类进行词干提取。

4. 文本分类：NLTK提供了一套用于文本分类的工具和算法。可以使用`nltk.classify`模块中的`NaiveBayesClassifier`类来构建和训练朴素贝叶斯分类器。还可以使用`nltk.classify.SklearnClassifier`类将NLTK与Scikit-learn库结合使用。

5. 语言模型：NLTK提供了一些方法来构建和训练语言模型。可以使用`nltk.lm`模块中的类来创建和训练N-gram语言模型。还可以使用`nltk.lm.preprocessing`模块中的函数来准备语料数据进行训练。 6. 词向量：NLTK允许加载和使用预训练的词向量。可以使用`nltk.embedding`模块中的函数来加载不同格式的词向量，并使用`similarity(`函数计算词语之间的相似度。

语用学

一．语用学（Pragmatics）的定义：

语用学是用以研究语言使用者如何使用句子成功进行交际的学问。语用学（Pragmatics）与语义学（Semantics）虽然都涉及对语言意义的研究，但是语义学（Semantics）只是将语言视作一个独立的系统来研究，而语用学（Pragmatics）则是将语言置于语境（context）之中。所以，语用学（Pragmatics）与语义学（Semantics）本质区别在于是否将语境（context）因素纳入考量范围之内。

二．句子意义与话语意义（Sentence Meaning Vs. Utterance Meaning）：

1) 句子意义（Sentence Meaning）：句子意义指的是独立于语境的句子本身所传达的字面意义。

2）话语意义（Utterance Meaning）：话语意义指的是将句子的意义置于特定语境中以表达言者某种意图的意义。

三．指示现象（Deixis）：

指示现象指的是说话人利用语言形式表达说话内容所涉及的人员、事物、时间、地点等方面。指示现象是连接语言形式及其发生语境的桥梁。指示语主要分为以下三类：

1）人称指示语（person deixis）：用于表达言语交际的参与者。

2）空间指示语（spatial deixis）：用于指代言语活动中所涉及的人、物或事的相对位置。

3）时间指示语（temporal deixis）：用于表达言语交际活动中的时间点和时间段。

四．言语行为理论（Speech Act Theory）：

1) 约翰·奥斯汀（John Austin）的言语行为模式：

英国哲学家约翰·奥斯汀（John Austin）于20世纪50年代提出的言语行为模式区分了言有所述（constative）和言有所为（performative）。

随后，他又对原先的理论进行了发展，放弃了言有所述（constative）和言有所为（performative）的区分，发展出了新的言语行为模式。该模式认为，言者在说话时可同时执行三个动作：即言内行动（locutionary act），言外行动（illocutionary act）和言后行动（perlocutionary act）。

语料库常用术语

Type 类符

Tokens 形符

例如“I see a cat and a dog”类符6个，形符7个

Type/token ratio =TTR

TTR 是衡量文本中词汇密度的常用方法，可以辅助说明文本的词汇难度。但是，文本中有大量功能词出现，文本每增加一个词，形符就会增加一个，但类符却未必随之增加。这样文本越长，功能词重复次数越多，TTR会越低。因此用TTR衡量词汇密度不合理，于是，出现了标准化类符/形符比，即STTR。例如，计算每个文本1000词的TTR，均值处理，得出STTR。

Frequency（频率）

例如每百万词、十万词中，某单词出现次数。常常将某个单词在两个语料库中出现的频率参照两个语料库的容量，用卡方检验或对数似然率进行对比，来确定两个库中该单词的使用是否有差异。

Wordlist词表

根据单词或词组在语篇中出现的频率大小而排列形成的列表。

Ranks

Lemma词目，词元

比如go是lemma，对应各种屈折变化形式（inflections），go,goes,went,going,gone共5种屈折变化形式。在分析语言时，需要将它们全部归到go名下，这个过程叫词形还原。

Keywords关键词、主题词 positive keywords 正关键词negative keywords 负关键词

Concordance 索引（KWIC 语境中的关键词key words in context）

运用索引软件在语料库中查询某词或短语的使用实例，然后将所有符合条件的语言使用实例及其语境以清单的形式列出。通过前后语境，可以分析“collocation词汇搭配”“colligation类连接、语法搭配”“semantic preference语义倾向”“semantic prosody语义韵”

Collocation词汇搭配

搭配强度MI,T-score ,Z-score

1. 语言学常用语料库是一种用于研究语言现象的重要工具。

2. 它是一个大规模的语言样本集合，包含了各种不同语言的文本数据。

3. 语料库可以包括书籍、报纸、杂志、广播节目、网络文章等多种类型的文本。

4. 通过分析语料库中的文本，语言学家可以研究语言的结构、语法规则和语义特征。

5. 语料库的建立和维护需要大量的工作，包括文本收集、数据处理和标注等环节。

6. 语料库的规模越大，涵盖的语言现象就越全面，研究结果也更有说服力。

7. 语料库的使用需要借助计算机和专门的软件工具，如文本编辑器、搜索引擎和统计分析软件等。

8. 语料库可以用于研究语言变化、语言习得、语言教学和语言技术等多个领域。

9. 语料库的应用范围广泛，包括自然语言处理、机器翻译、信息检索和语音识别等领域。

10. 语料库的优点是可以提供真实的语言数据，反映语言使用的实际情况。

11. 语料库还可以帮助语言学家验证语言理论和模型的有效性。

12. 语料库的研究方法主要包括定性分析和定量分析两种。

13. 定性分析是通过详细的文本注释和分析来理解语言现象的特点和规律。

14. 定量分析是通过统计和计算来分析语言现象的频率、分布和关联性。

15. 语料库的研究成果可以通过学术论文、专著和会议报告等形式进行发布和交流。

16. 语料库研究的结果对于语言教育和语言政策制定具有重要的参考价值。

17. 语料库的发展受到语言学家、计算机科学家和语言工程师的共同关注。

18. 随着技术的进步，语料库的规模和质量不断提高，为语言学研究提供了更多的可能性。

19. 语料库的建设和管理需要遵守相关的法律和道德规范，保护语言使用者的隐私和权益。

20. 语料库的未来发展将更加注重多语言、多媒体和跨学科的研究方向。