英语wh_疑问构式的双突显_ffg_语义认知模型研究_曾国才
- 格式:pdf
- 大小:717.59 KB
- 文档页数:4
高中英语写作技巧Wh法Wh法:叙述一个事件,最简单的文章结构便是使用wh- 问句。
事情发生在什么人身上(Who)、何时发生(When)、在何处发生(Where)、发生了什么(What)、为何发生(Why)、如何发生(How)、结局是什么(What)、你的感觉又是如何(How)等。
其中,当然以What 和How 的问题作为你文章的重心。
但其他的问题会让你的文章更具体,也就更生动。
如主题句为:Not all picnics are enjoyable.,针对主题问自己几个以Who 、Where、What、When 、Why、How开始的问题,来思考段落发展的方向。
可列出(范例) Not all picnics are enjoyable. Last Sunday, my family and I went on a picnic at Wu-lai. The weather was fine when we set 1_____ in Taipei in the morning. But as we were waiting for the bus, it became cloudy. Since it was Sunday and there were a lot of people at the bus terminal, we had to wait for an hour 2_____ we could finally get on a bus. The ride on the bus was 3___ no means enjoyable, either, because the bus was packed 4____ people and we got no seats. For almost an hour, we stood on the crowded bus, not 5_______(have) a chance to watch the scenery along the way. When we arrived at Wu-lai, we all had to sit for a while to rest our aching feet. 6_____(Feel) refreshed again, we happily took the cable car and reached the mountain-top recreational park. 7______ 8____ our disappointment, however, as we found a perfect spot 9____ our picnic, it started to rain. It was not long 10______ it began to rain cats and dogs. We had no choice but 11_____(take) shelter indoors with a lot of other tourists, not 12_____(know) when we could actually started picnicking. The rain did not stop 13_____ four-thirty in the afternoon; of course, our picnic was ruined. On our way home, we couldn’t help 14_______(think) that perhaps we would 15________(be) better off if we 16_________(stay) home.以”………, something embarrassing happened to me.”为主题句,写成一篇文章。
基于顺应-关联模式的英语WH-对话构式分析刘姗,李健雪(江南大学外国语学院,江苏无锡214122)摘要:英语特殊疑问句是以WH-疑问词开头,在句法上形成了:WH-word+auxiliary+remainder?的WH-疑问构式,答话者根据问句所提供的事件域范围来提供具体信息,一问一答在构式语法视角下可看作对话构式。
在顺应—关联模式下,文章从交际双方的视角,通过分析问话者和答话者话语的生成、理解、交际双方的认知期待,对该构式进行研究,将顺应—关联模式与构式的承继性、对话构式的临时构式特征相结合,从语用与认知角度揭示了该构式的认知机制,并为构式语法提供了一个新的研究视角。
关键词:WH-对话构式;顺应-关联;承继性;临时构式特征;认知语用中图分类号:H0文献标识码:A文章编号:1009-5039(2019)15-0234-031背景英语中的问句主要有特殊疑问句、一般疑问句、选择疑问句以及反义疑问句。
而特殊疑问句是以WH-疑问词开头,它是该类构式的核心要素,其后接疑问助动词或情态助动词,再加其他成分,在句法上形成了“Wh-word+auxiliary+remain⁃der”的WH-特殊疑问句结构,而答话者根据问话人给出的信息范围来向其提供相应的具体信息,从而构成了一对对话,一问一答形成了一个话轮。
针对不同的问句,答话者会根据不同的场合、不同的心绪而给予相应的回答,使得对话传递出不同的意义。
根据Adele E.Goldberg(2006)对构式的定义,特殊疑问句及其回答可视为一个Wh-对话构式。
对话句法学作为当前认知语言学的最前沿课题之一,已将构式研究拓展到句法层面(Geert Brône&Elisabeth Zima,2014;曾国才,2015)。
目前,较为常见的几个英语构式,如there构式、双及物构式、致使——移动构式、动结构式等,在国内外备受关注,但是对WH-对话构式的研究相对来说比较少。
基于深度学习的教材德目教育文本分类方法作者:陈浩淼陈军华来源:《上海师范大学学报·自然科学版》2024年第02期Abstract:The classification of moral education texts in Shanghai primary and secondary school textbooks was studied and an IoMET_BBA(Indicators of moral education target based on BERT,BiLSTM and attention)model was proposed based on bidirectional encoder representations from transformer(BERT)pre-training model,bidirectional long short-term memory (BiLSTM)network,and attention mechanism. Firstly,data augmentation was performed using synthetic minority oversampling technique(SMOTE)and exploratory data analysis (EDA). Secondly,BERT was used to generate semantic vectors with rich contextual information. Thirdly,BiLSTM was adopted to extract features,and attention mechanism was combined to obtain word weight information. Finally,classification was performed through a fully connected layer. The comparative experimental results indicated that F1measurement value of IoMET_BBA reached 86.14%,which was higher than other models and could accurately evaluate the moral education texts of textbooks.Key words:moral education index;chinese text classification;bidirectional encoder representations from transformer(BERT)model;bidirectional long short-term memory (BiLSTM)network;attention mechanism德目教育是指将道德或品格的条目通过一定方式传授给学生的教育活动[1]. 德目教育的目标是帮助个体形成正确的道德判断,培养个人的道德观念、价值观和道德行为,进而推动整个社会形成道德共识.近年来,国内对德目教育的研究已经有了很多成熟的理论与实践模式,但对于教材文本的德目指标评估大部分是依靠人工完成的,结论较为主观,且效率较低[2].文本分类是自然语言处理(NLP)领域中的一项关键任务,它把文本数据归入不同的预先定义类别,在数字化图书馆、新闻推荐、社交网络等领域起到重要的作用. JOACHIMS[3]首次采用支持向量机方法将文本转化成向量,将文本分类任务转变成多个二元分类任务. KIM[4]提出了基于卷积神经网络(CNN)的TextCNN方法,在多个任务中取得了良好的效果. 徐军等[5]运用朴素贝叶斯和最大熵等算法,实现了中文新闻和评论文本的自动分类. 冯多等[6]提出了基于CNN的中文微博情感分类模型,并运用于社交场景.由于教材文本数据具有稀疏性,使用传统的分类算法进行建模时很难考虑上下文和顺序信息,并且数据集不平衡,不同指标的文本条数差异较大. 之前的相关研究[7-8]主要基于静态词向量(GloVe,Word2Vec)与CNN进行建模,所获得的词向量表示与上下文无关,也不能解决一词多义问题,且CNN只能提取局部空间特征,无法捕捉长距离的位置信息. 本文作者采用深度学习方法,对教材短文本数据进行分类,首先采用合成少数类过采样技术(SMOTE)和easy data augmentation(EDA)技术获得更平衡、更充分的文本数据集,提出基于深度学习的教材德目教育文本分类模型(IoMET_BBA),使用基于转换器的双向编码表征(BERT)预训练模型来生成富含语境信息的语义向量,然后使用双向长短期记忆网络(BiLSTM)和注意力机制来进一步进行特征提取,充分考虑上下文和位置信息,从而提高分类任务的准确性. 实验证明:相比于传统模型,IoMET_BBA模型的准确率与F1值提升明显,可高效准确地完成大规模的教材德目教育文本分类任务.1 相关技术1.1 深度学习分类模型文本分类需要使用已标注的训练数据来构建分类模型. 常见的文本分类流程如图1所示. 在进行文本分类之前,通常需要对原始数据进行预处理,包括分词、去除停用词、词干提取等.文本分类可以使用多种算法进行建模. 传统的机器学习分类模型,如朴素贝叶斯[9]、Kmeans[10]、支持向量机[3]、决策树[11]等,通常需要依靠人工来获取样本特征,忽略了文本数据的上下文信息和自然顺序. 近年来,基于神经网络的深度学习方法成为研究的热点. 这种方法主要包含两个关键任务:通过构建词向量来表示文本、使用一定的模型来提取特征并进行分类.计算机不能理解人类的语言,因此在NLP任务中,首先要将单词或词语表示成向量. 独热编码将词转化为长向量,向量维度与词数量相同,每个向量中某一维度的值是1,其余值都是0. 独热编码虽然简单,但不能体现出词与词之间的关系,并且当词量过大时,会出现维度灾难及向量十分稀疏的情况. 分布式的表示方法则可以将词表示为固定长度、稠密、互相存在语义关系的向量,这类方法也称为词嵌入. MIKOLOV等[12]提出了Word2Vec框架,包含Skip-Gram和Cbow算法,分别用单词来预测上下文和用上下文来预测单词. PENNINGTON 等[13]提出的GloVe方法,同时考虑到了局部信息和全局统计信息,根据词与词之间的共现矩阵来表示词向量.深度学习方法已经成为文本分类的主流方法. KIM等[4]使用包含卷积结构的CNN来分类文本,将文本映射成向量,并将向量输入到模型,通过卷积层提取特征、池化层对特征采样,但CNN没有时序性,忽略了局部信息之间的依赖关系. 循环神经网络(RNN)则从左到右浏览每个词向量,保留每个词的数据,可以为模型提供整个文本的上下文信息,但RNN计算速度较慢,且存在梯度消失等问题. 作为RNN的一种变体,长短期记忆网络(LSTM)通过过滤无效信息,有效缓解了梯度消失问题,更好地捕获长距离的依赖关系. 而BiLSTM由一个前向的LSTM和一个后向的LSTM组成,能够捕获双向语义依赖.1.2 BERT预训练模型同一个词在不同环境中可能蕴含不同的意义,而使用Word2Vec,GloVe等方法获得的詞向量都是静态的,即这类模型对于同一个词的表示始终相同,因此无法准确应对一词多义的情况. 为了解决这一问题,基于语言模型的动态词向量表示方法应运而生.预训练语言模型在大规模未标注数据上进行预训练,通过微调的方式在特定任务上进行训练.DEVLIN 等[14]提出了BERT模型,它拥有极强的泛化能力和稳健性,在多类NLP问题中表现优异.BERT模型本质是一种语言表示模型,通过在大规模无标注语料上的自监督学习,为词学习到良好的特征表示,并且可以通过微调,适应不同任务的需求. BERT模型采用多层双向Transformer结构,在建模时,Transformer结构使用了自注意力机制,取代传统深度学习中的CNN和RNN,有效地解决了长距离依赖问题,并通过并行计算提高计算效率. 通过计算每一个单词与句中其他单词之间的关联程度来调整其权重. BERT模型的结构如图2所示.文本分类是自然语言处理(NLP)领域中的一项关键任务,它把文本数据归入不同的预先定义类别,在数字化图书馆、新闻推荐、社交网络等领域起到重要的作用. JOACHIMS[3]首次采用支持向量机方法将文本转化成向量,将文本分类任务转变成多个二元分类任务. KIM[4]提出了基于卷积神经网络(CNN)的TextCNN方法,在多个任务中取得了良好的效果. 徐军等[5]运用朴素贝叶斯和最大熵等算法,实现了中文新闻和评论文本的自动分类. 冯多等[6]提出了基于CNN的中文微博情感分类模型,并运用于社交场景.由于教材文本数据具有稀疏性,使用传统的分类算法进行建模时很难考虑上下文和顺序信息,并且数据集不平衡,不同指标的文本条数差异较大. 之前的相关研究[7-8]主要基于静态词向量(GloVe,Word2Vec)与CNN进行建模,所获得的词向量表示与上下文无关,也不能解决一词多义问题,且CNN只能提取局部空间特征,无法捕捉长距离的位置信息. 本文作者采用深度学习方法,对教材短文本数据进行分类,首先采用合成少数类过采样技术(SMOTE)和easy data augmentation(EDA)技术获得更平衡、更充分的文本数据集,提出基于深度学习的教材德目教育文本分类模型(IoMET_BBA),使用基于转换器的双向编码表征(BERT)预训练模型来生成富含语境信息的语义向量,然后使用双向长短期记忆网络(BiLSTM)和注意力机制来进一步进行特征提取,充分考虑上下文和位置信息,从而提高分类任务的准确性. 实验证明:相比于传统模型,IoMET_BBA模型的准确率与F1值提升明显,可高效准确地完成大规模的教材德目教育文本分类任务.1 相关技术1.1 深度学习分类模型文本分类需要使用已标注的训练数据来构建分类模型. 常见的文本分类流程如图1所示. 在进行文本分类之前,通常需要对原始数据进行预处理,包括分词、去除停用词、词干提取等.文本分类可以使用多种算法进行建模. 传统的机器学习分类模型,如朴素贝叶斯[9]、Kmeans[10]、支持向量机[3]、决策树[11]等,通常需要依靠人工来获取样本特征,忽略了文本数据的上下文信息和自然顺序. 近年来,基于神经网络的深度学习方法成为研究的热点. 这种方法主要包含两个关键任务:通过构建词向量来表示文本、使用一定的模型来提取特征并进行分类.计算机不能理解人类的语言,因此在NLP任务中,首先要将单词或词语表示成向量. 独热编码将词转化为长向量,向量维度与词数量相同,每个向量中某一维度的值是1,其余值都是0. 独热编码虽然简单,但不能体现出词与词之间的关系,并且当词量过大时,会出现维度灾难及向量十分稀疏的情况. 分布式的表示方法则可以将词表示为固定长度、稠密、互相存在语义关系的向量,这类方法也称为词嵌入. MIKOLOV等[12]提出了Word2Vec框架,包含Skip-Gram和Cbow算法,分别用单词来预测上下文和用上下文来预测单词. PENNINGTON 等[13]提出的GloVe方法,同时考虑到了局部信息和全局统计信息,根据词与词之间的共现矩阵来表示词向量.深度学习方法已经成为文本分类的主流方法. KIM等[4]使用包含卷积结构的CNN来分类文本,将文本映射成向量,并将向量输入到模型,通过卷积层提取特征、池化层对特征采样,但CNN没有时序性,忽略了局部信息之间的依赖关系. 循环神经网络(RNN)则从左到右浏览每个詞向量,保留每个词的数据,可以为模型提供整个文本的上下文信息,但RNN计算速度较慢,且存在梯度消失等问题. 作为RNN的一种变体,长短期记忆网络(LSTM)通过过滤无效信息,有效缓解了梯度消失问题,更好地捕获长距离的依赖关系. 而BiLSTM由一个前向的LSTM和一个后向的LSTM组成,能够捕获双向语义依赖.1.2 BERT预训练模型同一个词在不同环境中可能蕴含不同的意义,而使用Word2Vec,GloVe等方法获得的词向量都是静态的,即这类模型对于同一个词的表示始终相同,因此无法准确应对一词多义的情况. 为了解决这一问题,基于语言模型的动态词向量表示方法应运而生.预训练语言模型在大规模未标注数据上进行预训练,通过微调的方式在特定任务上进行训练.DEVLIN 等[14]提出了BERT模型,它拥有极强的泛化能力和稳健性,在多类NLP问题中表现优异.BERT模型本质是一种语言表示模型,通过在大规模无标注语料上的自监督学习,为词学习到良好的特征表示,并且可以通过微调,适应不同任务的需求. BERT模型采用多层双向Transformer结构,在建模时,Transformer结构使用了自注意力机制,取代传统深度学习中的CNN和RNN,有效地解决了长距离依赖问题,并通过并行计算提高计算效率. 通过计算每一个单词与句中其他单词之间的关联程度来调整其权重. BERT模型的结构如图2所示.文本分类是自然语言处理(NLP)领域中的一项关键任务,它把文本数据归入不同的预先定义类别,在数字化图书馆、新闻推荐、社交网络等领域起到重要的作用. JOACHIMS[3]首次采用支持向量机方法将文本转化成向量,将文本分类任务转变成多个二元分类任务. KIM[4]提出了基于卷积神经网络(CNN)的TextCNN方法,在多个任务中取得了良好的效果. 徐军等[5]运用朴素贝叶斯和最大熵等算法,实现了中文新闻和评论文本的自动分类. 冯多等[6]提出了基于CNN的中文微博情感分類模型,并运用于社交场景.由于教材文本数据具有稀疏性,使用传统的分类算法进行建模时很难考虑上下文和顺序信息,并且数据集不平衡,不同指标的文本条数差异较大. 之前的相关研究[7-8]主要基于静态词向量(GloVe,Word2Vec)与CNN进行建模,所获得的词向量表示与上下文无关,也不能解决一词多义问题,且CNN只能提取局部空间特征,无法捕捉长距离的位置信息. 本文作者采用深度学习方法,对教材短文本数据进行分类,首先采用合成少数类过采样技术(SMOTE)和easy data augmentation(EDA)技术获得更平衡、更充分的文本数据集,提出基于深度学习的教材德目教育文本分类模型(IoMET_BBA),使用基于转换器的双向编码表征(BERT)预训练模型来生成富含语境信息的语义向量,然后使用双向长短期记忆网络(BiLSTM)和注意力机制来进一步进行特征提取,充分考虑上下文和位置信息,从而提高分类任务的准确性. 实验证明:相比于传统模型,IoMET_BBA模型的准确率与F1值提升明显,可高效准确地完成大规模的教材德目教育文本分类任务.1 相关技术1.1 深度学习分类模型文本分类需要使用已标注的训练数据来构建分类模型. 常见的文本分类流程如图1所示. 在进行文本分类之前,通常需要对原始数据进行预处理,包括分词、去除停用词、词干提取等.文本分类可以使用多种算法进行建模. 传统的机器学习分类模型,如朴素贝叶斯[9]、Kmeans[10]、支持向量机[3]、决策树[11]等,通常需要依靠人工来获取样本特征,忽略了文本数据的上下文信息和自然顺序. 近年来,基于神经网络的深度学习方法成为研究的热点. 这种方法主要包含两个关键任务:通过构建词向量来表示文本、使用一定的模型来提取特征并进行分类.计算机不能理解人类的语言,因此在NLP任务中,首先要将单词或词语表示成向量. 独热编码将词转化为长向量,向量维度与词数量相同,每个向量中某一维度的值是1,其余值都是0. 独热编码虽然简单,但不能体现出词与词之间的关系,并且当词量过大时,会出现维度灾难及向量十分稀疏的情况. 分布式的表示方法则可以将词表示为固定长度、稠密、互相存在语义关系的向量,这类方法也称为词嵌入. MIKOLOV等[12]提出了Word2Vec框架,包含Skip-Gram和Cbow算法,分别用单词来预测上下文和用上下文来预测单词. PENNINGTON 等[13]提出的GloVe方法,同时考虑到了局部信息和全局统计信息,根据词与词之间的共现矩阵来表示词向量.深度学习方法已经成为文本分类的主流方法. KIM等[4]使用包含卷积结构的CNN来分类文本,将文本映射成向量,并将向量输入到模型,通过卷积层提取特征、池化层对特征采样,但CNN没有时序性,忽略了局部信息之间的依赖关系. 循环神经网络(RNN)则从左到右浏览每个词向量,保留每个词的数据,可以为模型提供整个文本的上下文信息,但RNN计算速度较慢,且存在梯度消失等问题. 作为RNN的一种变体,长短期记忆网络(LSTM)通过过滤无效信息,有效缓解了梯度消失问题,更好地捕获长距离的依赖关系. 而BiLSTM由一个前向的LSTM和一个后向的LSTM组成,能够捕获双向语义依赖.1.2 BERT预训练模型同一个词在不同环境中可能蕴含不同的意义,而使用Word2Vec,GloVe等方法获得的词向量都是静态的,即这类模型对于同一个词的表示始终相同,因此无法准确应对一词多义的情况. 为了解决这一问题,基于语言模型的动态词向量表示方法应运而生.预训练语言模型在大规模未标注数据上进行预训练,通过微调的方式在特定任务上进行训练.DEVLIN 等[14]提出了BERT模型,它拥有极强的泛化能力和稳健性,在多类NLP问题中表现优异.BERT模型本质是一种语言表示模型,通过在大规模无标注语料上的自监督学习,为词学习到良好的特征表示,并且可以通过微调,适应不同任务的需求. BERT模型采用多层双向Transformer结构,在建模时,Transformer结构使用了自注意力机制,取代传统深度学习中的CNN和RNN,有效地解决了长距离依赖问题,并通过并行计算提高计算效率. 通过计算每一个单词与句中其他单词之间的关联程度来调整其权重. BERT模型的结构如图2所示.文本分类是自然语言处理(NLP)领域中的一项关键任务,它把文本数据归入不同的预先定义类别,在数字化图书馆、新闻推荐、社交网络等领域起到重要的作用. JOACHIMS[3]首次采用支持向量機方法将文本转化成向量,将文本分类任务转变成多个二元分类任务. KIM[4]提出了基于卷积神经网络(CNN)的TextCNN方法,在多个任务中取得了良好的效果. 徐军等[5]运用朴素贝叶斯和最大熵等算法,实现了中文新闻和评论文本的自动分类. 冯多等[6]提出了基于CNN的中文微博情感分类模型,并运用于社交场景.由于教材文本数据具有稀疏性,使用传统的分类算法进行建模时很难考虑上下文和顺序信息,并且数据集不平衡,不同指标的文本条数差异较大. 之前的相关研究[7-8]主要基于静态词向量(GloVe,Word2Vec)与CNN进行建模,所获得的词向量表示与上下文无关,也不能解决一词多义问题,且CNN只能提取局部空间特征,无法捕捉长距离的位置信息. 本文作者采用深度学习方法,对教材短文本数据进行分类,首先采用合成少数类过采样技术(SMOTE)和easy data augmentation(EDA)技术获得更平衡、更充分的文本数据集,提出基于深度学习的教材德目教育文本分类模型(IoMET_BBA),使用基于转换器的双向编码表征(BERT)预训练模型来生成富含语境信息的语义向量,然后使用双向长短期记忆网络(BiLSTM)和注意力机制来进一步进行特征提取,充分考虑上下文和位置信息,从而提高分类任务的准确性. 实验证明:相比于传统模型,IoMET_BBA模型的准确率与F1值提升明显,可高效准确地完成大规模的教材德目教育文本分类任务.1 相关技术1.1 深度学习分类模型文本分类需要使用已标注的训练数据来构建分类模型. 常见的文本分类流程如图1所示. 在进行文本分类之前,通常需要对原始数据进行预处理,包括分词、去除停用词、词干提取等.文本分类可以使用多种算法进行建模. 传统的机器学习分类模型,如朴素贝叶斯[9]、Kmeans[10]、支持向量机[3]、决策树[11]等,通常需要依靠人工来获取样本特征,忽略了文本数据的上下文信息和自然顺序. 近年来,基于神经网络的深度学习方法成为研究的热点. 这种方法主要包含两个关键任务:通过构建词向量来表示文本、使用一定的模型来提取特征并进行分类.计算机不能理解人类的语言,因此在NLP任务中,首先要将单词或词语表示成向量. 独热编码将词转化为长向量,向量维度与词数量相同,每个向量中某一维度的值是1,其余值都是0. 独热编码虽然简单,但不能体现出词与词之间的关系,并且当词量过大时,会出现维度灾难及向量十分稀疏的情况. 分布式的表示方法则可以将词表示为固定长度、稠密、互相存在语义关系的向量,这类方法也称为词嵌入. MIKOLOV等[12]提出了Word2Vec框架,包含Skip-Gram和Cbow算法,分别用单词来预测上下文和用上下文来预测单词. PENNINGTON 等[13]提出的GloVe方法,同时考虑到了局部信息和全局统计信息,根据词与词之间的共现矩阵来表示词向量.深度学习方法已经成为文本分类的主流方法. KIM等[4]使用包含卷积结构的CNN来分类文本,将文本映射成向量,并将向量输入到模型,通过卷积层提取特征、池化层对特征采样,但CNN没有时序性,忽略了局部信息之间的依赖关系. 循环神经网络(RNN)则从左到右浏览每个词向量,保留每个词的数据,可以为模型提供整个文本的上下文信息,但RNN计算速度较慢,且存在梯度消失等问题. 作为RNN的一种变体,长短期记忆网络(LSTM)通过过滤无效信息,有效缓解了梯度消失问题,更好地捕获长距离的依赖关系. 而BiLSTM由一个前向的LSTM和一个后向的LSTM组成,能够捕获双向语义依赖.1.2 BERT预训练模型同一个词在不同环境中可能蕴含不同的意义,而使用Word2Vec,GloVe等方法获得的词向量都是静态的,即这类模型对于同一个词的表示始终相同,因此无法准确应对一词多义的情况. 为了解决这一问题,基于语言模型的动态词向量表示方法应运而生.预训练语言模型在大规模未标注数据上进行预训练,通过微调的方式在特定任务上进行训练.DEVLIN 等[14]提出了BERT模型,它拥有极强的泛化能力和稳健性,在多类NLP问题中表现优异.BERT模型本质是一种语言表示模型,通过在大规模无标注语料上的自监督学习,为词学习到良好的特征表示,并且可以通过微调,适应不同任务的需求. BERT模型采用多层双向Transformer结构,在建模时,Transformer结构使用了自注意力机制,取代传统深度学习中的CNN和RNN,有效地解决了长距离依赖问题,并通过并行计算提高计算效率. 通过计算每一个单词与句中其他单词之间的关联程度来调整其权重. BERT模型的结构如图2所示.文本分类是自然语言处理(NLP)领域中的一项关键任务,它把文本数据归入不同的预先定义类别,在数字化图书馆、新闻推荐、社交网络等领域起到重要的作用. JOACHIMS[3]首次采用支持向量机方法将文本转化成向量,将文本分类任务转变成多个二元分类任务. KIM[4]提出了基于卷积神经网络(CNN)的TextCNN方法,在多个任务中取得了良好的效果. 徐军等[5]运用朴素贝叶斯和最大熵等算法,实现了中文新闻和评论文本的自动分类. 冯多等[6]提出了基于CNN的中文微博情感分类模型,并运用于社交场景.由于教材文本数据具有稀疏性,使用传统的分类算法进行建模时很难考虑上下文和顺序信息,并且数据集不平衡,不同指标的文本条数差异较大. 之前的相关研究[7-8]主要基于静态词向量(GloVe,Word2Vec)与CNN进行建模,所获得的词向量表示与上下文无关,也不能解决一词多义问题,且CNN只能提取局部空间特征,无法捕捉长距离的位置信息. 本文作者采用深度学习方法,对教材短文本数据进行分类,首先采用合成少数类过采样技术(SMOTE)和easy data augmentation(EDA)技术获得更平衡、更充分的文本数据集,提出基于深度学习的教材德目教育文本分类模型(IoMET_BBA),使用基于转换器的双向编码表征(BERT)预训练模型来生成富含语境信息的语义向量,然后使用双向长短期记忆网络(BiLSTM)和注意力机制来进一步进行特征提取,充分考虑上下文和位置信息,从而提高分类任务的准确性. 实验证明:相比于传统模型,IoMET_BBA模型的准确率与F1值提升明显,可高效准确地完成大规模的教材德目教育文本分类任务.1 相关技术1.1 深度学习分类模型文本分类需要使用已标注的训练数据来构建分类模型. 常见的文本分类流程如图1所示. 在进行文本分类之前,通常需要对原始数据进行预处理,包括分词、去除停用词、词干提取等.文本分类可以使用多种算法进行建模. 传统的机器学习分类模型,如朴素贝叶斯[9]、Kmeans[10]、支持向量機[3]、决策树[11]等,通常需要依靠人工来获取样本特征,忽略了文本数据的上下文信息和自然顺序. 近年来,基于神经网络的深度学习方法成为研究的热点. 这种方法主要包含两个关键任务:通过构建词向量来表示文本、使用一定的模型来提取特征并进行分类.计算机不能理解人类的语言,因此在NLP任务中,首先要将单词或词语表示成向量. 独热编码将词转化为长向量,向量维度与词数量相同,每个向量中某一维度的值是1,其余值都是0. 独热编码虽然简单,但不能体现出词与词之间的关系,并且当词量过大时,会出现维度灾难及向量十分稀疏的情况. 分布式的表示方法则可以将词表示为固定长度、稠密、互相存在语义关系的向量,这类方法也称为词嵌入. MIKOLOV等[12]提出了Word2Vec框架,包含Skip-Gram和Cbow算法,分别用单词来预测上下文和用上下文来预测单词. PENNINGTON 等[13]提出的GloVe方法,同时考虑到了局部信息和全局统计信息,根据词与词之间的共现矩阵来表示词向量.深度学习方法已经成为文本分类的主流方法. KIM等[4]使用包含卷积结构的CNN来分类文本,将文本映射成向量,并将向量输入到模型,通过卷积层提取特征、池化层对特征采样,但CNN没有时序性,忽略了局部信息之间的依赖关系. 循环神经网络(RNN)则从左到右浏览每个词向量,保留每个词的数据,可以为模型提供整个文本的上下文信息,但RNN计算速度较慢,且存在梯度消失等问题. 作为RNN的一种变体,长短期记忆网络(LSTM)通过过滤无效信息,有效缓解了梯度消失问题,更好地捕获长距离的依赖关系. 而BiLSTM由一个前向的LSTM和一个后向的LSTM组成,能够捕获双向语义依赖.1.2 BERT预训练模型。
一种新的语法研究方法论——构式语法(construction grammar)理论构式语法的思想最早是由格语法的创始者Fillmore (1990)提出来的,后经 Adele E. Goldberg(1995)和 Paul Kay (1995)等学者的研究而越见深入,其中以Goldberg的研究成果最引人注意,她是一位年轻的女性学者,也是认知语言学的泰斗LAKOFF的高徒,现为普林斯顿大学的语言学教授。
她的博士论文是《A Construction:Grammar Approach to Argument Structure》,后经整理在美国出版,现在成为构式语法理论的代表性著作。
本书今年三月已由北大出版社出版,译者吴海波,书的中文译名是《构式:论元结构的构式语法研究》。
构式语法的基本观点是:假设C 是一个独立的构式,当且仅当 C 是一个形式(Fi)和意义(Si)的对应体,而无论是形式或意义的某些特征,都不能完全从C这个构式的组成成分或另外的先前已有的构式推知。
Goldberg所说的构式范围比较广,不仅包括一般所说的句式,也包括成语、复合词、语素等。
从句式这个平面说,按 Goldberg的构式语法理论,句式有独立的语义,因此一个句子的意义,并不能只根据组成句子的词语的意义、词语之间的结构关系或另外的先前已有的句式所能推知,句式本身也表示独立的意义,并将影响句子的意思。
举例说明。
现汉中有一类表示存在义的句式(存现句):NP1+V+着+NP2,如(A)台上坐着主席团。
(B)墙上挂着一幅画。
这种句式有三个特点:1、主语和宾语的置位。
2、B类句式的施事者的隐藏。
3、按说句法成分的语义角色不同,所造成的语法意义有差异,但A类句式的宾语角色是施事,而B类句式的宾语角色是受事,但是两种句式的语法意义一致,怎么解释这种现象?针对这三个问题,生成语法学有三种理论解释:一是“句式变异说”,二是“动词变异说”,即由一元变为二元,三是“轻动词说”。
英语教学中wh问句树形结构图解析法
英语教学中的wh问句树形结构图解析法是一种近年来逐渐兴起
的英语教学方法,它充分利用了树形结构图的力量,将复杂的问题结构分解成若干个有层次的子问题,以便学生们更容易理解。
首先,这种方法能够帮助学生们更准确、更有条理地学习英语。
它能够把一个复杂的问题,比如一句英文句子,分解成若干子问题,这样学生们能够一层层地剖析每一个问题,而不会受到复杂性的困扰。
其次,它能够有效地帮助学生们学习更大型的语言文本,比如关于某一个话题的长文本。
它能够把一篇文章分解成一个个子问题,比如事实、原因、结果等等,从而使学生们更加清晰地看清文章的结构,从而更好地理解文章的内容。
此外,这种方法还可以有效地运用到实际教学中。
在课堂上,教师可以让学生们用树形结构图来分解复杂的句子,从而帮助他们更好地理解句子的内容。
此外,教师还可以使用树形结构图来帮助学生们分析长文本的结构,以便更好地理解文章的内容。
最后,这种方法也可以在写作教学中得到应用。
学生们可以先用树形结构图分解出文章的框架,从而有效地把握文章的主要思路,细化文章的想法,最终写出一篇高质量的文章。
综上所述,英语教学中的wh问句树形结构图解析法是一种新兴
的教学方法,它能够有效地帮助学生们理解英语,并且逐渐被运用到实际教学中,有着许多优点。
未来,它可能会得到更多的应用,并帮助更多的学生提高他们的英语水平。
2021-03文艺生活LITERATURE LIFE说文解字语言加工视角下wh-双子句习得不对称性研究综述李莉刘红艳(怀化学院外国语学院,湖南怀化418008)摘要:从语言加工的视角来探讨wh-问句习得的各类不对称现象已成为二语习得研究的一个热点。
近年来心理语言学和语言习得领域对学习者如何在符合语法的wh-双子句进行语言加工做了大量的研究。
本文通过对wh-双子句习得不对称性研究进行文献综述,为语言加工该类结构的后续不对称性研究做铺垫。
关键词:wh-双子句;不对称;语言加工中图分类号:H319.3文献标识码:A文章编号:1005-5312(2021)09-0066-02DOI:10.12228/j.issn.1005-5312.2021.09.032一、前言大脑的语言加工处理机制即语言分析器和内在语法之间的相互作用是语言学和自然语言加工领域的热门研究课题。
早在一些研究者探讨毗邻原则及普遍语法可及性问题时便发现高级英语学习者,甚至英语本族语者在语法判断中对符合语法的主语和宾语wh-双子句(即含有两个分句的问句)如例(1)a-b的接受程度不同(Juffs2005)。
这两类wh-双子句在英语中都完全合法,故该现象不能解释为学习者语言能力的缺陷,因从语言加工的视角来探讨此类不对称习得已成为二语习得研究的一个热点。
(1)a.Whoi did Ellen believe ei met Mark?(主语问句)b.Whoi did Ellen believe Mark met ei?(宾语问句)二、主/宾不对称一语有关研究主要探讨英语儿童在习得wh-单子句(即含有一个分句的问句)如(2)a和(2)b的习得顺序(Yoshinaga, 1996)。
研究发现,即使英语儿童在习得了wh-单子句很长一段时间后,他们仍表现出对主语问句如(2)a的偏好。
(2)a.Who is hitting John?(主语wh-单子句)b.Who is John hitting?(宾语wh-单子句)二语习得中此类研究大都采用语法判断来探讨高级英语学习者对英语wh-双子句例(1)a-b的习得情况(Juffs2005),他们发现二语中主宾偏好与一语中的截然相反,受试者在语法判断中体现出对宾语提取句的偏好。
英语双宾语构式的语法语义微探曾望【摘要】英语双宾语结构是一种特殊的语法结构,是语言学家研究的热点.该构式所表达的核心语义是施事通过某种行为让客体向接受者成功传递,但还存在其他引申意义.从认知语言学的角度,借助一些实例来研究英语双宾语结构,发现该构式还可表达意欲传递、隐喻传递、否定传递等意义,具有语义的多义性.【期刊名称】《中南林业科技大学学报(社会科学版)》【年(卷),期】2014(008)006【总页数】3页(P154-156)【关键词】英语;双宾语结构;多义性【作者】曾望【作者单位】湖南涉外经济学院,湖南长沙410205【正文语种】中文【中图分类】H314“构式”一词近年来广受关注,简而言之就是指形式和意义的配对。
其形式有语音、文字和结构等,内容有语义、语用和话语等功能。
认知语言学家们把构式看成是音义结合的语言单位[2]。
Goldberg是构式语法的代表,她认为构式是形式和意义的结合体或“形式与功能的结合体”。
构式不仅是一个语法概念,而且还是意义和形式的匹配,即使具体词语缺席,构式也具有与形式相对应的意义和语用功能。
一直以来,双宾语构式都是语言学家研究的重点之一。
双宾语动词是指可以同时带两个宾语的动词,一个指人为间接宾语;另一个宾语指物,它是直接宾语。
某事件中所得某客体或损失某客体的人是间接宾语,而动作行为或事件所涉及的事或人是直接宾语,两个宾语分别跟谓语发生动宾关系[3]。
Goldberg认为英语中大部分双宾语构式表达“给予”类事件时,就是指事件中客体所有权右向的转移[1]。
而近年来又有很多学者认为双及物结构是一个构式,它的核心意义是“有意向的所有权转移”(Goldberg 1995,徐盛桓2001,张伯江1999,张宁1999)。
研究表明英语中大部分双宾语构式都是表达“给予”类事件, 语法意义是“物件或效果的传递”。
一般来说,在英语中要表示客体所有权向右向传递,是通过动词接两个宾语进行结构表述。