潜在语义分析（LSA）是用于通过应用于大型文本语料库的统计计算来提取和表示单词的上下文使用含义的理论和方法。

LSA是一种信息检索技术，它分析和识别非结构化文本集合中的模式以及它们之间的关系。

LSA本身是一种无监督的方式来发现文档集合中的同义词。

首先，我们来看看在自然语言处理中如何使用潜在语义分析来分析一组文档与它们包含的术语之间的关系。然后我们进一步分析和分类情绪。让我们开始把！

数据

该数据集包含超过500，000条来自亚马逊的精美食品评论，可从Kaggle下载。（需要注册才能下载哦）

import pandas as pd

df = pd.read_csv('Reviews.csv')

df.head()

TFIDF

TF-IDF是一种信息检索技术，它对术语的频率（TF）和逆文档频率（IDF）进行加权。每个单词都有各自的TF和IDF分数。单词的TF和IDF分数的乘积称为该单词的TFIDF权重，

简而言之，TFIDF得分（重量）越高，该词越少，反之亦然。

from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer()

tfidf.fit(df['Text'])

X = tfidf.transform(df['Text'])

df['Text'][1]

参考上面的句子，我们可以查看这句话中几个单词的tf-idf分数。

print([X[1,tfidf.vocabulary_['peanuts']]])

[0.37995462060339136]

print([X[1,tfidf.vocabulary_['jumbo']]])

[0.530965343023095]

print([X[1,tfidf.vocabulary_['error']]])

[0.2302711360436964]

在“花生”，“巨型”和“错误”这三个词中，tf-idf赋予“巨型”最高权重。为什么？这表明“巨型”比“花生”和“错误”更为罕见。这是如何使用tf-idf来指示文档集合中的单词或术语的重要性。

情感分类

为了对情绪进行分类，我们删除中性分数3，然后将分数4和5分组为正（1），将分数1和2分为负数（0）。简单清理后，这是我们要使用的数据。

import numpy as np

df.dropna(inplace=True)

df[df['Score'] != 3]

df['Positivity'] = np.where(df['Score'] > 3,1,0)

cols = ['Id','ProductId','UserId','ProfileName','HelpfulnessNumerator',

'HelpfulnessDenominator','Score','Time','Summary']

df.drop(cols,axis=1,inplace=True)

df.head()

训练集测试集分拆

from sklearn.model_selection import train_test_split

X = df.Text

y = df.Positivity

X_train, X_test, y_train, y_test = train_test_split(X,y,random_state=0)

print("Train set has total {0} entries with {1:.2f}% negative,{2:.2f}% positive".format(len(X_train),

(len(X_train[y_train==0])/(len(X_train)*1.))*100,

(len(X_train[y_train==1])/(len(X_train)*1.))*100))

训练总数为426308，其中21.91%为负，78.09%为正。

print("Test set has total {0} entries with {1:.2f}% negative,

{2:.2f}% positive".format(len(X_test),

(len(X_test[y_test==0])/(len(X_test)*1.))*100,

(len(X_test[y_test==1])/(len(X_test)*1.))*100))

测试总数为142103，其中21.99%为负，78.01%为正。

您可能已经注意到我们的课程是不平衡的，负面与正面实例的比例是22：78。

解决不平衡类的策略之一是使用决策树算法，因此，我们使用随机森林分类器来学习不平衡数据并设置class_weight=balanced。

首先，定义一个函数来print出准确度分数。

from sklearn.feature_extraction.text import CountVectorizer

from sklearn.ensemble import RandomForestClassifier

from sklearn.pipeline import Pipeline

from sklearn.metrics import accuracy_score

def accuracy_summary(pipeline,X_train,y_train,X_test,y_test):

sentiment_fit=pipeline.fit(X_train,y_train)

y_pred=sentiment_fit.predict(X_test)

accuracy=accuracy_score(y_test,y_pred)

print("accuracy score:{0:.2f}%".format(accuracy*100))

return accuracy

要进行有效的情绪分析或解决任何NLP问题，我们需要很多功能。要弄清楚确切的功能数量并不容易。所以我们要尝试10000到30000。并print出与功能数量相关的准确度分数。

cv = CountVectorizer()

rf = RandomForestClassifier(class_weight="balanced")

n_features=np.arange(10000,30001,10000)

def nfeature_accuracy_checker(vectorizer=cv,n_features=n_features,

stop_words=None,ngram_range=(1,1),classifier=rf):

result=[]

print(classifier)

print("\n")

for n in n_features:

vectorizer.set_params(stop_words=stop_words,max_features=n,

ngram_range=ngram_range)

checker_pipeline=Pipeline([

('vectorizer',vectorizer),

('classifier',classifier)

])

print("Test result for {} features".format(n))

nfeature_accuracy=accuracy_summary(checker_pipeline,

X_train,y_train,X_test,y_test)

result.append((n,nfeature_accuracy))

return result

tfidf=TfidfVectorizer()

print("Result for trigram with stop words (Tfidf)\n")

feature_result_tgt =

nfeature_accuracy_checker(vectorizer=tfidf,ngram_range=(1,3))

太好了！

在我们完成之前，我们应该检测一下分类。

from sklearn.metrics import classification_report

cv = CountVectorizer(max_features=30000,ngram_range=(1,3))

pipeline=Pipeline([

('vectorizer',cv),

('classifier',rf)

])

sentiment_fit=pipeline.fit(X_train,y_train)

y_pred=sentiment_fit.predict(X_test)

print(classification_report(y_test,y_pred,target_names=['negative','positive']))

Chi-Squared用于特征选择

特征选择是机器学习中的一个重要问题。我将向您展示在我们的大规模数据集上进行基于卡方检验的特征选择是多么简单。

我们将计算所有特征的卡方分数，并可视化前20个，这里的术语或单词或N-gram是特征，正面和负面是两个类。给定一个特征X，我们可以使用卡方检验来评估其区分类的重要性。

from sklearn.feature_selection import chi2

import matplotlib.pyplot as plt

%matplotlib inline

plt.figure(figsize=(12,8))

scores=list(zip(tfidf.get_feature_names(),chi2score))

chi2=sorted(scores, key=lambda x:x[1])

topchi2=list(zip(*chi2[-20:]))

x=range(len(topchi2[1]))

labels=topchi2[0]

plt.barh(x,topchi2[1],align='center',alpha=0.5)

plt.plot(topchi2[1],x,'-o',markersize=5,alpha=0.8)

plt.yticks(x,labels)

plt.xlabel('$\chi^2$')

plt.show()

我们可以观察到，具有高χ2的特征可以被认为与我们正在分析的情感类相关。

例如，通过卡方检验选择的前5个最有用的特征是“不”，“失望”，“非常失望”，“不买”和“最差”。我认为它们大多来自负面评论。卡方检验选择的下一个最有用的功能是“很棒”，这肯定来自正面评价。

今天就是这样，很高兴听到任何问题或反馈。