本文目錄一覽:
- 1、Python SnowNLP情感分析實踐與優化總結
- 2、用python找文獻,並從文本中分析情緒,做一個數據分析
- 3、給了一堆數據 用python做文本情感分析 但是課題要求是事先將無意義的評論去處 這要怎麼做
- 4、怎樣用python處理文本情感分析
- 5、python情感分析怎麼擴展情緒類型
Python SnowNLP情感分析實踐與優化總結
由於語料缺乏,前期若使用到情感分析,建議暫時使用SnowNLP(此模塊主要使用淘寶評論語料)做情感挖掘,但不僅僅為單純調用,需要優化,下面是一些實踐思考:
可在此基礎上優化,比如文本需要特別處理,除了平常的去停用詞外,還可以需要對輸入的文本結合詞性等進行處理。
下面是一些常識:
一)無情感的詞語(如去停用詞,去掉語氣詞,無詞性標籤的詞語)
二)對於文本過長,則可以考慮提取關鍵詞或抽取文本摘要後再提取關鍵詞
對於後者實踐結果差異明顯:
以”發佈了頭條文章: 《5分鐘11億!京東雙11場景化產品消費增長明顯》 5分鐘11億!京東雙11場景化產品消費增長明顯 “為例子, 顯然該文本為「積極****」文本。
1)s = SnowNLP(”發佈了頭條文章:《5分鐘11億!京東雙11場景化產品消費增長明顯》 5分鐘11億!京東雙11場景化產品消費增長明顯”)
得分為0.5,明顯不符合
2)s = SnowNLP(「 」.join(jieba.analyse.textrank(“發佈了頭條文章:《5分鐘11億!京東雙11場景化產品消費增長明顯》 5分鐘11億!京東雙11場景化產品消費增長明顯”)))
而對於文本特別長的,則可以先抽取摘要,再對摘要提取關鍵詞。
這主要由於此SnowNLP主要用貝葉斯機器學習方法進行訓練文本,機器學習在語料覆蓋上不夠,特徵上工程處理不當會減分,也沒考慮語義等。
為何要考慮語義層面:
以「 蘇寧易購,是誰給你們下架OV的勇氣****」 中的「 下架」其實才是中心詞(為表達憤怒的文本),但「 勇氣 」為下架的賓語(其為積極的文本),此句應該結果小於0.5,但實際為0.88,去掉「蘇寧易購」則為0.6
用python找文獻,並從文本中分析情緒,做一個數據分析
到你的系統「終端」(macOS, Linux)或者「命令提示符」(Windows)下,進入我們的工作目錄demo,執行以下命令。
pip install snownlppip install -U textblobpython -m textblob.download_corpora
好了,至此你的情感分析運行環境已經配置完畢。
在終端或者命令提示符下鍵入:
jupyter notebook
你會看到目錄里之前的那些文件,忽略他們就好。
給了一堆數據 用python做文本情感分析 但是課題要求是事先將無意義的評論去處 這要怎麼做
既然你已經學到了數據分析,那麼基本的語法應該大都知道了吧。
這無非就是篩選數據的問題,先搞清楚什麼是「無意義的評論」,它滿足什麼條件,再遍歷評論,如果滿足這個「無意義」的條件,那麼就刪除掉就是了。
怎樣用python處理文本情感分析
Python 有良好的程序包可以進行情感分類,那就是Python 自然語言處理包,Natural Language Toolkit ,簡稱NLTK 。NLTK 當然不只是處理情感分析,NLTK 有着整套自然語言處理的工具,從分詞到實體識別,從情感分類到句法分析,完整而豐富,功能強大。
python情感分析怎麼擴展情緒類型
安裝snownlp。
WIN鍵+R輸入jupyternotebook。
我們使用的是SnowNLP,SnowNLP是一個用Python寫的可以方便的處理中文文本內容類庫,是受到了TextBlob的啟發而寫的。
原創文章,作者:小藍,如若轉載,請註明出處:https://www.506064.com/zh-hk/n/241808.html