畢業(yè)設計 情感分析的網(wǎng)絡輿情熱點分析系統(tǒng)
0 前言
?? 這兩年開始畢業(yè)設計和畢業(yè)答辯的要求和難度不斷提升，傳統(tǒng)的畢設題目缺少創(chuàng)新和亮點，往往達不到畢業(yè)答辯的要求，這兩年不斷有學弟學妹告訴學長自己做的項目系統(tǒng)達不到老師的要求。
為了大家能夠順利以及最少的精力通過畢設，學長分享優(yōu)質(zhì)畢業(yè)設計項目，今天要分享的是
?? ?基于情感分析的網(wǎng)絡輿情熱點分析系統(tǒng)
??學長這里給一個題目綜合評分(每項滿分5分)
難度系數(shù)：3分
創(chuàng)新點：3分
界面美化：5分
畢設幫助，選題指導，技術解答，歡迎打擾，見B站個人主頁
https://space.bilibili.com/33886978
1 課題背景
精神文明日益發(fā)展的今天, 出行旅游成為人們的主要休閑方式和社會經(jīng)濟活動, 旅游業(yè)不僅能推動多個產(chǎn)業(yè)的發(fā)展, 調(diào)節(jié)產(chǎn)業(yè)結構, 同時也滿足了人們?nèi)找嬖鲩L的文化需要。其越來越成為國民經(jīng)濟的重要支撐。相關數(shù)據(jù)顯示, 疫情平穩(wěn)期間的旅游人數(shù)仍然穩(wěn)中有增。而與之相對應的是海量的無序化旅游數(shù)據(jù)日益激增。針對有效旅游數(shù)據(jù)進行準確分析、 合理預測有助于制定與旅游發(fā)展相關的規(guī)劃, 同時能有效地幫助后續(xù)在旅游設施分配和資源調(diào)度等方面上制定明智的決策, 發(fā)揮旅游信息價值的最大化。由此可知, 旅游經(jīng)濟的發(fā)展與對數(shù)據(jù)的合理分析是密不可分的。
2 數(shù)據(jù)處理
采用Python爬蟲技術對某大同市旅游景點數(shù)據(jù)進行采集，用Python中的Pandas庫對采集到的數(shù)據(jù)進行整理, 首先將旅游數(shù)據(jù)轉(zhuǎn)化成DataFrame格式, 再從多個維度和角度進行處理分析。使用isnull函數(shù)選取查看缺失值占總數(shù)據(jù)百分比大于90%的列名及其數(shù)值, 認為它在數(shù)據(jù)分析中提供極其有限信息, 所以直接刪除。對缺失數(shù)據(jù)采用fillna函數(shù)根據(jù)數(shù)據(jù)的不同類型進行了固定值填充, 異常值(也稱為離群值)檢測是一個重要的部分, 用duplicated函數(shù)表示重復行的布爾系列值, 返回缺失總數(shù)后進行去重。 采用選擇(loc)、 分組(groupby)、 連接(merge)、 匯總統(tǒng)計(mean)等方法進行數(shù)據(jù)的統(tǒng)計與處理。處理完后利用其自帶接口將數(shù)據(jù)存入到mysql數(shù)據(jù)庫中。
3 文本情感分析
3.1 情感分析-詞庫搭建
通過對大量中文文本及人物會話分析，發(fā)現(xiàn)文本情感的判定基本上通過對通篇的情感詞、程度副詞及否定詞的統(tǒng)計分布來判別，因此，我們搭建了基于情感分析的情感詞庫以及其它輔助詞表。如下圖所示
3.2 文本情感分析實現(xiàn)
情感傾向性將文本分為正面、負面、中性三種情感屬性，通常由正、負面，以及強弱程度來衡量。本文通過中文分詞處理，基于情感詞典構建情感表，為每一個分詞打分，從而判斷判別情感傾向，文本情感分析的流程如下圖所示。
3.3 建立情感傾向性分析模型
通過建立以上基礎情感詞庫作為分析基礎，我們對采集的微博網(wǎng)友評論做情感傾向分析，我們將用戶評論簡單的分為三類
正面情緒
負面情緒
中性
4 數(shù)據(jù)可視化工具
4.1 django框架介紹
數(shù)據(jù)可視化是數(shù)據(jù)處理中的重要部分
Django是一個基于Web的應用框架，由python編寫。Web開發(fā)的基礎是B/S架構，它通過前后端配合，將后臺服務器的數(shù)據(jù)在瀏覽器上展現(xiàn)給前臺用戶的應用。Django本身是基于MVC模型，即Model（模型）+View（視圖）+ ?Controller（控制器）設計模式，View模塊和Template模塊組成了它的視圖部分，這種結構使動態(tài)的邏輯是剝離于靜態(tài)頁面處理的。 ?Django框架的Model層本質(zhì)上是一套ORM系統(tǒng)，封裝了大量的數(shù)據(jù)庫操作API，開發(fā)人員不需要知道底層的數(shù)據(jù)庫實現(xiàn)就可以對數(shù)據(jù)庫進行增刪改查等操作。Django強大的QuerySet設計能夠?qū)崿F(xiàn)非常復雜的數(shù)據(jù)庫查詢操作，且性能接近原生SQL語句。Django支持包括PostgreSQL、My Sql、SQLite、Oracle在內(nèi)的多種數(shù)據(jù)庫。Django的路由層設計非常簡潔，使得將控制層、模型層和頁面模板獨立開進行開發(fā)成為可能?；贒jango的Web系統(tǒng)工程結構示意圖如圖所示。
從圖中可以看到，一個完整的Django工程由數(shù)個分應用程序組成，每個分應用程序包括四個部分：
(1)urls路由層：決定Web系統(tǒng)路由結構，控制頁面間的跳轉(zhuǎn)和數(shù)據(jù)請求路徑
(2)views視圖層：業(yè)務層，主要進行邏輯操作和運算，是前端頁面模板和后端數(shù)據(jù)庫之間的橋梁。Django框架提供了大量的數(shù)據(jù)庫操作API，開發(fā)人員甚至不需要使用SQL語句即可完成大部分的數(shù)據(jù)庫操作。
(3)models模型層：Web應用連接底層數(shù)據(jù)庫的關鍵部分，封裝了數(shù)據(jù)庫表結構和實現(xiàn)。開發(fā)人員可以在Model層按照Django的指令要求進行建表，無須使用SQL語句或者第三方建表工具進行建表。建表的過程類似于定義變量和抽象編程語言中的類，非常方便。
(4)templates模板層：HTML模板文件，后端數(shù)據(jù)會填充HTML模板，渲染之后返回給前端請求?？紤]到項目周期盡可能小，盡快完成平臺的搭建，項目決定采用開源的Django框架開發(fā)整個系統(tǒng)的Web應用層。
4.2 ECharts
ECharts（Enterprise Charts）是百度開源的數(shù)據(jù)可視化工具，底層依賴輕量級Canvas庫ZRender。兼容了幾乎全部常用瀏覽器的特點，使它可廣泛用于PC客戶端和手機客戶端。ECharts能輔助開發(fā)者整合用戶數(shù)據(jù)，創(chuàng)新性的完成個性化設置可視化圖表。支持折線圖（區(qū)域圖）、柱狀圖（條狀圖）、散點圖（氣泡圖）、K線圖、餅圖（環(huán)形圖）等，通過導入 js 庫在 Java Web 項目上運行。
5 Django使用echarts進行可視化展示
5.1 修改setting.py連接mysql數(shù)據(jù)庫
# settings.py 文件
DATABASES = {
? ?'default': {
? ? ? ?'ENGINE': 'django.db.backends.sqlite3',
? ? ? ?'NAME': BASE_DIR / 'db.sqlite3',
? ?}
}
5.2 導入數(shù)據(jù)
導入.sqlite3文件，也可以使用超級用戶在 admin 管理頁面中添加數(shù)據(jù)
import requests
from django.db import models
# Create your models here.
# 熱點文章
class HotArticle(models.Model):
? ?article_bid = models.CharField('文章BID', max_length=100)
? ?article_uid = models.CharField('文章UID', max_length=100)
? ?article_id = models.CharField('文章ID', max_length=100)
? ?screen_name = models.TextField('用戶昵稱')
? ?text = models.TextField('微博正文')
? ?topics = models.TextField('話題')
? ?publish_time = models.DateTimeField('發(fā)布時間')
? ?location= models.TextField('發(fā)布位置')
? ?comments_count = models.IntegerField('評論數(shù)')
? ?reposts_count = models.IntegerField('轉(zhuǎn)發(fā)數(shù)')
? ?publish_tool = models.TextField('發(fā)布工具')
? ?class Meta:
? ? ? ?db_table = "hot_article"
? ? ? ?verbose_name = "熱點文章"
? ? ? ?verbose_name_plural = verbose_name
? ? ? ?ordering = ('id',)
# 用戶評論
class Comment(models.Model):
? ?article_uid = models.CharField('文章UID', max_length=100)
? ?article_id = models.CharField('文章ID', max_length=100)
? ?username = models.CharField('用戶名', max_length=100)
? ?text = models.TextField('評論內(nèi)容')
? ?publish_time = models.DateTimeField('發(fā)布時間')
? ?positive = models.BooleanField('是否積極', null=True, editable=False)
? ?prob = models.FloatField('積極估計概率', null=True, editable=False)
? ?def save(self, *args, **kwargs):
? ? ? ?from tools.nlpapi import sentiment
? ? ? ?if self.prob is None:
? ? ? ? ? ?prob = sentiment(self.text)
? ? ? ? ? ?self.prob = prob
? ? ? ? ? ?self.positive = prob >= 0.5
? ? ? ?super(Comment, self).save(*args, **kwargs)
? ?class Meta:
? ? ? ?db_table = "comment"
? ? ? ?verbose_name = "用戶評論"
? ? ? ?verbose_name_plural = verbose_name
? ? ? ?# unique_together = (
? ? ? ?# ? ? ('article_uid', 'article_id'),
? ? ? ?# )
? ? ? ?ordering = ('id',)
5.3 使用echarts可視化展示
設置靜態(tài)文件目錄（即 static 目錄）
# settings.py 文件
STATICFILES_DIRS=(os.path.join(BASE_DIR,'static'),)
創(chuàng)建如下目錄結構：
js 目錄中為 echarts的 js 文件，大家可以在 echarts官網(wǎng)下載自己需要的版本，index.html 文件內(nèi)容如下
#部分代碼，不完整
<!DOCTYPE html>
<html lang="en">
<head>
? ?<meta charset="UTF-8">
? ?<title>基于情感分析的網(wǎng)絡輿情熱點評估與分析系統(tǒng)</title>
? ?<link rel="stylesheet" href="/static/plugins/bootstrap-3.3.7-dist/css/bootstrap.css">
? ?<script type="text/javascript" src="/static/js/jquery.js"></script>
? ?{% block mainHead %}
? ?{% endblock %}
</head>
<body>
{% load static %}
?<nav class="navbar navbar-inverse">
? ?<div class="container-fluid">
? ? ?<!-- Brand and toggle get grouped for better mobile display -->
? ? ?<div class="navbar-header">
? ? ? ? <a class="navbar-brand" href="#">
? ? ? ? ?<img src="{% static 'images/logo.ico' %}" alt="logo" width=24 height=24>
? ? ? ?</a>
? ? ? ?<button type="button" class="navbar-toggle collapsed" data-toggle="collapse" data-target="#bs-example-navbar-collapse-1" aria-expanded="false">
? ? ? ? ?<span class="sr-only">Toggle navigation</span>
? ? ? ? ?<span class="icon-bar"></span>
? ? ? ? ?<span class="icon-bar"></span>
? ? ? ? ?<span class="icon-bar"></span>
? ? ? ?</button>
? ? ? ?<a class="navbar-brand" href="#">基于情感分析的網(wǎng)絡輿情熱點評估與分析系統(tǒng)</a>
? ? ?</div>
? ? ?<!-- Collect the nav links, forms, and other content for toggling -->
? ? ?<div class="collapse navbar-collapse" id="bs-example-navbar-collapse-1">
? ? ? ?<ul class="nav navbar-nav">
? ? ? ? ?<li class="active"><a href="/">首頁 <span class="sr-only">(current)</span></a></li>
? ? ? ? ?<li><a href="/weibo_hot_article/">微博熱點文章</a></li>
? ? ? ? ?<li><a href="/weibo_comment/">用戶評論情感分析</a></li>
? ? ? ?</ul>
<!-- ? ? ? ?<form class="navbar-form navbar-left">-->
<!-- ? ? ? ? ?<div>-->
<!-- ? ? ? ? ? ?<input type="text" placeholder="Search">-->
<!-- ? ? ? ? ?</div>-->
<!-- ? ? ? ? ?<button type="submit" class="btn btn-default">搜索</button>-->
<!-- ? ? ? ?</form>-->
? ? ? ?<ul class="nav navbar-nav navbar-right">
? ? ? ? ?<li><a href="/admin/" target="_blank">前往后臺</a></li>
? ? ? ?</ul>
? ? ?</div><!-- /.navbar-collapse -->
? ?</div><!-- /.container-fluid -->
?</nav>
? ?{% block mainbody %}
? ? ? <p>original</p>
? ?{% endblock %}
</body>
</html>
編寫 views.py 文件，將數(shù)據(jù)庫中的數(shù)據(jù)傳到前端頁面中
import json
from multiprocessing import connection
from sqlite3.dbapi2 import IntegrityError
from django.core import serializers
from django.core.serializers.json import DjangoJSONEncoder
from django.forms import model_to_dict
from django.http import HttpResponse, JsonResponse
from django.shortcuts import render
def index(request):
? ?# print(request.method) ?#獲取請求方式GET或POST
? ?return render(request, 'index.html') ?# 回復一個頁面
6 實現(xiàn)效果
使用的數(shù)據(jù)是處理好后已生成的.sqlite數(shù)據(jù)文件，現(xiàn)在，我們來看一下展示效果，運行
python manage.py runserver
畢設幫助，選題指導，技術解答，歡迎打擾，見B站個人主頁
https://space.bilibili.com/33886978
