Python数据可视化入门


阅读数: 次   

EverydayOneCat

0f1d026a0e6a1785c7252b60dc2fcf3ef2665c2d

1. Flask入门

1.1 关于Flask

Flask诞生于2010年，是Armin ronacher（人名）用Python语言基于Werkzeug工具箱编写的轻量级Web开发框架。它主要面向需求简单的小应用。

Flask本身相当于一个内核，其他几乎所有的功能都要用到扩展（邮件扩展Flask-Mail，用户认证Flask- Login），都需要用第三方的扩展来实现。比如可以用Flask-extension加入ORM、窗体验证工具，文件 上传、身份验证等。Flask没有默认使用的数据库，你可以选择MySQL，也可以用NoSQL。其 WSGI 工具箱采用 Werkzeug（路由模块） ，模板引擎则使用 Jinja2 。

可以说Flask框架的核心就是Werkzeug和Jinja2。

Python最出名的框架要数Django，此外还有Flask、Tornado等框架。虽然Flask不是最出名的框架，但是Flask应该算是最灵活的框架之一，这也是Flask受到广大开发者喜爱的原因。

1.2入门Demo

新建Flask项目，直接在Pycharm选中对应即可

image-20201104155806109

创建完了即可直接运行

1
2
3
4
5
@app.route('/')
def hello_world():
    return 'Hello World!'
if __name__ == '__main__':
    app.run()

接着我们进入http://127.0.0.1:5000/即可发现Hello World

我们可以启动Flask的Debug模式，该模式类似于热部署，这样每次改动不就用每次都重启项目。

image-20201104160116840

image-20201104160128953

有时我们需要将同一类URL映射到同一个视图函数处理，比如：使用同一个视图函数 来显示不同用户的个人信息。

通过向规则参数添加变量部分，可以动态构建URL。此变量部分标记为。它作为关键字参数传递给与规则相关联的函数。

1
2
3
4
5
6
7
@app.route('/user/<name>')
def welcome(name):
    return "你好 %s"%name

@app.route('/user/<int:id>')
def welcome2(id):
    return "欢迎 %d 号会员"%id

1.3模板

Flask使用Jinja2这 个模板引擎来渲染模板。Jinja2能识别所有类型的变量，包括{}。 Jinja2模板引擎，Flask提供的render_template函数封装了该模板引擎，render_template函数的第一个参数是模板的文件名，后面 的参数都是键值对，表示模板中变量对应的真实值。

在templates文件夹中创建index.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
现在时间:{{ time }}<br>
今天值班的有:<br>
    {% for data in name %}
        <li>{{ data }}</li>
    {% endfor %}

任务:<br>
    <table>
        {% for key,value in task.items() %}
        <tr>
            <td>{{ key }}</td>
            <td>{{ value }}</td>
        </tr>
        {% endfor %}
    </table>
</body>
</html>

app.py添加函数：

1
2
3
4
5
6
7
#模板
@app.route('/')
def index():
    time =datetime.date.today()
    name = ["张三","王五","李四"]
    task = {"任务":"打扫房间","时间":"3h"}
    return render_template("index.html",time=time,name=name,task=task)

1.4表单提交

1
2
3
4
5
6
7
8
9
10
11
#表单提交
@app.route('/register')
def register():
    return render_template("register.html")

#需要指定接受Post请求，否则默认为Get
@app.route('/result',methods=['POST','GET'])
def result():
    if request.method == 'POST':
        result = request.form
        return render_template("result.html",result = result)

result.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<table border = 1>
{% for key, value in result.items() %}
        <tr>
        <th> {{ key }} </th>
        <td> {{ value }} </td>
        </tr>
{% endfor %}
</table>

</body>
</html>

1.5豆瓣数据可视化Flask应用

这里的movie.db用的是上篇博文中的结果，详情参见

这里Flask应用主要是接受页面的请求用来跳转页面，并把需要的数据传进去

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
from flask import Flask,render_template
import sqlite3

app = Flask(__name__)


@app.route('/')
def hello_world():
    return render_template("index.html")

@app.route('/index')
def index():
    return render_template("index.html")

@app.route('/judge')
def judge():
    return render_template("judge.html")

@app.route('/movie')
def movie():
    dataList = []
    conn = sqlite3.connect('movie.db')
    cur = conn.cursor()
    sql = "select * from movie250"
    data = cur.execute(sql)
    for item in data:
        dataList.append(item)
    cur.close()
    conn.close()

    return render_template("movie.html",movies = dataList)

@app.route('/team')
def team():
    return render_template("team.html")

@app.route('/word')
def word():
    return render_template("word.html")


if __name__ == '__main__':
    app.run()

模板的应用——movie.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<table class="table table-striped">
    <tr>
        <td>排名</td>
        <td>中文名称</td>
        <td>外国名称</td>
        <td>评分</td>
        <td>评价人数</td>
        <td>概述</td>
        <td>其他信息</td>
    </tr>

    {% for movie in movies %}
    <tr>
        <td>{{movie[0]}}</td>
        <td>
            <a href="{{ movie[1] }}" target="_blank">
                {{movie[3]}}
            </a>
        </td>
        <td>{{movie[4]}}</td>
        <td>{{movie[5]}}</td>
        <td>{{movie[6]}}</td>
        <td>{{movie[7]}}</td>
        <td>{{movie[8]}}</td>
    </tr>
    {% endfor %}
</table>

效果：

image-20201104161158398

2.Echarts应用

官方中文网址：https://echarts.apache.org/zh/index.html

2.1官方入门案例

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
<!DOCTYPE html>
<html>
<head>
    <meta charset="utf-8">
    <title>ECharts</title>
    <!-- 引入 echarts.js -->
    <script src="echarts.min.js"></script>
</head>
<body>
    <!-- 为ECharts准备一个具备大小（宽高）的Dom -->
    <div id="main" style="width: 600px;height:400px;"></div>
    <script type="text/javascript">
        // 基于准备好的dom，初始化echarts实例
        var myChart = echarts.init(document.getElementById('main'));

        // 指定图表的配置项和数据
        var option = {
            title: {
                text: 'ECharts 入门示例'
            },
            tooltip: {},
            legend: {
                data:['销量']
            },
            xAxis: {
                data: ["衬衫","羊毛衫","雪纺衫","裤子","高跟鞋","袜子"]
            },
            yAxis: {},
            series: [{
                name: '销量',
                type: 'bar',
                data: [5, 20, 36, 10, 10, 20]
            }]
        };

        // 使用刚指定的配置项和数据显示图表。
        myChart.setOption(option);
    </script>
</body>
</html>

2.2豆瓣数据可视化Echarts应用

这里我们主要将Echarts应用于评分的可视化

修改app.py的judge函数：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
@app.route('/judge')
def judge():
    score = []
    num = []
    conn = sqlite3.connect('movie.db')
    cur = conn.cursor()
    sql = "select score,count(score) from movie250 group by score"
    data = cur.execute(sql)
    for item in data:
        score.append(item[0])
        num.append(item[1])
    cur.close()
    conn.close()

    return render_template("judge.html",score=score,num=num)

我们根据官方给的实例进行自定义修改

image-20201104161722841

放入html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
<!-- ======= Our Team Section ======= -->
<section id="team" class="team">
    <div class="container">

        <div class="section-title">
            <h2>豆瓣电影Top250评分分布图</h2>
        </div>

        <!-- 为ECharts准备一个具备大小（宽高）的Dom -->
        <div id="main" style="width: 100%;height:400px;"></div>

    </div>
</section><!-- End Our Team Section -->

 <script type="text/javascript">
        // 基于准备好的dom，初始化echarts实例
        var myChart = echarts.init(document.getElementById('main'));

        // 指定图表的配置项和数据
        var option = {
           color:['#3398DB'],
            xAxis: {
                type: 'category',
                data: {{ score|tojson }}
            },
            yAxis: {
                type: 'value'
            },

             grid: {
                left: '3%',
                right:'4%',
                bottom:'6%',
                containLabel:true
            },
            series: [{
                data: {{ num }},
                barWidth:'50%',
                type: 'bar',
                showBackground: true,
                backgroundStyle: {
                    color: 'rgba(220, 220, 220, 0.8)'
                }
            }]
        };

        // 使用刚指定的配置项和数据显示图表。
        myChart.setOption(option);
 </script>

效果：

image-20201104161841502

3.WordCloud应用

3.1导包

1
2
3
4
5
6
import jieba
from matplotlib import pyplot as plt    #绘图，数据可视化
from wordcloud import WordCloud     #词云
from PIL import Image       #图片处理
import numpy as np      #矩阵运算
import sqlite3

3.2读取数据库

1
2
3
4
5
6
7
8
9
10
11
conn = sqlite3.connect('../movie.db')
cur = conn.cursor()
sql = "select introduction from movie250"
data = cur.execute(sql)
text = ''
for item in data:
    text += item[0]
# print(text)

cur.close()
conn.close()

3.3分词

1
2
3
4
#分词
cut = jieba.cut(text)
string = ' '.join(cut)  #切好的词
print(len(string))

3.4词云

1
2
3
4
5
6
7
8
9
10
#词云
img = Image.open('tree.jpg')    #打开遮罩图片
# print(img)
img_array = np.array(img)   #将图片转为自组，方便后面词云的创建
wc = WordCloud(
    background_color='white',
    mask=img_array,
    font_path="msyh.ttc"    #字体所在位置C:\Windows\Fonts，这个是微软雅黑
)
wc.generate_from_text(string) #放入切好的词

3.5绘图

1
2
3
4
5
6
7
8
9
#绘制图片
fig = plt.figure(1)
plt.imshow(wc)
plt.axis('off')     #是否显示坐标轴

# plt.show()  #显示生成词云图片

#输出词云图片到文件
plt.savefig('word.jpg',dpi=450)

image-20201104200038116

3.6WordCloud配置

WordCloud个参数的含义：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
font_path : string #字体路径，需要展现什么字体就把该字体路径+后缀名写上，如：font_path= '黑体.ttf'

width : int (default=400) #输出的画布宽度，默认为400像素height : int (default=200) #输出的画布高度，默认为200像素

prefer_horizontal : float (default=0.90) #词语水平方向排版出现的频率，默认 0.9 （所以词语垂直方向排版出现频率为 0.1 ）

mask : nd-array or None (default=None) #如果参数为空，则使用二维遮罩绘制词云。如果mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云。如：bg_pic = imread('读取一张图片.png')，背景图片的画布一定要设置为白色（#FFFFFF），然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存，就ok了。

scale : float (default=1) #按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍min_font_size : int (default=4) #显示的最小的字体大小

font_step : int (default=1) #字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差

max_words : number (default=200) #要显示的词的最大个数

stopwords : set of strings or None #设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS

background_color : color value (default=”black”) #背景颜色，如background_color='white',背景颜色为白色

max_font_size : int or None (default=None) #显示的最大的字体大小

mode : string (default=”RGB”) #当参数为“RGBA”并且background_color不为空时，背景为透明relative_scaling : float (default=.5) #词频和字体大小的关联性

color_func : callable, default=None #生成新颜色的函数，如果为空，则使用 self.color_func regexp : string or None (optional) #使用正则表达式分隔输入的文本

collocations : bool, default=True #是否包括两个词的搭配

colormap : string or matplotlib colormap, default=”viridis” #给每个单词随机分配颜色，若指定color_func，则忽略该方法

random_state : int or None #为每个单词返回一个PIL颜色

fit_words(frequencies) #根据词频生成词云generate(text) #根据文本生成词云

generate_from_frequencies(frequencies[, ...]) #根据词频生成词云generate_from_text(text) #根据文本生成词云

process_text(text)  #将长文本分词并去除屏蔽词（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit_words(frequencies) ）

recolor([random_state, color_func, colormap]) #对现有输出重新着色。重新上色会比重新生成整个词云快很多

to_array() #转化为 numpy array to_file(filename) #输出到文件

4.成果

首页：

image-20201104201750887

电影：

image-20201104201807310

评分：

image-20201104201821267

词云：

image-20201104201843212

团队：

image-20201104201858532

结语

努力真的有结果吗

还是，我努力了

但却太菜

毫无开花的果😌

赏

谢谢你请我吃糖果

支付宝
微信

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

很惭愧<br><br>只做了一点微小的工作<br>谢谢大家