WordCloud介绍

wordcloud是一个python实现的高效词频可视化工具,除了可以使用各种mask和颜色提供个性化的掩膜,还可以通过api便捷的挑战获得个性化的词云输出。

安装:

pip install wordcloud
  1. WordCloud 包含三个主要的api

    • WordCloud([font_path, width, height,...]) 最重要的函数生成和描绘词云。
    • ImageColorGenerator(image[, default_color]) 通过输入RGB图像获得彩色信息。
    • random_color_func([word, font_size,...]) 随机渲染颜色。
  2. API- wordclud.WordCloud
class wordcloud.WordCloud(
    font_path=None,  # 可指定词云的字体
    width=400, height=200, margin=2,  # 词云长宽 
    ranks_only=None,prefer_horizontal=0.9,  # 水平竖直方向的比例
    mask=None,scale=1,  # mask为词云的掩膜,可由图像突入二值BW图
    color_func=None,  # 定义颜色函数,可由ImageColorGenerator定义
    max_words=200,  # 最多显示的词数
    max_font_size=None, min_font_size=4,
    font_step=1,  # 定义最小最大字体及其变化步长
    stopwords=None, random_state=None,  # 待清除的词
    background_color='black',  # 定义背景颜色
    mode='RGB',  # RGBA时可以使得背景透明
    relative_scaling='auto',  # 词频与显示字体的相对大小
    regexp=None,  # 输入分词的正则表达式
    collocations=True,  #
    colormap=None,
    normalize_plurals=True,  # 单复数单词是否看成一致
    contour_width=0, contour_color='black',  # 边缘设置
    repeat=False    # 小于最大值时是否重复
    )
class WordCloud(object):
    def __init__(self, 
        font_path=None, 
        width=400, 
        height=200, 
        margin=2,
        ranks_only=None, 
        prefer_horizontal=.9, 
        mask=None, 
        scale=1,
        color_func=None, 
        max_words=200, 
        min_font_size=4,
        stopwords=None,
        random_state=None, 
        background_color='black',
        max_font_size=None, 
        font_step=1, 
        mode="RGB",
        relative_scaling=.5, 
        regexp=None, 
        collocations=True,
        colormap=None, 
        normalize_plurals=True
    ):
      pass

wordcloud 参数

font_path : string //字体路径,需要展现什么字体就把该字体路径+后缀名写上,如:font_path = '黑体.ttf'

width : int (default=400) //输出的画布宽度,默认为400像素

height : int (default=200) //输出的画布高度,默认为200像素

prefer_horizontal : float (default=0.90) //词语水平方向排版出现的频率,默认 0.9 (所以词语垂直方向排版出现频率为 0.1 )

mask : nd-array or None (default=None) //如果参数为空,则使用二维遮罩绘制词云。如果 mask 非空,设置的宽高值将被忽略,遮罩形状被 mask 取代。除全白(#FFFFFF)的部分将不会绘制,其余部分会用于绘制词云。如:bg_pic = imread('读取一张图片.png'),背景图片的画布一定要设置为白色(#FFFFFF),然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存,就ok了。

scale : float (default=1) //按照比例进行放大画布,如设置为1.5,则长和宽都是原来画布的1.5倍。

min_font_size : int (default=4) //显示的最小的字体大小

font_step : int (default=1) //字体步长,如果步长大于1,会加快运算但是可能导致结果出现较大的误差。

max_words : number (default=200) //要显示的词的最大个数

stopwords : set of strings or None //设置需要屏蔽的词,如果为空,则使用内置的STOPWORDS

background_color : color value (default=”black”) //背景颜色,如  background_color='white',背景颜色为白色。

max_font_size : int or None (default=None) //显示的最大的字体大小

mode : string (default=”RGB”) //当参数为“RGBA”并且background_color不为空时,背景为透明。

relative_scaling : float (default=.5) //词频和字体大小的关联性

color_func : callable, default=None //生成新颜色的函数,如果为空,则使用 self.color_func

regexp : string or None (optional) //使用正则表达式分隔输入的文本

collocations : bool, default=True //是否包括两个词的搭配

colormap : string or matplotlib colormap, default=”viridis” //给每个单词随机分配颜色,若指定color_func,则忽略该方法。

fit_words(frequencies)  //根据词频生成词云

generate(text)  //根据文本生成词云

generate_from_frequencies(frequencies[, ...])   //根据词频生成词云

generate_from_text(text)    //根据文本生成词云

process_text(text)  //将长文本分词并去除屏蔽词(此处指英语,中文分词还是需要自己用别的库先行实现,使用上面的   fit_words(frequencies) )

recolor([random_state, color_func, colormap])   //对现有输出重新着色。重新上色会比重新生成整个词云快很多。

to_array()  //转化为 numpy array

to_file(filename)   //输出到文件

实例代码

1.demo1
《呼啸山庄》原版Wuthering Heights.txt

# demo1:《呼啸山庄》词云展示
import matplotlib.pyplot as plt  # 导入画图包
from wordcloud import WordCloud  # 导入wordcloud api

text = open('./txt/WutheringHeights.txt', encoding='utf-8').read()  #
wordclud = WordCloud().generate(text)

# 显示词云
plt.imshow(wordclud, interpolation='bilinear')
plt.axis("off")
plt.show()

2.demo2

# 个性化词云
import cv2
import matplotlib.pyplot as plt
from wordcloud import WordCloud, ImageColorGenerator

text = open('./txt/WutheringHeights.txt', encoding='utf-8').read()
mask = cv2.imread('./font/img1.jpg')  #
image_colors = ImageColorGenerator(mask)   #
wc = WordCloud(
    font_path='./font/en/CabinSketch-Bold.ttf',  # 设置字体,可以从google/font下载
    background_color='white',  # 设置背景颜色
    mask=mask, 
    colormap='automn',  # 设置掩膜和colormap,会被color_func覆盖
    color_func=image_colors,  # 设置颜色生成函数
    repeat=True,
    contour_width=1, 
    contour_color='gold'  # 设置边框
    )
wc.generate(text)
plt.imshow(wc, interpolation='bilinear')
plt.axis("off")
plt.show()

3.demo3
流浪地球 原版流浪地球.txt

import jieba                      # 导入jieba包作为切分词语的工具
import matplotlib.pyplot as plt   # 导入画图包
from wordcloud import WordCloud   # 导入wordcloud api

text = open('./txt/流浪地球.txt', encoding='gbk').read()
cut_str = jieba.cut(text)  # 使用jieba分词进行 ->generator
text = r''.join(cut_str)   # 将分词结果组合为字符串

wordcloud = WordCloud(
    font_path='./fonts/zh/simhei.ttf',
    background_color='white',
    colormap='jet'
    ).generate(text)   # 利用text生成词云
# 必须设定中文字体才能显示 from: http://www.font5.com.cn/font_download.php?id=151&part=1237887120

# 显示词云
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

4.demo4

from wordcloud import WordCloud, ImageColorGenerator   # 导入wordcloud模块
import matplotlib.pyplot as plt                       # 导入matplotlib模块
from scipy.misc import imread
import jieba

# 读取一个txt文件
text = open(r'./txt/流浪地球.txt', 'r', encoding='gbk').read()

# 读入背景图片
bg_pic = imread(r'./fonts/img1.jpg')

wordlist_after_jieba = jieba.cut(text, cut_all=True)
wl_space_split = " ".join(wordlist_after_jieba)

# 生成词云
font = r'./fonts/zh/simhei.ttf'
wc = WordCloud(
    mask=bg_pic,
    background_color='white',
    font_path=font,
    scale=1.5
    ).generate(wl_space_split)
image_colors = ImageColorGenerator(bg_pic)

# 显示词云图片
plt.imshow(wc)
plt.axis('off')
plt.show()
# 保存图片
wc.to_file(r'./myplot/1.jpg')

5.demo5

# 利用背景图片生成词云
from wordcloud import WordCloud,ImageColorGenerator
import matplotlib.pyplot as plt
from scipy.misc import imread
import jieba

# 读取一个txt文件
text = open(r'./txt/流浪地球.txt', 'r', encoding='gbk').read()

# 读入背景图片
bg_pic = imread(r'./fonts/img1.jpg')

wordlist_after_jieba = jieba.cut(text, cut_all=True)
wl_space_split = " ".join(wordlist_after_jieba)

# 生成词云
font = r'./fonts/zh/simhei.ttf'
wc = WordCloud(
    mask=bg_pic,
    background_color='white',
    font_path=font,
    scale=1.5
    ).generate(wl_space_split)

image_colors = ImageColorGenerator(bg_pic)
plt.imshow(wc.recolor(color_func=image_colors), interpolation="bilinear")
# 显示词云图片
plt.imshow(wc, cmap=plt.cm.gray)
plt.axis('off')
plt.show()
# 保存图片
wc.to_file(r'./myplot/1.jpg')

6.demo6
weibo_search.py

# coding: utf-8
import re, json
import requests

# 基于 m.weibo.cn 抓取少量数据,无需登陆验证
url_template = "https://m.weibo.cn/api/container/getIndex?type=wb&queryVal={}&containerid=100103type=2%26q%3D{}&page={}"


def clean_text(text):
    """清除文本中的标签等信息"""
    dr = re.compile(r'(<)[^>]+>', re.S)
    dd = dr.sub('', text)
    dr = re.compile(r'#[^#]+#', re.S)
    dd = dr.sub('', dd)
    dr = re.compile(r'@[^ ]+ ', re.S)
    dd = dr.sub('', dd)
    return dd.strip()


def fetch_data(query_val, page_id):
    """抓取关键词某一页的数据"""
    resp = requests.get(url_template.format(query_val, query_val, page_id))
    card_group = json.loads(resp.text)['data']['cards'][0]['card_group']
    print('url:', resp.url, ' --- 条数:', len(card_group))

    mblogs = []  # 保存处理过的微博
    for card in card_group:
        mblog = card['mblog']
        blog = {
            'mid': mblog['id'],  # 微博id
            'text': clean_text(mblog['text']),  # 文本
            'userid': str(mblog['user']['id']),  # 用户id
            'username': mblog['user']['screen_name'],  # 用户名
            'reposts_count': mblog['reposts_count'],  # 转发
            'comments_count': mblog['comments_count'],  # 评论
            'attitudes_count': mblog['attitudes_count']  # 点赞
        }
        mblogs.append(blog)
    return mblogs


def remove_duplication(mblogs):
    """根据微博的id对微博进行去重"""
    mid_set = {mblogs[0]['mid']}
    new_blogs = []
    for blog in mblogs[1:]:
        if blog['mid'] not in mid_set:
            new_blogs.append(blog)
            mid_set.add(blog['mid'])
    return new_blogs


def fetch_pages(query_val, page_num):
    """抓取关键词多页的数据"""
    mblogs = []
    for page_id in range(1 + page_num + 1):
        try:
            mblogs.extend(fetch_data(query_val, page_id))
        except Exception as e:
            print(e)

    print("去重前:", len(mblogs))
    mblogs = remove_duplication(mblogs)
    print("去重后:", len(mblogs))

    # 保存到 result.json 文件中
    fp = open('./data/result_{}.json'.format(query_val), 'w', encoding='utf-8')
    json.dump(mblogs, fp, ensure_ascii=False, indent=4)
    print("已保存至 result_{}.json".format(query_val))


if __name__ == '__main__':
    fetch_pages('流浪地球', 200)

weibo_cloud.py

# coding: utf-8
import json
import jieba.analyse
from scipy.misc import imread
from wordcloud import WordCloud
import matplotlib.pyplot as plt


def keywords(mblogs):
    text = []
    for blog in mblogs:
        keyword = jieba.analyse.extract_tags(blog['text'])
        text.extend(keyword)
    return text


def gen_img(texts, img_file):
    data = ' '.join(text for text in texts)
    image_coloring = imread(img_file)
    wc = WordCloud(
        background_color='white',
        mask=image_coloring,
        font_path='./fonts/simhei.ttf'
    )
    wc.generate(data)

    plt.figure()
    plt.imshow(wc, interpolation="bilinear")
    plt.axis("off")
    plt.show()

    wc.to_file(img_file.split('.')[0] + '_wc.jpg')


if __name__ == '__main__':
    keyword = '流浪地球'
    mblogs = json.loads(open('./data/result_{}.json'.format(keyword), 'r', encoding='utf-8').read())
    print('微博总数:', len(mblogs))
    words = []
    for blog in mblogs:
        words.extend(jieba.analyse.extract_tags(blog['text']))
    print("总词数:", len(words))
    gen_img(words, 'images/'+'img1.jpg')

然后,放松一下
书记魔性舞蹈,我就看了几万遍而已

Last modification:February 18th, 2020 at 11:20 am
如果觉得我的文章对你有用,请随意赞赏