Python爬取近十年TIOBE编程语言热度数据并可视化
本文介绍如何利用requests+正则表达式爬取TIOBE编程语言热度数据，近年据并并使用👉openpyxl写入数据与👉pyecharts时间轮播图进行可视化。程语
一、言热数据获取
我们需要爬取的度数目标url为https://www.tiobe.com/tiobe-index/打开之后如下👇
分析网页源代码可以找到想要的数据，利用正则表达式提取出想要的可视数据，并保存到Excel中，近年据并便于后续数据处理和可视化。程语
完整爬虫代码如下，言热其中大多数语句都给出了详细注释，度数感兴趣的可视读者可以进一步研究。
# -*- coding: UTF-8 -*- """ @File ：spider.py @Author ：叶庭云 @CSDN ：https://yetingyun.blog.csdn.net/ """ import requests import re import openpyxl import logging logging.basicConfig(level=logging.INFO,近年据并 format=%(asctime)s - %(levelname)s: %(message)s) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" } wb = openpyxl.Workbook() # 创建工作簿对象 sheet = wb.active # 获取活动的工作表 # 编程语言 时间 热度 sheet.append([Programing, Date, data_per]) url = https://www.tiobe.com/tiobe-index/ rep = requests.get(url, headers=headers).text # 正则匹配提取数据 data = re.findall({ name : (.*?),data : (.*?)}, rep) programing = [eval(k[0]) for k in data] # 编程语言 dates = [i[1] for i in data] # 正则表达式处理 提取出想要的数据 for x in range(len(dates)): name = programing[x] datas = re.findall(r\[Date.UTC(.*?)\], dates[x], re.DOTALL) for m in datas: date1 = re.findall(r\d+, m) # 正则提取出数字 date2 = -.join(date1[:3]) # 拼接得到时间 data_per = ..join(date1[-2:]) # 得到热度数据 sheet.append([name, date2, data_per]) logging.info([name, date2, data_per]) wb.save(language_data.xlsx)最终运行效果如下：
可以看到成功提取出想要的数据，并保存到Excel，云南idc服务商程语在jupyter notebook 环境中查看数据：
二、言热 数据可视化
本节使用pyecharts绘制时间轮播图数据可视化，度数展示现在热度排 Top10 的可视编程语言 2009-2019 年每年的平均热度变化。
# -*- coding: UTF-8 -*- """ @File ：轮播图.py @Author ：叶庭云 @CSDN ：https://yetingyun.blog.csdn.net/ """ import pandas as pd import xlrd import pyecharts.options as opts from pyecharts.charts import Timeline, Bar from pyecharts.globals import CurrentConfig CurrentConfig.ONLINE_HOST = D:/python/pyecharts-assets-master/assets/ # 提取编程语言名字 name = list(pd.read_excel(language_data.xlsx)[Programing].drop_duplicates()) data = xlrd.open_workbook(language_data.xlsx) table = data.sheets()[0] dic1 = { k: [] for k in name} # 各编程语言对应每年里不同时间的热度 for i in range(1, table.nrows): x = table.row_values(i) dic1[x[0]].append((x[1], x[2])) # 与编程语言顺序对应 每年编程语言对应的不同时间的热度 data_per = { k: [[] for x in range(10)] for k in range(2001, 2021)} print(data_per) count = 0 for k, v in dic1.items(): for j in v: # v (时间，热度) 热度数据添加进各年对应的列表里 data_per[int(j[0][:4])][count].append(eval(j[1])) # 一年里各编程语言不同时间时的热度 对应起来 count += 1 # print(data_per) data_per1 = { k: [] for k in list(data_per.keys())} for k, v in list(data_per.items()): for x in v: if len(x) == 0: # 这一年里该语言没有热度数据 data_per1[k].append(0) else: avg = sum(x) / len(x) data_per1[k].append(avg) # 这一年里的平均热度 # 得到TOBIE现在排Top20的编程语言从2001年开始每年的平均热度 print(data_per1) def get_year_overlap_chart(year) -> Bar: sum_info = [(m, n) for m, n in zip(name, data_per1[year])] # 编程语言按每年平均热度排序 sum_info.sort(key=lambda z: z[1], reverse=True) name_ = [m[0] for m in sum_info] datas = [m[1] for m in sum_info] # 每根柱子的颜色列表 colors = [#00BFFF, #0000CD, #000000, #008000, #FF1493, #FFD700, #FF4500, #00FA9A, #191970, #9932CC] x = [] for i in range(10): x.append( opts.BarItem( name=name_[i], value=datas[i], itemstyle_opts=opts.ItemStyleOpts(color=colors[i]) # 设置每根柱子的颜色 ) ) # 绘制柱形图 bar = Bar() bar.add_xaxis(name_) bar.add_yaxis(series_name=热度, yaxis_data=x, is_selected=True, label_opts=opts.LabelOpts(is_show=False)) bar.set_global_opts(title_opts=opts.TitleOpts( title="2009-2019编程语言热度"), tooltip_opts=opts.TooltipOpts( is_show=True, trigger="axis", axis_pointer_type="shadow"), xaxis_opts=opts.AxisOpts(name=编程语言), yaxis_opts=opts.AxisOpts(name=热度), ) return bar # 生成时间轴的图 timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px")) for y in range(2009, 2020): timeline.add(get_year_overlap_chart(y), time_point=str(y)) timeline.add_schema(is_auto_play=True, play_interval=1000) timeline.render("language_2009_2019.html")运行效果如下，高防服务器可以看到虽然Python越来越火热，但Java稳坐编程语言热度排行榜第一!(此处一位PHP程序员拍桌)
三、补充
本节对有时候pyecharts绘制的图形渲染在网页上无法加载js文件的问题进行说明。
根据网站资源引用说明：pyecharts 使用的所有静态资源文件存放于pyecharts-assets项目中
默认挂载在 https://assets.pyecharts.org/assets/，因为默认优先从远程引用资源，这就导致有的时候无法加载 js 文件，图表显示不出来。
解决办法：下载所需 js 文件到本地，修改资源引用地址，Github地址：https://github.com/pyecharts/pyecharts-assets看网站的介绍，pyecharts 提供了更改全局 HOST 的快捷方式。
from pyecharts.globals import CurrentConfig CurrentConfig.ONLINE_HOST = D:/python/pyecharts-assets-master/assets/ # 本地保存 js 资源的源码下载路径
