001122专题之Power Query 百度实时高速拥堵路况数据

#高速拥挤#

在11号高速公路上堵车已经不是新闻了，但出发前要检查路况。否则高速堵塞会很不方便。

百度推出的节假日出行仪表板中就有全国高速拥堵情况的数据。如果你选中其中一条高速就会显示拥堵的路段：

我们今天就来测试一下抓取高速实时拥堵路况数据。

网站分析

在谷歌浏览器检查中找到roadrank这一行：

这就是我们需要高速拥堵排行数据，点选一条高速再找到highwayroadinfo这一行：

就是具体的高速拥堵路径点。

以上两组数据都是jsoncallback，我们只要提取括号中的内容就能做json格式分析。

试抓：

大家有没有发现，地图上提供的各种数据，好像都比较容易抓取，没有那么多的验证，希望百度这个数据也是这样。

果然这样，连时间戳都不用修改，就能直接抓，太方便了。

路径点数据也是一样的。

接下来的就是数据展开与整理，拥堵排名数据里有个日期时间的整理值得说一下：

我们要把字符串格式的日期时间转换成日期时间格式：

Da([data_time],8,"T"))

我们要在202010071130中间添加一个T变成这样20201007T1130，这样就可以被Da函数识别了。

路径数据整理涉及到一个逆透视排列经纬度的工作，就是要添加索引，用MOD，INT函数来处理编号，然后再透视就可以了：

要有两列0101的列与001122的列，然后用0101列做透视，就排好了：

定义函数

全国的数据太多，我们要抓取某省份的数据，就要通过省份的编号来抓取：

省份编号列表在一个js文件中：

也是json格式，直接复制出来就可以了。

我们测试一下抓取广东数据：

定义路径点函数：

同样做一个测试：

抓取

我们要在第一个函数引用结果之上抓取各条高速的路径点数据然后展开：

展开数据：

把这份数据加载，做一个图出来：

几条小蚯蚓，慢慢爬行。