5118 每天必看的5118 SEO大数据是怎么来的

每个做网站搜索引擎优化的人都知道数据非常重要，因为这是我们谋生的方式。当初我们只有站长工具，爱站和百度站长给我们分析网站的数据。后来5118出现了，对我们来说是个好消息。在这里我们基本上可以找到我们需要的所有参考数据。现在常用的功能有:网站和熊掌搜索引擎排名趋势监控、网站和熊掌SEO内部参考、长尾词挖掘和需求图、移动流量词挖掘、相似网站、子域名挖掘、历史竞价词挖掘、素材搜索和伪原创工具，一定对这些数据源和算法很好奇。今天，我们将让您一睹这些内容！

网站和熊掌排名趋势监控

作为5118好友的每日必看数据，往往带来排名增长的快乐，排名崩溃的悲伤。5118为什么掌握这些数据？

其实5118并不能穷尽所有关键词在百度排名，因为消耗成本太大。毕竟百度后台的数据是保密的，中文博大精深，用户每天在百度的查询词是高不可攀的一个数量级。因此，我们需要在效率和成本方面使用一个可行的方案，所以我们使用样本词库的方法。

这个方法大致是这样的。我们每天在百度上选出查询量最高的360万个关键词，包括百度指数大于0的所有关键词，数量超过一百万。另外，我们在百度竞价后台关键词策划大师收录了200多万个搜索量最高的关键词，基本涵盖了各行各业搜索量最大的词。然后通过爬虫程序，每天上午12点到8点，自动模拟人在百度查询，记录每个词的前100个域名，这样360万个查询乘以100，我们每天需要处理8小时的3.6亿个排名数据。为了完成这样的工作量，我们单在服务器上就投入了数百万的资金，试图让用户在8点上班前就能看到新一轮的数据。当然这只是百度PC排名之一。

为了让大家更直观的了解这些数据，在5118首页有一个大家都能看到的进度条。这里可以看到360万样本词汇的规模，三个搜索引擎每天收集排名的进度和预计时间，可以看到每天都会添加新的流量关键词，剔除不良样本关键词，通过可视化数据让大家大致了解数据收集分析的工作进度和状态。

有时候我们发现当天呈现的数据太晚或者卡在99%。这可能是因为我们遇到了一些技术问题，导致数据处理超过了常规时间。技术人员通常会在当天介入尝试修复，让下一个新的一天的采集周期恢复正常。

有时候我们发现有些排名和我们本地查询不一样，可能是因为地域不同，时间不同，或者百度分配的缓存服务器不同。我们无法达到100%的准确率，即使手动查询，由于百度自身的复杂性，前一分钟和后一分钟的排名是不一样的，所以我们建议排名趋势数据主要用来监控网站趋势，比如我的SEO策略是否让整体排名趋势向上。

网站SEO内部参考和熊掌号

如第一点所述，监控如此庞大的排名数据，可以轻松掌握整个搜索引擎的波动情况，计算出哪些网站波动最大，哪些网站跌幅最大，所以我们将这些数据自动整理成几大类，让大家从中学习，提高自己的SEO运营。

长尾词挖掘和需求图

长尾词作为5118的核心数据之一，在SEO中起着重要的作用。玩长尾词是每个网站运营者都需要掌握的技能。随着搜索引擎权重格局越来越固化，热门词排名基本难以撼动。通过长尾词获得更多流量是重要的一课。

截至2018年12月8日，5118拥有51.87亿关键词和长尾词数据，每天以数千万的速度增长。它基本上可以监控互联网上所有流行的查询和词汇。我们的数据来自:百度，360，搜狗，百度竞价，今日头条，微信微信官方账号，淘宝，JD.COM。这些查询数据代表了用户的需求，代表了用户想找什么，掌握了这些关键词。

从上图右侧可以看出，我们会定期更新所有关键词的百度指数数据和竞价流量数据。从2018年10月开始，这些索引和流量数据将在1-2周内更新一次。我们掌握了1000多万的流量关键词数据，所以这里得到的流量数据是比较及时的。

移动交通词汇挖掘

众所周知，现在是移动时代，网民大部分上网时间都是用手机，手机流量已经超过PC流量，所以移动端SEO对于流量运营非常重要。如何从百度等移动搜索引擎获取更多流量，和PC端的技巧是不一样的。比如下图来自百度的推荐关键词。

当我们使用百度手机时，我们经常可以看到这样的推荐出现在搜索结果的中间。这样的推荐相对PC来说，非常容易点击(人手便宜)，SEO价值非常高。只要把这些内容做好，就会获得大量的流量。

5118的移动流量词挖掘就是针对这些词的，是深度累积挖掘，也就是从1个词里挖10个词，从10个词里挖1000个词，从1000个词里挖10000个词，然后观察每个词在推荐中出现的次数。推荐次数越多，被用户看到的概率就越高，就越容易带来流量。

这个理论已经被成千上万的用户证明是有效的。用这些关键词作为文章标题，给移动网站带来了大量的流量，这个功能也是用户最常用的工具之一。

类似网站

说到类似的网站，其实原理很简单。既然两个网站内容差不多，我们认为两个网站差不多。但是，面对整个互联网上几千亿的网页，怎么会有这么多的统计数据呢？

这里我们就用百度关键词排名来做统计，也就是说我们换了一个比较投机取巧的方法，把“所有网页内容都差不多”改成了“排名中所有关键词都差不多”，也就是说两个网站关键词排名差不多，所以我们认为两个网站差不多。

5118刚好掌握了所有网站的排名数据，这让这项工作变得异常轻松。我们通过2年的积累记录了50亿个关键词的前20名排名，通过Spark分布式计算工具汇总了1000亿个排名，得到了每个网站中关键词相似度最高的网站，并记录在数据库中，于是我们看到了以下数据(to8to.com中的类似网站)。

子域名称挖掘

我们每天记录所有网站的排名和所有网站的子域，这样我们就把所有根域名相同的域组合起来，形成某个根域名的子域列表，这样当用户查询某个域名的子域时，我们就可以很容易地从数据库中提取出来。

挖掘历史竞价词

5118爬虫每天收集百万关键词排名数据。这时候所有的竞价排名数据恰好都在这些网页里。我们每次都会记录这些竞价网站和标题。久而久之，就形成了一个很大的竞价词数据库。我们可以知道一个网站历史上有哪些关键词被放入竞价。导出这些文字后，就可以快速进行竞价实验，减少竞价时间。

材料搜索

在SEO的过程中，内容为王，链接为王，所以要花很多时间才能找到高质量的内容作为我们文章的灵感来源。我们经常切换到各种媒体搜索，比如知乎、头条、微信官方账号等。5118素材搜索的原理是利用爬虫程序模拟人类，将各种媒体中搜索引擎的结果按照一定的规则汇总合并成一个搜索结果，让需要寻找内容灵感的朋友高效地进行综合查询，找到自己想要的。