调度系统 秒拍的高性能视频播放调度系统

简介

分配系统

传统调度系统主要用于应急指挥所、值班室、应急中心、矿井、应急车辆等。本文所指的调度系统是网络上使用的调度系统。所有用户的请求都会首先请求网络中的固定调度系统模块。调度系统根据一些规则选择不同的后端服务器进行服务。调度系统发挥了负载均衡、故障隔离、健康检查、日志记录和权限分配等集中逻辑。因此，调度系统的高可用性、高吞吐量和高性能非常重要。是业务系统中的单点，所以很重要。

视频播放系统

本文介绍的视频播放系统是一个基于网络的视频播放系统，使用最常用的http模式播放mp4视频，可以在大多数浏览器和智能手机上直接播放。

加拿大

CDN的全称是内容传递网。基本思路是避免互联网上可能影响数据传输速度和稳定性的瓶颈和链接，使内容传输更快更稳定。CDN系统通过在网络上放置节点服务器，在现有互联网的基础上形成一层智能虚拟网络，可以根据网络流量、每个节点的连接、负载情况、到用户的距离和响应时间，将用户的请求实时重定向到最近的服务节点。其目的是让用户能够就近获取所需内容，解决互联网网络拥堵，提高用户访问网站的响应速度。

域名服务器(Domain Name Server)

DNS(域名系统)作为互联网上映射域名和IP地址的分布式数据库，使用户更方便地访问互联网，而不必记住机器可以直接读取的IP号码串。通过主机名获取主机名对应的IP地址的过程称为域名解析(或主机名解析)。

视频播放系统

常规视频播放系统直接通过CDN地址播放。由于不同地区用户使用的DNS服务器不同，在通过不同的DNS服务器解析同一个域名时，可以给出不同的IP地址，让用户就近访问和播放，提高用户的播放体验。但是传统的DNS方法，由于一些用户设置错误，可能会被调度到很远的节点。此外，由于缺乏统一的调度，当出现视频问题时，如色情视频、恐怖视频等。，它将无法立即删除所有CDN内容，增加了风险。

商用CDN的缺点

第三方商业CDN目前做的不错，但是有几个问题无法解决。首先，CDN是通过DNS进行调度的，这取决于用户的设置是否正确。第二，毕竟是商业CDN，会从质量和价格上寻找最佳解决方案。比如会用二线城市的节点服务一线城市，这样空闲时间成本会便宜很多，效果也不错。但在高峰期，由于城市间骨干网的拥堵，质量抖动会比较严重。三是基于DNS调度。

IP调度系统的缺点

第二，CDN会提供基于IP策略的调度，但这取决于IP库的准确性。比如，如果判断用户在广东，但用户的IP实际上是河北，那么调度结果会很差。另外，目前跨运营商的情况相当严重，很多小运营商的出口都是一些大运营商的IP，所以经常会发生北京电信某用户的IP地址是山东联通的IP的情况。

视频播放调度系统

综上所述，如果实施一个高性能的调度系统，通过调度系统可以获得用户的真实IP，通过IP的累积数据可以清楚的了解当前情况，包括IP服务节点的距离、质量、负载等。，同时，请求是否非法，视频是否不允许播放等。，然后转移到相应的CDN点进行服务可以更好的提升用户体验。

知识产权库状态

传统的知识产权数据库是通过一些官方数据、民间收集、自我报告等方式实现的。，所以数据本身不是很结构化，而且有各种各样的信息，给使用带来很多不便。

同时，IP数据日新月异，更新IP库非常重要。

无辜的IP库

这个数据库出现的比较早，最早是用来让QQ客户端显示对方的IP使用情况，让它知道对方的区域。目前这个数据库还是免费的，一直在维护，但缺点是数据格式很乱，定位数据繁琐。

格式详解

纯ip库只有一个文件QQWry.dat，在结构上分为三块:文件头、记录区和索引区。一般我们想找IP的时候，先在索引区找到记录偏移量，然后读出记录区的信息。因为记录区的记录是不确定的，所以不可能直接在记录区搜索。因为记录数量大，如果遍历索引区会有点慢。一般来说，我们可以用二分搜索法方法搜索索引区域，比遍历索引区域快几个数量级。需要注意的是，所有的QQWry.dat都使用小端字节顺序。文件结构图如下:

QQWry.dat的文件头只有8个字节，结构很简单。前四个字节是第一个索引的绝对偏移量，后四个字节是最后一个索引的绝对偏移量。

记录区的每个IP记录都是由国家和地区名称组成的，这里不确切，因为可以查到“清华大学计算机系”等等，而清华大学在这里成为国家名称，所以国家和地区名称与IP数据库制作的时间有关。所以记录的格式有点像QName，由全局部分和局部部分组成。我们在这里仍然使用国家名称和地区名称的术语。

所以我们设想一条记录的格式应该是:[IP地址][国家名][地区名]。当然这没什么不好，但这只是最简单的情况。显然，国名和地区名之间可能有许多重复。为每个记录保留一个完整的名称副本并不理想，因此我们需要重定向到save 空。因此，为了得到一个国家名或地区名，我们有两种可能:第一种是直接字符串表示的国家名，第二种是4字节结构。第一个字节表示重定向模式，最后三个字节是国家名或地区名的实际偏移位置。对于国名，情况可能更复杂，因为最多可能有两个重定向。

那么什么是重定向模式呢？根据上述，一个记录的格式是[IP地址][国家记录][地区记录]。如果重定向国家记录，可能没有地区记录，所以有两种情况，我称之为模式1和模式2。我们举例说明这些格式的情况:

最简单的知识产权记录形式

重定向模式1

我们可以看到，在模式1中，区域记录跟在国家记录后面，在IP地址后面只留下4个字节的国家记录，最后3个字节构成一个指针，指向实际的国家名称，后面是地址名称。模式1的标识字节为0x01。

重定向模式2

我们可以看到，在模式2(其标识字节为0x02)中，区域记录并没有跟随国家记录，所以在国家记录之后四个字节还有一个区域记录。我想你已经明白了模式1和模式2的区别，就是模式1的国家记录之后不会有区域记录，模式2的国家记录之后会有区域记录。我们来看一个更复杂的情况。

混合案例1

当国家被记录为模式1时，可能会出现更复杂的情况。在这种情况下，重定向所指向的位置仍然是一个重定向，但是第二个重定向是模式2。放心，没有模式3，这个重定向最多也就两次。如果发生第二次重定向，那一定是模式2，这种情况只会发生在国家记录上。对于区域记录，模式1和模式2相同，区域记录不会被重定向两次。然而，这幅图可能更复杂:

混合案例2

应该很好理解，但是区域记录也是重定向的。有一点我想提醒大家的是，如果重定向地址是0，那说明是一个未知的地域名称。

所以我们可以总结如下:一个IP记录由【IP地址】【国家记录】【地区记录】组成。对于国录，有三种表示:字符串形式、重定向模式1和重定向模式2。对于区域记录，有两种表示:字符串形式和重定向，还有一个规则:模式1的国家记录不能用区域记录重定向。根据这个总结，这些方法的合理组合构成了IP录音的所有可能情况。

设计原因在继续了解索引区的结构之前，我们先来了解一下为什么记录区的结构要这样设计。我想你可能已经想到了答案:字符串复用。是的，在这个结构下，我只需要保存一次国家名和一个地区名。举个例子吧。为了方便起见，我们对知识产权记录使用小写字母，对国家名称使用C，对地区名称使用A:

有两项记录a (C1，a1)和b (C2，a2)。如果C1 = C2，A1 = A2，那么我们可以通过使用图3所示的结构重用三个记录a(C1，A1)，b(C2，A2)和c (C3，a3)。如果a(C1，A1)，b(C2，A2)，c(C3，A3，现在我们那么我们可以重用两个记录A (C1，A1)和B (C2，A2)，结构如图6所示。如果C1 = C2，现在我们想要存储记录B，那么我们可以使用模式2来表示C2，字符串来表示A2

你可以举出更多的案例，你会发现在这种结构下，不同的字符串只需要存储一次。

在标题部分，我们解释了标题实际上是两个指针，指向第一个索引和最后一个索引的绝对偏移量。那么索引区域如下:

文件头指向索引区域图标

真的很简单不是吗？可以从文件头定位索引区，然后就可以开始搜索IP了！每个索引的长度为7个字节，前4个字节是起始IP地址，后3个字节指向IP记录。以下是一些需要解释的概念。起始IP是什么，有没有结束IP？假设有一条记录:166.111.0.0-166.111.255.255，那么166.111.0.0是起始IP，166.111.255.255是结束IP，结束IP是IP记录的前4个字节，你应该清楚。因此，每个索引与一条记录匹配，形成一个IP范围。如果你想找到166.111.138.138的位置，你会发现166.111.138.138在166.111.0.0-166.111.255.255的范围内，所以你可以沿着这个索引读国家和地区的名字。那么让我们给出一个最详细的说明:

文件详细结构

现在一切都清楚了，不是吗？可能还有一件事你不知道，QQWry.dat的版本信息在哪里？答案是:最后一条IP记录其实是版本信息，最后一条记录显示的是:255 . 255 . 255 . 0 255 . 255 . 255 . 255 . 255 . 255 . 255 . 255 . 255 . 255 . 255 . 255 . 255 . 255 . 255 innocent network 20XX的IP数据。好吧，你现在应该都知道了。

第三方服务

大公司有外部使用的IP查询服务，但都有一定的限制，不能用于商业目的。也有商业用途的知识产权库，如ipip.net，需要付费。例如:

淘宝:http://ip.taobao.com/service/getIpInfo.php? IP = 8 . 8 . 8 . 8

新浪:http://int.dpool.sina.com.cn/iplookup/iplookup.php?ip=12.130.132.30

搜狐http://pv.sohu.com/cityjson? ie = utf-8 http://txt.go.sohu.com/ip/soip

http://www.ip138.com

http://www.ip.cn

http://www.ipip.net

实现理念

如何定位关键信息

一个ip可以分为四个段，命名为A.B.C.D，所以总共有42亿个IP地址。我们不可能一个个录那么多IP。A段的IP地址范围是A.X.X.X，有1600多万种可能。如果C段的IP是A.B.C.X，那么只有256个IP段。

我们假设这256家IP的地理位置和运营商信息是一致的，那么C段IP只有1600多万种。如果一个IP使用结构化的2字节存储相关信息，那么我们只需要32MB就可以保存所有的C段IP！

我们把这两段的数据称为IPC码，即C段的每个IP对应一个IPC码。

而且由于数据是结构化的、定长的，所以我们在需要查找一些IP对应信息的时候，只需要直接定位偏移量(A256256+B256+C)2处的数据！

我们在这两个部分保留了什么？

我们可以根据自己的喜好或者系统的需要来划分这些字节。

比如第一评委是国内还是国外，第二-第三评委是四大地区(如华北、华中、华南、华西)，第四-第六评委省，第七-第八评委省，第九-第十一评委市，第十二-第十三评委区，第十四-第十六评委运营。

这种区分的优势显而易见。比如我想知道两个IPs之间的距离，可以直接用异或运算。比如两个IP城市都是一样的，1-11位都是异或后的0，表示非常接近。比如湖南、湖北两省都属于华中地区，所以1-3位数字会一样。长沙和岳阳一样的话，在同一个省会发现1-6位。

如何评价质量

如何获取质量数据

每次播放都可以在播放结束时进行统计上报，让我们知道最准确的客户播放质量，方便调度策略的实时修正。

如何记录质量数据

如何在海量的播出质量数据提交后，自动发现问题并实时纠正？我们可以通过IPC码做汇总记录，只有65，536个IPC码，所以相应的客户信息会汇总在一起。

如何避免不正确的信息

就像刚才说的，如果IP库本身不准确，可能会导致服务质量差，IP库的更新是各大公司的难题。但是如果丢弃IP库信息，直接用IPC代码记录呢？这样就只把这256个用户对应C段IP的信息收集在一起，当然不会再添加其他人的数据！

版权声明:内容来自网络，版权归原创作者。除非我们无法确认，否则我们将标记作者和来源。如有侵权，请告知，我们会立即删除并道歉。谢谢你。

-结束-

建筑文摘

身份证:建筑文摘

互联网应用架构、架构技术、大型网站、大数据、机器学习

更多精彩文章，请点击下面:阅读原文