文件如何得到md5值、linux怎么查看文件md5值?

消息摘要算法是密码学算法中非常重要的一个分支，它通过对所有数据提取指纹信息以实现数据签名、数据完整性校验等功能，由于其不可逆性，有时候会被用做敏感信息的加密。消息摘要算法也被称为哈希（Hash）算法或散列算法。

任何消息经过散列函数处理后，都会获得唯一的散列值，这一过程称为 “消息摘要”，其散列值称为 “数字指纹”，其算法自然就是 “消息摘要算法”了。换句话说，如果其数字指纹一致，就说明其消息是一致的。

（图片来源 —— 散列函數）

消息摘要算法的主要特征是加密过程不需要密钥，并且经过加密的数据无法被解密，目前可以解密逆向的只有 CRC32 算法，只有输入相同的明文数据经过相同的消息摘要算法才能得到相同的密文。消息摘要算法不存在密钥的管理与分发问题，适合于分布式网络上使用。消息摘要算法主要应用在 “数字签名” 领域，作为对明文的摘要算法。著名的摘要算法有 RSA 公司的 MD5 算法和 SHA-1 算法及其大量的变体。

1.1 消息摘要算法的特点

• 无论输入的消息有多长，计算出来的消息摘要的长度总是固定的。 例如应用 MD5 算法摘要的消息有 128 个比特位，用 SHA-1 算法摘要的消息最终有 160 个比特位的输出，SHA-1的变体可以产生 192 个比特位和 256 个比特位的消息摘要。一般认为，摘要的最终输出越长，该摘要算法就越安全。
• 消息摘要看起来是 “随机的”。 这些比特看上去是胡乱的杂凑在一起的，可以用大量的输入来检验其输出是否相同，一般，不同的输入会有不同的输出，而且输出的摘要消息可以通过随机性检验。 一般地，只要输入的消息不同，对其进行摘要以后产生的摘要消息也必不相同；但相同的输入必会产生相同的输出。
• 消息摘要函数是单向函数，即只能进行正向的信息摘要，而无法从摘要中恢复出任何的消息，甚至根本就找不到任何与原信息相关的信息。
• 好的摘要算法，没有人能从中找到 “碰撞” 或者说极度难找到，虽然 “碰撞” 是肯定存在的（碰撞即不同的内容产生相同的摘要）。

二、什么是 MD5 算法

MD5（Message Digest Algorithm 5，消息摘要算法版本5），它由 MD2、MD3、MD4 发展而来，由 Ron Rivest（RSA 公司）在 1992 年提出，目前被广泛应用于数据完整性校验、数据（消息）摘要、数据签名等。 MD2、MD4、MD5 都产生 16 字节（128 位）的校验值，一般用 32 位十六进制数表示。MD2 的算法较慢但相对安全，MD4 速度很快，但安全性下降，MD5 比 MD4 更安全、速度更快。

随着计算机技术的发展和计算水平的不断提高，MD5 算法暴露出来的漏洞也越来越多。1996 年后被证实存在弱点，可以被加以破解，对于需要高度安全性的数据，专家一般建议改用其他算法，如 SHA-2。2004 年，证实 MD5 算法无法防止碰撞（collision），因此不适用于安全性认证，如 SSL 公开密钥认证或是数字签名等用途。

2.1 MD5 特点

• 稳定、运算速度快。
• 压缩性：输入任意长度的数据，输出长度固定（128 比特位）。
• 运算不可逆：已知运算结果的情况下，无法通过通过逆运算得到原始字符串。
• 高度离散：输入的微小变化，可导致运算结果差异巨大。

2.2 MD5 散列

128 位的 MD5 散列在大多数情况下会被表示为 32 位十六进制数字。以下是一个 43 位长的仅 ASCII 字母列的MD5 散列：

即使在原文中作一个小变化（比如把 dog 改为 cog，只改变一个字符）其散列也会发生巨大的变化：

接着我们再来举几个 MD5 散列的例子：

三、MD5 算法的用途

3.1 防止被篡改

3.1.1 文件分发防篡改

在互联网上分发软件安装包时，出于安全性考虑，为了防止软件被篡改，比如在软件安装程序中添加木马程序。软件开发者通常会使用消息摘要算法，比如 MD5 算法产生一个与文件匹配的数字指纹，这样接收者在接收到文件后，就可以利用一些现成的工具来检查文件完整性。

（图片来源 —— ）

这里我们来举一个实际的例子，下图是 MySQL Community Server 8.0.19 版本的下载页，该下载页通过 MD5 算法分别计算出不同软件包的数字指纹，具体如下图所示：

（图片来源 —— ）

当用户从官网上下载到对应的安装包之后，可以利用一些 MD5 校验工具对已下载的文件进行校验，然后比对最终的 MD5 数字指纹，若结果与官网公布的数字指纹一致，则表示该安装包未经过任何修改是安全的，基本可以放心安装。

3.1.2 消息传输防篡改

假设在网络上你需要发送电子文档给你的朋友，在文件发送前，先对文档的内容进行 MD5 运算，得出该电子文档的 “数字指纹”，并把该 “数字指纹” 随电子文档一同发送给对方。当对方接收到电子文档之后，也使用 MD5 算法对文档的内容进行哈希运算，在运算完成后也会得到一个对应 “数字指纹”，当该指纹与你所发送文档的 “数字指纹” 一致时，表示文档在传输过程中未被篡改。

3.2 信息保密

在互联网初期很多网站在数据库中以明文的形式存储用户的密码，这存在很大的安全隐患，比如数据库被黑客入侵，从而导致网站用户信息的泄露。针对这个问题，一种解决方案是在保存用户密码时，不再使用明文，而是使用消息摘要算法，比如 MD5 算法对明文密码进行哈希运算，然后把运算的结果保存到数据库中。使用上述方案，避免了在数据库中以明文方式保存密码，提高了系统的安全性，不过这种方案并不安全，后面我们会详细分析。

当用户登录时，登录系统对用户输入的密码执行 MD5 哈希运算，然后再使用用户 ID 和密码对应的 MD5 “数字指纹” 进行用户认证。若认证通过，则当前的用户可以正常登录系统。用户密码经过 MD5 哈希运算后存储的方案至少有两个好处：

• 防内部攻击：因为在数据库中不会以明文的方式保存密码，因此可以避免系统中用户的密码被具有系统管理员权限的人员知道。
• 防外部攻击：网站数据库被黑客入侵，黑客只能获取经过 MD5 运算后的密码，而不是用户的明文密码。

四、MD5 算法使用示例

4.1 Java 示例

在 Java 中使用 MD5 算法很方便，可以直接使用 JDK 自带的 MD5 实现，也可以使用第三方库提供的 MD5 实现。下面我们将介绍 JDK、Bouncy Castle 和 Guava 的 MD5 使用示例。为了保证以下示例的正常运行，首先我们需要在 文件中添加 Bouncy Castle 和 Guava 的坐标：

JDK 实现

Bouncy Castle 实现

Guava 实现

在 JDK 实现和 Bouncy Castle 实现的示例中使用了 bytesToHexString 方法，该方法用于把字节数组转换成十六进制，它的具体实现如下：

介绍完 MD5 算法不同的实现，下面我们来测试一下上述的方法：

以上示例代码正常运行后，在控制台中会输出以下结果：

4.2 Node.js 示例

在 Node.js 环境中，我们可以使用 crypto 原生模块提供的 md5 实现，当然也可以使用主流的 MD5 第三方库，比如 md5 这个可以同时运行在服务端和客户端的第三方库。与 Java 示例一样，在介绍具体使用前，我们需要提前安装 md5 这个第三方库，具体安装方式如下：

Node.js Crypto 实现

Node.js MD5 第三方库实现

以上示例代码正常运行后，在控制台中会输出以下结果：

五、MD5 算法的缺陷

哈希碰撞是指不同的输入却产生了相同的输出，好的哈希算法，应该没有人能从中找到 “碰撞” 或者说极度难找到，虽然 “碰撞” 是肯定存在的。

2005 年山东大学的王小云教授发布算法可以轻易构造 MD5 碰撞实例，此后 2007 年，有国外学者在王小云教授算法的基础上，提出了更进一步的 MD5 前缀碰撞构造算法 “chosen prefix collision”，此后还有专家陆续提供了MD5 碰撞构造的开源的库。

2009 年，中国科学院的谢涛和冯登国仅用了 220.96 的碰撞算法复杂度，破解了 MD5 的碰撞抵抗，该攻击在普通计算机上运行只需要数秒钟。

MD5 碰撞很容易构造，基于 MD5 来验证数据完整性已不可靠，考虑到近期谷歌已成功构造了 SHA-1（英语：Secure Hash Algorithm 1，中文名：安全散列算法1）的碰撞实例，对于数据完整性，应使用 SHA256 或更强的算法代替。

下面我们来看个简单的 MD5 碰撞示例：

HEX（十六进制）样本A1

HEX（十六进制）样本A2

两个样本之间的差异如下图所示：

下面我们来通过 Java 代码实际验证一下样本 A1 和样本 A2 经过 MD5 运算后输出的结果是否一致：

jdkMd5Hex 方法

hexStringToBytes 方法

main 方法

以上示例代码正常运行后，在控制台中会输出以下结果：

如果你对其它 MD5 碰撞的样本感兴趣，可以查看 MD5碰撞的一些例子 这篇文章。由于基于 MD5 来验证数据完整性已不可靠，因此很多人都熟悉的 Node.js 使用了 SHA256 算法来确保数据的完整性。

（图片来源 —— ）

六、MD5 密码安全性

6.1 MD5 密文反向查询

前面我们已经提到通过对用户密码进行 MD5 运算可以提高系统的安全性。但实际上，这样的安全性还是不高。为什么呢？因为只要输入相同就会产生相同的输出。接下来我们来举一个示例，字符串 123456789 是一个很常用的密码，它经过 MD5 运算后会生成一个对应的哈希值：

由于输入相同就会产生相同的结果，因此攻击者就可以根据哈希结果反推输入。其中一种常见的破解方式就是使用彩虹表。 彩虹表是一个用于加密散列函数逆运算的预先计算好的表，常用于破解加密过的密码散列。 查找表常常用于包含有限字符固定长度纯文本密码的加密。 这是以空间换时间的典型实践，在每一次尝试都计算的暴力破解中使用更少的计算能力和更多的储存空间，但却比简单的每个输入一条散列的翻查表使用更少的储存空间和更多的计算性能。

目前网上某些站点，比如 cmd5.com 已经为我们提供了 MD5 密文的反向查询服务，我们以 MD5("123456789") 生成的结果，做个简单的验证，具体如下图所示：

因为 123456789 是很常见的密码，因此该网站能够反向得出正确结果那就不足为奇了。以下是 cmd5 网站的站点说明，大家可以参考一下，感兴趣的小伙伴可以亲自验证一下。

本站针对 md5、sha1 等全球通用公开的加密算法进行反向查询，通过穷举字符组合的方式，创建了明文密文对应查询数据库，创建的记录约 90 万亿条，占用硬盘超过 500 TB，查询成功率 95% 以上，很多复杂密文只有本站才可查询。已稳定运行十余年，国内外享有盛誉。

现在我们已经知道如果用户的密码相同 MD5 的值就会一样，通过一些 MD5 密文的反向查询网站，密码大概率会被解析出来，这样使用相同密码的用户就会收到影响。那么该问题如何解决呢？答案是密码加盐。

6.2 密码加盐

盐（Salt），在密码学中，是指在散列之前将散列内容（例如：密码）的任意固定位置插入特定的字符串。这个在散列中加入字符串的方式称为 “加盐”。其作用是让加盐后的散列结果和没有加盐的结果不相同，在不同的应用情景中，这个处理可以增加额外的安全性。

在大部分情况，盐是不需要保密的。盐可以是随机产生的字符串，其插入的位置可以也是随意而定。如果这个散列结果在将来需要进行验证（例如：验证用户输入的密码），则需要将已使用的盐记录下来。为了便于理解，我们来举个简单的示例。

Node.js MD5 加盐示例

以上示例代码正常运行后，在控制台中会输出以下结果：

通过观察以上结果，我们发现原始密码一致，但使用的盐值不一样，最终生成的 MD5 哈希值差异也比较大。此外为了提高破解的难度，我们可以随机生成盐值并且提高盐值的长度。

6.3 bcrypt

哈希加盐的方式确实能够增加攻击者的成本，但是今天来看还远远不够，我们需要一种更加安全的方式来存储用户的密码，这也就是今天被广泛使用的 bcrypt 。

bcrypt 是一个由 Niels Provos 以及 David Mazières 根据 Blowfish 加密算法所设计的密码散列函数，于 1999 年在 USENIX 中展示。 bcrypt 这一算法就是为哈希密码而专门设计的，所以它是一个执行相对较慢的算法，这也就能够减少攻击者每秒能够处理的密码数量，从而避免攻击者的字典攻击。 实现中 bcrypt 会使用一个加盐的流程以防御彩虹表攻击，同时 bcrypt 还是适应性函数，它可以借由增加迭代之次数来抵御日益增进的电脑运算能力透过暴力法破解。

由 bcrypt 加密的文件可在所有支持的操作系统和处理器上进行转移。它的口令必须是 8 至 56 个字符，并将在内部被转化为 448 位的密钥。然而，所提供的所有字符都具有十分重要的意义。密码越强大，您的数据就越安全。

下面我们以 Node.js 平台的 bcryptjs 为例，介绍一下如何使用 bcrypt 算法来处理用户密码。首先我们需要先安装 bcryptjs ：

Node.js bcryptjs 处理密码

以上示例代码正常运行后，在控制台中会输出以下结果：

很明显密码 123456789 经过 bcrypt 的哈希运算后，得到了一串读不懂的 “乱码”。这里我们已经完成第一步，即用户登录密码的加密。下一步我们要实现登录密码的比对，即要保证用户输入正确的密码后，能正常登录系统。

Node.js bcryptjs 密码校验

以上示例代码正常运行后，在控制台中会输出以下结果：

因为我们的原始密码是 123456789 ，很明显与 123456 并不匹配，所以会输出以上的匹配结果。

七、总结

本文首先介绍了消息摘要算法、MD5 算法的相关概念和特点，然后详细介绍了 MD5 算法的用途和 Java 和 Node.js 平台的使用示例，最后我们还分析了 MD5 算法存在的缺陷和 MD5 密码的安全性问题。这里大家需要注意，由于 MD5 碰撞很容易构造，基于 MD5 来验证数据完整性已不可靠，考虑到近期谷歌已成功构造了 SHA-1（英语：Secure Hash Algorithm 1，中文名：安全散列算法1）的碰撞实例，对于数据完整性，应使用 SHA256 或更强的算法代替。

除了文中介绍的 MD5 应用场景，MD5 还可以用于实现 CDN (Content Delivery Network，内容分发网络) 内容资源的防盗链，感兴趣的小伙伴可以阅读 深入了解 Token 防盗链 这篇文章。