168-一致性哈希算法-负载均衡

场景1（业务服务器）–普通哈希算法存在的问题

轮询算法：第一个请求给server1，第二个请求给server2，第3个请求给server3，一直轮询下去。
权重比算法：比如说，给第1台分配1的权重，给第2台分配2的权重，给第3台分配1的权重，有4个请求到来，其中2个请求分配给第2台，其他两台各分配1个请求。
最少连接算法：负载均衡器要记录跟每一台服务器建立的连接，每次发请求的时候，跟哪台请求创建的连接最少就分发给哪台机器，哪台服务器连接少，说明其压力小，新来的请求就给到压力最小的服务器。
哈希算法：除留余数法。有3台服务器，就模上3，得到0,1，2的下标，对应哪个服务器的下标，就去哪台服务器上。

这些算法简单是简单，但是在大规模分布式系统，有很大的缺陷：

普通的哈希算法：

不同的客户端IP地址不一样，或者在同一台客户端操作的话，端口号也不一样。

输入参数的IP地址＋端口号。

普通的哈希算法做的事情就是除留余数法。

选择的哈希函数是md5，加密算法，得到一个int整数，模上服务器的个数。

最后得到0,1，2的下标，得到哪个数字，就意味着这个客户端的请求就分发到相应的服务器上。

同1个客户端永远被映射到1台指定的server，因为客户端的IP地址和端口号不变，经过md5哈希以后，得到的都是同一个整数。有效地解决会话共享的问题。

会话共享：

我们给客户端取名zhangsan，lisi；
zhangsan的IP地址和端口号作为md5哈希函数的输入参数，处理完永远是22,22模上3，得到1，也就是说，zhangsan从刚开始登录的时候就登录到1号服务器上了，会写一些用户名和密码进行验证这个客户端登录是否成功，在1号服务器上记录zhangsan这个客户的所有会话(登录状态，connection连接消息）。
lisi这个IP地址和端口号经过md5哈希函数得到的结果是23，23模上3是2，也就是说，lisi的会话就存储在2号服务器（2号服务器记录lisi的登录成功与否，connection连接信息）
假如说，同一个客户端的每一次的请求没有被映射到1台指定的server服务器上，而是每一次发过来的请求都跳到不同的服务器上；
可能出现这么一种情况：zhangsan第一次登录，被映射到1号服务器上，在1号服务器上做业务处理后判断zhangsan输入的ID号用户名密码都是正确的，登录成功，在这个服务端的内存可能就记录他的session，登录的状态。那么下一次zhangsan有新的操作，重新发了1个请求，这个请求没有被映射到1号服务器，而是被映射到0号服务器，那0号服务器对zhangsan这个请求进行合法的处理还是因为它没有登录信息而拒绝执行业务？那么zhangsan登录成功与否，他的会话在server2的内存记录。现在，zhangsan后续的请求又跑到server1上了，server1上的内存并没有记录zhangsan之前登录的相关的会话数据。

解决这种情况：

就是把每个server的客户会话记录都放在统一的Redis里面，就是每一次取当前用户的状态，根据用户ID号，从远程的缓存服务器Redis中取。

登录成功以后，客户端还有一些连接跟这个服务器创建了连接，我们希望这个用户后续做的所有的请求都是在这台服务器上，因为这台服务器和当前客户保持着长连接。

普通的哈希算法，解决了会话共享的问题，一个客户的请求永远落在一台服务器上。

普通的哈希算法面临的问题：

问题1：假如说1号机器现在挂掉了，按理来说，只影响1号机器上登录成功的用户，不影响其他2台机器上登录成功的用户。
但是实际上，nginx可以动态识别后端服务器的故障，现在后续所有客户端发的请求经过md5处理之后，就是模上2了！！！原来是模上3，到达0号服务器和2号服务器的那么用户，现在由于1号服务器挂掉了，现在那些用户再发送后续请求的话，经过md5哈希函数后模上
问题2：或者是增加了1台服务器，3号服务器，可以让后续新登录的用户给这个3号服务器上负载一些。原来登录在0,1，2上的服务器的用户就不用变，后续的请求就还是登录到之前的0,1，2号服务器，那么现在不是这样，动态增加1台服务器后，nginx（lvs）会感知到，同样的客户端，同样的IP地址端口号经过md5哈希函数后模上4了！！！就全乱了！！！

场景2（key-value缓存服务器）–普通哈希算法存在的问题

服务端要增删改查数据，能不能直接操作DB数据库，可以，但是不能做到高并发，因为涉及到磁盘I/O次数多（虽然可以用索引，但是索引大了，索引也需要在磁盘上存储，读索引到内存上，也是需要磁盘I/O的），所以我们会把热点信息存储在缓存上。
我们拿用户的ID（key)，先在缓存上（Redis，memcache）查，查不到再去DB数据库上查，查完了，先把数据往缓存上放，然后返回给服务层，服务器处理完业务把结果返回给用户。
其次，在高并发大流量的场景下，缓存服务器本身也要集群。
根据普通哈希算法，把用户ID传入md5哈希函数，1个用户永远到1台memcach服务器上。
此时，memcach3挂掉了，按照普通的哈希算法，模上的数字改了，原来用户的后续请求落在了不同的memcach服务器上了，导致查询不到，然后到DB上找，DB上找来了以后又存到了不同的memcach上，导致有多台memcach服务器存储了同一个用户的信息。
假如memcach1上存储了10万用户的ID信息。这10万用户经过模数的更改，找不到缓存，然后都从DB上查，DB一下子就懵了，然后又重新落在了其他的memcach服务器上。
同样的再增加1台memcach服务器，模数也改了，结果也是不能接受的。
原本有100万数据，90万从缓存读取，10万由于缓存没查到落到DB，如果因为一台服务器的挂掉或者增加，模数改变，然后没查到，把90万数据都转到了DB，就严重了。

挂掉了服务器3，我们的理想情况是：得让原来落在服务器1和服务器2的用户，永远落在他们最初落在的服务器上，其他的新用户的请求进行新的模数取余负载分发

这个是普通的哈希算法是无法解决的。怎么办呢？？？

我们要用一致性哈希算法，一致性哈希算法会弥补普通哈希算法产生的问题。

一致性哈希算法

这个环就是一堆整数的取值范围代表的数字。

A，B，C落在3个不同的地方，代表md5算出的3个不同的数字。

假设现在有4个客户请求进来了，这4个客户都有自己的IP和端口，我们把IP+端口作为输入值，经过md5处理后得到4个整数，分别落在了一致性哈希环上的4个位置。

在这个一致性哈希环上，沿着顺时针，遇到的第一台服务器就是最终负载到的服务器。

假如现在客户端的请求来了（zhangsan的请求来了），zhangsan的IP地址+端口号作为输入值，进行md5的哈希，算出的哈希值，位于一致性哈希环上的1号位置，那么zhangsan请求最终落在了A服务器上。
客户2和客户3的请求就落在C服务器上；客户4的请求就落在B服务器上。

这样到底有没有解决普通哈希算法存在的问题？

假如服务器3挂了，原来工作在1或者2的服务器上的客户，依然在1或者2上。
原来在服务器3上工作的客户重新分发到1或者2上就可以了。

另外，扩展机器的时候，又增加1台机器，原来工作在1,2或者3上的客户依然工作在原机器上，只不过后期负载均衡器把新的请求落在4上就可以了。

让重新哈希的结果做到最少的改动。有利于服务端业务运行的稳定。

服务器挂了：
假如说服务器A挂了，不会影响原来在B或者C上的客户。

一个机器节点挂了，只是影响原来映射到这台服务器上的客户，只影响了客户1；B挂了，只影响客户4；

增加服务器：

假设增加1个服务器节点D，首先把D服务器的IP地址作为输入参数，传给md5哈希函数，得出整数值，就是落在一致性哈希环上的位置。
增加一个服务器节点，只影响这个服务器节点按逆时针遇到的上一台服务器的之间的请求。
做到最少的改动。

需要排序：

映射的哈希值，需要从0开始，依次变大；

用set 红黑树存储key就可以实现这个环了

服务器经过一致性哈希处理后，在哈希环上应该是分散一些好，还是集中在一起好？？？

为了达到每一个服务器的负载能力都比较均衡，尽量让它们分散一些，收到的客户的请求就均衡一些，趋于平均。

下图这样就很不好。

解决方法：

虚拟节点可以解决此问题
在一致性哈希的环上，我们都是存放机器的虚拟节点，就是把1个机器虚拟的看成200台（很多台）机器
在实际中，我们给真实的主机放100-200个虚拟节点，A和B在md5计算后的结果非常近，但是我们把物理主机想象成各自有100-200个虚拟主机，在环上就相对离散。

映射到虚拟节点，最终还是要映射到真实的物理节点；
虚拟节点的目的就是防止物理节点过少，导致哈希处理后在一致性哈希环上挤在一起，导致某一台服务器负载太多，其他的服务器一直很空闲。

写代码：

虚拟节点，物理节点，ConsistentHash（一致性哈希算法）

MD5算法应用讲解

md5算法：

可以用于加密，哈希，验证，云盘项目-大文件传输-秒传；

**举例：**得到的是加密串

我们的一致性哈希算法最后需要得到的是0-2^32-1范围内的数字，因此需要将MD5算法改造下：
添加以下函数：

就可以得到我们需要的整形数据；
数字差别还是很大的，还是非常离散的！

第一个函数，如果文件没有被改动，生成的文件的MD码是不会改变的。

secret.dat文件从fileclient传送到fileserver，怎么保证这个文件没有在网络的中间节点上被人拦截，并且文件内容被修改，或者被嵌入恶意的程序？

我们用md5来防止
在fileclient还没有传送文件之前，先在本地计算出这个文件的md5值；
然后等服务器同意，可以上传，就传输文件。服务器接收完文件以后，服务端也计算该文件的md5，如果文件内容和原始的一样，那么就是fileserver接收完计算这个文件的md5值和fileclient传输文件前计算的文件的md5值要相同。
如果值不相等，就证明文件的内容有问题了。

文件秒传：

上传的文件的md5值都可以存储下来，
如果后续fileclient又发送secret.dat的文件请求，它的处理是先发送updatefile的消息，然后服务器发现你想上传的文件的md5值库里都有，就给客户端直接响应一下你要上传的文件已经有了，不用上传了。
实际上没有传输，只是做了一个md5值的验证

md5.h源码

#pragma once



typedef unsigned long int UINT4;


typedef struct {
	UINT4 i[2];                   
	UINT4 buf[4];                                    
	unsigned char in[64];                              
	unsigned char digest[16];     
} MD5_CTX;

void MD5Init(MD5_CTX* mdContext);
void MD5Update(MD5_CTX* mdContext, unsigned char* inBuf, unsigned int inLen);
void MD5Final(MD5_CTX* mdContext);
static void Transform(UINT4* buf, UINT4* in);
//指定一个文件的路径path，根据文件内容计算出一个md5加密串
//这个文件内容有一点点任何改动，生成的加密串都是不一样的
char* MD5_file(const char* path, int md5_len=32);
//从原始的字符串，得到加密后的md5串
char* MD5(const char* buf, int md5_len = 32);
//把32位的md5串，处理成unsigned int返回
unsigned int getMD5(const char* buf);

md5.cc源码

#include "md5.h"
#include 
#include 
#include 



static void Transform();

static unsigned char PADDING[64] = {
	0x80, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00,
	0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00
};


#define F(x, y, z) (((x) & (y)) | ((~x) & (z)))
#define G(x, y, z) (((x) & (z)) | ((y) & (~z)))
#define H(x, y, z) ((x) ^ (y) ^ (z))
#define I(x, y, z) ((y) ^ ((x) | (~z))) 


#define ROTATE_LEFt(x, n) (((x) << (n)) | ((x) >> (32-(n))))



#define FF(a, b, c, d, x, s, ac) 
  {(a) += F ((b), (c), (d)) + (x) + (UINT4)(ac); 
   (a) = ROTATE_LEFt ((a), (s)); 
   (a) += (b); 
  }
#define GG(a, b, c, d, x, s, ac) 
	  {(a) += G ((b), (c), (d)) + (x) + (UINT4)(ac); 
   (a) = ROTATE_LEFt ((a), (s)); 
   (a) += (b); 
	  }
#define HH(a, b, c, d, x, s, ac) 
	  {(a) += H ((b), (c), (d)) + (x) + (UINT4)(ac); 
   (a) = ROTATE_LEFt ((a), (s)); 
   (a) += (b); 
	  }
#define II(a, b, c, d, x, s, ac) 
	  {(a) += I ((b), (c), (d)) + (x) + (UINT4)(ac); 
   (a) = ROTATE_LEFt ((a), (s)); 
   (a) += (b); 
	  }

void MD5Init(MD5_CTX* mdContext)
{
	mdContext->i[0] = mdContext->i[1] = (UINT4)0;

	
	mdContext->buf[0] = (UINT4)0x67452301;
	mdContext->buf[1] = (UINT4)0xefcdab89;
	mdContext->buf[2] = (UINT4)0x98badcfe;
	mdContext->buf[3] = (UINT4)0x10325476;
}

void MD5Update(MD5_CTX* mdContext, unsigned char* inBuf, unsigned int inLen)
{
	UINT4 in[16];
	int mdi;
	unsigned int i, ii;

	
	mdi = (int)((mdContext->i[0] >> 3) & 0x3F);

	
	if ((mdContext->i[0] + ((UINT4)inLen << 3)) < mdContext->i[0])
		mdContext->i[1]++;
	mdContext->i[0] += ((UINT4)inLen << 3);
	mdContext->i[1] += ((UINT4)inLen >> 29);

	while (inLen--) {
		
		mdContext->in[mdi++] = *inBuf++;

		
		if (mdi == 0x40) {
			for (i = 0, ii = 0; i < 16; i++, ii += 4)
				in[i] = (((UINT4)mdContext->in[ii + 3]) << 24) |
				(((UINT4)mdContext->in[ii + 2]) << 16) |
				(((UINT4)mdContext->in[ii + 1]) << 8) |
				((UINT4)mdContext->in[ii]);
			Transform(mdContext->buf, in);
			mdi = 0;
		}
	}
}

void MD5Final(MD5_CTX* mdContext)

{
	UINT4 in[16];
	int mdi;
	unsigned int i, ii;
	unsigned int padLen;

	
	in[14] = mdContext->i[0];
	in[15] = mdContext->i[1];

	
	mdi = (int)((mdContext->i[0] >> 3) & 0x3F);

	
	padLen = (mdi < 56) ? (56 - mdi) : (120 - mdi);
	MD5Update(mdContext, PADDING, padLen);
	
	for (i = 0, ii = 0; i < 14; i++, ii += 4)
		in[i] = (((UINT4)mdContext->in[ii + 3]) << 24) |
		(((UINT4)mdContext->in[ii + 2]) << 16) |
		(((UINT4)mdContext->in[ii + 1]) << 8) |
		((UINT4)mdContext->in[ii]);
	Transform(mdContext->buf, in);

	
	for (i = 0, ii = 0; i < 4; i++, ii += 4) {
		mdContext->digest[ii] = (unsigned char)(mdContext->buf[i] & 0xFF);
		mdContext->digest[ii + 1] =
			(unsigned char)((mdContext->buf[i] >> 8) & 0xFF);
		mdContext->digest[ii + 2] =
			(unsigned char)((mdContext->buf[i] >> 16) & 0xFF);
		mdContext->digest[ii + 3] =
			(unsigned char)((mdContext->buf[i] >> 24) & 0xFF);
	}
}


static void Transform(UINT4* buf, UINT4* in)
{
	UINT4 a = buf[0], b = buf[1], c = buf[2], d = buf[3];

	
#define S11 7
#define S12 12
#define S13 17
#define S14 22
	FF(a, b, c, d, in[0], S11, 3614090360); 
	FF(d, a, b, c, in[1], S12, 3905402710); 
	FF(c, d, a, b, in[2], S13, 606105819); 
	FF(b, c, d, a, in[3], S14, 3250441966); 
	FF(a, b, c, d, in[4], S11, 4118548399); 
	FF(d, a, b, c, in[5], S12, 1200080426); 
	FF(c, d, a, b, in[6], S13, 2821735955); 
	FF(b, c, d, a, in[7], S14, 4249261313); 
	FF(a, b, c, d, in[8], S11, 1770035416); 
	FF(d, a, b, c, in[9], S12, 2336552879); 
	FF(c, d, a, b, in[10], S13, 4294925233); 
	FF(b, c, d, a, in[11], S14, 2304563134); 
	FF(a, b, c, d, in[12], S11, 1804603682); 
	FF(d, a, b, c, in[13], S12, 4254626195); 
	FF(c, d, a, b, in[14], S13, 2792965006); 
	FF(b, c, d, a, in[15], S14, 1236535329); 

	
#define S21 5
#define S22 9
#define S23 14
#define S24 20
	GG(a, b, c, d, in[1], S21, 4129170786); 
	GG(d, a, b, c, in[6], S22, 3225465664); 
	GG(c, d, a, b, in[11], S23, 643717713); 
	GG(b, c, d, a, in[0], S24, 3921069994); 
	GG(a, b, c, d, in[5], S21, 3593408605); 
	GG(d, a, b, c, in[10], S22, 38016083); 
	GG(c, d, a, b, in[15], S23, 3634488961); 
	GG(b, c, d, a, in[4], S24, 3889429448); 
	GG(a, b, c, d, in[9], S21, 568446438); 
	GG(d, a, b, c, in[14], S22, 3275163606); 
	GG(c, d, a, b, in[3], S23, 4107603335); 
	GG(b, c, d, a, in[8], S24, 1163531501); 
	GG(a, b, c, d, in[13], S21, 2850285829); 
	GG(d, a, b, c, in[2], S22, 4243563512); 
	GG(c, d, a, b, in[7], S23, 1735328473); 
	GG(b, c, d, a, in[12], S24, 2368359562); 

	
#define S31 4
#define S32 11
#define S33 16
#define S34 23
	HH(a, b, c, d, in[5], S31, 4294588738); 
	HH(d, a, b, c, in[8], S32, 2272392833); 
	HH(c, d, a, b, in[11], S33, 1839030562); 
	HH(b, c, d, a, in[14], S34, 4259657740); 
	HH(a, b, c, d, in[1], S31, 2763975236); 
	HH(d, a, b, c, in[4], S32, 1272893353); 
	HH(c, d, a, b, in[7], S33, 4139469664); 
	HH(b, c, d, a, in[10], S34, 3200236656); 
	HH(a, b, c, d, in[13], S31, 681279174); 
	HH(d, a, b, c, in[0], S32, 3936430074); 
	HH(c, d, a, b, in[3], S33, 3572445317); 
	HH(b, c, d, a, in[6], S34, 76029189); 
	HH(a, b, c, d, in[9], S31, 3654602809); 
	HH(d, a, b, c, in[12], S32, 3873151461); 
	HH(c, d, a, b, in[15], S33, 530742520); 
	HH(b, c, d, a, in[2], S34, 3299628645); 

	
#define S41 6
#define S42 10
#define S43 15
#define S44 21
	II(a, b, c, d, in[0], S41, 4096336452); 
	II(d, a, b, c, in[7], S42, 1126891415); 
	II(c, d, a, b, in[14], S43, 2878612391); 
	II(b, c, d, a, in[5], S44, 4237533241); 
	II(a, b, c, d, in[12], S41, 1700485571); 
	II(d, a, b, c, in[3], S42, 2399980690); 
	II(c, d, a, b, in[10], S43, 4293915773); 
	II(b, c, d, a, in[1], S44, 2240044497); 
	II(a, b, c, d, in[8], S41, 1873313359); 
	II(d, a, b, c, in[15], S42, 4264355552); 
	II(c, d, a, b, in[6], S43, 2734768916); 
	II(b, c, d, a, in[13], S44, 1309151649); 
	II(a, b, c, d, in[4], S41, 4149444226); 
	II(d, a, b, c, in[11], S42, 3174756917); 
	II(c, d, a, b, in[2], S43, 718787259); 
	II(b, c, d, a, in[9], S44, 3951481745); 

	buf[0] += a;
	buf[1] += b;
	buf[2] += c;
	buf[3] += d;
}


char* MD5_file(const char* path, int md5_len)
{
	FILE* fp = fopen(path, "rb");
	MD5_CTX mdContext;
	int bytes;
	unsigned char data[1024];
	char* file_md5;
	int i;

	if (fp == NULL) {
		fprintf(stderr, "fopen %s failedn", path);
		return NULL;
	}

	MD5Init(&mdContext);
	while ((bytes = fread(data, 1, 1024, fp)) != 0)
	{
		MD5Update(&mdContext, data, bytes);
	}
	MD5Final(&mdContext);

	file_md5 = (char*)malloc((md5_len + 1) * sizeof(char));
	if (file_md5 == NULL)
	{
		fprintf(stderr, "malloc failed.n");
		return NULL;
	}
	memset(file_md5, 0, (md5_len + 1));

	if (md5_len == 16)
	{
		for (i = 4; i < 12; i++)
		{
			sprintf(&file_md5[(i - 4) * 2], "%02x", mdContext.digest[i]);
		}
	}
	else if (md5_len == 32)
	{
		for (i = 0; i < 16; i++)
		{
			sprintf(&file_md5[i * 2], "%02x", mdContext.digest[i]);
		}
	}
	else
	{
		fclose(fp);
		free(file_md5);
		return NULL;
	}
	fclose(fp);
	return file_md5;
}

char* MD5(const char* buf, int md5_len)
{
	MD5_CTX mdContext;
	int bytes;
	unsigned char data[1024];
	char* file_md5;
	int i;

	MD5Init(&mdContext);
	MD5Update(&mdContext, (unsigned char*)buf, strlen(buf));
	MD5Final(&mdContext);

	file_md5 = (char*)malloc((md5_len + 1) * sizeof(char));
	if (file_md5 == NULL)
	{
		fprintf(stderr, "malloc failed.n");
		return NULL;
	}
	memset(file_md5, 0, (md5_len + 1));

	if (md5_len == 16)
	{
		for (i = 4; i < 12; i++)
		{
			sprintf(&file_md5[(i - 4) * 2], "%02x", mdContext.digest[i]);
		}
	}
	else if (md5_len == 32)
	{
		for (i = 0; i < 16; i++)
		{
			sprintf(&file_md5[i * 2], "%02x", mdContext.digest[i]);
		}
	}
	else
	{
		free(file_md5);
		return NULL;
	}
	return file_md5;
}

unsigned int getMD5(const char* buf)
{
	char* b = MD5(buf);
	unsigned int hash = 0;

	// 共32位的加密串 8个字符  4组
	// 5f93f983524def3dca464469d2cf9f3e
	for (int i = 0; i < 8; i++)
	{
		hash += ((int)(b[i * 4 + 3] & 0xFF) << 24)
			| ((int)(b[i * 4 + 2] & 0xFF) << 16)
			| ((int)(b[i * 4 + 1] & 0xFF) << 8)
			| ((int)(b[i * 4 + 0] & 0xFF));
	}

	return hash;
}

一致性哈希算法代码实现

#include 
#include 
#include 
#include 
#include 
using namespace std;

#include "md5.h"

//一致性哈希环的取值类型
using uint = unsigned int;

//前置声明物理节点主机类型
class PhscialHost; 

//虚拟节点
class VirtualHost
{
public:
    VirtualHost(string ip, PhscialHost* p)
        : ip_(ip)
        , phscialHost_(p)
    {
        md5_ = ::getMD5(ip_.c_str());
    }

    bool operator<(const VirtualHost& host) const
    {
        return md5_ < host.md5_;
    }

    bool operator==(const VirtualHost& host) const
    {
        return ip_ == host.ip_;
    }

    uint getMD5() const
    {
        return md5_;
    }

    const PhscialHost* getPhscialHost() const
    {
        return phscialHost_;
    }

private:
    string ip_;//虚拟节点的ip信息
    uint md5_;//虚拟节点在一致性哈希环上的位置
    PhscialHost* phscialHost_;//虚拟节点隶属的物理节点
};

//物理节点
class PhscialHost
{
public:
    PhscialHost(string ip, int vnumber)//ip，虚拟节点的个数 
        : ip_(ip)
    {
        for (int i = 0; i < vnumber; i++)
        {
            //虚拟节点需要一个ip，还需要记录它属于哪个物理节点
            virtualHosts_.emplace_back(
                ip + "#" + ::to_string(i),
                this
            );
        }
    }

    string getIP() const
    {
        return ip_;
    }

    const list& getVirtualHosts() const
    {
        return virtualHosts_;
    }
private:
    string ip_;//物理机器的ip地址
    list virtualHosts_;//存储虚拟节点列表
};

//一致性哈希算法代码实现
class ConsistentHash
{
public:
    //在一致性哈希环上添加物理主机的虚拟节点
    void addHost(PhscialHost& host)
    {
        //获取物理主机所有的虚拟节点列表
        auto list = host.getVirtualHosts();
        for (auto host : list)
        {
            hashCircle_.insert(host);
        }
    }

    //在一致性哈希环上删除物理主机的虚拟节点
    void delHost(PhscialHost& host)
    {
        //获取物理主机所有的虚拟节点列表
        auto list = host.getVirtualHosts();
        for (auto host : list)
        {
            auto it = hashCircle_.find(host);
            if (it != hashCircle_.end())
            {
                //在一致性哈希环上删除所有物理主机对应的虚拟节点
                hashCircle_.erase(it);
            }
        }
    }

    //返回负载的真实物理主机的ip信息
    string getHost(string clientip) const
    {
        uint md5 = getMD5(clientip.c_str());
        for (auto vhost : hashCircle_)
        {
            if (vhost.getMD5() > md5)
            {
                return vhost.getPhscialHost()->getIP();
            }
        }

        //映射从0开始遇见的第一个虚拟节点
        return hashCircle_.begin()->getPhscialHost()->getIP();
    }
private:
    set hashCircle_;//一致性哈希环
};

void ShowConsistentHash(ConsistentHash& chash);

//测试一致性哈希算法的功能
int main()
{
    PhscialHost host1("10.117.124.10", 150);
    PhscialHost host2("10.117.124.20", 150);
    PhscialHost host3("10.117.124.30", 150);

    ConsistentHash chash;
    chash.addHost(host1);
    chash.addHost(host2);
    chash.addHost(host3);

    ShowConsistentHash(chash);

    //模拟host1有故障
    chash.delHost(host1);

    ShowConsistentHash(chash);   
}

void ShowConsistentHash(ConsistentHash& chash)
{
    list iplists{
        "192.168.1.123",
        "192.168.1.12",
        "192.168.1.13",
        "192.168.1.23",
        "192.168.1.54",
        "192.168.1.89",
        "192.168.1.21",
        "192.168.1.27",
        "192.168.1.49",
        "192.168.1.145",
        "192.168.2.34",
        "192.168.6.78",
        "192.168.2.90",
        "192.168.4.5"
    };

    map> logMap;

    for (auto clientip : iplists)
    {
        string host = chash.getHost(clientip);
        logMap[host].emplace_back(clientip);
    }

    for (auto pair : logMap)
    {
        cout << "物理主机:" << pair.first << endl;
        cout << "客户端映射的数量:" << pair.second.size() << endl;

        for (auto ip : pair.second)
        {
            cout << ip << endl;
        }

        cout << "----------------------------" << endl;
    }
    cout << endl;
}

168-一致性哈希算法-负载均衡

Linux相关栏目本月热门文章