7、Redis 开发规范
一、键值设计
1.1、key名设计
1.1.1、【建议】: 可读性和可管理性
trade:order:1
1.1.2、【建议】: 简洁性
user:{uid}:friends:messages:{mid} 简化为 u:{uid}:fr:m:{mid}1.1.2、【强制】:不要包含特殊字符
1.2、value名设计
1.1.2、【强制】:拒绝bigkey(防止网卡流量、慢查询)
bigkey的危害:
过期删除
bigkey的产生
- 社交类:粉丝列表,如果某些明星或者大v不精心设计下,必是bigkey。
- 统计类:例如按天存储某项功能或者网站的用户集合,除非没几个人用,否则必是bigkey。
- 缓存类:将数据从数据库load出来序列化放到Redis里,这个方式非常常用,但有两个地方需要注意,第一,是不是有必要把所有字段都缓存;第二,有没有相关关联的数据,有的同学为了图方便把相关数据都存一个key下,产生bigkey。
如何优化bigkey
- 拆
- big list才分为多个 list1、list2、...listN。
- big hash:可以讲数据分段存储,比如一个大的key,假设存了1百万的用户数据,可以拆分成200个key,每个key下面存放5000个用户数据。
- 如果bigkey不可避免,也要思考一下要不要每次把所有元素都取出来(例如有时候仅仅需要hmget,而不是hgetall),删除也是一样,尽量使用优雅的方式来处理。
1.1.3、【推荐】:选择适合的数据类型
set user:1:name tom set user:1:age 19 set user:1:favor football
正例:
hmset user:1 name tom age 19 favor football
1.1.4、【推荐】:控制key的生命周期,redis不是垃圾桶
1.2、命令使用
1.2.1、【推荐】 O(N)命令关注N的数量
1.2.2、【推荐】:禁用命令
1.2.3、【推荐】合理使用select
1.2.4、【推荐】使用批量操作提高效率
原生命令:例如mget、mset。- 原生命令是原子操作,pipeline是非原子操作。
- pipeline可以打包不同的命令,原生命令做不到 。
- pipeline需要客户端和服务端同时支持。
1.2.5、【建议】Redis事务功能较弱,不建议过多使用,可以用lua替代
1.3、客户端使用
1.3.1、【推荐】避免多个应用使用一个Redis实例
1.3.2、【推荐】使用带有连接池的数据库,可以有效控制连接,同时提高效率
JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
jedisPoolConfig.setMaxTotal(5);
jedisPoolConfig.setMaxIdle(2);
jedisPoolConfig.setTestOnBorrow(true);
JedisPool jedisPool = new JedisPool(jedisPoolConfig, "192.168.0.60", 6379, 3000, null);
Jedis jedis = null;
try {
jedis = jedisPool.getResource();
//具体的命令
jedis.executeCommand()
} catch (Exception e) {
logger.error("op key {} error: " + e.getMessage(), key, e);
} finally {
//注意这里不是关闭连接,在JedisPool模式下,Jedis会被归还给资源池。
if (jedis != null)
jedis.close();
}连接池参数含义:
优化建议:
1)maxTotal:最大连接数,早期的版本叫maxActive
业务希望Redis并发量
客户端执行命令时间
Redis资源:例如 nodes(例如应用个数) * maxTotal 是不能超过redis的最大连接数maxclients。
资源开销:例如虽然希望控制空闲连接(连接池此刻可马上使用的连接),但是不希望因为连接池的频繁释放创建连接造成不必靠开销。
一次命令时间(borrow|return resource + Jedis执行命令(含网络) )的平均耗时约为1ms,一个连接的QPS大约是1000
业务期望的QPS是50000
2)maxIdle和minIdle
List<Jedis> minIdleJedisList = new ArrayList<Jedis>(jedisPoolConfig.getMinIdle());
for (int i = 0; i < jedisPoolConfig.getMinIdle(); i++) {
Jedis jedis = null;
try {
jedis = pool.getResource();
minIdleJedisList.add(jedis);
jedis.ping();
} catch (Exception e) {
logger.error(e.getMessage(), e);
} finally {
//注意,这里不能马上close将连接还回连接池,否则最后连接池里只会建立1个连接。。
//jedis.close();
}
}
//统一将预热的连接还回连接池
for (int i = 0; i < jedisPoolConfig.getMinIdle(); i++) {
Jedis jedis = null;
try {
jedis = minIdleJedisList.get(i);
//将连接归还回连接池
jedis.close();
} catch (Exception e) {
logger.error(e.getMessage(), e);
} finally {
}
}1.3.3、【建议】高并发下建议客户端添加熔断功能(例如sentinel、hystrix)
1.3.4、【推荐】设置合理的密码,如有必要可以使用SSL加密访问
1.3.5、【建议】Redis对于过期键有三种清除策略
被动删除:当读/写一个已经过期的key时,会触发惰性删除策略,直接删除掉这个过期key
主动删除:由于惰性删除策略无法保证冷数据被及时删掉,所以Redis会定期主动淘汰一批已过期的key
当前已用内存超过maxmemory限定时,触发主动清理策略
volatile-ttl:在筛选时,会针对设置了过期时间的键值对,根据过期时间的先后进行删除,越早过期的越先被删除。
volatile-random:就像它的名称一样,在设置了过期时间的键值对中,进行随机删除。
volatile-lru:会使用 LRU 算法筛选设置了过期时间的键值对删除。
volatile-lfu:会使用 LFU 算法筛选设置了过期时间的键值对删除。
allkeys-random:从所有键值对中随机选择并删除数据。
allkeys-lru:使用 LRU 算法在所有数据中进行筛选删除。
allkeys-lfu:使用 LFU 算法在所有数据中进行筛选删除。
noeviction:不会剔除任何数据,拒绝所有写入操作并返回客户端错误信息"(error) OOM command not allowed when used memory",此时Redis只响应读操作。
LRU 算法(Least Recently Used,最近最少使用)
LFU 算法(Least Frequently Used,最不经常使用)
版权声明
非特殊说明,本文由Zender原创或收集发布,欢迎转载。
ZENDER
发表评论:
◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。