搜索到
2
篇与
Redis
的结果
-
用PHP与Redis实现单据锁，防止并发重复写入数据 一、何为单据锁：在整个供应链系统中，会有很多种单据（采购单、入库单、到货单、运单等等），在涉及写单据数据的接口时（增删改操作），即使前端做了相关限制，还是有可能因为网络或异常操作产生并发重复调用的情况，导致对相同单据做相同的处理；为了防止这种情况对系统造成异常影响，我们通过Redis实现了一个简单的单据锁，每个请求需先获取锁才能执行业务逻辑，执行结束后才会释放锁；保证了同一单据的并发重复操作请求只有一个请求可以获取到锁（依赖Redis的单线程），是一种悲观锁的设计；注：Redis锁在我们的系统中一般只用于解决并发重复请求的情况，对于非并发的的重复请求一般会去数据库或日志校验数据的状态，两种机制结合起来才能保证整个链路的可靠。二、加锁机制：主要依赖Redis setnx指令实现：但使用setnx有一个问题，即setnx指令不支持设置过期时间，需要使用expire指令另行为key设置超时时间。这样整个加锁操作就不是一个原子性操作，有可能存在setnx加锁成功，但因程序异常退出导致未成功设置超时时间，在不及时解锁的情况下，有可能会导致死锁（即使业务场景中不会出现死锁，无用的key一直常驻内存也不是很好的设计）；这种情况可以使用Redis事务解决，把setnx与expire两条指令作为一个原子性操作执行，但这样做相对而言会比较麻烦，好在Redis 2.6.12之后版本，Redis set指令支持了nx、ex模式，并支持原子化地设置过期时间：三、加锁实现（完整测试代码会贴在最后）：/** * 加单据锁 * @param int $intOrderId 单据ID * @param int $intExpireTime 锁过期时间（秒） * @return bool|int 加锁成功返回唯一锁ID，加锁失败返回false */ public static function addLock($intOrderId, $intExpireTime = self::REDIS_LOCK_DEFAULT_EXPIRE_TIME) { //参数校验 if (empty($intOrderId) || $intExpireTime <= 0) { return false; } //获取Redis连接 $objRedisConn = self::getRedisConn(); //生成唯一锁ID，解锁需持有此ID $intUniqueLockId = self::generateUniqueLockId(); //根据模板，结合单据ID，生成唯一Redis key（一般来说，单据ID在业务中系统中唯一的） $strKey = sprintf(self::REDIS_LOCK_KEY_TEMPLATE, $intOrderId); //加锁（通过Redis setnx指令实现，从Redis 2.6.12开始，通过set指令可选参数也可以实现setnx，同时可原子化地设置超时时间） $bolRes = $objRedisConn->set($strKey, $intUniqueLockId, ['nx', 'ex'=>$intExpireTime]); //加锁成功返回锁ID，加锁失败返回false return $bolRes ? $intUniqueLockId : $bolRes; }四、解锁机制：解锁即比对加锁时的唯一lock id，如果比对成功，则删除key；需要注意的是，解锁整个过程中同样需要保证原子性，这里依赖redis的watch与事务实现；WATCH命令可以监控一个或多个键，一旦其中有一个键被修改（或删除），之后的事务就不会执行。监控一直持续到EXEC命令（事务中的命令是在EXEC之后才执行的，所以在MULTI命令后可以修改WATCH监控的键值）五、解锁实现（完整测试代码会贴在最后）：/** * 解单据锁 * @param int $intOrderId 单据ID * @param int $intLockId 锁唯一ID * @return bool */ public static function releaseLock($intOrderId, $intLockId) { //参数校验 if (empty($intOrderId) || empty($intLockId)) { return false; } //获取Redis连接 $objRedisConn = self::getRedisConn(); //生成Redis key $strKey = sprintf(self::REDIS_LOCK_KEY_TEMPLATE, $intOrderId); //监听Redis key防止在【比对lock id】与【解锁事务执行过程中】被修改或删除，提交事务后会自动取消监控，其他情况需手动解除监控 $objRedisConn->watch($strKey); if ($intLockId == $objRedisConn->get($strKey)) { $objRedisConn->multi()->del($strKey)->exec(); return true; } $objRedisConn->unwatch(); return false; }六、附整体测试代码（此代码仅为简易版本）<?php /** * Class Lock_Service 单据锁服务 */ class Lock_Service { /** * 单据锁redis key模板 */ const REDIS_LOCK_KEY_TEMPLATE = 'order_lock_%s'; /** * 单据锁默认超时时间（秒） */ const REDIS_LOCK_DEFAULT_EXPIRE_TIME = 86400; /** * 加单据锁 * @param int $intOrderId 单据ID * @param int $intExpireTime 锁过期时间（秒） * @return bool|int 加锁成功返回唯一锁ID，加锁失败返回false */ public static function addLock($intOrderId, $intExpireTime = self::REDIS_LOCK_DEFAULT_EXPIRE_TIME) { //参数校验 if (empty($intOrderId) || $intExpireTime <= 0) { return false; } //获取Redis连接 $objRedisConn = self::getRedisConn(); //生成唯一锁ID，解锁需持有此ID $intUniqueLockId = self::generateUniqueLockId(); //根据模板，结合单据ID，生成唯一Redis key（一般来说，单据ID在业务中系统中唯一的） $strKey = sprintf(self::REDIS_LOCK_KEY_TEMPLATE, $intOrderId); //加锁（通过Redis setnx指令实现，从Redis 2.6.12开始，通过set指令可选参数也可以实现setnx，同时可原子化地设置超时时间） $bolRes = $objRedisConn->set($strKey, $intUniqueLockId, ['nx', 'ex'=>$intExpireTime]); //加锁成功返回锁ID，加锁失败返回false return $bolRes ? $intUniqueLockId : $bolRes; } /** * 解单据锁 * @param int $intOrderId 单据ID * @param int $intLockId 锁唯一ID * @return bool */ public static function releaseLock($intOrderId, $intLockId) { //参数校验 if (empty($intOrderId) || empty($intLockId)) { return false; } //获取Redis连接 $objRedisConn = self::getRedisConn(); //生成Redis key $strKey = sprintf(self::REDIS_LOCK_KEY_TEMPLATE, $intOrderId); //监听Redis key防止在【比对lock id】与【解锁事务执行过程中】被修改或删除，提交事务后会自动取消监控，其他情况需手动解除监控 $objRedisConn->watch($strKey); if ($intLockId == $objRedisConn->get($strKey)) { $objRedisConn->multi()->del($strKey)->exec(); return true; } $objRedisConn->unwatch(); return false; } /** * Redis配置：IP */ const REDIS_CONFIG_HOST = '127.0.0.1'; /** * Redis配置：端口 */ const REDIS_CONFIG_PORT = 6379; /** * 获取Redis连接（简易版本，可用单例实现） * @param string $strIp IP * @param int $intPort 端口 * @return object Redis连接 */ public static function getRedisConn($strIp = self::REDIS_CONFIG_HOST, $intPort = self::REDIS_CONFIG_PORT) { $objRedis = new Redis(); $objRedis->connect($strIp, $intPort); return $objRedis; } /** * 用于生成唯一的锁ID的redis key */ const REDIS_LOCK_UNIQUE_ID_KEY = 'lock_unique_id'; /** * 生成锁唯一ID（通过Redis incr指令实现简易版本，可结合日期、时间戳、取余、字符串填充、随机数等函数，生成指定位数唯一ID） * @return mixed */ public static function generateUniqueLockId() { return self::getRedisConn()->incr(self::REDIS_LOCK_UNIQUE_ID_KEY); } } //test $res1 = Lock_Service::addLock('666666'); var_dump($res1);//返回lock id，加锁成功 $res2 = Lock_Service::addLock('666666'); var_dump($res2);//false，加锁失败 $res3 = Lock_Service::releaseLock('666666', $res1); var_dump($res3);//true，解锁成功 $res4 = Lock_Service::releaseLock('666666', $res1); var_dump($res4);//false，解锁失败 -
Redis的一大场景：排行榜实时更新 Redis 有序集合和集合一样也是 string 类型元素的集合，且不允许重复的成员。不同的是每个元素都会关联一个 double 类型的分数。redis 正是通过分数来为集合中的成员进行从小到大的排序。有序集合的成员是唯一的，但分数 (score) 却可以重复。集合是通过哈希表实现的，所以添加，删除，查找的复杂度都是 O (1)。集合中最大的成员数为 2^32 - 1^ (4294967295, 每个集合可存储 40 多亿个成员)。有序集合首先是集合，其成员（member）具有唯一性，其次，每个成员关联了一个分数（score），使得成员可以按照分数排序。需求描述设想在一个游戏中，有上百万的玩家数据，如果现在需要你根据玩家的经验值整理一个前 10 名的排行榜，你会怎么做呢？一般的做法是写一条类似下面这条 sql 语句的方式来获取：select * from game_socre order by score desc limit 0,20这种方式在数据量较小的情况下可行，但是在数据量大的情况下查询速度将变慢，特别是还需要联表查询时，速度下降的就更明显了。实现这时你可以考虑使用 redis 来实现这个功能。实现这个功能主要用到的 redis 数据类型是 redis 的有序集合 zset。zset 是 set 类型的一个扩展，比原有的类型多了一个顺序属性。此属性在每次插入数据时会自动调整顺序值，保证 value 值按照一定顺序连续排列。主要的实现思路是：1、在一个新的玩家参与到游戏中时，在 redis 中的 zset 中新增一条记录（记录内容看具体的需求）score 为 02、当玩家的经验值发生变化时，修改该玩家的 score 值3、使用 redis 的 ZREVRANGE 方法获取排行榜返回有序集 key 中，指定区间内的成员。其中成员的位置按 score 值递减 (从大到小) 来排列。具有相同 score 值的成员按字典序的反序排列。除了成员按 score 值递减的次序排列这一点外，ZREVRANGE 命令的其他方面和 ZRANGE 命令一样。redis 127.0.0.1:6379> ZADD KEY_NAME SCORE1 VALUE1.. SCOREN VALUEN1、数据准备2、获取 score 高分 top8 排名 (ZREVRANGE 为降序，ZRANGE 为升序)3、查看用户 ee 的实际排名 (ZREVRANK 为降序，ZRANK 为升序)、实时分数进一步需求需要实现最近的 24 小时用户积分排行榜，并统计前 10 名的玩家和积分实现主要的实现思路是：利用 ZADD 按小时划分添加用户的积分信息，然后用 ZUNIONSTORE 并集实现 24 小时的游戏积分总和，实现 “24 小时排行榜”；（如果有更好的思路，能够在下方留言不吝赐教一下就更好了）ZUNIONSTORE destination numkeys key [key ...]Redis Zunionstore 命令计算给定的一个或多个有序集的并集，其中给定 key 的数量必须以 numkeys 参数指定，并 ? ? 将该并集(结果集)储存到 destination 。默认情况下，结果集中某个成员的分数值是所有给定集下该成员分数值之和 。可能碰到的问题1、相同分数问题Redis 在遇到分数相同时是按照集合成员自身的字典顺序来排序，这里即是按照”user2″和”user3″这两个字符串进行排序，以逆序排序的话 user3 自然排到了前面。要解决这个问题，我们可以考虑在分数中加入时间戳，计算公式为：带时间戳的分数 = 实际分数*10000000000 + (9999999999 – timestamp)timestamp 我们采用系统提供的 time () 函数，也就是 1970 年 1 月 1 日以来的秒数，我们采用 32 位的时间戳（这能坚持到 2038 年），由于 32 位时间戳是 10 位十进制整数（最大值 4294967295）;所以我们让时间戳占据低 10 位（十进制整数），实际分数则扩大 10^10 倍，然后把两部分相加的结果作为 zset 的分数。考虑到要按时间倒序排列，所以时间戳这部分需要颠倒一下，这便是用 9999999999 减去时间戳的原因。当我们要读取玩家实际分数时，只需去掉后 10 位即可。初步看起来这个方案还不错，但这里面有两个问题。第一个问题是小问题，采用秒为时间戳可能区分度还不够，如果同一秒出现两个分数相同的仍然会出现前面的问题，当然我们可以选择精度更高的时间戳，但在实际场景中，同一秒谁排前面已经无关紧要。第二个问题是大问题，因为 Redis 的分数类型采用的是 double，64 位双精度浮点数只有 52 位有效数字，它能精确表达的整数范围为 - 2^53 到 2^53，最高只能表示 16 位十进制整数（最大值为 9007199254740992，其实连 16 位也不能完整表示）。这就是说，如果前面时间戳占了 10 位的话，分数就只剩下 6 位了，这对于某些排行榜分数来说是不够用的。我们可以考虑缩减时间戳位数，比如从 2015 年 1 月 1 日开始计时，但这仍然增加不了几位。或者减少区分度，以分钟、小时来作为时间戳单位。如果 Redis 的分数类型为 int64，我们就没有上面的烦恼。说到这里，其实 Redis 真应该再额外提供一个 int64 类型的 ZSet，但目前只能是幻想，除非自己改其源码。
