• UID25
  • 登录2016-05-02
  • 粉丝8
  • 关注2
  • 发帖80
  • 主页
  • 金币1443枚
社区居民
原创写手
billy 发布于2016-04-16 17:04
0/869

利用redis + lua解决抢红包高并发的问题

楼层直达
抢红包的需求分析

抢红包的场景有点像秒杀,但是要比秒杀简单点。
因为秒杀通常要和库存相关。而抢红包则可以允许有些红包没有被抢到,因为发红包的人不会有损失,没抢完的钱再退回给发红包的人即可。
另外像小米这样的抢购也要比淘宝的要简单,也是因为像小米这样是一个公司的,如果有少量没有抢到,则下次再抢,人工修复下数据是很简单的事。而像淘宝这么多商品,要是每一个都存在着修复数据的风险,那如果出故障了则很麻烦。
淘宝的专家丁奇有个文章有写到淘宝是如何应对秒杀的:《秒杀场景下MySQL的低效–原因和改进》
http://blog.NoSQLfan.com/html/4209.html

基于redis的抢红包方案

下面介绍一种基于redis的抢红包方案。
把原始的红包称为大红包,拆分后的红包称为小红包。
1.小红包预先生成,插到数据库里,红包对应的用户ID是null。生成算法见另一篇blog:http://blog.csdn.net/hengyunabc/article/details/19177877
2.每个大红包对应两个redis队列,一个是未消费红包队列,另一个是已消费红包队列。开始时,把未抢的小红包全放到未消费红包队列里。
未消费红包队列里是json字符串,如{userId:’789′, money:’300′}。
3.在redis中用一个map来过滤已抢到红包的用户。
4.抢红包时,先判断用户是否抢过红包,如果没有,则从未消费红包队列中取出一个小红包,再push到另一个已消费队列中,最后把用户ID放入去重的map中。
5.用一个单线程批量把已消费队列里的红包取出来,再批量update红包的用户ID到数据库里。
上面的流程是很清楚的,但是在第4步时,如果是用户快速点了两次,或者开了两个浏览器来抢红包,会不会有可能用户抢到了两个红包?
为了解决这个问题,采用了lua脚本方式,让第4步整个过程是原子性地执行。
下面是在redis上执行的Lua脚本:



-- 函数:尝试获得红包,如果成功,则返回json字符串,如果不成功,则返回空
-- 参数:红包队列名, 已消费的队列名,去重的Map名,用户ID
-- 返回值:nil 或者 json字符串,包含用户ID:userId,红包ID:id,红包金额:money
 
-- 如果用户已抢过红包,则返回nil
if redis.call('hexists', KEYS[3], KEYS[4]) ~= 0 then
  return nil
else
  -- 先取出一个小红包
  local hongBao = redis.call('rpop', KEYS[1]);
  if hongBao then
    local x = cjson.decode(hongBao);
    -- 加入用户ID信息
    x['userId'] = KEYS[4];
    local re = cjson.encode(x);
    -- 把用户ID放到去重的set里
    redis.call('hset', KEYS[3], KEYS[4], KEYS[4]);
    -- 把红包放到已消费队列里
    redis.call('lpush', KEYS[2], re);
    return re;
  end
end
return nil

下面是测试代码:

public class TestEval {
    static String host = "localhost";
    static int honBaoCount = 1_0_0000;
   
    static int threadCount = 20;
   
    static String hongBaoList = "hongBaoList";
    static String hongBaoConsumedList = "hongBaoConsumedList";
    static String hongBaoConsumedMap = "hongBaoConsumedMap";
   
    static Random random = new Random();
   
//  -- 函数:尝试获得红包,如果成功,则返回json字符串,如果不成功,则返回空
//  -- 参数:红包队列名, 已消费的队列名,去重的Map名,用户ID
//  -- 返回值:nil 或者 json字符串,包含用户ID:userId,红包ID:id,红包金额:money
    static String tryGetHongBaoScript = 
//          "local bConsumed = redis.call('hexists', KEYS[3], KEYS[4]);\n"
//          + "print('bConsumed:' ,bConsumed);\n"
            "if redis.call('hexists', KEYS[3], KEYS[4]) ~= 0 then\n"
            + "return nil\n"
            + "else\n"
            + "local hongBao = redis.call('rpop', KEYS[1]);\n"
//          + "print('hongBao:', hongBao);\n"
            + "if hongBao then\n"
            + "local x = cjson.decode(hongBao);\n"
            + "x['userId'] = KEYS[4];\n"
            + "local re = cjson.encode(x);\n"
            + "redis.call('hset', KEYS[3], KEYS[4], KEYS[4]);\n"
            + "redis.call('lpush', KEYS[2], re);\n"
            + "return re;\n"
            + "end\n"
            + "end\n"
            + "return nil";
    static StopWatch watch = new StopWatch();
   
    public static void main(String[] args) throws InterruptedException {
//      testEval();
        generateTestData();
        testTryGetHongBao();
    }
   
    static public void generateTestData() throws InterruptedException {
        Jedis jedis = new Jedis(host);
        jedis.flushAll();
        final CountDownLatch latch = new CountDownLatch(threadCount);
        for(int i = 0; i < threadCount; ++i) {
            final int temp = i;
            Thread thread = new Thread() {
                public void run() {
                    Jedis jedis = new Jedis(host);
                    int per = honBaoCount/threadCount;
                    JSONObject object = new JSONObject();
                    for(int j = temp * per; j < (temp+1) * per; j++) {
                        object.put("id", j);
                        object.put("money", j);
                        jedis.lpush(hongBaoList, object.toJSONString());
                    }
                    latch.countDown();
                }
            };
            thread.start();
        }
        latch.await();
    }
   
    static public void testTryGetHongBao() throws InterruptedException {
        final CountDownLatch latch = new CountDownLatch(threadCount);
        System.err.println("start:" + System.currentTimeMillis()/1000);
        watch.start();
        for(int i = 0; i < threadCount; ++i) {
            final int temp = i;
            Thread thread = new Thread() {
                public void run() {
                    Jedis jedis = new Jedis(host);
                    String sha = jedis.scriptLoad(tryGetHongBaoScript);
                    int j = honBaoCount/threadCount * temp;
                    while(true) {
                        Object object = jedis.eval(tryGetHongBaoScript, 4, hongBaoList, hongBaoConsumedList, hongBaoConsumedMap, "" + j);
                        j++;
                        if (object != null) {
//                          System.out.println("get hongBao:" + object);
                        }else {
                            //已经取完了
                            if(jedis.llen(hongBaoList) == 0)
                                break;
                        }
                    }
                    latch.countDown();
                }
            };
            thread.start();
        }
   
        latch.await();
        watch.stop();
   
        System.err.println("time:" + watch.getTotalTimeSeconds());
        System.err.println("speed:" + honBaoCount/watch.getTotalTimeSeconds());
        System.err.println("end:" + System.currentTimeMillis()/1000);
    }
}

测试结果20个线程,每秒可以抢2.5万个,足以应付绝大部分的抢红包场景。
如果是真的应付不了,拆分到几个redis集群里,或者改为批量抢红包,也足够应付。

总结:
redis的抢红包方案,虽然在极端情况下(即redis挂掉)会丢失一秒的数据,但是却是一个扩展性很强,足以应付高并发的抢红包方案。


注:本文来源于http://www.importnew.com/19117.html

0人打赏
您需要登录后才可以回帖
发表回复
极贡献
技术问答
专题荟萃
程序人生
视觉设计
Android开发
iOS开发
编程语言
前端开发
后端开发
服务器架构
软件测试
运维方案
创业路上



最热文章墙

  • 76999/375   【精品推荐】200多种Android动画效果的强悍框架,太全了,不看这个,再有动画的问题,不理你了^@^

  • 44075/191   情人节福利,程序员表白的正确姿势:改几行代码就变成自己的表白了

  • 43705/0   Python爬虫:常用浏览器的useragent

  • 40218/259   【精品推荐】Android版产品级的音乐播放器源码,功能太强大了,最好的产品原型有木有?

  • 37956/145   省时省力的Android组件群来了,非常棒的原型参考

  • 29218/142   2016抢红包软件及源码

  • 28975/2   超全!整理常用的iOS第三方资源

  • 28846/71   原创表白APP,以程序员的姿势备战新年后的7夕,持续完善中!

  • 23562/159   Android版类似UC浏览器:非常赞,产品级的源码

  • 22587/30   麻省理工的一帮疯子,真的实现了随意操控万物!(绝对黑科技)

  • 22270/25   Android工程师面试题大全

  • 22145/27   2016程序员跳槽全攻略

  • 21735/9   GitHub上排名前50的iOS项目:总有一款你用得着

  • 20701/20   码魂:程序员的牛B漫画

  • 18795/10   2016年最全的Android面试考题+答案 精编版

  • 18644/85   Android小而全的博客源码:非常适合全面掌握开发技巧

  • 18528/3   吐槽那些程序员的搞笑牛逼注释

  • 18517/42   一个绚丽的loading动效分析与实现!

  • 18504/73   【持续更新中】Android福利贴(二):资料源码大放送

  • 17453/1   iOS 动画总结

  • 17300/45   惊艳的App引导页:背景图片切换加各个页面动画效果

  • 17097/81   仿京东商城客户端Android最新版,不错的原型和学习资料

  • 16925/104   Android带弹幕的视频播放器源码,来自大名鼎鼎的Bilibili弹幕网站

  • 16838/23   个人收集的Android 各类功能源代码

  • 16324/5   新一代Android渠道打包工具:1000个渠道包只需要5秒

  • 16247/10   女程序员的梦,众网友的神回复

  • 16242/21   Android福利第三波【Android电子书】

  • 16109/53   基于瀑布流的美女图片浏览App,有注释的源代码

  • 16082/17   用JavaScript 来开发iOS和Android 原生应用:React Native开源框架中文版来啦

  • 16001/81   【精品推荐】类似360安全卫士安Android源码:非常赞的产品原型

  • 15938/11   年会上现场review代码是怎么样的体验!

  • 15744/23   珍藏多年的素材,灵感搜寻网站

  • 15742/0   iOS中文版资源库,非常全

  • 15048/18   65条最常用正则表达式,你要的都在这里了

  • 14573/15   基于Android支付宝支付设计和开发方案

  • 13999/17   什么是真正的黑客:收获12200+Stars,人气远超微软开源VS

  • 13968/11   有木有这样一张酷图帮你集齐所有git命令超实用

  • 13654/46   在线音乐播放器完整版(商用级的源码):非常赞,可听免费高品质专辑

  • 13480/0   GitHub iOS 库和框架Top100 

  • 13332/7   一张图搞定iOS学习路线,非常全面

  • 13325/7   用程序员的姿势抢过年的火车票

  • 13198/61   【技巧一】搭配Android Studio,如何实现App远程真机debug?

  • 12958/10   成为Java顶尖程序员 ,看这11本书就够了

  • 12875/10   微信支付终于成功了(安卓,iOS),在此分享

  • 12800/18   一张图搞定Android学习路线,非常全面

  • 12542/29   【持续更新中】Android福利贴(一):资料源码

  • 12475/3   基于Node.js的强大爬虫,能直接发布抓取的文章哦

  • 12185/4   46 个非常有用的 PHP 代码片段

  • 11740/3   即时通信第三方库

  • 11252/8   流媒体视频直播方案

  • 11170/18   八个最优秀的Android Studio插件

  • 11052/9   B站建开源工作组:APP想支持炫酷弹幕的看过来

  • 10882/9   烧了5亿美金,这家神秘的公司即将颠覆人类未来!

  • 10785/2   【精品推荐】高质量PHP代码的50个实用技巧:非常值得收藏

  • 10692/10   中国黑客的隐秘江湖:攻守对立,顶尖高手月入千万美元

  • 10056/6   开箱即用!Android四款系统架构工具

  • 9876/10   十大技巧快速提升Android应用开发性能

  • 9798/3   10款GitHub上最火爆的国产开源项目——可以媲美西半球

  • 9696/1   Android性能优化视频,文档以及工具

  • 9659/3   一张图看清Linux 内核运行原理

  • 返回顶部