从超市收银故事看互联网技术

从一家超市的收银发展过程中面临的问题以及解决方案来看互联网技术,欢迎感兴趣者继续阅读,:)。

一家小超市,一个收银员,同时还兼着干点其他的事情,例如打扫卫生、摆货;

来买东西的人多起来了,排队很长,顾客受不了,于是加了一个收银台,雇了一个收银员;

忙的时候收银员根本没时间去打扫卫生,超市内有点脏,于是雇了一个专门打扫卫生的;

顾客不断的增加,超市也经过好几次装修,由以前的一层变成了两层,这个时候所做的事情就是不断的加收银台、收银员和打扫卫生的人;

在超市运转的过程中,老板发现一个现象,有些收银台很长的队,有些收银台人不多,了解了下原因是收银台太多了,顾客根本看不到现在各个收银台的状况,对于这个现象,一种简单的方法就是继续加收银台,一方面超市没地方可加收银台了,另一方面作为老板当然不需要雇太多的人,于是开始研究怎么样能让顾客了解到收银台的状况,简单的加了一个摄像头和一个大屏幕,在大屏幕上显示目前收银台的状况,这样后发现基本上排的队的长度是差不多了;

排队长度差不多后,又出现了一个现象,就是有些收银台速度明显比其他的慢,了解了下原因是排在有些收银台的顾客买的东西特别的多,于是又想了一招,就是设立专门的10件以下的通道,这样买东西比较少的顾客就不用排太长的队了,这一招施展后,顾客的满意度明显提升,销售额也好了不少,后来就继续用这招应对了团购状况、vip状况;

在解决了上面的一些烦心事后,关注到了一个存在已久的现象,就是白天收银台很闲,晚上则很忙,从节省成本上来考虑,于是决定实行部分员工只用晚上上班的机制,白天则关闭掉一些收银台,顾客仍然可以通过大屏幕看到哪些收银台是关闭的,避免走到没人的收银台去了,实行这招后,成本大大降低了。

这个生活中的例子以及其解决的方法,其实和互联网网站发展过程中的一些技术是非常类似的,只是在技术层面用其他名词来表达了而已,例如有集群、分工、负载均衡、根据QoS分配资源等。

集群:所有收银员提供的都是收银功能,无论顾客到哪一个去都可完成付款,可以认为所有的收银员就构成了一个集群,都希望能做到顾客增加的时候只用加收银员就行,在现实生活中有场地的限制,而在互联网应用中,能否集群化还受限于应用在水平伸缩上的支撑程度,而集群的规模通常会受限于调度、数据库、机房等;

分工:收银员、打扫卫生的分开,对于互联网而言,这是一项重要而复杂的技术,没有现实生活中这么简单,涉及到的主要有按功能拆分系统以及数据库等,如何拆分以及拆分后如何交互是两个需要面临的挑战,因此会有高性能通信框架、SOA平台、消息中间件、分布式数据层等基础产品的诞生;

负载均衡:让每个收银台排队差不多长,设立小件通道、团购通道、VIP通道等,这些可以认为都是集群带来的负载均衡的问题,从技术层面上来说,实现自然也比生活中复杂很多;

根据QoS分配资源:部分员工仅晚上上班的机制,这个对于生活中来说做到不难,对互联网应用而言,还真是件复杂而且极度具备挑战的事。

参照生活中的例子来说,在面对用户增长的情况下,想出这些招应该不难,不过要掌握以上四点涉及的技术已经相当复杂了,而且互联网中涉及的其他的很多技术还没在这个例子中展现出来,例如缓存、CDN等优化手段;运转状况监测、功能降级、资源劣化、流控等可用性手段,自建机房、硬件组装等成本控制手段,因此构建一个互联网网站确实还是不容易的,技术含量十足,当然,经营一家超市也不简单,如果有同学能继续把涉及的技术补充到这个超市的故事就好了,例如还有超市进货的问题、摆货的问题等,欢迎接龙,:)。

第一次杭州程序员交流会总结

第一次杭州程序员圆桌交流会于上周末在杭城著名的betacafe举行了,本次主题为Java并发编程,参加的人员为14人,分别来自网易、cisco、DBAppSecurity、阿里巴巴b2b、淘宝、支付宝、阿里云,组织者为阿里云的龙浩,twitter id为: @hoorace,交流会上共有7人分享了PPT,其他人员热烈的参与了讨论,:),总结来说,本次的交流会还是很成功的,质量不错,组织形式上后面可以考虑进一步优化,下面进入本次交流会的细节分享,感兴趣的同学可以继续阅读,twitter上的直播实录请搜索#yuanzhuo。

第一次杭州程序员圆桌交流会于上周末在杭城著名的betacafe举行了,本次主题为Java并发编程,参加的人员为14人,分别来自网易、cisco、DBAppSecurity、阿里巴巴b2b、淘宝、支付宝、阿里云,组织者为阿里云的龙浩,twitter id为: @hoorace,交流会上共有7人分享了PPT,其他人员热烈的参与了讨论,:),总结来说,本次的交流会还是很成功的,质量不错,组织形式上后面可以考虑进一步优化,下面进入本次交流会的细节分享,感兴趣的同学可以继续阅读,twitter上的直播实录请搜索#yuanzhuo。
===================================================================
Topic 1:Java多线程常见陷阱
PPT下载地址:http://www.bluedavy.com/yuanzhuo/20100320/killme2008@taobao.pptx
Topicer: @killme2008
Topic评价:PPT做的很不错,形象的图形,这些陷阱在编写Java多线程程序时需要特别注意,绝对是经验之谈,值得学习,尤其是killme2008 PPT中最后分享到的Sun JDK 1.5里的一些bug。
===================================================================
Topic 2:Java Concurrent Programming
PPT下载地址:http://www.bluedavy.com/yuanzhuo/20100320/joez@cisco.ppt
Topicer: joez
Topic评价:这个Topic分享的更多的是并发编程中需要掌握的一些理论知识,例如线程、原子操作、可见性、wait/notify机制等,和上一Topic一样,都提到了要特别注意InterreputedException的处理,在分享的过程中引发大家讨论的主要是什么是并发,什么是并行,我自己的看法是并发的程序不一定能并行,就此而已,另外一个有意思的点就是交流到了CPU超线程,这个点是有些意思的。
===================================================================
Topic 3:SEDA与Java并行编程点滴
PPT下载地址:http://www.bluedavy.com/yuanzhuo/20100320/tanbamboo@DBAppSecurity.ppt
Topicer:@tanbamboo
Topic评价:SEDA是现在高性能服务器编程中的重要思想,tanbamboo同学分享了一个实际的SEDA的例子,会有助于SEDA思想的理解,在PPT的最后提到了coroutine的一个问题,coroutine只是用一个线程如何发挥多核优势,其实coroutine通常是使用cpu核数线程。
===================================================================
Topic 4:并发编程交流
PPT下载地址:http://www.bluedavy.com/yuanzhuo/20100320/bluedavy@taobao.pptx
Topicer: @bluedavy
Topic评价:自己的PPT不好评价了,分享的主要是Java并发编程中最关键的资源竞争、一致性保证的知识点以及线程相关的知识点,分享过程中我举的一个基于concurrentHashMap、FutureTask改造的例子引发了大家的热烈讨论,cisco同学后来给了一个类似的方案,也是不错的,最后在讲线程部分时也宣扬了下coroutine,并发上来讲最重要的还是尽可能的去除(Non-Blocking)、减少竞争(拆分、lock-free),这个其实不是纯技术方面的,很多时候需要根据场景来分析。
===================================================================
Topic 5:Java并发编程实践
PPT下载地址:http://www.bluedavy.com/yuanzhuo/20100320/hoorace@aliyun.pptx
Topicer: @hoorace
Topic评价:hoorace分享了一个实际的案例,这个还是很受大家关注的,各提意见来进行改造和提升,:),从效果来看,分享案例再讲一些背后的机制是很受大家欢迎的,同时自己也能从中获得一些新的不同角度的改进方法。
===================================================================
Topic 6:线程飞扬
PPT下载地址:http://www.bluedavy.com/yuanzhuo/20100320/lihaibo@netease.ppt
Topicer:杨海波
Topic评价:网易的同学分享了一个数据迁移的案例,这个例子中反应的主要是借助多线程来提升性能的方案,这也是我个人认为实际场景中使用多线程主要是两个目的,一是提升所能支撑的并发量,二是提升性能。
===================================================================
Topic 7:并发程序设计
PPT下载地址:http://www.bluedavy.com/yuanzhuo/20100320/wenshaojin@b2b.ppt
Topicer:温少
Topic评价:温少同学以一个经典的10个老婆的例子来阐述了amdahl、gustafson、sun-ni定律,通俗易懂,太经典了,推荐了这本书:《Synchronization Algorithms and concurrent Programming》; 同时在分享中温少从另一个不同的角度来讲了并发的提升,就是硬件角度,例如现在的GPU,分解了CPU压力;最后分享的基于TimerWheel算法来改进java中头疼的基于Timer做定时触发的问题,很值得学习,如果说评选的话,我会选择温少这个分享作为本次的最佳分享,受益颇丰。

作为第一次这种交流会,质量能保证的这么好,不得不要感谢各位参与者open的分享精神,同时更要感谢的是@hoorace的辛苦组织,从本次交流来看,这种相对交流性质而非培训性质的还是很受欢迎的,因此将继续组办这类交流会,以后的可能的改进方法为:
1、初定为一个月一次,固定场所,每次的主题前期由组织者来指定,开展多了后则可采取投票机制;
2、由于分享的同学可能会很多,为了避免时间过长,后续会采取对需要分享的PPT做一次投票,确保在有限的时间内分享大家最感兴趣的话题,在分享方面最好是实例,然后讲解此次实例过程中涉及的背后的知识点,参与交流会的同学可以随时提供改进的更好建议;
3、录制视频,以便分享给更多的无法来参加的同学,进一步讨论。
下一期主题初定为关于JVM的那点事,对JVM内存管理、编译机制、线程机制等有深入研究和实战经验的同学欢迎参与,可以直接联系我或者是等口碑上的活动报名帖做出来后再行报名。

杭州程序员圆桌交流第一期–并发编程PPT

由阿里云龙浩同学牵头的杭州程序员圆桌交流,第一期主题为并发编程,把自己的经验也分享下,在活动结束后会公开此次交流的资料,具体PPT见文中内容。

由阿里云龙浩同学牵头的杭州程序员圆桌交流,第一期主题为并发编程,把自己的经验也分享下,在活动结束后会公开此次交流的资料,具体PPT如下: