我的日常

登录/注册
您现在的位置:论坛 盖世程序员(我猜到了开头 却没有猜到结局) 盖世程序员 > 软件开发中常见的十大系统瓶颈
总共48087条微博

动态微博

查看: 1624|回复: 1

软件开发中常见的十大系统瓶颈

[复制链接]
admin    

1244

主题

544

听众

1万

金钱

管理员

  • TA的每日心情

    2021-2-2 11:21
  • 签到天数: 36 天

    [LV.5]常住居民I

    管理员

    跳转到指定楼层
    楼主
    发表于 2015-08-10 16:52:45 |只看该作者 |倒序浏览
    在Zen And The Art Of Scaling - A Koan And Epigram Approach中,Russell Sullivan提出了一个非常有趣的总结:软件开发常见的20个传统的系统瓶颈,这听起来像是说有20个故事情节,并且依赖于你如何策划这些故事,或许都是真的,但唯有实践才知道它们带给我们的酸甜苦辣。, x5 M; k% i. P

    & }" S( [+ D) L有一天,Aurelien Broszniowski给我发了一份电子邮件,把这些瓶颈用列表的方式展示出来。在接下来的交谈过程中,我又把该列表抄送给了Russell,Russell对此列表进行了整理。, M  n! X8 U  I/ K5 X- y' h9 \0 b

    0 h9 H+ i6 Y( N6 y
    - A& u7 a) D- o* ~0 |' f, T7 I4 z1 e2 M  y, ]1 y2 [
    : i7 N* i( i) h. C
    Russell说:“我真希望在年轻时看到这样的一份列表”。伴随着经验的增长、项目的增多、解决各种不同类型的问题和不断总结各种经验教训,你会在这份列表上添加更多的东西。所以,当你在阅读该份列表时就像是在回顾一个个故事片段。
    - J* R3 v. Y) @+ p- t, H* q2 D& b0 T% ~6 v  p
    数据库
      I" M' a9 m9 r9 _
    9 G6 F4 W$ Y) E+ V! @7 I5 b工作任务内存超过可用的RAM内存' N0 [' K' i. j5 u) n
    长/短查询+ ]; x! _9 `6 A' {9 j0 e
    写入冲突
    3 D4 J+ T2 \. {) N) I7 x大连接(join)占用内存
    ( m7 @; ]/ a4 f- D. ~3 m* E虚拟化9 x, G7 r5 C7 A9 M

    9 M2 b1 `/ {) B6 q" O8 _8 ?共享一个HDD、磁盘寻死(disk seek death)
    " T& k* A0 ], |& C, Z在云端网络I/O波动) M+ L7 n& y1 n: J$ w
    编程
    ! @2 }3 `& ^( r0 g: _. v& z6 y1 f& L* x0 Q
    线程:死锁、调试、非线性扩展等
    . A) I( D5 W; \, }0 `事件驱动编程:callback()过于复杂、如何在函数调用中存储有状态等8 s( J; ]7 I$ p5 R
    缺乏调优、跟踪、日志等
    5 m" s$ i1 v1 c8 k2 a7 R! |单模块不可扩展、单点故障(SPOF:Single Point Of Failure)、非横向扩展等7 e6 t" N' v4 f; t4 R, e2 t" r  R+ ]+ U; D! h
    有状态应用程序
    7 ]/ n" p$ M+ x  f$ A# h6 R- q; _6 K0 ], a设计问题:开发的应用程序只在自己的机器行运行正常,或者只是在几个人测试的时候正常(没有经历压力测试)。
    - p1 n( u& y3 `& \/ u" [/ V算法过于复杂
    5 z. J' w3 q# @( ~相关服务,例如DNS查找以及其他可能屏蔽的服务6 z" f2 ^9 }5 ?4 ]8 c$ q* U
    堆栈空间% h  r2 s' x; W! k1 @8 ~3 X. P
    磁盘
    5 K4 j$ @4 J  P$ n6 B! s
    / ?* o8 e6 o6 P: c9 X/ P1 C访问本地磁盘& q* p/ p! `3 w. g8 x4 k+ C2 N" ~
    随机访问磁盘I/O& X: o$ I& H. p, P% ?7 P+ u
    磁盘碎片
    5 N6 `0 `! z2 h" \当SSD写入的数据大于SSD容量时,性能会下降7 [% G3 p( Q  f) w7 n7 F) `" v/ G" |
    OS
    # @0 w! m& P( V$ @: G
    8 a1 S% j/ b' a, Y( s7 jFsync饱和,Linux缓冲区填塞(Fsync flushing, linux buffer cache filling up)9 ^' J% t  }! u/ V- n
    TCP缓冲区太小
    9 ^5 f* ^" q1 H& l) @文件描述符限制
    - i# Z/ M+ |0 u5 l8 R0 R功率分配(Power budget)
    $ \7 u2 b/ \0 O' L- O. o缓存
    * E; F6 z) l, I/ L+ @+ c) i
    ' j* ^, w/ z7 Z1 V/ ^$ A/ D没使用memcached(数据库崩溃), {. w1 f. A* v) M- s
    HTTP中:headers、etags、没有使用gzip压缩等。
    $ a" ?( a1 G0 M! a没有充分利用浏览器缓存7 b* y3 V! C; P7 i2 {
    字节码缓存(如PHP); d1 ^6 E' y5 @: J6 \! c
    L1/L2缓存:这是个令人头疼的大瓶颈。把关键并且经常访问的数据存储在L1/L2中。这涉及到很多:snappy网络I/O,列数据库直接在压缩数据上运行算法等。利用一些技术不销毁你的TLB。最重要的思想是紧紧的抓住计算机的体系结构,涉及多核CPU,L1/L2,共享的L3,NUMA RAM,从DRAM到芯片数据传输带宽/延迟,DRAM缓存的DiskPages,DirtyPages,流经CPU<->DRAM<->NIC的TCP包。! n; n+ C8 U$ p: r  ]+ V+ [
    CPU' |8 a( B8 A1 N$ {; ]
    * ]" h+ y+ F! K" y2 |# {
    CPU过载  q6 Z  g8 @$ `8 y: }
    内容切换—>单核上开启的线程过多、Linux调度器、系统调用太多等
    8 T% [. s4 w/ L3 ]/ ~  IIO等待—>所有的CPU在同速等待
    6 r+ W1 d% H- _2 b4 HCPU缓存:缓存数据是一个细粒度进程,为了在多个实例与不同的值数据之间找到正确的平衡,来保持缓存数据的一致性和繁重同步。6 V; l( ]* T/ W- t. i4 h( `6 R
    底板吞吐量(Backplane throughput)$ t. I: c' u/ V- f& _
    网络
    / x8 o* P6 V  i7 ]+ P# P. d5 R* a& ^- M$ B
    NIC刷爆、IRQ饱和、软中断占用掉了100%CPU
    ' V( z) t$ R# X7 J7 ^% R) ADNS查询
    - t+ z' H; J+ I  S! s8 m! u数据包丢失
    " ?- K/ g& i8 e( e网络中存在预期外的路由$ H% i. L3 w2 D  ^) v# r3 {4 F
    访问网络磁盘
    # P2 {' q  W5 _. Z# Y- H. s6 m共享SAN
    " R! |* t+ D# _. N: x服务器故障—>无法从服务处得到响应+ j; d  [# X( q3 ~" z; c
    进程
    / T) z" p& M) W1 \8 x
    0 h( ^" L6 C4 Y1 S测试时间  d8 w$ X( G. t2 B" ^
    开发时间- O2 D/ f0 t# p
    团队规模
    - T" o3 H  T* G6 J/ e预算
    9 n6 x6 i) v% l- _: p2 S代码债务
    $ y# P+ [8 t- l4 c" `- i% r内存0 o% `) j% m, A' {
    3 @5 {# I: {( n; a% E6 m: k
    内存不足—>杀死进程,切换到swap,挂起
    $ w; G8 u8 ]8 C内存不足导致磁盘交换(与swap相关)
    6 ]" t! w, F7 W0 A7 B4 w' W1 t% V记忆库开销过大(Memory library overhead)4 M0 C( ~- w; \$ Z" @
    内存分片(在java中需要会因为内存回收而停顿;在C中,malloc总是开始分配内存); f2 ]0 x2 a5 ~( M

    ' c9 e9 ~" b! X; c原文:http://highscalability.com/blog/ ... on-bottlenecks.html  B: ?! q- ~6 G( v8 C" ~% D  w

    : q. O$ r: d& @3 T8 x& x

    科帮网 1、本主题所有言论和图片纯属会员个人意见,与本社区立场无关
    2、本站所有主题由该帖子作者发表,该帖子作者与科帮网享有帖子相关版权
    3、其他单位或个人使用、转载或引用本文时必须同时征得该帖子作者和科帮网的同意
    4、帖子作者须承担一切因本文发表而直接或间接导致的民事或刑事法律责任
    5、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责
    6、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意
    7、科帮网管理员和版主有权不事先通知发贴者而删除本文


    JAVA爱好者①群:JAVA爱好者① JAVA爱好者②群:JAVA爱好者② JAVA爱好者③ : JAVA爱好者③

    46

    主题

    1

    听众

    584

    金钱

    三袋弟子

    该用户从未签到

    80后

    沙发
    发表于 2016-10-30 12:06:48 |只看该作者
    这篇文章需要转载,,,,很有意义的总结
    回复

    使用道具 举报

    快速回复
    您需要登录后才可以回帖 登录 | 立即注册

       

    关闭

    站长推荐上一条 /1 下一条

    发布主题 快速回复 返回列表 联系我们 官方QQ群 科帮网手机客户端
    快速回复 返回顶部 返回列表