Twitter架构图(cache篇) – Tim[后端技术]

Posted on

Twitter架构图(cache篇) – Tim[后端技术]

Tim[后端技术]

Tim's blog, 关于后端架构、互联网技术、分布式、大型网络应用、NoSQL、技术感悟等

Home | About | English version | 留言(Guestbook) | 订阅RSS Add to Google

Twitter架构图(cache篇)

Wednesday, Oct 28th, 2009 by Tim | Tags: twitter

根据网上公开资料整理的Twitter架构，主要是cache方面，加了作者自己的补充，跟实际的架构未必完全一致。 twitter cache 一些数据：

  • Cache分Page cache, fragment cache, row cache, vector Cache, cache命中率见图。
  • Fragment cache存放了API各种请求格式的数据，包括XML, JSON, RSS, ATOM。
  • 发表Tweets是先放入Kestrel, 再异步处理，Kestrel用的也是memcached协议。
  • API requests: 550 r/s。
  • POST tweets: 峰值：平时 80tweets/s, 奥巴马就任时达到 350tweets/s。
  • Aggregator模块需要访问memcached multi get 数百个/s。
  • Ruby on Rails前面还用了Varnish作前端反向代理。

参考资料：

9 Comments »

  1. Lee Su Min says:

Nov 1st 2009 at 17:15

Is a blue print same as a jia gou tu?

  1. 王潇 says:

Mar 8th 2010 at 18:10

我是一个大三的学生，现在在学习PHP！看了您的博客，学习一下，也就只是看看表面，现在对整个的WEB体系有了一定的了解了，但是我还是不太清晰！请您指点一下，我还不清楚现在所做的东西处于什么地方，对整个系统有什么影响？我开发网站时也都没用到您所做的东西啊，究竟何时用！还有就是究竟应该按照什么线路来学习技术，请您务必指教！！！

  1. 遥方 says:

Jun 25th 2010 at 16:42

博主能力很强。向你学习

  1. 小黑 says:

Sep 11th 2010 at 22:25

请问像这样实时性强、数据量巨大的数据库应该做哪些优化和处理？

  1. Pan says:

May 21st 2011 at 12:50

Row Cache是否有些出入？图中Row Cache似乎是用来存储关系链的，而Evan Weaver在2009 London Qcon上的ppt中，显示Row Cache应该是用来缓存tweet正文内容的吧。http://qconlondon.com/dl/qcon-london-2009/slides/EvanWeaver_ImprovingRunningComponentsAtTwitter.pdf

  1. 罗青 says:

Jan 17th 2012 at 12:53

我觉得除了缓存之外，数据库的表设计是最关键的部分。架构这些什么的都要依据数据库结构来设计。

  1. 段见尼宜 says:

Nov 7th 2012 at 06:43

(网站打不开请点百度快照}手机号码任意显示|号码任意显示|去电号码任意显示|来电号码任意显示|号码随意显|电话号码任意显示|手机号码随意显|电话号码随意显| 手机号码任意显示 (可以免费测试一次) 鹏诚通讯科技有限公司 24小时客服QQ：13417527

24小时免费咨询电话：18268787444

公司网址：http://www.pcwltx.com/ 朋友,想不想让你的手机很有个性? 明明你在深圳,而你跟朋友聊天的时候,你朋友的电话上显示你在广州(上 海/天津/武汉/兰州等)以至香港. 明明你在跟朋友玩,而你打电话给你家人,让家人以为你在外地出差. 明天你不是刘德华,而你总是你用刘德华的电话号在打电话 明明你现在在内地,而你非要在你朋友面前说你在香港. 想不想拥有了?

专业手机，座机，小灵通等打电话发短信可以任意显示电话号码的, 此产品不需要下载任何软件,只需要绑定您的号码即可实现显示.您要对方显示什么号码!我这里免费给您测试,让您亲眼所见！不想让别人知道自己在哪里的时候，被人追踪讨债不接您电话的时候很有用出的！您只需花上几百元钱就能买到您想要的任何靓号，吉祥号！以及港澳台和国际号码，任意显示您的电话号码，随时隐藏您的号码！ 本业务不会影响你本手机的使用，想使用改号业务时就拨一下我们系统的预约号码，不想使用时就直接用你手机打出还是原来的号，不会改变你手机原来的实际号码，互不干扰.

为防止各种违法乱纪,本软件特定设置号码规范如下： 1、出于安全考虑国家特殊号码 110 120 119等号码，不可以随意设置， 一经发现删除该帐户！ 2、不可以设置各种银行，移动的客服号码（95599 10086等）一经发现删除该帐户！

交易方式：支持各大银行和淘宝交易.

1， 无须在电话（手机，小灵通，座机）上下载任何软件 2， 无月租，无长途漫游费，全国号码任意设置，任意拨打，任意显示。0.2元/分钟 3， 绑定号码无次数限制，设置显示号码无次数限制。自行操作，自己做主， 4， 开通后没有时效限制，有话费即可使用。 5， 话费没了，续费继续使用。 6， 不影响你本机号码的话费，和正常使用，两者互不干扰。 7， 双方都为接电话型式，不扣通话双方的电话（手机，小灵通，座机）话费。 8，不想使用时就直接用你手机打出还是原来的号，不会改变你手机原来的实际号码，互不干扰. 显示号码自己设置，操作方法可以手机直接操作也可以网页上操作最后都是通过自己的手机打出， 让对方显示你要的号码，本机是接回拨所以免费,显示号码自由设置 可以让你亲自测试，自己打出一个任意显示的电话。 交易方式：支持各大银行和淘宝交易.

24小时客服QQ：13417527

24小时免费咨询电话：18268781444

公司网址：http://www.pcwltx.com/ 骗子各种手法介绍：不允许测试，让你直接汇款，汇款后开通。

RSS feed for comments on this post, TrackBack URI Cancel Reply

Leave a Comment

Name (required)

E-mail (required, never displayed)

URI

Except where otherwise noted, content on this site is licensed under a Creative Commons Attribution 3.0 License

希望本站内容对您有点用处,有什么疑问或建议请在后面留言评论
转载请注明作者(RobinChia)和出处 It so life ，请勿用于任何商业用途
本文链接: Twitter架构图(cache篇) – Tim[后端技术]