下午服务器升级

阿北 11-03-2005

豆瓣的用户增加很快。我们的服务器需要增加内存了。今天下午5-6点豆瓣的服务会有小段时间中断。

如果顺利,应该不到5分钟。希望不会给大家带来太多不便。

[19:10pm 更新] 结果用了一个小时。:(

要是你对技术有兴趣: 内存没有问题。但是没注意到linux内核需要重新编译(cpu/high memory 参数)才能使用多出的RAM来。浪费了一些时间把内存条换来换去检查。

升级以后停用了virtual memory。这样应该能防止在后台运行数据挖掘程序的时候系统swapping, 使网站的访问响应速度变慢。服务器的确不应该用VM。

要是你对技术没兴趣: 豆瓣网页的响应速度应该比较一致了。“和我口味最像的人”以前一天更新一次,现在可以一天更新多次了。

以下是相关回应

  1. 嗯!谢阿北,希望豆瓣越办越好!

    叶之秋 Says: 十一月 3rd, 2005 at 3:40 下午
  2. 恭喜。

    WOLFay Says: 十一月 3rd, 2005 at 5:26 下午
  3. 悄悄的问下阿北啊,你们的服务器是自己专门为了用Python而做的服务器吗?

    s5s5 Says: 十一月 3rd, 2005 at 7:15 下午
  4. 悄悄地回答,我们的服务器就是一般的PC服务器, 跑一般的linux。python在哪儿都能使,但是在unix/linux上面用起来比较自然。

    阿北 Says: 十一月 3rd, 2005 at 7:26 下午
  5. 我中午还在我们赛盟推荐这里,你们就升级了,真好。

    夕武 Says: 十一月 3rd, 2005 at 9:17 下午
  6. 据说web服务器不是Apache 而是lighttpd 用fastcgi?

    ahu Says: 十一月 3rd, 2005 at 10:53 下午
  7. :P似乎忘记是人的本能 嘿嘿 我以前编译也试过同样的错误 -_-
    不过停用VM有时候会出问题的,因为VM频繁使用不是操作系统的问题,可能一是数据库配置不对诶,应该尝试调整数据库的各种缓存参数;可能二是同时spawn的进程太多,threading没有调好…

    Felix Wong Says: 十一月 4th, 2005 at 12:55 上午
  8. ahu, 是lighttpd+scgi

    felix, 原因是豆瓣的数据挖掘程序用太多的内存。这些程序每天运行几次,运行的时候系统就swap.

    据说完全取缔vm会使linux不习惯。现在把vm放回去了,但是把swappiness设置到了最低。

    阿北 Says: 十一月 4th, 2005 at 1:15 上午
  9. 问个问题:“和我口味最像的人”这个功能我还没有找到,能否帮帮忙?

    雪堂 Says: 十一月 10th, 2005 at 10:05 上午
  10. “和我口味最像的人”在“我的友邻”右下角。你需要至少收藏了8样东西以后才有。:)

    阿北 Says: 十一月 10th, 2005 at 1:15 下午
  11. 我特别想知道,是怎么判断跟我口味一样的人的。
    是通过友邻吗?但好象也不完全。
    假设是通过喜欢看的书,碟的话,我去点开几个写着跟我口味象的人,他们看的东西好象跟我不大一样啊。
    所以特别纳闷~~~~

    老妇女 Says: 十一月 15th, 2005 at 7:28 上午
  12. 口味相象算法与我们收藏、评介都有一定关系,而且这个随着我们豆瓣的积累,算法也会不断完善,也就会越来越精确。

    暖暖鱼 Says: 十一月 16th, 2005 at 12:43 下午
  13. 完全关闭swap会死得很惨,应该调整data mining程序的内存用量,省着点用比啥都强。呵呵

    五时 Says: 十一月 29th, 2005 at 2:14 下午
  14. patrimony permeable.tolerances asserts:autographing!weird,wildness Weyerhauser?

    mortgage tools bad credit mortgage Says: 一月 25th, 2006 at 8:46 上午
  15. rewrites!leggings dragooned chuck gasping ARCO thrown despise bullion

    texas holdem video poker game for mac Says: 二月 1st, 2006 at 4:24 下午
  16. aftermost sealy:hydrodynamics,cravat,Spencerian unreliable

    texas holdem on line how to win Says: 二月 3rd, 2006 at 11:53 下午
  17. 我这个问题可能偏技术些。希望不影响大家的胃口:也遇到了内存的问题,4GB的内存在CentOS4.2(Linux的一个版本)操作系统中,用Free命令只能看到3GB。是否也需要重编译操作系统,才能看到那1GB?还请多多指教。

    sam Says: 八月 30th, 2006 at 10:41 上午