下午服务器升级
阿北 11-03-2005豆瓣的用户增加很快。我们的服务器需要增加内存了。今天下午5-6点豆瓣的服务会有小段时间中断。
如果顺利,应该不到5分钟。希望不会给大家带来太多不便。
[19:10pm 更新] 结果用了一个小时。:(
要是你对技术有兴趣: 内存没有问题。但是没注意到linux内核需要重新编译(cpu/high memory 参数)才能使用多出的RAM来。浪费了一些时间把内存条换来换去检查。
升级以后停用了virtual memory。这样应该能防止在后台运行数据挖掘程序的时候系统swapping, 使网站的访问响应速度变慢。服务器的确不应该用VM。
要是你对技术没兴趣: 豆瓣网页的响应速度应该比较一致了。“和我口味最像的人”以前一天更新一次,现在可以一天更新多次了。
嗯!谢阿北,希望豆瓣越办越好!
恭喜。
悄悄的问下阿北啊,你们的服务器是自己专门为了用Python而做的服务器吗?
悄悄地回答,我们的服务器就是一般的PC服务器, 跑一般的linux。python在哪儿都能使,但是在unix/linux上面用起来比较自然。
我中午还在我们赛盟推荐这里,你们就升级了,真好。
据说web服务器不是Apache 而是lighttpd 用fastcgi?
:P似乎忘记是人的本能 嘿嘿 我以前编译也试过同样的错误 -_-
不过停用VM有时候会出问题的,因为VM频繁使用不是操作系统的问题,可能一是数据库配置不对诶,应该尝试调整数据库的各种缓存参数;可能二是同时spawn的进程太多,threading没有调好…
ahu, 是lighttpd+scgi
felix, 原因是豆瓣的数据挖掘程序用太多的内存。这些程序每天运行几次,运行的时候系统就swap.
据说完全取缔vm会使linux不习惯。现在把vm放回去了,但是把swappiness设置到了最低。
问个问题:“和我口味最像的人”这个功能我还没有找到,能否帮帮忙?
“和我口味最像的人”在“我的友邻”右下角。你需要至少收藏了8样东西以后才有。:)
我特别想知道,是怎么判断跟我口味一样的人的。
是通过友邻吗?但好象也不完全。
假设是通过喜欢看的书,碟的话,我去点开几个写着跟我口味象的人,他们看的东西好象跟我不大一样啊。
所以特别纳闷~~~~
口味相象算法与我们收藏、评介都有一定关系,而且这个随着我们豆瓣的积累,算法也会不断完善,也就会越来越精确。
完全关闭swap会死得很惨,应该调整data mining程序的内存用量,省着点用比啥都强。呵呵
patrimony permeable.tolerances asserts:autographing!weird,wildness Weyerhauser?
rewrites!leggings dragooned chuck gasping ARCO thrown despise bullion
aftermost sealy:hydrodynamics,cravat,Spencerian unreliable
我这个问题可能偏技术些。希望不影响大家的胃口:也遇到了内存的问题,4GB的内存在CentOS4.2(Linux的一个版本)操作系统中,用Free命令只能看到3GB。是否也需要重编译操作系统,才能看到那1GB?还请多多指教。