计算化学公社

标题: 求助：20W预算购置服务器，主要计算GAUSSIAN，ANSYS Fluent，GROMACS [打印本页]

作者
Author: ZHANHAHA 时间: 2025-2-12 15:11
标题: 求助：20W预算购置服务器，主要计算GAUSSIAN，ANSYS Fluent，GROMACS
本帖最后由 ZHANHAHA 于 2025-2-12 17:02 编辑

楼主目前在一家药企工作，公司领导想搞一搞计算化学来对平时的工作进行指导，去年申请了20W的预算，楼主多方查找发现了这个好论坛

学习了一段时间，自己根据大佬们的建议进行了如下配置：
一台作为CPU计算的节点，主要用于GAUSSIAN及Fluent的计算，配置如图所示：
(, 下载次数 Times of downloads: 64)
另搞三台GPU计算节点，主要用于GROMACS计算，配置如图所示：
(, 下载次数 Times of downloads: 63)
GPU计算的配置中间也有考虑过4卡准系统类型的机器，但是调查发现普遍很昂贵，大概单台就得近20W，而且4090并行计算效率较低，所以后面改成了单独配三个节点，还没法考虑买散件自己组，因为公司采购流程比较麻烦，一旦出问题不好售后

计算节点的配置主要参考社长帖子（计算化学购机配置推荐 - 思想家公社的门口：量子化学·分子模拟·二次元）与熵佬帖子（性能翻倍？RTX4090科学计算之经典MD模拟全面测试 - 硬件配置与采购 (Hardware Configuration and Procurement) - 计算化学公社）
另外为了通过从办公电脑进行远程登录，任务投递，节点管理，数据查看与处理等操作，考虑再购买两台常规配置的电脑，配置如图所示：
(, 下载次数 Times of downloads: 61)
另外为了能够保证节点间的通信以及数据存储，还需要交换机以及NAS，具体要求如图所示：
(, 下载次数 Times of downloads: 67)
整套的大致价格约22W（公司买东西需要交13%的增值税，吐血），稍稍超出预算，CPU计算与GPU计算使用的预算基本平衡

几个问题：
1、楼主目前规划的配置是否有不合理的地方？是否具有更优配置方案楼主尚未发现？
2、交换机与NAS楼主不太懂，二者的预算是否合理？这套服务器还缺少必备的组件吗？服务器可以或需要组建集群吗？
3、CPU与GPU计算节点上应该安装什么版本的Linux系统？Ubuntu、centos还是rocky还是其他类型的系统？有看到讲GPU计算的帖子的系统（Centos stream 9 安装Gromacs 2023.1（GPU加速版）教程 - 分子模拟 (Molecular Modeling) - 计算化学公社）

4、任务管理应该使用什么，Slurm？PBS？这个有推荐吗？任务管理软件和系统类型绑定吗？楼主目前还没做过计算，正在入门的路上

@Sobereva @Entropy.S.I 请求两位大佬的帮助

也希望论坛的各位都能提供楼主一些建议

谢谢大家

作者
Author: zdb 时间: 2025-2-17 15:03
1.公司有没有机房放置，有机房可以考虑4卡平台，4090并行效率低，可以单卡分开计算，和搞三台一样，可以剩下部分平台的钱；
2.4090估计你这个预算现在有点难，基本都是2W多的价格了；
3.集群以你目前的规划是不需要跨节点并行计算，有集群方便管理，推荐slurm集群；
4.万兆交换机可以改为千兆，加了万兆交换机每台机器就需要万兆网卡，而对于跨节点并行来说目前都是使用Infiniband，但是你目前的预算，花在Infiniband交换机上大几万不值当；
5.系统建议rocky，ubuntu也可以，主要问题在于ubuntu更新容易出现掉驱动的现象

作者
Author: zdb 时间: 2025-2-17 17:31
1.你的搭配很详细，基本没有什么不足的地方，公司是否有机房放置服务器；
2.集群这块要看你是否用的到跨节点并行，以目前你的配置来看不需要，那么交换机可以换成千兆，万兆交换机需要每台机器加张万兆网卡；
3.不用跨节点计算也可以搭建集群方便节点间的管理访问，推荐slurm；
4.系统推荐ubuntu或者rocky，ubuntu存在的问题是容易在升级内核后丢失显卡驱动；
5.建议4卡平台，可以节省平台多出来的价格，如果必须品牌的话那的确四卡平台贵，组装还是可以剩下的，至于并行计算效果，单台也是单卡计算，需要的时候可以多卡并行，分开几台在想集群并行，千兆、万兆传输速率影响很大，Infiniband交换机一个大几万，现在的预算不支持；
6.4090现在价格基本在2W加，整套做下来和你计算的可能还稍有偏差

作者
Author: ZHANHAHA 时间: 2025-2-20 14:35

zdb 发表于 2025-2-17 17:31
1.你的搭配很详细，基本没有什么不足的地方，公司是否有机房放置服务器；
2.集群这块要看你是否用的到跨节 ...

非常感谢大佬的建议！
1. 公司有机房，具体放置有IT部门的同事负责
2. 目前根据预算又砍掉了一台GPU的计算节点，也就是说4090就剩俩了，然后给CPU的计算节点的内存增加到了1536G，不进行跨节点并行计算的话，那么看来交换机只要起到传递任务、返回数据、定期将数据备份到NAS的功能了，确实不需要万兆
3与4. 好的，楼主钻研一下Slurm与rocky系统的部署，我们计划与IT同事共同完成这部分内容
5与6. 图片里的配置价格是询问了tb店家给出的，4卡平台因为购买昂贵先不考虑，具体购置价格后续会进一步跟踪并在帖子里更新

作者
Author: dodobird1 时间: 2025-2-25 00:07
本帖最后由 dodobird1 于 2025-2-25 07:01 编辑

1. 现在买4090确实会不太合算，如果很着急用的花其实或许可以考虑双3090Ti新卡代替一个4090，毕竟显存比较大，而且价格8000左右，基本上在高端里面也是最合算的了，，当然我也不是很专业，只是觉得这样更好
系统方面rocky，slurm都可以，找一些国内常用的出了问题高解决
别的问题都不大，也很详尽了。

作者
Author: abin 时间: 2025-2-25 07:30
看你的描述，应该做成简易集群模式……

自己动手组建的话，
可以参考这里提到的集群架构方案推荐。
https://labitc.top/

https://hpc4you.github.io/

如果喜欢可视化Web操作界面，
可以考虑Open OnDemand,
安装有困难的话，可以使用我捣鼓的自动安装包。

也可使用openSCOW作为可是界面……
不过SCOW的技术支持，费用不低。

作者
Author: ZHANHAHA 时间: 2025-2-25 15:24
感谢大家的回复

我研究一下集群方案，这方面还不是太懂

作者
Author: dodobird1 时间: 2025-2-26 07:18

dodobird1 发表于 2025-2-25 00:07
1. 现在买4090确实会不太合算，如果很着急用的花其实或许可以考虑双3090Ti新卡代替一个4090，毕竟显存比较 ...

没仔细算，根据你们的需求可能四个13700k+3090Ti节点或者两个14900ks+双3090Ti交火节点（你们对GPU节点的CPU性能要没特殊要求其实也不用这么好的CPU，内存也只用ddr4即可）现在性价比比较高
如果4090D在之前1.4w左右的话我就不会推荐这套方案了，毕竟交火或者多节点的总体性能差不多还麻烦一点，奈何现在的4090D溢价太严重，也会超出你的预算

作者
Author: gog 时间: 2025-2-26 08:36
土豪配置

作者
Author: hanshan 时间: 2025-3-3 19:20
Intel 14代CPU有设计缺陷，价格很低，所以奸商就开始推了吗，哈哈

作者
Author: yzh 时间: 2025-3-21 21:41
可以的，有钱

作者
Author: JianyuC 时间: 2025-4-9 14:15
预算充足就是好啊，集群、NAS、CPU密集、GPU密集各方面都能体验一把，属实是羡慕了。请问10W预算是否能体验到相似结构的小集群？最近想配一个类似的东西，需要同时兼顾CPU密集和GPU密集，初步想法是组一个双机mini集群，不知是否可行？

作者
Author: JianyuC 时间: 2025-4-15 15:24
强烈建议换掉14600KF，价格暴跌是有原因的，虽然只是个管理节点

欢迎光临计算化学公社 (http://ccc.keinsci.com/)