docker-singularity方法安装可随意移植的cp2k

abin

nontons 发表于 2021-12-2 17:48
非常感谢您提出的方法，编译和测试都通过了，但是在使用的时候出现了这种问题，请问怎么解决呢？我是在root ...

MPI问题.

如果在裸机上无法安装成功,
直接在singularity中折腾, 会更糟糕.

nontons

abin 发表于 2021-12-6 23:20
MPI问题.

如果在裸机上无法安装成功,

谢谢您的回复，这个要怎么解决呢？
系统的intel版本是19.1.0.166，重装可以解决吗

abin

nontons 发表于 2021-12-7 15:22
谢谢您的回复，这个要怎么解决呢？
系统的intel版本是19.1.0.166，重装可以解决吗

我不晓得你怎么设定的，
不晓得怎么解决。

一般而言，Linux平台上的东西，
重装并不会解决问题。
重装系统，再重刷软件，
可能解决问题。

你可能用了某些所谓的全局设定。

nontons

abin 发表于 2021-12-7 17:57
我不晓得你怎么设定的，
不晓得怎么解决。

谢谢您，我再看看

wth1219

老师们好，我在学校集群上测试时发现通过此方法得到的镜像文件在单节点（24核或80核）上运行效率优异，但多节点并行时速度极慢、疑似存在问题。

例如使用楼主老师提供的avx2指令集下的singularity镜像（配合singularity 3.8.4以及intel 2018），对于相同的计算，在使用24核（单节点）和80核（单节点）时每步SCF用时分别约为10.0 s和3.2 s（24核节点与80和节点内存大小不同。）、并行效率正常；但将三个24核节点并行、使用72核计算时，每步SCF用时竟高达25 s左右（多次测试均是如此，可以排除故障节点的因素；使用先前自行编译的CP2K 6.1时多节点并行效率正常，可以排除集群的因素。）、可以说起到了相反的并行效果。

不知道这个问题的原因是什么、是否能够得到解决？谢谢！

ChemG

cp2k 9.1出来后第一时间用楼主的方案成功产生sif文件，而且第一个离子步卡住的bug也解决了，简单测试发现效率相比cp2k 8.2变化不大，甚至稍有提升，也可能测试体系较小。比我的vmware好用多了，感谢楼主分享

abin

wth1219 发表于 2021-12-20 16:16
老师们好，我在学校集群上测试时发现通过此方法得到的镜像文件在单节点（24核或80核）上运行效率优异，但多 ...

SIF中的，采用的是MPI+OpenMP?

你之前的6系列版本，是MPI only还是 MPI+OpenMP?

wth1219

abin 发表于 2022-1-6 22:14
SIF中的，采用的是MPI+OpenMP?

你之前的6系列版本，是MPI only还是 MPI+OpenMP?

老师您好，我的SIF用的是楼主老师提供的avx2指令集版本，根据先前各位老师的测试结果应该是MPI only的popt版本？
我自己的6.1版本是popt，MPI only的。
感谢您的回复！

Puying

这个方法好诶，如果这个方法能移植ms就好了。

Zhangpc

nontons 发表于 2021-12-2 17:48
非常感谢您提出的方法，编译和测试都通过了，但是在使用的时候出现了这种问题，请问怎么解决呢？我是在root ...

我直接复制了楼主的sif，也报错HYDU_create_process (../../utils/launch/launch.c:811): execvp error on file singularity (No such file or directory)

abin

Puying 发表于 2022-1-15 14:58
这个方法好诶，如果这个方法能移植ms就好了。

可

renzhogn424

ChemG 发表于 2022-1-6 20:29
cp2k 9.1出来后第一时间用楼主的方案成功产生sif文件，而且第一个离子步卡住的bug也解决了，简单测试发现效 ...

sif能共享一下不？

乐平

ggdh 发表于 2021-10-26 16:17
感谢大佬提示，
最后的脚本里面singularity后面加个选项--bind "/home:/home" 就搞定了

您好！我也遇到和你类似的问题。

我是将楼主百度网盘中的 cp2k82-avx512-1.sif 下载到服务器的共享目录里 /public/home/huan

我的测试输入文件是 cp2k 自带的 H2O-64.inp 文件，并改名为 cp2k.inp，放在  /public/home/huan/H2O_test
目录下。

运行楼主的提交脚本，并做了如下修改
1）在 singularity exec 后面加入了 --bind 参数，
2）根据自己服务器的 Intel 编译器位置进行修改，
如下：

1. #!/bin/sh
   
2. 
   
3. export EXE="singularity exec --bind /public/home/huan/:/opt /opt/cp2k82-avx512-1.sif"
   
4. source /public/apps/intel2018/parallel_studio_xe_2018/psxevars.sh
   
5. 
   
6. ## cpu cores
   
7. export cpu_cores=24
   
8. ulimit -s unlimited
   
9. 
   
10. mpirun -np ${cpu_cores} ${EXE} cp2k.popt cp2k.inp 1>cp2k.out 2>cp2k.err

复制代码

但是，运行之后并没有得到计算结果。在 cp2k.err 中显示的是

1. FATAL:   could not open image /opt/cp2k82-avx512-1.sif: failed to retrieve path for /opt/cp2k82-avx512-1.sif: lstat /opt/cp2k82-avx512-1.sif: no such file or directory

复制代码

说是没有 /opt/cp2k82 这个目录。但是，按我的理解是 cp2k82-avx512-1.sif 编译的时候，楼主是在他自己的 /opt/cp2k82 目录编译的，cp2k82-avx512-1.sif 本身就有这个 /opt/cp2k82 目录。

难道迁移 cp2k82-avx512-1.sif 到其他服务器的时候，也必须放在本地的 /opt/cp2k82 目录里？没有管理员权限没法复制到 /opt 目录啊

ball2006

乐平 发表于 2022-2-9 15:21
您好！我也遇到和你类似的问题。

我是将楼主百度网盘中的 cp2k82-avx512-1.sif 下载到服务器的共享目 ...

尝试改成export EXE="singularity exec --bind /public/home/huan/:/opt /public/home/huan/cp2k82-avx512-1.sif"

乐平

ball2006 发表于 2022-2-16 03:06
尝试改成export EXE="singularity exec --bind /public/home/huan/:/opt /public/home/huan/cp2k82-avx51 ...

谢谢您的回复。我按照您的提示修改了提交任务的脚本

1.     #!/bin/sh
   
2. 
   
3.     export EXE="singularity exec --bind /public/home/huan/:/opt /public/home/huan/cp2k82-avx512-1.sif"
   
4.     source /public/apps/intel2018/parallel_studio_xe_2018/psxevars.sh
   
5. 
   
6.     ## cpu cores
   
7.     export cpu_cores=6
   
8.     ulimit -s unlimited
   
9. 
   
10.     mpirun -np ${cpu_cores} ${EXE} cp2k.popt cp2k.inp 1>cp2k.out 2>cp2k.err

复制代码

但是，提交任务后，cp2k.out 内为空，cp2k.err 内显示

1. source: open /opt/cp2k-toolchain/install/setup: no such file or directory
   
2. source: open /opt/cp2k-toolchain/install/setup: no such file or directory
   
3. source: open /opt/cp2k-toolchain/install/setup: no such file or directory
   
4. source: open /opt/cp2k-toolchain/install/setup: no such file or directory
   
5. source: open /opt/cp2k-toolchain/install/setup: no such file or directory
   
6. FATAL:   "cp2k.popt": executable file not found in $PATH
   
7. FATAL:   "cp2k.popt": executable file not found in $PATH
   
8. FATAL:   "cp2k.popt": executable file not found in $PATH
   
9. FATAL:   "cp2k.popt": executable file not found in $PATH
   
10. FATAL:   "cp2k.popt": executable file not found in $PATH
    
11. source: open /opt/cp2k-toolchain/install/setup: no such file or directory
    
12. FATAL:   "cp2k.popt": executable file not found in $PATH
    

复制代码

很疑惑…… 这是从楼主的百度网盘里下载的 cp2k82-avx512-1.sif 文件，按理说楼主编译的时候应该添加了 source: open /opt/cp2k-toolchain/install/setup 和环境变量，为什么没有呢？