计算化学公社

标题: 学校超算安装CP2K后，读波函数进行多核计算会段错误 [打印本页]
作者
Author: 北大-陶豫    时间: 2025-3-10 21:16
标题: 学校超算安装CP2K后，读波函数进行多核计算会段错误
我在超算服务器上，先按照 http://sobereva.com/451 的流程按照了 openmpi，然后按照 http://sobereva.com/586 安装了量子化学软件 CP2K，然后运行一个测试样例，一个金刚石小晶胞的 PBE 泛函单点能计算。我用 4 核计算（mpirun -np 4 cp2k.popt），在输入文件里设置了读取之前算好的波函数（SCF_GUESS RESTART），结果stderr出现报错：
  1. [l06c41n4:2206753:0:2206753] Caught signal 11 (Segmentation fault: address not mapped to object at address 0x4c00081b)
  2. [l06c41n4:2206750:0:2206750] Caught signal 11 (Segmentation fault: address not mapped to object at address 0x4c00081b)
  3. [l06c41n4:2206751:0:2206751] Caught signal 11 (Segmentation fault: address not mapped to object at address 0x4c00081b)
  4. [l06c41n4:2206752:0:2206752] Caught signal 11 (Segmentation fault: address not mapped to object at address 0x4c00081b)
复制代码

我尝试发现：如果不设置读取之前算好的波函数（注释掉SCF_GUESS RESTART），或者单核运行（mpirun -np 1 cp2k.popt），就不会出现这个报错，计算能正常结束。但就是在既并行又读取波函数时会出现上述报错，out 文件显示无法进入 SCF 流程。这些计算是在学校的服务器上进行的（我没有 root 权限），我将提交任务的 slurm 脚本中，将跟系统申请的核数由4核改成了16核（可用的内存数量大大增加了），但 mpirun -np 4 cp2k.popt 没有改成 16，既并行又读取波函数的计算仍然有相同的报错。我同学在同一个超算系统上（我俩都没有 root 权限），同学就能正常完成多核读取波函数的计算。

这可能是什么原因，我应该如何排查？

我的 .bashrc 内容：
  1. # .bashrc

  3. # Source global definitions
  4. if [ -f /etc/bashrc ]; then
  5.         . /etc/bashrc
  6. fi

  8. # User specific environment
  9. if ! [[ "$PATH" =~ "$HOME/.local/bin:$HOME/bin:" ]]
  10. then
  11.     PATH="$HOME/.local/bin:$HOME/bin:$PATH"
  12. fi
  13. export PATH

  15. # Uncomment the following line if you don't like systemctl's auto-paging feature:
  16. # export SYSTEMD_PAGER=

  18. # User specific aliases and functions

  20. module use ~/.modulefiles

  22. module load vasp/
  23. module load anaconda3/

  25. export PATH="/lustre/home/2001110394/FreqScript:$PATH"
  26. export PATH="/lustre/home/2001110394/vaspkit.1.5.1/bin:$PATH"

  28. #export PATH="/lustre/home/2001110394/cmake-4.0.0-rc1/build/bin:$PATH"

  30. #        mpi
  31. export PATH=/lustre/home/2001110394/openmpi416/bin:$PATH
  32. export LD_LIBRARY_PATH=/lustre/home/2001110394/openmpi416/lib:$LD_LIBRARY_PATH

  34. #        cp2k
  35. source /lustre/home/2001110394/cp2k-2025.1/tools/toolchain/install/setup
  36. export PATH=$PATH:/lustre/home/2001110394/cp2k-2025.1/exe/local


复制代码
我的slurm脚本内容：
  1. #!/bin/bash
  2. #SBATCH -A hpc2006189113
  3. #SBATCH --get-user-env
  4. #SBATCH --partition=C064M0256G
  5. #SBATCH --qos=low
  6. #SBATCH -J test
  7. #SBATCH -N 1
  8. #SBATCH -n 4
  9. #SBATCH -o jobid%j-%N.out
  10. #SBATCH -e jobid%j-%N.error
  11. #SBATCH --time=0:02:00

  13. ulimit -s unlimited
  14. ulimit -l unlimited

  16. source ~/.bashrc

  18. module load gcc/12.2.0

  20. export OMPI_MCA_btl_openib_if_exclude=mlx5_0:1
  21. mpirun -np 4 cp2k.popt test.inp |tee test.out


复制代码


test.inp 内容：
  1. #Generated by Multiwfn
  2. &GLOBAL
  3.   PROJECT test
  4.   PRINT_LEVEL LOW
  5.   RUN_TYPE ENERGY
  6. &END GLOBAL

  8. &FORCE_EVAL
  9.   METHOD Quickstep
  10.   &SUBSYS
  11.     &CELL
  12.       A     7.13358000     0.00000000     0.00000000
  13.       B     0.00000000     7.13358000     0.00000000
  14.       C     0.00000000     0.00000000     7.13358000
  15.     &END CELL
  16.     &COORD
  17.       C     0.00000000    0.00000000    0.00000000
  18.       C     0.89169753    0.89169753    0.89169753
  19.       C     0.00000000    1.78339506    1.78339506
  20.       C     2.67509260    0.89169753    2.67509260
  21.       C     1.78339506    0.00000000    1.78339506
  22.       C     0.89169753    2.67509260    2.67509260
  23.       C     1.78339506    1.78339506    0.00000000
  24.       C     2.67509260    2.67509260    0.89169753
  25.       C     3.56679013    0.00000000    0.00000000
  26.       C     4.45848766    0.89169753    0.89169753
  27.       C     3.56679013    1.78339506    1.78339506
  28.       C     6.24188272    0.89169753    2.67509260
  29.       C     5.35018519    0.00000000    1.78339506
  30.       C     4.45848766    2.67509260    2.67509260
  31.       C     5.35018519    1.78339506    0.00000000
  32.       C     6.24188272    2.67509260    0.89169753
  33.       C     0.00000000    3.56679013    0.00000000
  34.       C     0.89169753    4.45848766    0.89169753
  35.       C     0.00000000    5.35018519    1.78339506
  36.       C     2.67509260    4.45848766    2.67509260
  37.       C     1.78339506    3.56679013    1.78339506
  38.       C     0.89169753    6.24188272    2.67509260
  39.       C     1.78339506    5.35018519    0.00000000
  40.       C     2.67509260    6.24188272    0.89169753
  41.       C     3.56679013    3.56679013    0.00000000
  42.       C     4.45848766    4.45848766    0.89169753
  43.       C     3.56679013    5.35018519    1.78339506
  44.       C     6.24188272    4.45848766    2.67509260
  45.       C     5.35018519    3.56679013    1.78339506
  46.       C     4.45848766    6.24188272    2.67509260
  47.       C     5.35018519    5.35018519    0.00000000
  48.       C     6.24188272    6.24188272    0.89169753
  49.       C     0.00000000    0.00000000    3.56679013
  50.       C     0.89169753    0.89169753    4.45848766
  51.       C     0.00000000    1.78339506    5.35018519
  52.       C     2.67509260    0.89169753    6.24188272
  53.       C     1.78339506    0.00000000    5.35018519
  54.       C     0.89169753    2.67509260    6.24188272
  55.       C     1.78339506    1.78339506    3.56679013
  56.       C     2.67509260    2.67509260    4.45848766
  57.       C     3.56679013    0.00000000    3.56679013
  58.       C     4.45848766    0.89169753    4.45848766
  59.       C     3.56679013    1.78339506    5.35018519
  60.       C     6.24188272    0.89169753    6.24188272
  61.       C     5.35018519    0.00000000    5.35018519
  62.       C     4.45848766    2.67509260    6.24188272
  63.       C     5.35018519    1.78339506    3.56679013
  64.       C     6.24188272    2.67509260    4.45848766
  65.       C     0.00000000    3.56679013    3.56679013
  66.       C     0.89169753    4.45848766    4.45848766
  67.       C     0.00000000    5.35018519    5.35018519
  68.       C     2.67509260    4.45848766    6.24188272
  69.       C     1.78339506    3.56679013    5.35018519
  70.       C     0.89169753    6.24188272    6.24188272
  71.       C     1.78339506    5.35018519    3.56679013
  72.       C     2.67509260    6.24188272    4.45848766
  73.       C     3.56679013    3.56679013    3.56679013
  74.       C     4.45848766    4.45848766    4.45848766
  75.       C     3.56679013    5.35018519    5.35018519
  76.       C     6.24188272    4.45848766    6.24188272
  77.       C     5.35018519    3.56679013    5.35018519
  78.       C     4.45848766    6.24188272    6.24188272
  79.       C     5.35018519    5.35018519    3.56679013
  80.       C     6.24188272    6.24188272    4.45848766
  81.     &END COORD
  82.     &KIND C
  83.       ELEMENT C
  84.       BASIS_SET DZVP-MOLOPT-SR-GTH
  85.       POTENTIAL GTH-PBE
  86.     &END KIND
  87.   &END SUBSYS

  89.   &DFT
  90.     BASIS_SET_FILE_NAME  BASIS_MOLOPT
  91.     POTENTIAL_FILE_NAME  POTENTIAL
  92.     WFN_RESTART_FILE_NAME test-RESTART.wfn
  93.     CHARGE    0 #Net charge
  94.     MULTIPLICITY  1 #Spin multiplicity
  95.     &QS
  96.       EPS_DEFAULT 1E-10 #This is default. Set all EPS_xxx to values such that the energy will be correct up to this value
  97.     &END QS
  98.     &XC
  99.       &XC_FUNCTIONAL PBE
  100.       &END XC_FUNCTIONAL
  101.     &END XC
  102.     &MGRID
  103.       CUTOFF 350 #Use 500 for high accuracy calculation
  104.       REL_CUTOFF 50 #Use 60 for high accuracy calculation
  105.     &END MGRID
  106.     &SCF
  107.       MAX_SCF 128
  108.       EPS_SCF 1E-5 #Target accuracy for SCF convergence
  109.       SCF_GUESS RESTART #Uncomment this can restart from WFN_RESTART_FILE_NAME file
  110.       &DIAGONALIZATION
  111.         ALGORITHM STANDARD #Algorithm for diagonalization. DAVIDSON is faster for large systems
  112.       &END DIAGONALIZATION
  113.       &MIXING
  114.         METHOD BROYDEN_MIXING
  115.         ALPHA 0.4 #Default. Mixing 40% of new density matrix with the old one
  116.         NBROYDEN 5 #Default is 4. Number of previous steps stored for the actual mixing scheme
  117.       &END MIXING
  118.     &END SCF
  119.   &END DFT
  120. &END FORCE_EVAL
复制代码



作者
Author: Daniel_Arndt    时间: 2025-3-11 09:44
我看不出来有问题的地方。

只看出来几个不规范的地方。一般地，我用“module use”时都会加上“--append”，这样的话，自己写的modulefile就排在集群默认提供的modulefile之后。我也很少混用“module load”和“export PATH”，我在集群上都是尽量使用modulefile的。slurm脚本里面我一般都是写绝对路径的，因为我当时用的集群的文件系统有偶发性的问题。
作者
Author: Santz    时间: 2025-3-11 09:55
你试试安装时不要手动编译 OpenMPI，在 toolchain 中直接--with-openmpi=install。另外2025.1 默认 toolchain 使用的是 OpenMPI-5.0.6
作者
Author: 北大-陶豫    时间: 2025-3-11 18:14
Santz 发表于 2025-3-11 09:55
你试试安装时不要手动编译 OpenMPI，在 toolchain 中直接--with-openmpi=install。另外2025.1 默认 toolcha ...

这个试过了，并没有什么改善_(:з」∠)_
作者
Author: 北大-陶豫    时间: 2025-3-18 21:07
后续：问题没完全解决但解决了，我请学校的超算管理员装了一个所有用户都可以用的 CP2K，用起来非常好，完全没有我自己装的时候遇到的问题……



欢迎光临 计算化学公社 (http://ccc.keinsci.com/) Powered by Discuz! X3.3