基本信息 用户申请 Linux系统 登录及数据传输 程序编译及安装 LSF作业调度系统 Slurm作业调度系统 应用软件 VPN 

• 作业异常退出的常见原因

  • 假设提交作业命令为bsub -q normal -n 24 -o %J.log -e %J.er mpijob ./example_job，提交后系统提示作业已提交到队列中
  • Job <123456> is submitted to queue . 提交作业时请加上-o %J.log和-e %J.err参数。
  • 当作业异常退出后，在作业提交的目录下，可根据这两个标准输出123456.log和错误输出123456.err文件，查看异常退出的提示说明信息。
  • 使用"bacct -l 123456"的命令可查看作业历史纪录。
  • 作业异常退出的常见原因有：
    1. libxxxx.so.x函数库文件未找到 程序执行example_job需要的函数库文件缺失。请使用命令ldd ./example_job查看缺失的文件，然后使用命令find / -name "libxxx.so.x" -ls命令查看库文件所在的路径，并在~/.bashrc文件中设置此路径。若系统上没有缺失的库文件，可向管理员反馈说明。
    2. 可执行文件未找到：（...command not found） 作业计算需要的可执行文件example_job没有找到。在提交作业的目录下，提交作业时使用文件路径为./example_job或使用其存放的绝对路径。
    3. 请指定一个可执行文件： 作业提交时，指定的计算程序example_job没有可执行权限。请使用命令chmod u+x example_job为指定程序添加可执行权限。
    4. 磁盘空间不够： 默认情况下，用户个人可使用的磁盘空间为50GB，用户文件占用空间达到此上限时，帐号下无法新建文件，会导致计算的程序异常退出。请及时备份下载各自重要文件，并清理帐号下的陈旧或无用文件。确有更大磁盘空间的需求时，可向管理员反馈说明。
    5. 内存使用超出：(out of memory) 作业运行时需求的内存超出了计算节点配置的内存，此种情况作业输出文件中一般会有提示。可选择调整输入文件参数减小计算规模或者增大并行计算的CPU核进程数规模或者使用大内存的专有队列计算测试。
    6. 程序段错误 此种情况作业输出文件中会有提示，一般为用户的计算程序文件问题，请检查程序后再测试计算。
    7. 作业无任何输出的异常退出 检查123456.log和123456.err文件，查看其中的提示信息。 检查作业文件存放的目录是否有空格，请重新命名文件目录，将空格去掉。 检查作业是否为UNKWON状态，此种情况一般为节点故障，可向管理员反说明。 检查个人帐号下文件占用空闲是否达到了磁盘限额的上限，注意及时清理陈旧的文件。

• 删除作业的命令bkill

  此命令影响的仅仅是个人帐号下自己的作业，对其他用户的作业没有任何影响。

  对个人帐号下排队中或运行中的作业均可进行操作。

  bkill 作业号 命令可结束单个作业，bkill 0 命令可结束全部的作业。

• 如何保证作业申请到的CPU资源在同一个节点内？

  bsub时利用 -R "span[hosts=1]"参数可以确保作业申请的资源在同一个节点内。

• 挂起未完成作业的命令bstop

  可以将未完成的作业挂起，不能挂起已经处于挂起状态的作业。挂起的运行中的作业将终止计算，但作业进程并不结束。

  可使用命令bresume将挂起的作业恢复。

  另一种处理方法的命令是：

  • 挂起作业：bkill -s STOP
  • 恢复作业：bkill -s CONT 此命令处理中心不建议使用，因挂起的作业仍会占用计算节点上的系统内存，可能会影响其他用户的后续计算使用。

• 提交作业的命令bsub

  • 详细命令参数可用命令：man bsub查看。作业提交首先要确认预计算的程序有可执行权限：
    #ls -l hello.sh -rwxr--r-- 1 root root 24 11月 5 15:52 hello.sh
    以上举例列出的第一列文件属性中r为可以查看文件内容的读的权限，w为可以编辑文件内容的写的权限，x为可以对文件进行执行操作的可执行权限。
  • 作业提交举例：
    • 提交命令：bsub -q normal -n 48 -o %J.log -e %J.err -J mytestjob mpijob ./example_job
    • 系统提示：Jobs <818500> is submitted to queue . 说明： 将用户帐号当前目录下的可执行文件example_job并行程序，申请使用48个CPU核，提交到normal队列进行排队计算。
  • 作业提交成功后，系统提示分配到作业号818500。
  • 由于指定了-o %J.log -e %J.err参数，在作业运行完成后，将在提交作业的目录下生成818500.log和818500.err文件。
  • 提交作业需要用到的常用参数介绍：
    • -q 指定作业提交的队列名,提交作业时必须指定的参数。可根据计算需求指定为为不同的队列名。系统上设置的所有队列可用"bqueues"命令查看。
    • -n 指定作业提交申请的CPU核数，提交作业时必须指定的参数。
    • -o 指定作业的标准输出文件。提交作业时可选择指定的参数，强烈推荐使用，有助于作业异常退出时检查异常退出的原因。-o参数后若指定为%J.log，则输出文件为提交作业之后的作业号日志文件。
    • -e 指定作业的i标准错误输出文件。提交作业时可选择指定的参数，强烈推荐使用，有助于作业异常退出时检查异常退出的原因。-e参数后若指定为%J.err，则输出文件为提交作业之后的作业号错误日志文件。
    • -J 指定提交作业的作业名，提交作业时可选择指定的参数，可自行定义文件名。
    • -i 指定提交作业的输入文件，提交作业时可选择指定的参数。
  • mpijob 为LSF作业调度系统的作业提交时调用的系统命令，后跟用户自己的执行程序或脚本 example_job 为用户需要计算调用的可执行程序，若该程序后有自己单独的参数，可在example_job后参照正常执行时参数的使用方法将需要的参数列出。

• 提交作业过程

  1. 准备输入文件：
     通过ftp/sftp等方式将已准备好的计算任务文件上传到超算系统上，或根据需要直接在超算系统上使用vim或emacs等编写输入文件。Windows系统上传文件时请使用二进制文件格式或在上传之后也许需使用dos2unix或fromdos命令对文件进行格式转换。
  2. 提交计算任务：
     使用bsub命令将作业提交到LSF作业调度系统上。
     若提交成功，系统会显示提示信息，已提交的任务将分配得到一个作业号。利用bjobs命令可查看已提交的作业。
     若提交不成功，请根据系统提示执行后续操作。
  3. 计算任务开始排队：
     已提交的作业首先进入作业队列中进行排队，同一队列中作业提交的时间顺序决定在队列中的前后。
  4. 调整队列中的作业：
     已经开始运行的作业无法再调整提交参数，尚在队列中排队的作业可以调整提交参数，使用命令为bmod。比如，更改作业所在队列、计算所需进程数、输出结果文件名、调整用户自己排队中作业的前后顺序等。
     作业运行时使用的是调整后的作业文件或参数。
  5. 调度资源与分配运行：
     LSF作业调度系统会实时的监测各个计算节点的空闲情况及状态，判断是否满足队列中排队作业的计算使用需求。若满足需求，则为作业分配计算节点进行计算。
  6. 作业开始计算：
     当条件满足时，作业被分配到相应的计算节点上执行计算。LSF作业管理系统监测并收集正在执行的作业状态信息及输出信息，并将输出结果信息生成在作业提交时的文件目录下或作业提交时指定的文件中。
  7. 作业查询与终止：
     计算中的作业，可通过查看作业默认或指定的输出文件或使用bpeek命令进行输出状态查询。若程序计算异常，可使用bkill命令终止删除作业。
  8. 获取计算结果：
     默认情况下，计算结果文件保存在提交计算作业的目录下边，亦可在提交作业时指定其他的结果文件生成目录。可使用more、cat等Linux系统命令查看结果文件。或根据需要将结果文件通过ftp/sftp等方式下载到个人电脑上进行后期处理分析。

  注意：以上，3、5、6步骤将由LSF作业调度系统自动完成，无需用户参与。

• 更改作业提交参数命令bmod

  只能在作业尚处于排队中尚未运行时，已经运行的作业无法再更改提交或计算参数。参数更改后，当作业被分配运行时，计算使用的是更改后的参数或程序文件。详细说明可用命令man bmod查看

• 更改作业的前后顺序的命令btop、bbot

  此命令影响的仅仅是个人帐号下自己的作业，对其他用户的作业没有任何影响。
  有多个作业在排队时，有时希望让后提交的作业排在前边，可使用btop命令。
  希望将作业调整到个人作业的末尾或指定位置，可使用bbot命令。

• 查询作业排队原因的命令bjobs -p JOBID

  常见的排队原因(PENDING REASONS) 如下：

  • User has reached the per-user job slot limit of the queue; 作业所在队列有对用户使用CPU核数的限制，已经运行中的作业使用CPU核数已达到或接近上限限制，无法分配当前排队中的作业。当用户运行中的作业结束掉，同时又有足够的剩余限制数满足排队作业的申请条件时，排队中的第一个作业将分配运行。
  • Job slot limit reached : 100 hosts; 作业所在队列有对所有用户可使用计算节点数的总的限制（此处提示为100个计算节点）。队列中当前所有用户运行中的作业使用的节点数已达到或接近上限限制。
  • The user has reached his/her job slot limit; 作业调度系统对用户可使用的CPU核数有限制。用户已经运行中的作业使用CPU核数已达到或接近上限限制。限制数可用命令"busers"查看。
  • The queue has reached its job slot limit; 作业调度系统对此队列有可使用CPU核数的限制，该队列中当前所有用户的已经运行中的作业使用CPU核数已达到或接近上限限制。

• 查询作业状态bjobs

  不加参数执行此命令时，可查询个人帐号下所有运行中、排队中的作业状态。

  命令"bjobs -l JOBID"则可以查看单个作业的当前详细状态信息。

  作业状态通常有以下几种：

  • RUN： 作业已分配运行
  • PEND： 作业在队列中处于排队的状态，可使用命令"bjobs -p JOBID"查看某个作业排队的原因。
  • PSUSP、USUSP、SSUSP： 作业已被挂起，请使用命令"bjobs -l JOBID"查看作业详细信息，一般为作业本身异常，请用户优先检查作业参数设置。
  • UNKNOW： 作业处于未知状态。一般为运行作业的节点故障，请联系管理员进行检查。