大发官网咨询热线

15265582221
产品分类
您的位置:主页 > 精密光亮无缝管 > 大发官网

工作站使用方法

作者:大发官网 发布于:2020-11-25 17:38 点击量:

  你需要将任务的源码以及所需的输入文件上传至服务器,通常情况下,由于系统环境不同,服务器不能直接运行从本地上传的可执行文件,因此编译的工作必须在服务器上重新执行一次。

  启动一个新的终端,在新终端下使用scp命令来远程复制文件或文件夹。代码中$是Shell提示符,使用时无需输入,此后不再说明。

  复制文件(将本地文件复制到你的Home文件夹下,需要输入你的登录密码,username为用户名。)

  复制文件(将服务器文件复制到你当前计算机的当前目录下,需要输入你的登录密码,username为用户名。)

  复制文件夹(将本地文件夹复制到你的Home文件夹下,需要输入你的登录密码,username为用户名。)

  复制文件夹(将服务器文件夹复制到你当前计算机的当前目录下,需要输入你的登录密码,username为用户名。)

  如果不想使用 scp 命令,可以利用 sshfs 将服务器的 home 目录挂载到本地。这并不会消耗你本地的存储空间。

  其中 apt-get 是 ubuntu/debian 的安装包管理器,如果你在使用其它 linux 发行版,请使用相应的安装包管理器进行安装。

  安装完毕后,在你喜欢的本地目录下建立挂载点,为了方便,可以选择个人的本地 home 文件夹。

  其中username为你用户名,ip_address为服务器的地址。上面命令的最后一个 workstation 表示将服务器文件夹挂载到刚创建的挂载点 workstation 上。使用时请将其替换成你实际创建挂载点的路径。

  挂载成功后,你可以从挂载点处(在本说明中为个人 home 文件夹下的 workstation 目录)直接访问你的服务器远端的目录,非常方便。

  在 Mac OS 中,同样可以使用 scp 命令进行本地和服务器之间的文件传输,使用方法同 Linux 下的 scp。

  在 WinSCP 中同样可以配置 SSH 无密码登录,点击“高级”即可进行类似设置(需要 ppk 文件:生成方法)。

  使用C/C++等语言编写的程序时,需要在服务器上对源码进行编译,尽量不要在本地编译,否则你的程序可能因为库版本不一致而导致无法运行。目前管理员正在编写可简单编译 C 程序的脚本。

  服务器安装了多个 gcc 编译工具的版本,在使用 gcc 编译工具时需要配置 gcc 的编译环境。

  可以列出所有可用的运行环境模块。执行此语句之后可以看到服务器中的所有 gcc 版本。

  从服务器中已有的 gcc 版本中,选择你需要的版本作为你的编译器。例如,更改当前 gcc 版本为 4.8.5

  使用Intel MKL进行计算时,需要使用gcc/g++编译工具,并将MKL链接到你的目标文件上。

  MKL Link Line Advisor 工具需要用户指定选项才可正确完成链接命令的生成。各个选项的含义如下:

  Select compiler: 根据个人使用的编译器自行选择。例如程序使用 gcc 编译,则此项需要选择GNU C/C++。

  Select threading layer: 选择多线程类型。这里需要注意自己程序的用途,如果希望 MKL 仅仅占用 1 个 CPU 核心进行运算,那么需要选择Sequential。如果希望 MKL 自动利用线程进行并行运算,那么需要选择OpenMP threading。

  Select cluster library: 如果没有使用分布式并行计算的库,无需勾选任何选项。

  按照如上设置完毕后,即可在下方的输出中看到链接选项和编译选项。直接复制到 Makefile 中即可。

  注意:使用matlab,python则只需要上传脚本,并指定运行环境即可,不需要编译。

  在提交任务之前,务必检查一下各个节点的状态,例如资源是否充足,当前有多少正在执行的任务等。

  你需要编写一个PBS脚本来完成任务提交的设置。PBS脚本可以在本地编写后上传,也可以直接在工作站服务器上编辑。如何编辑

  申请资源(例如节点,运行时间等)的选项名为小写的字母L,不是大写字母I。

  作业开始运行时间的格式为CCYYMMDDHHMM.SS,为了方便,可以直接写HHMM的部分,这样默认的日期就是当前日期。

  总共的节点数为 4,每个节点的最大 CPU 核心数量为 48 个,申请时请不要超过最大值。建议使用pestat命令查看剩余资源数量,在确定申请 CPU 核心数量之前,请确认你的程序是否真的需要这些计算资源。如果程序的并行程度不高,申请过多的 CPU 核心数会造成资源的浪费(多数 CPU 占用率会较低),并且会影响他人使用。在这里我们建议申请的节点数为 1(目前的 MATLAB 不支持跨节点运行),CPU 核心数不超过 24。

  当前有两个队列,debug,batch,默认提交到 debug 队列中。

  此外,由于我们的计算资源较少,因此我们对每个用户使用的总计算资源也有限制。

  CPU核心数:同一时间内,单个用户正在运行的任务占用的总核心数限制为 144 。

  该脚本任务名为 test,加入到 debug 队列中,申请 1 个节点上的一个 CPU 核心,任务内容为运行指定目录下的 hello 程序。此程序的运行环境为 gcc/4.8.5。

  Linux用户可直接将生成的 mexa64 文件上传至服务器,Windows/Mac用户则需要在服务器上编译 mex 文件。在Windows/Mac系统下生成的 mex 文件无法在 Linux 系统下使用。不过,仍然推荐 Linux 用户在服务器上重新编译 mex 文件。

  执行命令matn,进入matlab命令行模式。在matlab命令行下,输入

  以下列出服务器中常见的软件启动命令,可以作为手动编写 PBS 脚本的参考,也可以作为交互式计算的使用参考。

  第一行的目的是载入 gcc-4.8.5 环境,因为 tensorflow 必须在 C++11 环境下运行,实际使用时也可以替换成更高版本的 gcc。第二行是指定 python 运行的预先载入库,这个库同样也是 tensorflow 需要的。

  将PBS脚本编写完毕并上传工作站后(或直接在工作站编辑),进入PBS脚本的目录,使用

  你可以手动编写PBS脚本,然后使用qsub命令手动提交 matlab 任务,但是我们推荐使用如下的脚本命令直接提交 matlab 任务。无需编写PBS脚本和手动调用qsub,此脚本会自动帮你完成,为此,你只需要准备你的 matlab 脚本(M文件)。

  -c, --cpus: 指定使用 CPU 核心数量,默认为 1,允许设置为 1 到 48(具体情况视计算资源而定)

  -t, --walltime: 指定作业运行的时间,格式为HH:MM:SS,脚本会根据运行时间来选择合适的队列

  -o: 重定向输出文件到某个文件中,此文件中包含输出在 MATLAB 控制台中的所有内容

  一个例子(使用 jvm 功能,申请 12 个 CPU 核心和 2 小时的运行时间,脚本名为 test.m):

  程序执行完毕后,产生的标准输出在名为PBS_MATLAB_提交任务时间_脚本名(不带.m后缀)的文件夹中。

  你可以手动编写PBS脚本,然后使用qsub命令手动提交 R 任务,但是我们推荐使用如下的脚本命令直接提交 R 任务。无需编写PBS脚本和手动调用qsub,此脚本会自动帮你完成,为此,你只需要准备你的 R 脚本(R文件)。

  -c, --cpus: 指定使用 CPU 核心数量,默认为 1,允许设置为 1 到 48(具体情况视计算资源而定)

  -t, --walltime: 指定作业运行的时间,格式为HH:MM:SS,脚本会根据运行时间来选择合适的队列

  -o: 重定向输出文件到某个文件中,此文件中包含输出在 R 控制台中的所有内容

  一个例子(申请 12 个 CPU 核心和 2 小时的运行时间,脚本名为 test.R):

  程序执行完毕后,产生的标准输出在名为PBS_R_提交任务时间_脚本名(不带.R后缀)的文件夹中。

  则说明提交成功,左边的数字表示任务的ID,右边表示提交的节点,目前所有用户都只能在admin节点上提交任务。

  其中,第五列(指标为S)表示运行的状态。R:运行中;C:已完成;H:被挂起;Q:排队中

  计算时,标准输出流和标准错误流被重定向到文件,因此控制台中不再显示这些输出。当程序结束时,系统默认会将标准输出文件和标准错误文件复制到调用qsub的目录下。如果在PBS脚本中使用了 -o /-e 选项,则这些文件会被复制到用户所指定的目录下。

  如果使用matlab脚本,则标准输出流和标准错误流也会被定向到matbg命令所指定的文件中。

  使用命令(代码中申请资源数前面的选项为小写的L)

  即可进入交互式计算模式。该模式下,用户将会被自动切换到一个计算节点,此后所有的计算都在这个节点上进行。使用时需要指定申请的资源数,格式为nodes=X:ppn=Y,资源数不能超过剩余资源的最大值。在此节点上计算无需编写PBS脚本,直接执行Shell命令即可。此模式大多用于计算任务需要计时或者实时调试的情况。如果你熟悉UNIX系统,那么这个模式的使用方法和你单独在PC上计算几乎没有区别。在此模式下,不要使用qsub命令提交任务,因此在登出之前,确保你的任务都已经执行完毕。

  注1:交互式模式只能提交到 debug 队列中,因此最大单次占用时间为 3 小时。

  为了编写脚本方便,可以直接使用服务器系统的 VIM 编辑器进行对脚本的编辑。

  VIM 编辑器一共有两个主要的编辑模式:普通模式和插入模式。进入 VIM 编辑器后,编辑器处于普通模式。

  A:请将源码在服务器上重新编译一遍,因为不同环境下编译出来的二进制可执行文件的运行条件是不同的。

  Q:提交任务时,任务显示在Q(排队)状态,但是有空闲的计算资源存在。

  A:每个用户提交的任务的数量和占用的核数有一定限制,请查看工作站用户使用限制。

大发官网

上一篇:山东新增45个国家博士后科研工作站

下一篇:变压器油公司名单

大发官网 - 精密光亮管 - 精密光亮钢管 - 精密光亮无缝管 - 产品中心 - 新闻中心 - 联系我们 -

版权所有:大发官网 地址:山东省聊城市开发区辽河路东首 技术支持: 网站地图