在用电脑Jupyter玛蒂尔达

内容

概述

本教程假设您拥有一些基本的知识conda /miniconda并且可以设置一个基本环境。玛蒂尔达,我们已经安装了miniconda3作为一个模块来帮助你设置conda环境。使用方法:

模块加载miniconda3

一旦初始化conda和创建一个基本的环境(在本教程中称为“test-env”)你可能安装jupyter包的依赖关系到环境中,你已经准备好运行jupyter笔记本在玛蒂尔达。例如(使用test-env环境,Python 3.9 v):

conda创建- n test-env python 3.9 = =conda激活test-envconda安装笔记本

本教程涵盖了2基本方法Jupyter笔记本玛蒂尔达HPC计算节点上运行。

互动安排工作

srun

第一个方法是调用一个时间表互动工作开始这个过程。例如:

srun - n - c 1 - t 5:00:00——企业/bin/bash登录

(互动运行的细节上的更多信息,请参阅工作脚本的例子。)

一旦你的工作开始,你登录到计算节点启动你的笔记本会话使用以下:

模块加载miniconda3源~ / . bashrcconda激活test-envjupyter-notebook——没有任何一种浏览器——端口= 8889——ip = 0.0.0.0

用环境的实际名称代替“test-env”并选择一个端口(在这里我们使用8889年,默认是8888如果没有指定)。您应当会看到类似如下:

[我13:49:58.728 NotebookApp]从本地目录服务笔记本:/home/u/username[我13:49:58.728 NotebookApp] Jupyter笔记本6.3.0运行:[我13:49:58.728 NotebookApp] http://hpc-throughput-p01:8889 ?令牌= 47 ef2216d4ce8e14f30967def52d6e8dd6a0db0514692b00[我13:49:58.728 NotebookApp)或http://127.0.0.1:8889 ?令牌= 47 ef2216d4ce8e14f30967def52d6e8dd6a0db0514692b00[我13:49:58.728 NotebookApp]使用control - c停止该服务器并关闭所有内核(跳过两次确认)。[C 13:49:58.741 NotebookApp]访问笔记本,在浏览器中打开这个文件:文件:/ / / home / u /用户名/。local /分享/ jupyter /运行/ nbserver open.html——1239796或复制和粘贴这些url之一:http://hpc-throughput-p01:8889 ?令牌= 47 ef2216d4ce8e14f30967def52d6e8dd6a0db0514692b00或http://127.0.0.1:8889 ?令牌= 47 ef2216d4ce8e14f30967def52d6e8dd6a0db0514692b00

从另一个shell在您的工作站,发起一个端口转发会话计算节点如下所示:

ssh - n - l 8889: hpc-throughput-p01:8889(电子邮件保护)

一定要代入实际的港口以及实际使用节点你登录(在这个例子中,我们的工作是hpc-throughput-p01)。

你会要求你的密码。进入它,并请注意,您的会话将会出现“挂”——这是正常的,所以进入下一个步骤(见下图):

密码屏幕

不关闭转发终端窗口,直到你完成使用笔记本。

现在打开一个浏览器并输入:

http://127.0.0.1:8889 ?令牌= 47 ef2216d4ce8e14f30967def52d6e8dd6a0db0514692b00

你现在应该连接到Jupyter笔记本。请再次注意来代替实际端口用于“8889”以上(也是你的令牌将不同于一个如上所示)。只是拷贝和粘贴相应的链接。

salloc

如果你想从你的笔记本没有附加和分离杀死互动工作会话,您可以使用salloc方法来分配资源,然后连接到使用srun安排资源。例如:

salloc - n - c 1 - t 30:00srun——jobid = < # # # # # >——企业/bin/bash

一旦附加到会话分配资源,只需遵循上述指令为实例化Jupyter笔记本(srun下)。salloc / srun互动工作技术更详细地描述示例脚本工作wiki页面。

* *请注意,如果你退出交互会话将杀死笔记本但你预订的节点将依然存在。当和srun你将不得不重新启动笔记本电脑。* *

SBATCH工作

您可以使用传统调度Jupyter笔记本运行“sbatch”工作脚本如下面的示例所示:

示例脚本工作

{{{# !/bin/bash # = = = = = = = = # SBATCH示例作业脚本——节点= 1 # SBATCH ntasks = 1 # SBATCH——cpus-per-task = 1 # SBATCH mem = 4 g # SBATCH——时间= 01:00:00 # SBATCH作业名= jupyter-notebook

#得到隧道信息XDG_RUNTIME_DIR = " "节点用户= $ = $(主机名- s) (whoami)集群=“hpc登录端口= 8889

#隧道打印指令jupyter-log echo - e”命令创建ssh隧道:ssh - n - l ${港口}:${节点}:${港口}$ {user} @ ${集群}.www.zhongqiwg.com

你的本地机器上使用浏览器去:localhost: ${}港(w /前缀https://如果使用密码)" > jupyter-log

#加载模块或模块加载miniconda3 conda环境

#激活conda环境~ / cd来源。bashrc conda激活(test-env

#运行Jupyter jupyter-notebook——没有任何一种浏览器——端口= ${港口}——ip = ${节点}}}}通过查看附带jupyter-log这个脚本生成的文件您可以显示为连接到批处理作业指令。总结这些,一旦工作是运行打开另一个终端和ssh隧道的节点工作正在运行。例如:

ssh - n - l 8889: hpc-throughput-p01:8889(电子邮件保护)

你会要求你的密码。进入它,并请注意,您的会话将会出现“挂”——这是正常的,所以进入下一个步骤(见下图):

密码屏幕

不关闭转发终端窗口,直到你完成使用笔记本。

一旦建立了隧道,打开一个本地浏览器会话并输入:

http://localhost: 8889

替代上面的实际端口用于“8889”。注意这个脚本示例中可以调整工作。

总的来说,这非常类似于使用的程序交互运行除了笔记本会话建立通过脚本而不是交互式的工作。

预防措施和笔记

有几个问题要记住Jupyter笔记本运行时在玛蒂尔达。这些都是下面的高亮显示。

港口

默认端口为Jupyter笔记本是“8888”。因为别人可能的节点上运行一个笔记本,你的工作是运行,港口可能会造成的,就会发生错误。如果发生这种情况,增加端口号,直到你找到一个没有被使用。这可以在交互工作会话控制,或通过改变港口的工作脚本。

一般来说,大多数的端口号范围内的数字可以使用1024年和65535年之间,除非另一个服务是利用它。

登录节点

请锻炼在乎Jupyter笔记本登录节点上运行。登录并不是用来强化就业和笔记本电脑消耗的资源可能被杀,没有警告。

当实际,你应该在计算节点上运行你的笔记本一个时间表工作(互动或批处理)。

计算节点

在计算节点上安装行囊,与“pip安装“需要额外的命令。

pip安装“PACKAGENAME”——可信主机pypi.org——可信主机files.pythonhosted.org

安全

安全到你Jupyter笔记本可以通过生成提供一个独特的标记,或通过设置一个密码。如果你设置一个密码你的笔记本(下面讨论),一个令牌将不会在默认情况下生成的。

令牌

Jupyter笔记本运行时可以为别人附加到您的会话。如果你没有为你的笔记本设置一个密码,运行“jupyter-notebook”命令将生成一个身份验证令牌,你可以使用它来访问会话。您将看到类似如下:

访问笔记本,在浏览器中打开这个文件:文件:/ / / home / u /用户名/。local /分享/ jupyter /运行/ nbserver open.html——1237569或复制和粘贴这些url之一:= e9624d77e74d00265f88abdd0691510311b94e4355a77a04 http://hpc-throughput-p01:8889 ?令牌或http://127.0.0.1:8889 ?令牌= e9624d77e74d00265f88abdd0691510311b94e4355a77a04

在上面的案例中,在您的浏览器中使用下列之一:

= e9624d77e74d00265f88abdd0691510311b94e4355a77a04 http://127.0.0.1:8889 ?令牌或http://localhost: 8889 / ?令牌= e9624d77e74d00265f88abdd0691510311b94e4355a77a04

在浏览器中不使用计算节点的名称,这将导致连接失败。

密码

或者,你可以设置一个密码使用Jupyter笔记本会话。创建所需的配置文件输入以下你的玛蒂尔达账户:

模块加载miniconda3conda激活test-envjupyter笔记本——generate-config

(替代的实际名称为“test-env”, Jupyter conda环境安装包)。这将创建一个文件名为:

~ / .jupyter / jupyter_notebook_config.py

现在为你的笔记本:生成一个密码

jupyter笔记本的密码

系统将提示您输入密码,确认。用这个密码登录到你的笔记本。

注意:如果你选择分配一个密码给你的笔记本,和令牌将不会生成!

CategoryHPC