曙光TC4600百万亿次超级计算系统

曙光TC4600百万亿次超级计算系统(519万亿次/秒),兼为安徽省教育科研网高性能计算平台,也为入网用户提供高性能计算服务。此套系统采用100Gbps和56Gbps高速互联,具有Intel Xeon E5 2600 v3、E5 2600 v4、E7 8800 v4、E3 1240 v5等不同类型CPU及Intel Xeon Phi和NVIDIA Tesla K80 GPU等处理器,共计1个管理节点、2个用户登录节点、7个存储节点、2个Lustre LNet路由节点及506个计算节点构成。计算节点共12200颗CPU核心,512颗Intel Xeon Phi融核(MIC)KNL核心和39936颗NVIDIA CUDA核心,总双精度峰值计算能力为每秒519万亿次(CPU:482.82万亿次/秒,GPU:14.96万亿次/秒,Intel Xeon Phi融核:21.28万亿次/秒)。

  • 管理节点:

    用于系统管理,普通用户无权登录。

    节点名

    CPU

    内存

    硬盘

    计算网络

    型号

    tcadmin

    2*Intel Xeon E5-2620 v3,
    共12核
    32GB DDR4
    2133MHz
    2*600GB
    SAS
    56Gbps FDR
    InfiniBand
    曙光
    I620-G10
  • 用户登录节点(2个):
    • 用于用户登录、编译与通过作业调度系统提交管理作业等。
    • Intel Xeon E5 2600 v3、E5 2600 v4和 E7 8800 v4是同一架构CPU,编译时可以通用。
    • 禁止在此节点上不通过作业调度系统直接运行作业。

    节点名

    CPU

    内存

    硬盘

    计算网络

    型号

    tc4600v3

    2*Intel Xeon E5-2620 v3,
    共12核
    32GB DDR4
    2133MHz

    2*600GB SAS

    56Gbps FDR
    InfiniBand
    曙光
    I620-G10

    tc4600v4

    2*Intel Xeon E5-2620 v4,
    共16核
    64GB DDR4
    2133MHz

    2*240GB SSD

    100Gbps Intel
    OPA
    曙光
    I620-G10
  • Intel Xeon CPU计算节点(494个):

    节点名

    数量

    CPU

    内存

    硬盘

    计算网络

    备注

    node
    [1 - 300]

    300

    2*Intel Xeon E5-2680v3
    (2.5GHz,30MB L3 Cache),
    共24核
    64GB DDR4
    2133MHz

    1*300GB
    SAS

    56Gbps FDR
    InfiniBand

    曙光
    CX50-G20

    node
    [301 - 450]

    150

    2*Intel Xeon E5-2680 v4
    (2.4GHz, L3 Cache),
    共28核
    128GB DDR4
    2400MHz

    1*240GB
    SSD

    100Gbps
    Intel OPA

    曙光
    X50-G20

    node
    [451 - 490]

    40

    1*Intel Xeon E3-1240 v5
    (3.5GHz, 8MB L3 Cache),
    共4核
    32GB DDR4
    2400MHz

    1*240GB
    SSD

    25Gbps EDR
    Infiniband

    曙光CX50-G20,高主频,
    每四个节点通过一块
    Mellonax Multi-Host互联
    node
    [491 - 494]

    4

    8*Intel Xeon E7-8860 v4
    (2.2GHz, 45MB L3 Cache),
    共144核
    1TB DDR4
    2400MHz

    2*240GB
    SSD

    100Gbps
    Intel OPA

    曙光I980-G20,
    大共享内存

  • Intel Xeon融核计算节点(8个):

    节点名

    数量

    CPU

    内存

    硬盘

    计算网络

    备注

    knl
    [1 - 8]

    8

    1*Intel Xeon Phi 7210
    (64核,1.3GHz 16GB
    MCDRAM,2.66万亿次/秒)
    96GB DDR4
    2133MHz

    1*160GB
    SSD

    100Gbps
    Intel OPA

    曙光
    I620-T25

  • GPU计算节点(4个):

    节点名

    数量

    GPU

    CPU

    内存

    硬盘

    计算网络

    备注

    k80
    [1 - 4]

    4

    2*NVIDIA
    Tesla K80

    2*Intel Xeon E5-2680 v4
    (2.4GHz, 30MB L3 Cache),
    共28核
    128GB DDR4
    2400MHz

    2*240GB
    SSD

    100Gbps
    Intel OPA

    曙光
    W740-G20

    单颗NVIDIA Tesla K80 GPU参数

    GPU单元

    显存 | 主频

    CUDA计算核心数

    单精度计算能力

    双精度计算能力

    2*GK210

    24GB || 562MHz,

    4992

    5.6万亿次/秒

    1.87万亿次/秒

  • 存储系统:
    • Lustre SATA并行存储系统:
      • 曙光DS800-G10机架式存储,34块4TB SATA硬盘,实际可用空间102TB
      • Lustre并行IO节点(io1-io4,曙光I620-G10机架式服务器4台):
        • 两颗64位主频2.1GHz的Intel Xeon E5-2620 v2 x86_64 6核CPU,共12核
        • 32GB DDR3 1600MHz内存
        • 两块600GB SAS硬盘
        • 一块56Gbps FDR InfiniBand卡
        • 一块8Gbps FC卡
    • Lustre SSD闪存并行存储系统:
      • 高IO读写性能,仅提供有需要的特殊用户使用,需特殊申请
      • 联想S3200机架式存储,24块4GB SSD硬盘,实际可用空间7TB
      • Lustre并行IO节点(io6、io7,联想System x3650 M5机架式服务器2台):
        • 两颗64位主频2.2GHz的Intel Xeon E5-2630 v4 x86_64 10核CPU,共20核
        • 64GB DDR4 2400MHz ECC REG内存
        • 两块240GB SSD硬盘
        • 一块56Gbps FDR InfiniBand卡
        • 两块16Gbps 双口FC卡
    • Lustre LNet路由节点:
      • 用途:Intel OPA高速计算网络节点通过此路由节点访问基于InifiniBand高速网络的Lustre存储
      • 节点名:lnet1、lnet2
      • 曙光I620-G20机架式服务器2台
      • 各节点配置:
        • 两颗64位主频2.1GHz的Intel Xeon E5-2620 v4 x86_64 8核CPU,共16核
        • 64GB DDR4 2400MHz ECC REG内存
        • 两块240GB SSD硬盘
        • 一块100Gbps Intel OFI卡
        • 一块56Gbps FDR InfiniBand卡
    • NFS普通IO节点:
      • 节点名:io5
      • 曙光I620-G20机架式服务器,实际可用空间30TB:
        • 两颗主频2.6GHz的Intel Xeon E5-2640 v3 x86_64 8核CPU,共16核
        • 64GB DDR4 2133MHz ECC REG内存
        • 12块4TB 3.5寸7.2K NL-SAS硬盘
        • 1块2GB Cache RAID卡
        • 1块56Gbps FDR InfiniBand双端口HCA卡
  • 高速计算网络:
    • 100Gbps Intel Omni Path全线速高速网,Intel 100SWD06 192口交换机一台
    • 100Gbps EDR InfiniBand高速网,Mellanox SB7800 36口交换机一台
    • 56Gbps FDR InfiniBand准全线速高速网,Mellanox SX6512 216口、SX6506 108口交换机各一台
  • 管理网络:千兆以太网
  • 操作系统:CentOS 7.3 Linux
  • 编译器:Intel、PGI和GNU等C/C++ Fortran编译器
  • 数值函数库:Intel MKL
  • 并行环境:Intel MPI和Open MPI等,支持MPI并行程序;各节点内的CPU共享内存,节点内既支持分布式内存的MPI并行方式,也支持共享内存的OpenMP并行方式;同时支持在节点内部共享内存,节点间分布式内存的混合并行模式。
  • 资源管理和作业调度:IBM Spectrum LSF
  • 常用公用软件安装目录:。请自己查看有什么软件,有些软件需要在自己等配置文件中设置后才可以使用。
曙光TC4600百万亿次超级计算系统拓扑
曙光TC4600百万亿次超级计算系统实景