首页 >> 系统平台
曙光TC4600百万亿次超级计算系统
2014-09-30

中国科学技术大学超级计算中心曙光TC4600百万亿次超级计算系统(519万亿次/秒),兼为安徽省教育科研网高性能计算平台,也为入网用户提供高性能计算服务。此套系统采用100Gbps和56Gbps高速互联,共计1个管理节点、2个用户登录节点、7个存储节点、2个Lustre LNet路由节点及506个计算节点构成。计算节点共12200颗CPU核心,512颗Intel Xeon Phi融核(MIC)KNL核心和39936颗NVIDIA CUDA核心,总双精度峰值计算能力为每秒519万亿次(CPU:482.82万亿次/秒,GPU:14.96万亿次/秒,Intel Xeon Phi融核:21.28万亿次/秒)。

  • 管理节点

    用于系统管理,普通用户无权登录。

    节点名 CPU 内存 硬盘 计算网络 机器型号
    tcadmin 2*Intel Xeon E5-2620 v3(2.4GHz),共12核 32GB DDR4 2133MHz 2*600GB SAS 56Gbps FDR InfiniBand 曙光I620-G10
  • 用户登录节点
    • 用于用户登录、编译与通过作业调度系统提交管理作业等;
    • Intel Xeon E5 2600 v3、E5 2600 v4和E7 8800 v4是同一架构CPU,编译时可以通用;
    • 禁止在此节点上不通过作业调度系统直接运行作业
    节点名 CPU 内存 硬盘 计算网络 机器型号
    tc4600v3 2*Intel Xeon E5-2620 v3(2.4GHz),共12核 32GB DDR4 2133MHz 2*600GB SAS 56Gbps FDR InfiniBand 曙光I620-G10
    tc4600v4 2*Intel Xeon E5-2620 v4(2.1GHz),共16核 64GB DDR4 2400MHz 2*240GB SSD 100Gbps Intel OPA 曙光I620-G10
  • Intel Xeon CPU计算节点,494个
    节点名 数量 CPU 总CPU核数 内存 硬盘 计算网络 机器型号及备注
    node1-node300 300 2*E5-2680 v3(2.5GHz,30MB L3 Cache),共24核 7200 64GB DDR4 2133MHz 1*300GB SAS 56Gbps FDR InfiniBand 曙光CX50-G20
    node301-node450 150 2*E5-2680 v4(2.4GHz,L3 Cache),共28核 4200 128GB DDR4 2400MHz 1*240GB SSD 100Gbps Intel OPA 曙光CX50-G20
    node451-node490 40 1*E3-1240 v5(3.5GHz,8MB),共4核 160 32GB DDR4 2400MHz 1*500GB SATA 100Gbps EDR InfiniBand 曙光MicroPro CX50-G20,高主频, 每四个节点通过一块MellonaxMulti-Host互联
    node491-node494 4 8*E7-8860 v4(2.2GHz,45MB L3 Cache),共144 576 1TB DDR4 2400MHz 2*240GB SSD 100Gbps Intel OPA 曙光I980-G20,大共享内存
  • NVIDIA Tesla GPU计算节点,4个
    节点名 GPU CPU 内存 硬盘 计算网络 机器型号及备注
    k801-k804 2*NVIDIA Tesla K80 GPU卡 2*Intel Xeon E5-2680 v4(2.4GHz, 30MB L3 Cache),共28核 128GB DDR4 2400MHz  2*240GB SSD 100Gbps Intel OPA 曙光W740-G20

    单颗NVIDIA Tesla K80 GPU:

    GPU单元 显存 CUDA计算核心数 主频 单精度计算能力 双精度计算能力
    2*GK210 24GB GDDR5 4992 562MHz,GPU Boost 875MHz 5.6万亿次/秒 1.87万亿次/秒
  • Intel Xeon融核计算节点,8个
    节点名 CPU 内存 硬盘 计算网络 机器型号
    node499-node506 1*Intel Xeon Phi 7210(64核,1.3GHz,16 GB MCDRAM,2.66万亿次/秒) 96GB DDR4 2133MHz 1*160GB SSD 100Gbps Intel OPA 曙光I620-T25
  • 存储系统
    • Lustre SATA并行存储系统
      • 曙光DS800-G10机架式存储,34块4TB SATA硬盘,实际可用存储空间102TB
      • Lustre并行IO节点:
        • 节点名:io1-io4
        • 曙光I620-G10机架式服务器四台
        • 各节点配置:
          • 2*Intel Xeon E5-2620 v2 x86_64 6核CPU(主频2.1GHz),共12核
          • 32GB DDR3 1600MHz ECC REG内存
          • 两块600GB SAS硬盘
          • 一块56Gbps FDR InfiniBand
          • 一块8Gbps FC卡
    • Lustre SSD闪存并行存储系统
      • 联想S3200机架式存储,24块4GB SSD硬盘,实际可用存储空间7TB
      • Lustre并行IO节点:
        • 节点名:io6、io7
        • 联想System x3650 M5机架式服务器两台
        • 各节点配置:
          • 2*Intel Xeon E5-2630 v4 x86_64 10核CPU(主频2.2GHz),共20核
          • 64GB DDR4 2400MHz ECC REG内存
          • 两块240GB SSD硬盘
          • 一块56Gbps FDR InfiniBand
          • 两块16Gbps 双口FC卡
    • Lustre LNet路由节点
      • 节点名:lnet1、lnet2
      • 曙光I620-G20机架式服务器2台
      • 各节点配置:
        • 2*Intel Xeon E5-2620 v4 x86_64 8核CPU(主频2.1GHz),共16核
        • 64GB DDR4 2400MHz ECC REG内存
        • 两块240GB SSD硬盘
        • 一块100Gbps Intel OFI
        • 一块56Gbps FDR InfiniBand
    • 普通IO节点
      • 节点名:io5
      • 曙光I620-G20机架式服务器,实际可用存储空间30TB
        • 2*Intel Xeon E5-2640 v3 8核CPU(主频2.6GHz),共16核
        • 64GB DDR4 2133MHz ECC REG内存
        • 12块4TB 3.5寸7.2K NL-SAS硬盘
        • 1块2GB Cache RAID卡
        • 1块56Gb FDR InfiniBand双端口HCA卡
  • 高速计算网络
    • 100Gbps Intel Omni Path全线速高速网,Intel 100SWD06 192口交换机一台
    • 100Gbps EDR InfiniBand高速网,Mellanox SB7800 36口交换机一台
    • 56Gbps FDR InfiniBand准全线速高速网,Mellanox SX6512 216口、SX6506 108口交换机各一台
  • 管理网络:千兆以太网
  • 操作系统:x86_64架构的64位CentOS 7.3 Linux
  • 编译器:Intel、PGI和GNU等C/C++、Fortran编译器
  • 数值函数库:Intel MKL
  • 并行环境:Intel MPI和Open MPI等,支持MPI并行程序;各节点内的CPU共享内存,节点内既支持分布式内存的MPI并行方式,也支持共享内存的OpenMP并行方式;同时支持在节点内部共享内存,节点间分布式内存的混合并行模式。
  • 资源管理和作业调度:IBM Platform LSF
  • 常用公用软件安装目录:/opt。请自己查看有什么软件,有些软件需要在自己~/.bashrc等配置文件中设置后才可以使用
  • 用户手册等相关资料http://scc.ustc.edu.cn/zlsc/tc4600/

Copyright 2009 中国科学技术大学超级计算中心 All Rights Reserved