曙光TC4600百万亿次超级计算系统（已停机）

发布者：沈瑜发布时间：2014-09-30浏览次数：13042

2025年7月停机


中国科学技术大学超级计算中心曙光TC4600百万亿次超级计算系统，兼为安徽省教育科研网高性能计算平台，也为入网用户提供高性能计算服务。此套系统采用100Gbps和56Gbps高速互联，共计1个管理节点、2个用户登录节点、7个存储节点、2个Lustre LNet路由节点及506个计算节点构成。计算节点共12248颗CPU核心，512颗Intel Xeon Phi融核(MIC)KNL核心和24块GPU卡，总双精度峰值计算能力为每秒648.53万亿次（CPU：487.49万亿次/秒，GPU：139.76万亿次/秒，Intel Xeon Phi融核：21.28万亿次/秒）。

  • 管理节点：

    用于系统管理，普通用户无权登录。

    节点名CPU内存硬盘计算网络机器型号
    tcadmin2*Intel Xeon E5-2620 v3(2.4GHz)，共12核32GB DDR4 2133MHz2*600GB SAS56Gbps FDR InfiniBand曙光I620-G10


  • 用户登录节点：

    • 用于用户登录、编译与通过作业调度系统提交管理作业等；

    • Intel Xeon E5 2600 v3、E5 2600 v4和E7 8800 v4是同一架构CPU，编译时可以通用；

    • 禁止在此节点上不通过作业调度系统直接运行作业。

    节点名CPU内存硬盘计算网络机器型号
    tc4600v32*Intel Xeon E5-2620 v3(2.4GHz)，共12核32GB DDR4 2133MHz2*600GB SAS56Gbps FDR InfiniBand曙光I620-G10
    tc4600v42*Intel Xeon E5-2620 v4(2.1GHz)，共16核64GB DDR4 2400MHz2*240GB SSD100Gbps Intel OPA曙光I620-G10


  • Intel Xeon CPU计算节点，494个：

    节点名数量CPU总CPU核数内存硬盘计算网络机器型号及备注
    node1-node3003002*E5-2680 v3(2.5GHz,30MB L3 Cache)，共24核720064GB DDR4 2133MHz1*300GB SAS56Gbps FDR InfiniBand曙光CX50-G20
    node301-node4501502*E5-2680 v4(2.4GHz,35MB L3 Cache)，共28核4200128GB DDR4 2400MHz1*240GB SSD100Gbps Intel OPA曙光CX50-G20
    node451-node490401*E3-1240 v5(3.5GHz,8MB L3 Cache)，共4核16032GB DDR4 2400MHz1*500GB SATA100Gbps EDR InfiniBand曙光MicroPro CX50-G20，高主频，  每四个节点通过一块MellonaxMulti-Host互联
    node491-node49448*E7-8860 v4(2.2GHz,45MB L3 Cache)，共144核5761TB DDR4 2400MHz2*240GB SSD100Gbps Intel OPA曙光I980-G20，大共享内存


  • NVIDIA Tesla V100 GPU计算节点，2个：
    单颗NVIDIA Tesla V100 GPU：

    GPU单元显存CUDA计算核心数Tensor核心数主频单精度计算能力双精度计算能力Tensor性能
    GV10016GB GDDR551206401.3GHz，GPU Boost 1.5GHz15.7万亿次/秒7.8万亿次/秒125万亿次/秒

    • NVIDIA DGX-1 1台

      节点名GPUCPU内存硬盘计算网络
      dgx18*NVIDIA Tesla V100 GPU卡2*Intel Xeon E5-2698 v4(2.2GHz, 40MB L3 Cache)，共40核512GB DDR4 2400MHz1*480GB SSD,4*1.92TB SSD100Gbps InfiniBand EDR


    • 曙光深度学习服务器1台

      节点名GPUCPU内存硬盘计算网络
      node5008*NVIDIA Tesla V100 GPU卡2*Intel Xeon  Scalable Gold 6140(2.3GHz, 24.75MB L3 Cache)，共36核256GB DDR4 2400MHz4*480GB SSD100Gbps InfiniBand EDR



  • NVIDIA Tesla K80 GPU计算节点，4个：

    节点名GPUCPU内存硬盘计算网络机器型号及备注
    k801-k8042*NVIDIA Tesla K80 GPU卡2*Intel Xeon E5-2680 v4(2.4GHz, 30MB L3 Cache)，共28核128GB DDR4 2400MHz 2*240GB SSD100Gbps Intel OPA曙光W740-G20

    • 单颗NVIDIA Tesla K80 GPU：

      GPU单元显存CUDA计算核心数主频单精度计算能力双精度计算能力
      2*GK21024GB GDDR54992562MHz，GPU Boost 875MHz5.6万亿次/秒1.87万亿次/秒


    • Intel Xeon融核计算节点，8个：

      节点名CPU内存硬盘计算网络机器型号
      node499-node5061*Intel Xeon Phi 7210(64核，1.3GHz，16 GB MCDRAM，2.66万亿次/秒)96GB DDR4 2133MHz1*160GB SSD100Gbps Intel OPA曙光I620-T25


    • 存储系统：

      • Lustre SATA并行存储系统：

        • 曙光DS800-G10机架式存储，SATA硬盘，实际可用存储空间188TB

        • Lustre并行IO节点：

          • 节点名：io1-io4

          • 曙光I620-G10机架式服务器四台

          • 各节点配置：

            • 2*Intel Xeon E5-2620 v2 x86_64 6核CPU（主频2.1GHz），共12核

            • 32GB DDR3 1600MHz ECC REG内存

            • 两块600GB SAS硬盘

            • 一块56Gbps FDR InfiniBand卡

            • 一块8Gbps FC卡




      • Lustre SSD闪存并行存储系统：

        • 联想S3200机架式存储，24块400GB SSD硬盘，实际可用存储空间7TB

        • Lustre并行IO节点：

          • 节点名：io6、io7

          • 联想System x3650 M5机架式服务器两台

          • 各节点配置：

            • 2*Intel Xeon E5-2630 v4 x86_64 10核CPU（主频2.2GHz），共20核

            • 64GB DDR4 2400MHz ECC REG内存

            • 两块240GB SSD硬盘

            • 一块56Gbps FDR InfiniBand卡

            • 两块16Gbps 双口FC卡




      • Lustre LNet路由节点：

        • 节点名：lnet1、lnet2

        • 曙光I620-G20机架式服务器2台

        • 各节点配置：

          • 2*Intel Xeon E5-2620 v4 x86_64 8核CPU（主频2.1GHz），共16核

          • 64GB DDR4 2400MHz ECC REG内存

          • 两块240GB SSD硬盘

          • 一块100Gbps Intel OFI卡

          • 一块56Gbps FDR InfiniBand卡



      • 普通IO节点：

        • 节点名：io5

        • 曙光I620-G20机架式服务器，实际可用存储空间30TB

          • 2*Intel Xeon E5-2640 v3 8核CPU（主频2.6GHz），共16核

          • 64GB DDR4 2133MHz ECC REG内存

          • 12块4TB 3.5寸7.2K NL-SAS硬盘

          • 1块2GB Cache RAID卡                                      

          • 1块56Gb FDR InfiniBand双端口HCA卡




    • 高速计算网络：

      • 100Gbps Intel Omni Path全线速高速网，Intel 100SWD06 192口交换机一台

      • 100Gbps EDR InfiniBand高速网，Mellanox SB7800 36口交换机一台

      • 56Gbps FDR InfiniBand准全线速高速网，Mellanox SX6512 216口、SX6506 108口交换机各一台


    • 管理网络：千兆以太网

    • 操作系统：x86_64架构的64位CentOS 7.3 Linux

    • 编译器：Intel、PGI和GNU等C/C++、Fortran编译器

    • 数值函数库：Intel MKL

    • 并行环境：Intel MPI和Open MPI等，支持MPI并行程序；各节点内的CPU共享内存，节点内既支持分布式内存的MPI并行方式，也支持共享内存的OpenMP并行方式；同时支持在节点内部共享内存，节点间分布式内存的混合并行模式。

    • 资源管理和作业调度：IBM Platform LSF

    • 常用公用软件安装目录：/opt。请自己查看有什么软件，有些软件需要在自己~/.bashrc等配置文件中设置后才可以使用

    • 用户手册等相关资料：http://scc.ustc.edu.cn/zlsc/tc4600/