曙光TC4600百万亿次超级计算系统

曙光TC4600百万亿次超级计算系统（519万亿次/秒），兼为安徽省教育科研网高性能计算平台，也为入网用户提供高性能计算服务。此套系统采用100Gbps和56Gbps高速互联，具有Intel Xeon E5 2600 v3、E5 2600 v4、E7 8800 v4、E3 1240 v5等不同类型CPU及Intel Xeon Phi和NVIDIA Tesla K80 GPU等处理器，共计1个管理节点、2个用户登录节点、7个存储节点、2个Lustre LNet路由节点及506个计算节点构成。计算节点共12200颗CPU核心，512颗Intel Xeon Phi融核（MIC）KNL核心和39936颗NVIDIA CUDA核心，总双精度峰值计算能力为每秒519万亿次（CPU：482.82万亿次/秒，GPU：14.96万亿次/秒，Intel Xeon Phi融核：21.28万亿次/秒）。

• 管理节点：

  用于系统管理，普通用户无权登录。

  节点名	CPU	内存	硬盘	计算网络	型号
  tcadmin	2*Intel Xeon E5-2620 v3， 共12核	32GB DDR4 2133MHz	2*600GB SAS	56Gbps FDR InfiniBand	曙光 I620-G10

• 用户登录节点（2个）：

  • 用于用户登录、编译与通过作业调度系统提交管理作业等。
  • Intel Xeon E5 2600 v3、E5 2600 v4和 E7 8800 v4是同一架构CPU，编译时可以通用。
  • 禁止在此节点上不通过作业调度系统直接运行作业。

  节点名	CPU	内存	硬盘	计算网络	型号
  tc4600v3	2*Intel Xeon E5-2620 v3， 共12核	32GB DDR4 2133MHz	2*600GB SAS	56Gbps FDR InfiniBand	曙光 I620-G10
  tc4600v4	2*Intel Xeon E5-2620 v4， 共16核	64GB DDR4 2133MHz	2*240GB SSD	100Gbps Intel OPA	曙光 I620-G10

• Intel Xeon CPU计算节点（494个）：

  节点名	数量	CPU	内存	硬盘	计算网络	备注
  node [1 - 300]	300	2*Intel Xeon E5-2680v3 (2.5GHz，30MB L3 Cache)， 共24核	64GB DDR4 2133MHz	1*300GB SAS	56Gbps FDR InfiniBand	曙光 CX50-G20
  node [301 - 450]	150	2*Intel Xeon E5-2680 v4 (2.4GHz, L3 Cache)， 共28核	128GB DDR4 2400MHz	1*240GB SSD	100Gbps Intel OPA	曙光 X50-G20
  node [451 - 490]	40	1*Intel Xeon E3-1240 v5 (3.5GHz, 8MB L3 Cache)， 共4核	32GB DDR4 2400MHz	1*240GB SSD	25Gbps EDR Infiniband	曙光CX50-G20，高主频， 每四个节点通过一块 Mellonax Multi-Host互联
  node [491 - 494]	4	8*Intel Xeon E7-8860 v4 (2.2GHz, 45MB L3 Cache)， 共144核	1TB DDR4 2400MHz	2*240GB SSD	100Gbps Intel OPA	曙光I980-G20， 大共享内存

• Intel Xeon融核计算节点（8个）：

  节点名	数量	CPU	内存	硬盘	计算网络	备注
  knl [1 - 8]	8	1*Intel Xeon Phi 7210 (64核，1.3GHz 16GB MCDRAM，2.66万亿次/秒)	96GB DDR4 2133MHz	1*160GB SSD	100Gbps Intel OPA	曙光 I620-T25

• GPU计算节点（4个）：

  节点名	数量	GPU	CPU	内存	硬盘	计算网络	备注
  k80 [1 - 4]	4	2*NVIDIA Tesla K80	2*Intel Xeon E5-2680 v4 (2.4GHz, 30MB L3 Cache)， 共28核	128GB DDR4 2400MHz	2*240GB SSD	100Gbps Intel OPA	曙光 W740-G20

  单颗NVIDIA Tesla K80 GPU参数

  GPU单元	显存 | 主频		CUDA计算核心数	单精度计算能力	双精度计算能力
  2*GK210	24GB || 562MHz,		4992	5.6万亿次/秒	1.87万亿次/秒

• 存储系统：

  • Lustre SATA并行存储系统：

    • 曙光DS800-G10机架式存储，34块4TB SATA硬盘，实际可用空间102TB
    • Lustre并行IO节点（io1-io4，曙光I620-G10机架式服务器4台）：

      • 两颗64位主频2.1GHz的Intel Xeon E5-2620 v2 x86_64 6核CPU，共12核
      • 32GB DDR3 1600MHz内存
      • 两块600GB SAS硬盘
      • 一块56Gbps FDR InfiniBand卡
      • 一块8Gbps FC卡

  • Lustre SSD闪存并行存储系统：

    • 高IO读写性能，仅提供有需要的特殊用户使用，需特殊申请
    • 联想S3200机架式存储，24块4GB SSD硬盘，实际可用空间7TB
    • Lustre并行IO节点（io6、io7，联想System x3650 M5机架式服务器2台）：

      • 两颗64位主频2.2GHz的Intel Xeon E5-2630 v4 x86_64 10核CPU，共20核
      • 64GB DDR4 2400MHz ECC REG内存
      • 两块240GB SSD硬盘
      • 一块56Gbps FDR InfiniBand卡
      • 两块16Gbps 双口FC卡

  • Lustre LNet路由节点：

    • 用途：Intel OPA高速计算网络节点通过此路由节点访问基于InifiniBand高速网络的Lustre存储
    • 节点名：lnet1、lnet2
    • 曙光I620-G20机架式服务器2台
    • 各节点配置：

      • 两颗64位主频2.1GHz的Intel Xeon E5-2620 v4 x86_64 8核CPU，共16核
      • 64GB DDR4 2400MHz ECC REG内存
      • 两块240GB SSD硬盘
      • 一块100Gbps Intel OFI卡
      • 一块56Gbps FDR InfiniBand卡

  • NFS普通IO节点：

    • 节点名：io5
    • 曙光I620-G20机架式服务器，实际可用空间30TB：

      • 两颗主频2.6GHz的Intel Xeon E5-2640 v3 x86_64 8核CPU，共16核
      • 64GB DDR4 2133MHz ECC REG内存
      • 12块4TB 3.5寸7.2K NL-SAS硬盘
      • 1块2GB Cache RAID卡
      • 1块56Gbps FDR InfiniBand双端口HCA卡

• 高速计算网络：

  • 100Gbps Intel Omni Path全线速高速网，Intel 100SWD06 192口交换机一台
  • 100Gbps EDR InfiniBand高速网，Mellanox SB7800 36口交换机一台
  • 56Gbps FDR InfiniBand准全线速高速网，Mellanox SX6512 216口、SX6506 108口交换机各一台

• 管理网络：千兆以太网
• 操作系统：CentOS 7.3 Linux
• 编译器：Intel、PGI和GNU等C/C++ Fortran编译器
• 数值函数库：Intel MKL
• 并行环境：Intel MPI和Open MPI等，支持MPI并行程序；各节点内的CPU共享内存，节点内既支持分布式内存的MPI并行方式，也支持共享内存的OpenMP并行方式；同时支持在节点内部共享内存，节点间分布式内存的混合并行模式。
• 资源管理和作业调度：IBM Spectrum LSF
• 常用公用软件安装目录：。请自己查看有什么软件，有些软件需要在自己等配置文件中设置后才可以使用。