每日一概念-HPCC/2019-07-04

HPCC

有些计算单机要算一个月,多机并行可能一天做完——前提是你真的会把问题切开、把数据喂到足够快的网络上。HPCC 谈的就是这类「堆机器换时间」的集群。

一句话:HPCC(High Performance Computing Cluster)= 用高速互联的多节点,啃掉单机啃不动的大规模计算。

是什么

高性能计算集群:计算节点 + 存储 + 低延迟高带宽网络(常配并行文件系统、作业调度器)。典型负载包括科学仿真、气象、基因、部分大规模数值与分析任务。它与互联网常见的无状态微服务集群目标不同:更追求算力密度与互联效率。

为什么重要

它决定「能不能在截止日前算完」。对工程人,理解 HPCC 有助于对照:自己的大数据作业是 IO 瓶颈还是计算瓶颈、是否值得上加速器与更好的互联,而不是只会水平加 Web 机器。

怎么理解

把一把大火拆成许多灶眼同时烧,但燃料和烟气管道必须配得上——节点多、网络慢,照样浪费。Hadoop/Spark 解决的是另一类「大数据」问题,可对照学,勿混为一谈。

一句话记住

HPCC 是并行算力的正规军编制:多节点 + 快网络 + 调度,专治「算到天荒地老」。