物理机直跑降低开销
应用和服务直接运行在物理机上,减少容器限制和系统软件开销,并支持特殊 AI 加速硬件。
SkyForm 应用任务管理平台(简称 SkyForm AIP)是由天云软件自发研制的高性能、高可靠、高可扩的人工智能、高性能计算、大数据应用管理平台,具有自主可控知识产权,核心技术不依赖于国外开源社区。
SkyForm AIP 是为人工智能框架、高性能计算、大数据等应用专门设计的企业级资源和任务调度和用户访问系统,注重大规模集群分布式深度学习、机器学习、高性能计算、数据分析等任务管理,使用户在使用大集群和异构硬件的时候达到像用本地系统一样的简单和透明,同时又让系统管理员能够有效地监控和管理集群上所有的资源,使昂贵资源的利用率最大化,从而提高效能、降低成本。
应用和服务直接运行在物理机上,减少容器限制和系统软件开销,并支持特殊 AI 加速硬件。
使用 OS 原生用户和权限体系,简化认证管理,减少数据库依赖。
依托共享文件系统和内建检测机制,实现数据持久化与服务 HA。
将多组件作业整体调度,避免资源占用等待,提升集群利用率。
支持资源阈值、大作业预留、小作业回填等高级调度能力。
与 Intel MPI 等主流并行平台深度集成,适配传统 HPC 作业运行环境。
具备高吞吐作业调度能力,支撑大规模任务提交场景。
可管理 200000 核以上超大规模集群,满足企业级计算需求。
SkyForm AIP 支持交互式图形作业。用户在应用中选择远程图形终端,并在任务监控页面点击远程桌面后,系统会动态生成图形终端桌面,用户可在桌面中运行交互式图形应用。
远程图形终端支持多种 3D 远程可视化技术,包括 AWS 的 NICE DCV。用户还可以通过 Web 门户完成应用任务启动与监控、暂停、恢复、杀掉、重启、文件上传下载、远程桌面和远程文字终端访问。
其他资源调度器对多种任务的资源每次调度一种,当一种任务所需资源不足时,其他作业占着资源等待,造成资源浪费。SkyForm AIP 把整个学习框架作为单一作业,直到所有任务所需资源都满足时才启动,以保证昂贵资源利用最大化。多任务异构资源的统一调度是 SkyForm AIP 的独特调度能力,保障应用性能和资源利用最大化。
应用或作业在一开始可以告诉调度器所需最小和最大资源值。调度器会根据调度策略和可用资源尽量满足应用需求。如果不能满足最大资源需求,在应用运行过程中若有冗余资源可用,调度器会主动把这些资源分配给作业,直到作业所需最大资源得到满足。这种主动分配调度有益于提高深度学习等资源饥渴型应用的性能。
SkyForm AIP目前已服务于高校科研、国家级超算中心、航空制造及EDA/芯片设计等领域的用户,致力于为高性能计算、人工智能和高性能数据分析场景提供自主可控的异构算力调度与任务管理能力,帮助用户提升算力资源利用率、简化集群运维并加快科研及产品研发进程。