腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

毅硕HPC | HPC环境下的LDAP配置

在HPC环境中，LDAP不是“可选项”，而往往是 “基础设施的核心组件” 。它与HPC的架构和运维需求完美契合。1. 统一的用户身份源痛点：一个HPC集群通常由数十、数百甚至上千个计算节点组成。如果要在每个节点上手动创建相同的用户账户，将是一场运维噩梦，且极易出错和不一致。 new entry "dc=hpc,dc=local"adding new entry "cn=Manager,dc=hpc,dc=local"adding new entry "ou=People, dc=hpc,dc=local"adding new entry "ou=Group,dc=hpc,dc=local"3. 删除用户、用户组$ ldapdelete -x -W -D 'cn=Manager,dc=hpc,dc=local'"uid=nierdemon,ou=People,dc=hpc,dc=local"$

2025-10-27

2970

标签:

高性能计算

pyspark on hpc

HPC上有很多计算资源，出于先吃锅里的再吃碗里的思想，琢磨先充分利用共有资源。简单调研下，也不是很复杂的事情。

2021-12-10

2.1K0

标签:

高性能计算

毅硕HPC | 在HPC集群上优雅地使用conda

在高性能计算（HPC）的世界里，除了编写高效的代码，构建一个稳定、可复现的运行环境同样至关重要。作为 HPC 平台的技术人员，我们发现超过 50% 的用户工单都与环境配置有关。本文将为你详细拆解 Conda 在 HPC 环境下的最佳实践，助你从“环境配置的苦海”中脱身，专注于科研本身。一、Conda 与 HPC：为何它是你的必备技能？1. 什么是 Conda？但在 HPC 集群上，环境完全不同，Conda 完美解决了以下三大痛点：用户级权限（No Root, No Problem）：HPC 集群通常不向普通用户开放 Root 权限。 HPC 进阶用法（推荐）：使用 -p (prefix) 参数。七、结语掌握 Conda 在 HPC 上的正确打开方式，不仅是对公共计算资源的爱护，更是提升科研效率的关键。通过本教程，你已经掌握了在HPC集群中从零开始部署并高效利用Conda的核心技能。

2025-12-03

1.1K0

标签:

高性能计算集群

毅硕HPC | InfiniBand网络在HPC集群中的核心应用

在众多网络技术中，InfiniBand（IB）凭借其超低延迟、高带宽和硬件级卸载能力，已成为HPC领域的黄金标准。本文将从设计案例、实施过程、后期运维三个维度，系统阐述InfiniBand在HPC中的具体应用，帮助您构建更高效、更可靠的计算基础设施。在HPC环境中，网络性能直接决定应用效率。在气候模拟、分子动力学等HPC场景中，节点间需频繁交换小数据包（如MPI_Allreduce操作）。以下基于10+个HPC集群部署经验，提炼出可复用的六步实施法，聚焦易错点与优化技巧。阶段1：需求分析与拓扑设计关键问题：问题调查方式决策影响主要运行哪些HPC应用？五、InfiniBand——HPC未来的确定性选择在AI与HPC融合的浪潮下，网络性能已成为科学计算的“新摩尔定律”。

2026-01-07

1.1K0

标签:

高性能计算集群

RISC-V and HPC

SO RISC-V IS NOT READY FOR HPC？那么 RISC-V 当前不适合作为服务器、HPC吗？因此，RISC-V 能够实现HPC，但时机还不够成熟，尚且需要时间来丰富相关软硬件生态。

2025-02-15

9690

标签:

HPC技术趋势：HPDA、深度学习、软件定义和机柜即HPC

那么，深度学习任务为HPC注入了哪些新的东西？除了深度学习，HPC还有哪些值得关注的技术趋势？，进而实现软件定义HPC。刘军则认为，云计算、大数据与HPC之间的影响是相互的：HPC需要云解决更多的资源共享和服务、计算便利性问题，大数据需要HPC解决性能问题，同时大数据技术也为解决传统HPC不好处理的问题带来灵感。云、大数据和HPC。云一般是基于虚拟化的，但虚拟化会让HPC性能变慢，在未来HPC的应用需要结合云的应用和HPC的特点。 3. 云端可靠性。附：中外HPC的差别谈到中外HPC的差别，Earl C. Joseph II认为，主要在于主要中国HPC的应用刚刚发展，所用的芯片和硬件都比较标准。

CSDN技术头条

2018-02-09

2K0

标签:

毅硕HPC | OpenPBS构建高效稳定的HPC作业调度环境

sbin/pbs_rcp#启动pbssudo/etc/init.d/pbsstart第三阶段：队列管理及节点创建添加队列sudo/opt/pbs/bin/qmgrcreatequeuehpc#创建名为hpc 的队列setqueuehpcqueue_type=Execution#将hpc设置成执行队列，如有其他特殊需求请自行修改，另外一种是Route（路由队列），不参与计算setqueuehpcenabled =True#启用hpc队列setqueuehpcstarted=True#启动hpc队列setserverdefault_queue=hpc#将hpc队列配置成默认队列setserverflatuid= 在没有NFS共享存储的环境下，这个文件默认会先保存在计算节点的临时目录，任务结束后再拷贝回主节点（但这经常因为SSH权限问题失败），所以在HPC实施中，强力建议配合NFS使用。作为HPC实施工程师，我们的目标始终如一：让每一颗核心都满载运行，让每一次创新都无需等待。如果您的集群正面临效率瓶颈，或许答案就在这一套科学的调度方案之中。

2026-01-29

4250

标签:

高性能计算集群

高性能计算

当HPC遇到AI

经过几十年的缓慢进展，直到HPC的出现给予AI所需要的推动力。通过超级计算技术实现，HPC技术，如深度学习，正在改变AI，使其真正用在了很多领域。 HPAI结合了HPC（数值密集统计分析和优化）与传统AI（搜索算法和专家系统），深刻影响IT行业和客户投资的优先级，影响人类生活的各个方面，并造成其自身的巨大挑战。高性能人工智能（HPAI）将HPC与传统AI相结合 HPAI的未来 AI已经演变了几十年。基于初始推理的专家系统奠定了基础，并教我们如何制定和解决AI问题。通过深度学习和HPC技术，AI正在进像一个新阶段飞跃。 HPAI将包括以下挑战和进步：进展高级算法当前简化假设的算法在将来会被放宽。结语 HPC和AI的交集创造了HPAI市场，这是一个充满活力和快速增长的细分市场，不仅对IT行业而且对整个人类都有深远的影响。

2018-04-02

1.3K0

标签:

高性能计算（HPC）概述

高性能计算的概念高性能计算（HPC，High Performance Computing）的含义有很多，感觉最贴切的还是 Oracle中国中说的这句：高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能计算机集群按照和功能主要分为以下几类： HA：高可用集群（High Available Cluster） LBC：负载均衡集群（Load Balance Cluster） HPC：高性能计算集群（High 高性能计算略高性能计算的优势速度：HPC的低延迟网络结构能够在数分钟内完成大量计算。成本：HPC快速，低成本，像公有云一样只需为所使用资源付费。创新：HPC推动很多行业的发展，改善全球人的生活质量。高性能计算的应用超级计算机代表着高性能计算系统的最尖端水平。随着计算机的处理能力的不断提升，超级计算机所能做到的事情也越来越多。

2023-05-07

1.8K0

标签:

高性能计算

毅硕HPC | Lustre文件系统在HPC集群中的部署实战

在高性能计算（HPC）领域，计算能力（算力）与数据吞吐能力（I/O）始终是相辅相成的。随着并行计算规模的扩大，传统的NAS存储往往会成为系统的瓶颈。一、为什么HPC离不开Lustre？在典型的HPC任务中（如气象预报、基因测序、流体力学模拟），成百上千个计算节点需要同时读写同一份数据集。六、总结与最佳实践在HPC项目实施中，Lustre分布式并行文件系统的稳定性直接决定了整个集群的作业运行率。深入掌握其部署与调优，是每一位HPC架构师与运维工程师的必经之路。

2025-12-23

9930

标签:

高性能计算