Ceph集群详解

一、Ceph集群状态

Ceph是一个分布式、自我治理的存储系统，可以通过使用普通服务器和网络。Ceph集群可以通过简单的命令行工具或Web界面轻松设置和管理。在Ceph集群中，节点和设备的故障是常见的。为了确保整个集群的持久性和可用性，Ceph使用数据复制和数据擦除来防止数据丢失和硬件故障。

Ceph集群中的两个重要组件是OSD（Object Storage Daemon）和Monitor。 OSD是Ceph使用的对象存储守护进程，它负责实际存储和检索数据。Monitor监视节点的状态，为客户端和OSD提供有关存储集群的信息。

要检查Ceph集群的状态，请使用以下命令：

ceph status

此命令将列出群集的健康状况，例如健康度、PG总数以及存储使用情况。

二、Ceph集群部署

在开始部署Ceph集群之前，需要确定如何部署OSD，因为它们是Ceph存储的主要组件。OSD可以跨多个物理服务器分布，这意味着它们可以运行在不同的服务器上，或者在同一服务器的不同磁盘上。与此同时，将RADOS监视器运行在单独的服务器上，以避免在OSD停止运行时出现单一故障点。

Ceph是基于Linux的开源系统，可以在几乎所有主流Linux发行版中使用。与其他存储系统不同，Ceph支持文件级和块级存储。此外，它可以与AWS、OpenStack和其他云和虚拟化平台无缝集成。

在CentOS7上，使用以下命令来安装Ceph：

sudo yum install epel-release
sudo yum install ceph -y

一旦Ceph安装完成，运行以下命令来创建并启动初始Ceph环境：

sudo ceph-deploy new {MONITOR-HOSTNAME}
sudo ceph-deploy install {MONITOR-HOSTNAME}
sudo ceph-deploy mon create-initial

请注意，这需要在与Master节点不同的主机上进行，在此示例中为“MONITOR-HOSTNAME”。

三、Ceph集群延迟

在Ceph中，延迟是一个常见的问题，它会影响整个系统的性能和可用性。为了避免延迟，Ceph使用了各种技术，例如从缓存中读取数据、使用固态硬盘和数据分片。要检查Ceph集群的延迟，请使用以下命令：

ceph osd latency

此命令将返回每个OSD的读/写延迟和吞吐量数据。

四、Ceph集群维护

Ceph集群需要持续维护，以确保其性能和可用性。在Ceph的“健康度”框架下，Ceph会为管理员提供有关系统状态和性能的实时统计信息。要检查Ceph集群的状态，请运行以下命令：

ceph health

此命令将返回一个健康度报告，指示是否出现故障、复制和恢复状况以及OSD和Monitor的状态。

当需要进行维护操作时，最好在Ceph集群上停止所有活动，并在开始之前备份所有数据。为了停止Ceph集群，请使用以下命令：

ceph osd down {osd-num}
ceph osd out {osd-num}

注意，这将关闭指定的OSD，将其从群集中移除并将其标记为下线。然后可以执行其他维护操作。

五、Ceph集群最少需要几台

Ceph集群建议使用5台或更多服务器，以最大程度地提高系统的可靠性。由于Ceph存储系统提供高度可用的数据存储，因此至少需要3台运行Monitor，以避免单点故障。在单节点上实施Ceph集群不是一个好主意。

六、Ceph集群编码

Ceph集群使用软件编码技术来防止数据丢失和硬件故障。软件编码允许数据在多个磁盘和节点上进行复制，从而增加了数据的可用性和持久性。要在Ceph集群中设置编码，请使用以下命令：

ceph osd erasure-code-profile set {profile-name} k={k} m={m}

注意：{profile-name}是编码配置文件的名称；{k}指定数据片数量；{m}指定纠错码片数量。例如，以下代码将创建名为”my-ec-profile”的编码配置文件，其中k = 2，m = 1：

ceph osd erasure-code-profile set my-ec-profile k=2 m=1

七、Ceph集群搭建方案

一个Ceph集群包括多个节点，每个节点包括OSD和MON。为了建立Ceph集群，需要执行以下步骤：

创建一个Ceph集群的Monitor。
将OSD添加到Ceph cluster中。
确保数据平衡。
执行数据恢复和重构。

要创建Ceph集群，请运行以下命令：

ceph-deploy new {cluster-name}
ceph-deploy install {node-name}
ceph-deploy mon create-initial

“cluster-name”指定要使用的群集名称，“node-name”指定要添加OSD和MON信息的节点名称。

八、Ceph集群搭建

在搭建Ceph集群之前，请确保已设置正确的网络。每个节点都应该在同一网络下，并且它们应该能够彼此访问。要创建Ceph集群，请按照以下步骤进行操作：

确保群集中的每个节点均安装有Ceph。
为Ceph节点配置主机名。
创建一个初始配置文件并在群集中的每个节点上分发该文件。
创建和部署Ceph Monitor。
为每个节点添加OSD设备。
确保Ceph存储系统的数据平衡。

要创建Ceph集群，请运行以下命令：

ceph-deploy new {cluster-name}
ceph-deploy install {node-name}
ceph-deploy mon create-initial

“cluster-name”指定要使用的群集名称，“node-name”指定要添加OSD和MON信息的节点名称。

九、Ceph集群删除pg

要在Ceph集群中删除未使用的PG，请使用以下命令：

ceph pg dump | grep inactive | awk '{print $1}' | xargs -I {} ceph pg rm {} # 1
ceph pg dump_stuck inactive | awk '{print $1}' | xargs -I {} ceph pg rm {} # 2

请注意，这些命令将删除未使用的PG，以释放未使用的存储空间。

十、Ceph集群网络选取

在Ceph集群中，为了获得最佳的网络性能和可用性，应选择适合Ceph集群的网络。这应该是一个低延迟、高吞吐量的网络，并且必须在每个节点之间提供良好的带宽。

在进行网络规划时，请考虑以下几个因素：

节点到节点之间的距离和带宽。
缓存、块层和对象层之间的带宽。
为操作系统和Ceph（例如RADOS）保留的带宽。

为了确保网络满足Ceph集群的性能需求，可以使用像fio、Bonnie++、dd、iperf3等工具来测试网络吞吐量、带宽和延迟。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/239974.html