Linux系统是世界上使用最广泛的操作系统之一,它在服务器系统和超级计算机上表现出色。在Linux系统中,使用IOPS(每秒IO操作数)来衡量硬盘性能。了解IOPS是评估系统性能的重要指标。在本文中,我们将介绍一些简单易懂的Linux系统IOPS查看方法。
1. 使用iostat命令
iostat命令是用于观察系统的输入 / 输出统计信息的工具。通过iostat命令,您可以检查哪些设备正在运行,IOPS数量以及设备的读写响应时间。可以使用以下命令执行iostat:
“`
iostat -xmtc 5 3
“`
这个命令的意思是每隔5秒执行一次iostat,连续执行3次。
结果将包括以下列:
– 设备(设备的名称)
– rrqm/s(每秒钟进行的读操作的合并请求数)
– wrqm/s(每秒钟进行的写操作的合并请求数)
– r/s(每秒钟的读请求次数)
– w/s(每秒钟的写请求次数)
– rkB/s(每秒钟的读取数据量,单位KB)
– wkB/s(每秒钟的写入数据量,单位KB)
– avgrq-sz(每个请求的平均扇区数)
– avgqu-sz(平均I / O请求数量)
– awt(平均处理时间)
– svctm(平均服务时间)
– %util(每秒已使用磁盘时间的百分比)
2. 使用dstat命令
dstat是一个系统资源统计工具,它能轻松监视系统的IOPS。它还可以报告CPU使用率、内存和磁盘使用率等更多指标。想要使用dstat,请使用以下命令:
“`
dstat -cdD total –disk-util –disk-tps –top-io-adv
“`
此命令将显示包括卷IOPS、磁盘使用率和IOPS排名在内的IOPS信息。
3. 使用ioping命令
ioping命令是一种I / O延迟测量工具,它可以让用户更好地了解系统中磁盘执行I / O请求的速度。需要使用以下命令运行ioping:
“`
ioping -c 10 /
“`
此命令对根目录执行10个IO请求。 这将输出10个请求的响应时间、IOPS以及延迟标准差。
4. 使用fio命令
fio是一种强大的IOPS基准测试工具,它是一种多线程的IO引擎。使用fio命令需要编写一个I / O测试脚本,并以此方式运行fio。
示例脚本:
“`
[global]
ioengine=rw
rw=rw
iodepth=16
numjobs=16
bs=4k
direct=1
runtime=30
[workload]
directory=/tmp/test
size=10G
“`
该脚本将在/tmp/test目录下为10G文件执行IOPS测试。 请先确保该目录不存在。
然后在命令行中使用fio命令,如下所示:
“`
fio job.fio
“`
这将运行以job.fio命名的I / O测试脚本并生成测试结果。
注意事项:
– 确保您已经安装了所需的软件包。
– 这些命令可以与其他命令一起使用,以了解更多有关性能和IOPS的信息。
– 记住,许多因素都会影响IOPS,包括磁盘类型、RD级别、文件系统大小等。
结论:
以上就是一些简单易懂的Linux系统IOPS查看方法。监视和了解系统IOPS是在服务器和计算机系统中维护性能的关键。使用以上命令和工具,用户可以在Linux中轻松监视IOPS并进行接下来的优化。
成都网站建设公司-创新互联为您提供网站建设、网站制作、网页设计及定制高端网站建设服务!
前言:本文主要讲解LinuxIO调度层的三种模式:cfp、deadline和noop,并给出各自的优化和适用场景建议。IO调度发生在Linux内核的IO调度层。这个层次是针对Linux的整体IO层次体系来说的。从read()或者write()系统调用的角度来说,Linux整体IO体系可以分为七层,它们分别是:VFS层:虚拟文件系统层。由于内核要跟多种文件系统打交道,而每一种文件系统所实现的数据结构和相关方法都可能不尽相同,所以,内核抽象了这一层,专门用来适配各种文件系统,并对外提供统一操作接口。文件系统层:不同的文件系统实现自己的操作过程,提供自己特有的特征,具体不多说了,大家愿意的话自己去看代码即可。页缓存层:负责真对page的缓存。通用块层:由于绝大多数情况的io操作是跟块设备打交道,所以Linux在此提供了一个类似vfs层的块设备操作抽象层。下层对接各种不同属性的块设备,对上提供统一的BlockIO请求标准。IO调度层:因为绝大多数的块设备都是类似磁盘这样的设判型搜备,所以有必要根据这类设备的特点以及应用的不同特点来设置一些不同的调度算法和队列。以便在不同的应用环境下有针对性的提高磁盘的读写效率,这里就是大名鼎鼎的Linux电梯所起作用的地方。针对机械硬盘的各种调度方法就是在这实现的。块设备驱动层:驱动层对外提供相对比较高级的设备操作接口,往往是C语言的,而下层对接设备本身的操作方法和规范。块设备层:这层就是具体的物理设备了,定义了各种真对设备操作方法和规范。有一个已经整理好的,非常经典,一图胜千言:我们今天要研究的内容主要在IO调度这一层。它要解决的核心问题是,如何提高块设备IO的整体性能?这一层也主要是针对机械硬盘结构而设计的。众所周知,机械硬盘的存储介质是磁盘,磁头在盘片上移动进行磁道寻址,行为类似播放一张唱片。这种结构的特点是,顺序访问时吞吐量较高,但是如果一旦对盘片有随机访问,那么大量的时间都会浪费在磁头的移动上,这时候就会导致每次IO的响应时间变长,极大的降低IO的响应速度。磁头在盘片上寻道的操作,类似电梯调度,实际上在最开始的时期,Linux把这个算法命名为Linux电梯算法,即:如果在寻道的过程中,能把顺序路过的相关磁道的数据请求都“顺便”处理掉,那么就可以在比较小影响响应速度的前提下,提高整体IO的吞吐量。这就是我们为什么要设计IO调度算法的原因。目前在内核中默认开启了三种算法/模式:noop,cfq和deadline。严格算应该是两种:因为之一种叫做noop,就是空操作调度算法,也就是没有任何调度操作,并不对io请求进行排序,仅仅做适当的io合并的一个fifo队列。目前内核中默认的调度算法应该是cfq,叫做完全公平队列调度。这个调度算法人如其名,它试图给所有进程提供一个完全公平的IO操作环境。注:请大家一定记住这个词语,cfq,完全公平队列调度,不然下文就没法看了。cfq为每个进程创建一个同步IO调度队列,并默认以时间片和请求数限定的方式分配IO资源,以此保证每个进程的IO资源占用是公平的,cfq还实现了针对进程租档级别的优先级调度,这个我们后面会详细解释。查看和修改IO调度算法的方法是:cfq是通用服务器比较好的IO调度算法选择,对桌面用户也是比较好的选择。但是对于很多IO压力较大的场景就并不是很适应,尤其是IO压力集中在某些进程上的场景。因为这种场景我们需要的满足某个或者某几个进程的IO响应速度,而不是让所有的进程公平的使用IO,比如数据库应用。deadline调度(最终期限调度)就是更适合上述场景的解决方案。deadline实现了四个队列:其中两个分别处理正常read和write,按扇区号排序,进行正常io的合并处理以提高吞吐量。因为IO请求可能会集中在某些磁盘位置,这样会导致新来的请求一直被合并,可能会有其他磁盘位置的io请求被饿死。另外两个处理超时read和write的队列,按请求创建时间排序,如果有超时的请求出现,就放进这两个队列,调度算法保证超时(达到最终期限时间)的队列中的请求会优先被处理,防止掘历请求被饿死。不久前,内核还是默认标配四种算法,还有一种叫做as的算法(Anticipatoryscheduler),预测调度算法。一个高大上的名字,搞得我一度认为Linux内核都会算命了。结果发现,无非是在基于deadline算法做io调度的之前等一小会时间,如果这段时间内有可以合并的io请求到来,就可以合并处理,提高deadline调度的在顺序读写情况下的数据吞吐量。其实这根本不是啥预测,我觉得不如叫撞大运调度算法,当然这种策略在某些特定场景差效果不错。但是在大多数场景下,这个调度不仅没有提高吞吐量,还降低了响应速度,所以内核干脆把它从默认配置里删除了。毕竟Linux的宗旨是实用,而我们也就不再这个调度算法上多费口舌了。1、cfq:完全公平队列调度cfq是内核默认选择的IO调度队列,它在桌面应用场景以及大多数常见应用场景下都是很好的选择。如何实现一个所谓的完全公平队列(CompletelyFairQueueing)?首先我们要理解所谓的公平是对谁的公平?从操作系统的角度来说,产生操作行为的主体都是进程,所以这里的公平是针对每个进程而言的,我们要试图让进程可以公平的占用IO资源。那么如何让进程公平的占用IO资源?我们需要先理解什么是IO资源。当我们衡量一个IO资源的时候,一般喜欢用的是两个单位,一个是数据读写的带宽,另一个是数据读写的IOPS。带宽就是以时间为单位的读写数据量,比如,100Mbyte/s。而IOPS是以时间为单位的读写次数。在不同的读写情境下,这两个单位的表现可能不一样,但是可以确定的是,两个单位的任何一个达到了性能上限,都会成为IO的瓶颈。从机械硬盘的结构考虑,如果读写是顺序读写,那么IO的表现是可以通过比较少的IOPS达到较大的带宽,因为可以合并很多IO,也可以通过预读等方式加速数据读取效率。当IO的表现是偏向于随机读写的时候,那么IOPS就会变得更大,IO的请求的合并可能性下降,当每次io请求数据越少的时候,带宽表现就会越低。从这里我们可以理解,针对进程的IO资源的主要表现形式有两个:进程在单位时间内提交的IO请求个数和进程占用IO的带宽。其实无论哪个,都是跟进程分配的IO处理时间长度紧密相关的。有时业务可以在较少IOPS的情况下占用较大带宽,另外一些则可能在较大IOPS的情况下占用较少带宽,所以对进程占用IO的时间进行调度才是相对最公平的。即,我不管你是IOPS高还是带宽占用高,到了时间咱就换下一个进程处理,你爱咋样咋样。所以,cfq就是试图给所有进程分配等同的块设备使用的时间片,进程在时间片内,可以将产生的IO请求提交给块设备进行处理,时间片结束,进程的请求将排进它自己的队列,等待下次调度的时候进行处理。这就是cfq的基本原理。当然,现实生活中不可能有真正的“公平”,常见的应用场景下,我们很肯能需要人为的对进程的IO占用进行人为指定优先级,这就像对进程的CPU占用设置优先级的概念一样。所以,除了针对时间片进行公平队列调度外,cfq还提供了优先级支持。每个进程都可以设置一个IO优先级,cfq会根据这个优先级的设置情况作为调度时的重要参考因素。优先级首先分成三大类:RT、BE、IDLE,它们分别是实时(RealTime)、更佳效果(BestTry)和闲置(Idle)三个类别,对每个类别的IO,cfq都使用不同的策略进行处理。另外,RT和BE类别中,分别又再划分了8个子优先级实现更细节的QOS需求,而IDLE只有一个子优先级。另外,我们都知道内核默认对存储的读写都是经过缓存(buffer/cache)的,在这种情况下,cfq是无法区分当前处理的请求是来自哪一个进程的。只有在进程使用同步方式(syncread或者syncwirte)或者直接IO(DirectIO)方式进行读写的时候,cfq才能区分出IO请求来自哪个进程。所以,除了针对每个进程实现的IO队列以外,还实现了一个公共的队列用来处理异步请求。当前内核已经实现了针对IO资源的cgroup资源隔离,所以在以上体系的基础上,cfq也实现了针对cgroup的调度支持。总的来说,cfq用了一系列的数据结构实现了以上所有复杂功能的支持,大家可以通过源代码看到其相关实现,文件在源代码目录下的block/cfq-iosched.c。1.1cfq设计原理在此,我们对整体数据结构做一个简要描述:首先,cfq通过一个叫做cfq_data的数据结构维护了整个调度器流程。在一个支持了cgroup功能的cfq中,全部进程被分成了若干个contralgroup进行管理。每个cgroup在cfq中都有一个cfq_group的结构进行描述,所有的cgroup都被作为一个调度对象放进一个红黑树中,并以vdisktime为key进行排序。vdisktime这个时间纪录的是当前cgroup所占用的io时间,每次对cgroup进行调度时,总是通过红黑树选择当前vdisktime时间最少的cgroup进行处理,以保证所有cgroups之间的IO资源占用“公平”。当然我们知道,cgroup是可以对blkio进行资源比例分配的,其作用原理就是,分配比例大的cgroup占用vdisktime时间增长较慢,分配比例小的vdisktime时间增长较快,快慢与分配比例成正比。这样就做到了不同的cgroup分配的IO比例不一样,并且在cfq的角度看来依然是“公平“的。选择好了需要处理的cgroup(cfq_group)之后,调度器需要决策选择下一步的service_tree。service_tree这个数据结构对应的都是一系列的红黑树,主要目的是用来实现请求优先级分类的,就是RT、BE、IDLE的分类。每一个cfq_group都维护了7个service_trees,其定义如下:其中service_tree_idle就是用来给IDLE类型的请求进行排队用的红黑树。而上面二维数组,首先之一个维度针对RT和BE分别各实现了一个数组,每一个数组中都维护了三个红黑树,分别对应三种不同子类型的请求,分别是:SYNC、SYNC_NOIDLE以及ASYNC。我们可以认为SYNC相当于SYNC_IDLE并与SYNC_NOIDLE对应。idling是cfq在设计上为了尽量合并连续的IO请求以达到提高吞吐量的目的而加入的机制,我们可以理解为是一种“空转”等待机制。空转是指,当一个队列处理一个请求结束后,会在发生调度之前空等一小会时间,如果下一个请求到来,则可以减少磁头寻址,继续处理顺序的IO请求。为了实现这个功能,cfq在service_tree这层数据结构这实现了SYNC队列,如果请求是同步顺序请求,就入队这个servicetree,如果请求是同步随机请求,则入队SYNC_NOIDLE队列,以判断下一个请求是否是顺序请求。所有的异步写操作请求将入队ASYNC的servicetree,并且针对这个队列没有空转等待机制。此外,cfq还对SSD这样的硬盘有特殊调整,当cfq发现存储设备是一个ssd硬盘这样的队列深度更大的设备时,所有针对单独队列的空转都将不生效,所有的IO请求都将入队SYNC_NOIDLE这个servicetree。每一个servicetree都对应了若干个cfq_queue队列,每个cfq_queue队列对应一个进程,这个我们后续再详细说明。cfq_group还维护了一个在cgroup内部所有进程公用的异步IO请求队列,其结构如下:异步请求也分成了RT、BE、IDLE这三类进行处理,每一类对应一个cfq_queue进行排队。BE和RT也实现了优先级的支持,每一个类型有IOPRIO_BE_NR这么多个优先级,这个值定义为8,数组下标为0-7。我们目前分析的内核代码版本为Linux4.4,可以看出,从cfq的角度来说,已经可以实现异步IO的cgroup支持了,我们需要定义一下这里所谓异步IO的含义,它仅仅表示从内存的buffer/cache中的数据同步到硬盘的IO请求,而不是aio(man7aio)或者linux的native异步io以及libaio机制,实际上这些所谓的“异步”IO机制,在内核中都是同步实现的(本质上冯诺伊曼计算机没有真正的“异步”机制)。我们在上面已经说明过,由于进程正常情况下都是将数据先写入buffer/cache,所以这种异步IO都是统一由cfq_group中的async请求队列处理的。那么为什么在上面的service_tree中还要实现和一个ASYNC的类型呢?这当然是为了支持区分进程的异步IO并使之可以“完全公平”做准备喽。实际上在最新的cgroupv2的blkio体系中,内核已经支持了针对bufferIO的cgroup限速支持,而以上这些可能容易混淆的一堆类型,都是在新的体系下需要用到的类型标记。新体系的复杂度更高了,功能也更加强大,但是大家先不要着急,正式的cgroupv2体系,在Linux4.5发布的时候会正式跟大家见面。我们继续选择service_tree的过程,三种优先级类型的service_tree的选择就是根据类型的优先级来做选择的,RT优先级更高,BE其次,IDLE更低。就是说,RT里有,就会一直处理RT,RT没了再处理BE。每个service_tree对应一个元素为cfq_queue排队的红黑树,而每个cfq_queue就是内核为进程(线程)创建的请求队列。每一个cfq_queue都会维护一个rb_key的变量,这个变量实际上就是这个队列的IO服务时间(servicetime)。这里还是通过红黑树找到servicetime时间最短的那个cfq_queue进行服务,以保证“完全公平”。选择好了cfq_queue之后,就要开始处理这个队列里的IO请求了。这里的调度方式基本跟deadline类似。cfq_queue会对进入队列的每一个请求进行两次入队,一个放进fifo中,另一个放进按访问扇区顺序作为key的红黑树中。默认从红黑树中取请求进行处理,当请求的延时时间达到deadline时,就从红黑树中取等待时间最长的进行处理,以保证请求不被饿死。这就是整个cfq的调度流程,当然其中还有很多细枝末节没有交代,比如合并处理以及顺序处理等等。1.2cfq的参数调整理解整个调度流程有助于我们决策如何调整cfq的相关参数。所有cfq的可调参数都可以在/sys/class/block/sda/queue/iosched/目录下找到,当然,在你的系统上,请将sda替换为相应的磁盘名称。我们来看一下都有什么:这些参数部分是跟机械硬盘磁头寻道方式有关的,如果其说明你看不懂,请先补充相关知识:back_seek_max:磁头可以向后寻址的更大范围,默认值为16M。back_seek_penalty:向后寻址的惩罚系数。这个值是跟向前寻址进行比较的。以上两个是为了防止磁头寻道发生抖动而导致寻址过慢而设置的。基本思路是这样,一个io请求到来的时候,cfq会根据其寻址位置预估一下其磁头寻道成本。设置一个更大值back_seek_max,对于请求所访问的扇区号在磁头后方的请求,只要寻址范围没有超过这个值,cfq会像向前寻址的请求一样处理它。再设置一个评估成本的系数back_seek_penalty,相对于磁头向前寻址,向后寻址的距离为1/2(1/back_seek_penalty)时,cfq认为这两个请求寻址的代价是相同。这两个参数实际上是cfq判断请求合并处理的条件限制,凡事复合这个条件的请求,都会尽量在本次请求处理的时候一起合并处理。fifo_expire_async:设置异步请求的超时时间。同步请求和异步请求是区分不同队列处理的,cfq在调度的时候一般情况都会优先处理同步请求,之后再处理异步请求,除非异步请求符合上述合并处理的条件限制范围内。当本进程的队列被调度时,cfq会优先检查是否有异步请求超时,就是超过fifo_expire_async参数的限制。如果有,则优先发送一个超时的请求,其余请求仍然按照优先级以及扇区编号大小来处理。fifo_expire_sync:这个参数跟上面的类似,区别是用来设置同步请求的超时时间。slice_idle:参数设置了一个等待时间。这让cfq在切换cfq_queue或servicetree的时候等待一段时间,目的是提高机械硬盘的吞吐量。一般情况下,来自同一个cfq_queue或者servicetree的IO请求的寻址局部性更好,所以这样可以减少磁盘的寻址次数。这个值在机械硬盘上默认为非零。当然在固态硬盘或者硬RAID设备上设置这个值为非零会降低存储的效率,因为固态硬盘没有磁头寻址这个概念,所以在这样的设备上应该设置为0,关闭此功能。group_idle:这个参数也跟上一个参数类似,区别是当cfq要切换cfq_group的时候会等待一段时间。在cgroup的场景下,如果我们沿用slice_idle的方式,那么空转等待可能会在cgroup组内每个进程的cfq_queue切换时发生。这样会如果这个进程一直有请求要处理的话,那么直到这个cgroup的配额被耗尽,同组中的其它进程也可能无法被调度到。这样会导致同组中的其它进程饿死而产生IO性能瓶颈。在这种情况下,我们可以将slice_idle=0而group_idle=8。这样空转等待就是以cgroup为单位进行的,而不是以cfq_queue的进程为单位进行,以防止上述问题产生。low_latency:这个是用来开启或关闭cfq的低延时(lowlatency)模式的开关。当这个开关打开时,cfq将会根据target_latency的参数设置来对每一个进程的分片时间(slicetime)进行重新计算。这将有利于对吞吐量的公平(默认是对时间片分配的公平)。关闭这个参数(设置为0)将忽略target_latency的值。这将使系统中的进程完全按照时间片方式进行IO资源分配。这个开关默认是打开的。我们已经知道cfq设计上有“空转”(idling)这个概念,目的是为了可以让连续的读写操作尽可能多的合并处理,减少磁头的寻址操作以便增大吞吐量。如果有进程总是很快的进行顺序读写,那么它将因为cfq的空转等待命中率很高而导致其它需要处理IO的进程响应速度下降,如果另一个需要调度的进程不会发出大量顺序IO行为的话,系统中不同进程IO吞吐量的表现就会很不均衡。就比如,系统内存的cache中有很多脏页要写回时,桌面又要打开一个浏览器进行操作,这时脏页写回的后台行为就很可能会大量命中空转时间,而导致浏览器的小量IO一直等待,让用户感觉浏览器运行响应速度变慢。这个low_latency主要是对这种情况进行优化的选项,当其打开时,系统会根据target_latency的配置对因为命中空转而大量占用IO吞吐量的进程进行限制,以达到不同进程IO占用的吞吐量的相对均衡。这个开关比较合适在类似桌面应用的场景下打开。target_latency:当low_latency的值为开启状态时,cfq将根据这个值重新计算每个进程分配的IO时间片长度。quantum:这个参数用来设置每次从cfq_queue中处理多少个IO请求。在一个队列处理事件周期中,超过这个数字的IO请求将不会被处理。这个参数只对同步的请求有效。slice_sync:当一个cfq_queue队列被调度处理时,它可以被分配的处理总时间是通过这个值来作为一个计算参数指定的。公式为:time_slice=slice_sync+(slice_sync/5*(4-prio))。这个参数对同步请求有效。slice_async:这个值跟上一个类似,区别是对异步请求有效。slice_async_rq:这个参数用来限制在一个slice的时间范围内,一个队列最多可以处理的异步请求个数。请求被处理的更大个数还跟相关进程被设置的io优先级有关。1.3cfq的IOPS模式我们已经知道,默认情况下cfq是以时间片方式支持的带优先级的调度来保证IO资源占用的公平。高优先级的进程将得到的时间片长度,而低优先级的进程时间片相对较小。当我们的存储是一个高速并且支持NCQ(原生指令队列)的设备的时候,我们更好可以让其可以从多个cfq队列中处理多路的请求,以便提升NCQ的利用率。此时使用时间片的分配方式分配资源就显得不合时宜了,因为基于时间片的分配,同一时刻最多能处理的请求队列只有一个。这时,我们需要切换cfq的模式为IOPS模式。切换方式很简单,就是将slice_idle=0即可。内核会自动检测你的存储设备是否支持NCQ,如果支持的话cfq会自动切换为IOPS模式。另外,在默认的基于优先级的时间片方式下,我们可以使用ionice命令来调整进程的IO优先级。进程默认分配的IO优先级是根据进程的nice值计算而来的,计算方法可以在manionice中看到,这里不再废话。2、deadline:最终期限调度deadline调度算法相对cfq要简单很多。其设计目标是:在保证请求按照设备扇区的顺序进行访问的同时,兼顾其它请求不被饿死,要在一个最终期限前被调度到。我们知道磁头对磁盘的寻道是可以进行顺序访问和随机访问的,因为寻道延时时间的关系,顺序访问时IO的吞吐量更大,随机访问的吞吐量小。如果我们想为一个机械硬盘进行吞吐量优化的话,那么就可以让调度器按照尽量复合顺序访问的IO请求进行排序,之后请求以这样的顺序发送给硬盘,就可以使IO的吞吐量更大。但是这样做也有另一个问题,就是如果此时出现了一个请求,它要访问的磁道离目前磁头所在磁道很远,应用的请求又大量集中在目前磁道附近。导致大量请求一直会被合并和插队处理,而那个要访问比较远磁道的请求将因为一直不能被调度而饿死。deadline就是这样一种调度器,能在保证IO更大吞吐量的情况下,尽量使远端请求在一个期限内被调度而不被饿死的调度器。
作用: 用来存放数罩判据(二进制方式来管理数据)分类机械硬盘固态硬盘机械硬盘组成盘片: 上面布满磁性颗粒,保存写入数据主轴: 带动盘片转动,转到磁头的下方读/写磁头: 负责数据的读写磁头臂: 带动磁头,将磁头移动到指定位置控制电路: 控制硬盘的速度,磁头臂的移动等等机械磁盘的属性磁道: 盘片围绕在主轴周围的同心环,编号由外至内从0累加扇区: 磁道上被分成的更小的单位,也是磁盘中保存数据最小的存储单元,一般大小为512k,也有更大的扇区4K柱面: 在同一个磁盘中,所有盘片相同位置编号的磁道形成的一个圆柱机械磁盘工作方式主轴带动盘片做圆周运动,磁头臂带动磁头直径运动5838c4c164f3c12023a5f1eb3c51bb20.png机械硬盘常用总线协议/磁盘类型SCSI协议SCSI(Small Computer System Interface,小型计算机系统接口)最初是一种为了小型机研制的接口技术,用于主机与外部设备之间的连接(最多可以连接16个设备)SCSI 协议是主机与存储磁盘通信的基本协议DAS 使用SCSI 协议实现主机服务器与存储设备的互连5924aad5e3f1e60e60c51bdccd8c1a38.png并行SCSI 的演变(1981年)最初由 Shugart Associates、 NCR开发,名字为SASIANSI 承认其为工业标准SCSI 的版本SCSI-1定义了线缆长度,信号特征,命令和传输模式使用8 位窄总线,更大传输率为 5MB/sSCSI-2定义了通用命令集(Common Command Set, 简称CCS)提高了性能,可靠性,新增了一些特性SCSI-3SCSI最新版本由多个相关的标准组成,不再是一个大文件SCSI-3 架构f06acbc904d372c38694d0c9c.pngSCSI命令协议(应用层)各类型设备通用的主要命令传输层协议设备间互连和信息共享的标准规则,scsi-3、fc等等物理层互连接口细节: 比如电信号传输方法和数据传输模式SCSI 协议模型主机到存储磁盘间的通信由启动器发起,由目标器接收和处理c34ab2de157b29cb979e9392b1a5263f.pngSCSI 协议寻址总线号: 区分不同的SCSI 总线设备ID: 区分SCSI 总线上不同的设备逻辑单元号: 区分SCSI 设备中的子设备ATA 和 SATA高级技术附件(Advanced Technology Attachment)是上世纪90 年代桌面机标准采用可编程IO 技术,速度和智能性不高SATA(Serial Advanced Technology Attachment)是ATA 技术的升级版本,曾是桌面电脑ATA 接口硬盘的主要替代技术因凯戚容量大,价格便宜,在企业级服务器和存储系统中曾广泛的被使用现在多被更加智能的NL-SAS 接口的硬盘替代Serial Attached SCSI(串行 SCSI 协议)在企业级存储系统中,SAS(Serial Attached SCSI)接口已经取代并行连接SCSI 和 SATA 接口特点采用点对点连接方式高带宽(300M/s,600M/s)效率高支持热插拔I/O(Input/Ouput)操作单个IO操作系统内核发出一个读IO命令,当控制磁盘的控制器接到这个指令后,控制器会给磁盘发送一个读数据的指令,并盯闷陵同时将要读取数据块的地址传送给磁盘,然后硬盘读取数据传送给控制器,并由控制器返回给操作系统,完成一个IO操作读写IO写磁盘为写IO,读数据为读IO随机访问(Random Access) 与连续访问(Sequential Access): 由当此IO 给出的扇区地址与上次IO 结束的扇区地址相差得是否较大决定顺序IO模式(Queue Mode)/并发IO模式(Burst Mode): 由磁盘组一次能执行的IO 命令个数决定完整的IO操作当控制器对硬盘发出一个IO操作指令的时候,磁盘的磁头臂带动读写磁头离开着陆区,然后移动到要操作初始数据块所在的磁道正上方,此过程为寻道,消耗的时间为寻道时间磁头等到盘片旋转到初始数据块所在扇区的正上方,此时才能进行数据的读取,这个过程称之为旋转时间然后读取相应数据,直到完成这次IO所操作的全部数据,这个过程所花费的时间称之为数据传送时间寻道时间全程寻道时间: 磁头横跨整个磁盘的宽度所用的时间(着陆区 –> 最外层0磁道)平均寻道时间: 一般为全程寻道时间的1/3道间寻道时间: 磁头在相邻磁道之间所用的时间旋转时延决定于主轴的转动速度平均旋转动延迟: 完全旋转用时的一半5400 rpm的磁盘平均旋转时延: 5.5ms15000 rpm的磁盘的平均旋转时延: 2.0ms数据传输时延数据传输时延决定于数据传输速度,即单位时间内传输的数据量内部传输速度: 数据从盘片扇区上传送到硬盘上的内部缓存的速度外部传输速度: 接口的标称速度IOPSIOPS是IO系统每秒所执行IO操作的次数,是一个重要的用来衡量系统IO能力的参数,对于单个磁盘,计算其完成一次IO所需要的时间来推算其IOPSIOTime = 寻道时间 + 60s/转速/2 + IOChunkSize/传输速度IOPS = 1/IOTime = 1 / (寻道时间 + 60s/转速/2 + IOChunkSize/传输速度)单个IO大小寻道时间(ms)旋转延迟(ms)c传输时延(ms)IO服务时间(ms)IOPS4K524K/40MB = 0.17.11408K528K/40MB = 0.27.213916K5216K/40MB = 0.47.413532K5232K/40MB = 0.87.8128当单次IO越小的时候,单次IO所耗费的时间也越少,相应的IOPS也就越大带宽(Throughput)带宽是指磁盘在实际使用的时候从磁盘系统总线上流过的数据量,也称为磁盘的实际传输速率带宽 = IOPS * IO大小利用率和响应时间20b1915f5c8217bb33d202306f6dcb71.png固态硬盘价格逐渐下降,容量越来越大,固态硬盘(SSD)变得越来越流行SSD原理使用flash 技术存储信息内部没有机械结构耗电量更小散热小噪音小基于SSD的使用频率,其使用寿命有限SSD的3中主要的类型SLC(Single Level Cell): 单层式存储单元MLC(Multi Level Cell): 多层式存储单元TLC(Triple Levle Cell): 三层式存储单元SLC-MLC-TLC4cf9876db5183c80ae7ded9281bd15a1.png在SLC 中,每个存储单元(cell)只存1bit数据: 0或1在MLC 中,每个存储单元(cell)可存2bit数据: 00, 01, 10, 11在TLC 中,每个存储单元(cell)可存3bit数据: 000, 001, 010, 011, 100, 101, 110, 111固态硬盘的磨损对SSD 盘的可靠性影响更大的其抗磨损能力,即其cell能被擦写的次数企业级的SCL、MLC和TLC 在抗磨损方面的区别明显类型容量可擦写次数单位容量价格SLC小约100,000高eMLC(企业级别)中等约30,000中等cMLC(消费者)中等5000~10,000低TLC大500~1,000很低固态硬盘结构13fcdb2965c3cbd48cd5359bac30447e.png无高速旋转部件,性能高、功耗低多通道并发,通道内Flash颗粒复用时许支持TCQ/NCQ,一次响应多个IO请求典型响应时间低于0.1msSDD 性能优势响应时间短机械硬盘的机械特性导致大部分时间浪费在寻道和机械延迟上,数据传输效率收到严重制约读写效率高机械硬盘在进行随机读写曹祖时,磁头不停的移动,导致读写效率低下而SSD 通过内部控制器计算出数据的存放位置,直接进行存取操作,故效率高SSD 功耗优势162cec988a5abe41aef68791a5dea675.png文章知识点与官方知识档案匹配CS入门技能树Linux入门初识Linux21547 人正在系统学习中点击阅读全文打开CSDN APP,看更多技术内容参与评论 请先 登录 后发表或查看评论操作系统读写者问题实验报告_Linux操作系统存储子系统核心技术之硬盘与RAIDLinux操作系统的存储子系统应该是Linux中最为复杂的子系统了。其实很多子系统都认为自己是最复杂的子系统,比如内存子系统和网络子系统也这么说。无论如何,存储子系统在Linux中是比较复杂的。今天我们就介绍一下Linux的存储子系统中的硬盘与RAID的相关内容,后面再写一篇关于LVM与文件系统的内容。硬盘在Linux的存储子系统中,更底层的就是硬盘了。这里的硬盘并不是指我们看到的硬盘硬件,而是指…继续访问最新发布 Linux磁盘逻辑卷Linux逻辑卷的创建,添加继续访问LVM和磁盘配额 让我们一起来看下吧LVM和磁盘配额 前言 许多Linux使用者在安装操作系统时都会遇到这样的困境;如何精确评估和分配各个硬盘分区的容量,如果当初估计不准确,一旦系统分区不够用时可能不得不备份、删除相关数据,甚至被迫重新规划分区并重装操作系统,以满足应用系统的需要。 LVM概述 Logical Volume Manager,逻辑卷管理 动态调整磁盘容量,从而提高磁盘管理的灵活性 /boot分区用于存放引导文件,不能基于LVM创建 图形界面管理工具 system-config-lvm LVM 是 Linux 操作系统中对磁盘分区继续访问linux 磁盘控制器,linux – 戴尔R710上的PERC 6 / i RAID:单个控制器上的慢速磁盘…… RAID10?…这里有多个问题 – 但它从这开始:我们在RAID10配置中安装了带有PERC 6 / i RAID控制器(或控制器)的Dell PowerEdge R710.系统运行Ubuntu Server 10.04 LTS,MySQL执行读取密集型工作负载.我使用blockdev –setra ### / dev / sda增加了readahead以增加readahead(读取至少在理论上是顺序读取).这似…继续访问IO系统性能之一:衡量性能的几个指标
几个基本的概念 在研究磁盘性能之前我们必须先了解磁盘的结构,以及工作原理。不过在这里就不再重复说明了,关系硬盘结构和工作原理的信息可以参考上面的相关词条——Hard disk drive(英文)和硬盘驱动器(中文)。 读写IO(Read/Write IO继续访问如何添加windows 系统的逻辑磁盘并设置盘符在虚拟化及云计算平台中经常涉及动态添加磁盘,比如之前分配系统为一个100G的磁盘,随着业务的需要,新增一个300G的业务磁盘,在虚拟化后台添加完毕之后,如何在虚拟机添加逻辑磁盘并设置盘符呢?本文将介绍如何添加windows 系统的逻辑磁盘并设置盘符的方法。实验环境:OS:windows server 2023目标:新增一个300G的磁盘,并设置为E盘。操作方法如下:…继续访问linux下磁盘控制器无法驱动,Linux eMMC子系统之主机控制器驱动(host conntroller driver)…1. 前言本文是Linux MMC framework的第二篇,将从驱动工程师的角度,介绍MMC host controller driver有关的知识,学习并掌握如何在MMC framework的框架下,编写MMC控制器的驱动程序。同时,通过本篇文章,我们会进一步的理解MMC、SD、SDIO等有关的基础知识。2. MMC host驱动介绍MMC的host driver,是用于驱动MMC host…继续访问Linux系统之磁盘管理一磁盘管理,固态硬盘,机械硬盘继续访问Linux系统的磁盘管理磁盘管理 文章目录磁盘管理1磁盘结构1.1硬盘的物理结构1.2硬盘的数据结构1.3硬盘存储容量1.4 硬盘接口的类型2MBR与磁盘分区2.1 为什么分区2.2硬盘分区3.文件系统3.1 文件系统:3.1.1 **XFS**3.1.2 swap3.1.3FAT16、FAT32、3.1.4NTFS(xfs)3.1.5EXT43.1.6 JFS4.分区工具4.1 fdisk4.2 blkid4.3mkfs4.4 mkswap5.挂载与解挂载5.1mount5.2 df 1磁盘结构 1.1硬盘的物理结构
作用: 用来存放数据(二进制方式来管理数据)
分类
机械硬盘
固态硬盘
机械硬盘组成
盘片: 上面布满磁性颗粒,保存写入数据
主轴: 带动盘片转动,转到磁头的下方
读/写磁头: 负责数据的读写
磁头臂: 带动磁头咐塌,将磁头移动到指定位置
控制电路: 控制硬盘的速度,磁头臂的移动等等
机械磁盘的属性
磁道: 盘片围绕在主轴周围的同心环,编号由外至内从0累加
扇区: 磁道上被分成的更小的单位,也是磁盘中保存数据最小的存储单元,一般大小为512k,也有更大的扇区4K
柱面: 在同一个磁盘中,所有盘片相同位置编号的磁道形成的一个圆柱
机械磁盘工作方式
主轴带动盘帆槐片做圆周运动,磁头臂带动磁头直径运动
5838c4c164f3c12023a5f1eb3c51bb20.png
机械硬盘
常用总线协议/磁盘类型
SCSI协议
SCSI(Small Computer System Interface,小型计算机系统接口)最初是一种为了小型机研制的接口技术,用于主机与外部设备态简友之间的连接(最多可以连接16个设备)
SCSI 协议是主机与存储磁盘通信的基本协议
DAS 使用SCSI 协议实现主机服务器与存储设备的互连
5924aad5e3f1e60e60c51bdccd8c1a38.png
并行SCSI 的演变
(1981年)最初由 Shugart Associates、 NCR开发,名字为SASI
ANSI 承认其为工业标准
SCSI 的版本
SCSI-1
定义了线缆长度,信号特征,命令和传输模式
使用8 位窄总线,更大传输率为 5MB/s
SCSI-2
定义了通用命令集(Common Command Set, 简称CCS)
提高了性能,可靠性,新增了一些特性
SCSI-3
SCSI最新版本
由多个相关的标准组成,不再是一个大文件
SCSI-3 架构
f06acbc904d372c38694d0c9c.png
SCSI命令协议(应用层)
各类型设备通用的主要命令
传输层协议
设备间互连和信息共享的标准规则,scsi-3、fc等等
物理层互连
接口细节: 比如电信号传输方法和数据传输模式
SCSI 协议模型
主机到存储磁盘间的通信由启动器发起,由目标器接收和处理
c34ab2de157b29cb979e9392b1a5263f.png
SCSI 协议寻址
总线号: 区分不同的SCSI 总线
设备ID: 区分SCSI 总线上不同的设备
逻辑单元号: 区分SCSI 设备中的子设备
ATA 和 SATA
高级技术附件(Advanced Technology Attachment)是上世纪90 年代桌面机标准
采用可编程IO 技术,速度和智能性不高
SATA(Serial Advanced Technology Attachment)是ATA 技术的升级版本,曾是桌面电脑ATA 接口硬盘的主要替代技术
因容量大,价格便宜,在企业级服务器和存储系统中曾广泛的被使用
现在多被更加智能的NL-SAS 接口的硬盘替代
Serial Attached SCSI(串行 SCSI 协议)
在企业级存储系统中,SAS(Serial Attached SCSI)接口已经取代并行连接SCSI 和 SATA 接口
特点
采用点对点连接方式
高带宽(300M/s,600M/s)
效率高
支持热插拔
I/O(Input/Ouput)操作
单个IO
操作系统内核发出一个读IO命令,当控制磁盘的控制器接到这个指令后,控制器会给磁盘发送一个读数据的指令,并同时将要读取数据块的地址传送给磁盘,然后硬盘读取数据传送给控制器,并由控制器返回给操作系统,完成一个IO操作
读写IO
写磁盘为写IO,读数据为读IO
随机访问(Random Access) 与连续访问(Sequential Access): 由当此IO 给出的扇区地址与上次IO 结束的扇区地址相差得是否较大决定
顺序IO模式(Queue Mode)/并发IO模式(Burst Mode): 由磁盘组一次能执行的IO 命令个数决定
完整的IO操作
当控制器对硬盘发出一个IO操作指令的时候,磁盘的磁头臂带动读写磁头离开着陆区,然后移动到要操作初始数据块所在的磁道正上方,此过程为寻道,消耗的时间为寻道时间
磁头等到盘片旋转到初始数据块所在扇区的正上方,此时才能进行数据的读取,这个过程称之为旋转时间
然后读取相应数据,直到完成这次IO所操作的全部数据,这个过程所花费的时间称之为数据传送时间
寻道时间
全程寻道时间: 磁头横跨整个磁盘的宽度所用的时间(着陆区 –> 最外层0磁道)
平均寻道时间: 一般为全程寻道时间的1/3
道间寻道时间: 磁头在相邻磁道之间所用的时间
旋转时延
决定于主轴的转动速度
平均旋转动延迟: 完全旋转用时的一半
5400 rpm的磁盘平均旋转时延: 5.5ms
15000 rpm的磁盘的平均旋转时延: 2.0ms
数据传输时延
数据传输时延决定于数据传输速度,即单位时间内传输的数据量
内部传输速度: 数据从盘片扇区上传送到硬盘上的内部缓存的速度
外部传输速度: 接口的标称速度
IOPS
IOPS是IO系统每秒所执行IO操作的次数,是一个重要的用来衡量系统IO能力的参数,对于单个磁盘,计算其完成一次IO所需要的时间来推算其IOPS
IOTime = 寻道时间 + 60s/转速/2 + IOChunkSize/传输速度
IOPS = 1/IOTime = 1 / (寻道时间 + 60s/转速/2 + IOChunkSize/传输速度)
单个IO大小
寻道时间(ms)
旋转延迟(ms)
c传输时延(ms)
IO服务时间(ms)
IOPS
4K
4K/40MB = 0.1
7.1
140
8K
8K/40MB = 0.2
7.2
139
16K
16K/40MB = 0.4
7.4
135
32K
32K/40MB = 0.8
7.8
128
当单次IO越小的时候,单次IO所耗费的时间也越少,相应的IOPS也就越大
带宽(Throughput)
带宽是指磁盘在实际使用的时候从磁盘系统总线上流过的数据量,也称为磁盘的实际传输速率
带宽 = IOPS * IO大小
利用率和响应时间
20b1915f5c8217bb33d202306f6dcb71.png
固态硬盘
价格逐渐下降,容量越来越大,固态硬盘(SSD)变得越来越流行
SSD原理
使用flash 技术存储信息
内部没有机械结构
耗电量更小
散热小
噪音小
基于SSD的使用频率,其使用寿命有限
SSD的3中主要的类型
SLC(Single Level Cell): 单层式存储单元
MLC(Multi Level Cell): 多层式存储单元
TLC(Triple Levle Cell): 三层式存储单元
SLC-MLC-TLC
4cf9876db5183c80ae7ded9281bd15a1.png
在SLC 中,每个存储单元(cell)只存1bit数据: 0或1
在MLC 中,每个存储单元(cell)可存2bit数据: 00, 01, 10, 11
在TLC 中,每个存储单元(cell)可存3bit数据: 000, 001, 010, 011, 100, 101, 110, 111
固态硬盘的磨损
对SSD 盘的可靠性影响更大的其抗磨损能力,即其cell能被擦写的次数
企业级的SCL、MLC和TLC 在抗磨损方面的区别明显
类型
容量
可擦写次数
单位容量价格
SLC
小
约100,000
高
eMLC(企业级别)
中等
约30,000
中等
cMLC(消费者)
中等
5000~10,000
低
TLC
大
500~1,000
很低
固态硬盘结构
13fcdb2965c3cbd48cd5359bac30447e.png
无高速旋转部件,性能高、功耗低
多通道并发,通道内Flash颗粒复用时许
支持TCQ/NCQ,一次响应多个IO请求
典型响应时间低于0.1ms
SDD 性能优势
响应时间短
机械硬盘的机械特性导致大部分时间浪费在寻道和机械延迟上,数据传输效率收到严重制约
读写效率高
机械硬盘在进行随机读写曹祖时,磁头不停的移动,导致读写效率低下
而SSD 通过内部控制器计算出数据的存放位置,直接进行存取操作,故效率高
SSD 功耗优势
162cec988a5abe41aef68791a5dea675.png
文章知识点与官方知识档案匹配
CS入门技能树Linux入门初识Linux
21547 人正在系统学习中
点击阅读全文
打开CSDN APP,看更多技术内容
参与评论 请先 登录 后发表或查看评论
操作系统读写者问题实验报告_Linux操作系统存储子系统核心技术之硬盘与RAID
Linux操作系统的存储子系统应该是Linux中最为复杂的子系统了。其实很多子系统都认为自己是最复杂的子系统,比如内存子系统和网络子系统也这么说。无论如何,存储子系统在Linux中是比较复杂的。今天我们就介绍一下Linux的存储子系统中的硬盘与RAID的相关内容,后面再写一篇关于LVM与文件系统的内容。硬盘在Linux的存储子系统中,更底层的就是硬盘了。这里的硬盘并不是指我们看到的硬盘硬件,而是指…
继续访问
最新发布 Linux磁盘逻辑卷
Linux逻辑卷的创建,添加
继续访问
LVM和磁盘配额 让我们一起来看下吧
LVM和磁盘配额 前言 许多Linux使用者在安装操作系统时都会遇到这样的困境;如何精确评估和分配各个硬盘分区的容量,如果当初估计不准确,一旦系统分区不够用时可能不得不备份、删除相关数据,甚至被迫重新规划分区并重装操作系统,以满足应用系统的需要。 LVM概述 Logical Volume Manager,逻辑卷管理 动态调整磁盘容量,从而提高磁盘管理的灵活性 /boot分区用于存放引导文件,不能基于LVM创建 图形界面管理工具 system-config-lvm LVM 是 Linux 操作系统中对磁盘分区
继续访问
linux 磁盘控制器,linux – 戴尔R710上的PERC 6 / i RAID:单个控制器上的慢速磁盘…… RAID10?…
这里有多个问题 – 但它从这开始:我们在RAID10配置中安装了带有PERC 6 / i RAID控制器(或控制器)的Dell PowerEdge R710.系统运行Ubuntu Server 10.04 LTS,MySQL执行读取密集型工作负载.我使用blockdev –setra ### / dev / sda增加了readahead以增加readahead(读取至少在理论上是顺序读取).这似…
继续访问
IO系统性能之一:衡量性能的几个指标
几个基本的概念 在研究磁盘性能之前我们必须先了解磁盘的结构,以及工作原理。不过在这里就不再重复说明了,关系硬盘结构和工作原理的信息可以参考上面的相关词条——Hard disk drive(英文)和硬盘驱动器(中文)。 读写IO(Read/Write IO
继续访问
如何添加windows 系统的逻辑磁盘并设置盘符
在虚拟化及云计算平台中经常涉及动态添加磁盘,比如之前分配系统为一个100G的磁盘,随着业务的需要,新增一个300G的业务磁盘,在虚拟化后台添加完毕之后,如何在虚拟机添加逻辑磁盘并设置盘符呢?本文将介绍如何添加windows 系统的逻辑磁盘并设置盘符的方法。实验环境:OS:windows server 2023目标:新增一个300G的磁盘,并设置为E盘。操作方法如下:…
继续访问
linux下磁盘控制器无法驱动,Linux eMMC子系统之主机控制器驱动(host conntroller driver)…
1. 前言本文是Linux MMC framework的第二篇,将从驱动工程师的角度,介绍MMC host controller driver有关的知识,学习并掌握如何在MMC framework的框架下,编写MMC控制器的驱动程序。同时,通过本篇文章,我们会进一步的理解MMC、SD、SDIO等有关的基础知识。2. MMC host驱动介绍MMC的host driver,是用于驱动MMC host…
继续访问
Linux系统之磁盘管理一
磁盘管理,固态硬盘,机械硬盘
继续访问
Linux系统的磁盘管理
磁盘管理 文章目录磁盘管理1磁盘结构1.1硬盘的物理结构1.2硬盘的数据结构1.3硬盘存储容量1.4 硬盘接口的类型2MBR与磁盘分区2.1 为什么分区2.2硬盘分区3.文件系统3.1 文件系统:3.1.1 **XFS**3.1.2 swap3.1.3FAT16、FAT32、3.1.4NTFS(xfs)3.1.5EXT43.1.6 JFS4.分区工具4.1 fdisk4.2 blkid4.3mkfs4.4 mkswap5.挂载与解挂载5.1mount5.2 df 1磁盘结构 1.1硬盘的物理结构
继续访问
linux硬盘设置成AHCI,Linux下设置ICH7-M的磁盘控制器为AHCI模式
转载请注明原文出处!【声明】使用本文提供的方法设置ACHI而对硬件造成的损失,本人不承担任何责任!!(理论上是没什么问题的,还是声明下的好:-|)===============================================================================================================================…
继续访问
linux物理分区与逻辑分区
前言 当有一块新的硬盘添加至Linux后需要在Linux下进行一定的操作后才能正常时候,其大概流程为: 先对磁盘进行分区(或者不进行),再将分区设置为物理卷,将设置好的物理卷添加到现有某一卷组下或创建一个新卷组,再将卷组内的多余空间分配至原有的逻辑卷内或者建立新的逻辑卷。如果是分配到新的逻辑卷,需要重新分配文件系统的大小;如果建立新的物理卷,则需要格式化后,再挂载到某一目录下进行使用。 之一步:对…
继续访问
Linux 主分区,扩展分区和逻辑分区
硬盘分区有三种,主磁盘分区、扩展磁盘分区、逻辑分区。一个硬盘主分区至少有1个,最多4个,扩展分区可以没有,最多1个。且主分区+扩展分区总共不能超过4个。逻辑分区可以有若干个。在windows下激活的主分区是硬盘的启动分区,他是独立的,也是硬盘的之一个分区,正常分的话就是C区。 在linux下主分区和逻辑分区都可以用来放系统,引导os开机,grub会兼容windows系统开机启动。分出主分区后,其余
继续访问
Linux的主分区、扩展分区和逻辑分区
Linux中主分区、扩展分区和逻辑分区和Windows的概念差不多,这里来类比着介绍一下Linux中的概念。 【磁盘命名】 在Linux中,若干个IDE设备(如:硬盘,光盘)的命名规则如下:每个设备映射的文件名称都有一个hd前缀,按字母表排序命名,从之一个往后依次为:hda,hdb,hdc……。要注意的是USB磁盘通常会被识别为SCSI设备,命名依次为:sda,sdb,sdc…。 【概要】 在Li…
继续访问
Linux-磁盘分区
磁盘分区: 说明: 磁盘的分区主要分为基本分区(primary partion)和扩充分区(extension partion)两种,基本分区和扩充分区的数目之和不能大于四个。且基本分区可以马上被使用但不能再分区。扩充分区必须再进行分区后才能使用,也就是说它必须还要进行二次分区。那么由扩充分区…
继续访问
linux主分区和逻辑分区
1. 主分区: linux下磁盘分区分为主分区和扩展分区两种。且主分区和扩展分区数目只和不能大于四。主分区一经创建,格式化后可立即使用扩展分区创建之后,无法直接格式化使用,必须进行二次逻辑分区且格式化后才能使用。逻辑分区没有数量限制!2. linux下分区和命名方案: linux下通过字母和数字组合来表示磁盘分区:/dev/sda1 /dev/sda2 ….. /dev:…
继续访问
Linux主分区,扩展分区,逻辑分区的联系和区别
言归正传,在安装CentOS5.3的过程中,会遇到磁盘分区的界面,下拉式菜单中有4个选项,这时你不要选择默认,打开下拉式菜单,选择最后一项(翻译成中文意思是:建立自定义的分割模式)。然后选择右下角的确认,在下一个对话界面里依序建立/、/home 及 swap ,完成后如图。确认设置后的分割区。
为强调重点,把图中重要内容,再写一遍。
/根目录ext3
继续访问
linux磁盘做逻辑卷步骤
查看当前挂载使用的磁盘信息 # df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/centos_linux–template-root 90G 1.6G 89G 2% / devtmpfs 3.9G 0 3.9G 0% /dev tmpfs
继续访问
热门推荐 Linux主分区、扩展分区、逻辑分区
在Linux系统下(其他操作系统也有类似的规定),磁盘的分区大致可以分为三类,分别为主分区、扩展分区和逻辑分区等等。Linux系统管理员在部署系统时,必须要对这三个分区进行一个合理的规划,否则的话会浪费宝贵的硬盘空间。通常情况下,一个硬盘中最多能够分割四个主分区。因为硬盘中分区表的大小只有64Bytes,而分割一个分区就需要利用16Bytes空间来存储这个分…
继续访问
Linux逻辑卷分区大小调整
背景: 当我们在安装系统的时候,由于没有合理的分区,在后续使用过程中,发现在操作的时候,系统提示”No space left” = “硬盘空间不足” 1)了解linux文件系统,linux文件系统分为ext2/3/4和xfs,针对不同的文件系统,linux进行分区调整有不同的命令; 2)ext2/ext3/ext4调整分区大小的命令: lvextend -L +100G /dev/mappe…
继续访问
linux逻辑磁盘管理器
写评论
评论
收藏
点赞
踩
分享
机械硬盘组成
盘片: 上面布满磁性颗粒,保存写入数据
主轴: 带动盘片转动,转到磁头的下方
读/写磁头: 负责数据的读写
磁头臂: 带动磁头,将磁头移动到指定位置
控制电路: 控制硬盘的速度,磁头臂的移动等等
机械磁盘的属性
磁道: 盘片围绕在主轴周围的同心环,编号由外至内从0累加
扇区: 磁道上被分成的更小的单位,也是磁盘中保存数据最小的存储单元,一般大小为512k,也有更大的扇区4K
柱面: 在同一个磁盘中,所有盘片相同位置编号的磁道形成的一个圆柱
机械银迹磁盘工作方式
主轴带动盘片做圆周运动,磁头臂带动磁头直径运动
5838c4c164f3c12023a5f1eb3c51bb20.png
机械硬盘
常用总线协议/磁盘类型
SCSI协议
SCSI(Small Computer System Interface,碰搏改小型计算机系统接口)最初是一种为了小型机研制的接口技术,用于主机与外部设备之间的连接(最多可以连接16个设备)
SCSI 协议是主机与存储磁盘通信的基本协议
DAS 使用SCSI 协议实现主机服务器与存储设备的互连
5924aad5e3f1e60e60c51bdccd8c1a38.png
并行SCSI 的演变
(1981年)最初由 Shugart Associates、 NCR开发,名字为SASI
ANSI 承认其为工业标准
SCSI 的版本
SCSI-1
定义了线缆长度,信号特征,命令和传输模式
使用8 位窄总线,更大传输率为 5MB/s
SCSI-2
定义了通用命令集(Common Command Set, 简称CCS)
提高了性能,可靠性,新增了一些特性
SCSI-3
SCSI最新版本
由多个相关的标准组成,不再是一个大文件
SCSI-3 架构
f06acbc904d372c38694d0c9c.png
SCSI命令协议(应用层)
各类型设备通用的主要命令
传输层协议
设备间互连和信息共享的标准规则,scsi-3、fc等等
物理层互连
接口细节: 比如电信号传输方法和数据传输模式
SCSI 协议模型
主机到存储磁盘间的通信由启动器发起,由目标器接收和处理
c34ab2de157b29cb979e9392b1a5263f.png
SCSI 协议寻址
总线号: 区分不同的SCSI 总线
设备ID: 区分SCSI 总线上不同的设备
逻辑单元号: 区分SCSI 设备中的子设备
ATA 和 SATA
高级技术附件(Advanced Technology Attachment)是上世纪90 年代桌面机标准
采用可编程IO 技术,速度和智能性不高
SATA(Serial Advanced Technology Attachment)是ATA 技术的升级版本,曾是桌面电脑ATA 接口硬盘的主要替代技术
因容量大,价格便宜,在企业级服务器和存储系统中曾广泛的被使用
现在多被更加智能的NL-SAS 接口的硬盘替代
Serial Attached SCSI(串行 SCSI 协议)
在企业级存储系统中,SAS(Serial Attached SCSI)接口已经取代并行连接SCSI 和 SATA 接口
特点
采用点对点连接方式
高带宽(300M/s,600M/s)
效率高
支持热插拔
I/O(Input/Ouput)操作
单个IO
操作系统内核发出一个读IO命令,当控制磁盘的控制器接到这个指令后,控制器会给磁盘发送一个读数据的指令,并同时将要读取数据块的地址传送给磁盘,然后硬盘读取数据传送给控制器,并由控制器返回给操作系统,完成一个IO操作
读写IO
写磁盘为写IO,读数据为读IO
随机访问(Random Access) 与连续访问(Sequential Access): 由当此IO 给出的扇区地址与上次IO 结束的扇区地址相差得是否较大决定
顺序IO模式(Queue Mode)/并发IO模式(Burst Mode): 由磁盘组一次能执行的IO 命令个数决定
完整的IO操作
当控制器对硬盘发出一个IO操作指令的时候,磁盘的磁头臂带动读写磁头离开着陆区,然后移笑判动到要操作初始数据块所在的磁道正上方,此过程为寻道,消耗的时间为寻道时间
磁头等到盘片旋转到初始数据块所在扇区的正上方,此时才能进行数据的读取,这个过程称之为旋转时间
然后读取相应数据,直到完成这次IO所操作的全部数据,这个过程所花费的时间称之为数据传送时间
寻道时间
全程寻道时间: 磁头横跨整个磁盘的宽度所用的时间(着陆区 –> 最外层0磁道)
平均寻道时间: 一般为全程寻道时间的1/3
道间寻道时间: 磁头在相邻磁道之间所用的时间
旋转时延
决定于主轴的转动速度
平均旋转动延迟: 完全旋转用时的一半
5400 rpm的磁盘平均旋转时延: 5.5ms
15000 rpm的磁盘的平均旋转时延: 2.0ms
数据传输时延
数据传输时延决定于数据传输速度,即单位时间内传输的数据量
内部传输速度: 数据从盘片扇区上传送到硬盘上的内部缓存的速度
外部传输速度: 接口的标称速度
IOPS
IOPS是IO系统每秒所执行IO操作的次数,是一个重要的用来衡量系统IO能力的参数,对于单个磁盘,计算其完成一次IO所需要的时间来推算其IOPS
IOTime = 寻道时间 + 60s/转速/2 + IOChunkSize/传输速度
IOPS = 1/IOTime = 1 / (寻道时间 + 60s/转速/2 + IOChunkSize/传输速度)
单个IO大小
寻道时间(ms)
旋转延迟(ms)
c传输时延(ms)
IO服务时间(ms)
IOPS
4K
4K/40MB = 0.1
7.1
140
8K
8K/40MB = 0.2
7.2
139
16K
16K/40MB = 0.4
7.4
135
32K
32K/40MB = 0.8
7.8
128
当单次IO越小的时候,单次IO所耗费的时间也越少,相应的IOPS也就越大
带宽(Throughput)
带宽是指磁盘在实际使用的时候从磁盘系统总线上流过的数据量,也称为磁盘的实际传输速率
带宽 = IOPS * IO大小
利用率和响应时间
固态硬盘
价格逐渐下降,容量越来越大,固态硬盘(SSD)变得越来越流行
SSD原理
使用flash 技术存储信息
内部没有机械结构
耗电量更小
散热小
噪音小
基于SSD的使用频率,其使用寿命有限
SSD的3中主要的类型
SLC(Single Level Cell): 单层式存储单元
MLC(Multi Level Cell): 多层式存储单元
TLC(Triple Levle Cell): 三层式存储单元
SLC-MLC-TLC
在SLC 中,每个存储单元(cell)只存1bit数据: 0或1
在MLC 中,每个存储单元(cell)可存2bit数据: 00, 01, 10, 11
在TLC 中,每个存储单元(cell)可存3bit数据: 000, 001, 010, 011, 100, 101, 110, 111
固态硬盘的磨损
对SSD 盘的可靠性影响更大的其抗磨损能力,即其cell能被擦写的次数
企业级的SCL、MLC和TLC 在抗磨损方面的区别明显
类型
容量
可擦写次数
单位容量价格
SLC
小
约100,000
高
eMLC(企业级别)
中等
约30,000
中等
cMLC(消费者)
中等
5000~10,000
低
TLC
大
500~1,000
很低
固态硬盘结构
无高速旋转部件,性能高、功耗低
多通道并发,通道内Flash颗粒复用时许
支持TCQ/NCQ,一次响应多个IO请求
典型响应时间低于0.1ms
SDD 性能优势
响应时间短
机械硬盘的机械特性导致大部分时间浪费在寻道和机械延迟上,数据传输效率收到严重制约
读写效率高
机械硬盘在进行随机读写曹祖时,磁头不停的移动,导致读写效率低下
而SSD 通过内部控制器计算出数据的存放位置,直接进行存取操作,故效率高
SSD 功耗优势
作用: 用来存放数据(二进制方式来管理数据)分类机械硬盘固态硬盘机械硬盘组成盘片: 上面布满磁性颗粒,保存写入数据主轴: 带动盘片转动,转到磁头的下方读/写磁头: 负责数据的读写磁头臂: 带动磁头,将磁头移动到指定位置控制电路: 控制硬盘的速度,磁头臂的移动等等机械磁盘的属性磁道: 盘片围绕在主轴周围的同心环,编号由外至内从0累加扇区: 磁道上被分成的更小的单位,也是磁盘中保存数据最小的存储单元,一般大小为512k,也有更大的扇区4K柱面: 在同一个磁盘中,所有盘片相同位置编号的磁道形成的一个圆柱机械磁盘工作方式主轴带动盘片做圆周运动,磁头臂带动磁头直径运动5838c4c164f3c12023a5f1eb3c51bb20.png机械硬盘常用总线协议/磁盘类型SCSI协议SCSI(Small Computer System Interface,小型计算
当前文章:简单易懂的Linux系统IOPS查看方法!(linux系统iops查看)
本文链接:http://www.shufengxianlan.com/qtweb/news7/409007.html
网站建设、网络推广公司-创新互联,是专注品牌与效果的网站制作,网络营销seo公司;服务项目有等
声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联