内核通过/proc/diskstats 文件，将block层的一些重要数据以文件的形式呈现给用户。众多磁盘监测工具都依赖该文件，对其中数据进行计算统计，输出最终磁盘性能数据。近期做内核升级后，发现iostat统计的部分数据跟升级前有明显差异，尤其是%util，但整体性能并无明显变化，内核在对block数据的统计上做了什么修改呢？

 

io_ticks

io_ticks 表示系统有IO请求在被处理的时间，iostat基于此数据来计算%util，公式为%util=Δio_ticks/Δt, 用于表述磁盘的繁忙程度。由于目前大部分磁盘都支持并发IO, 该数据无法直接表示磁盘饱和度，但对于描述系统IO繁忙程度还是有参考价值的。测试发现设备内核从3.x升级至5.x后，%util下降很多，即使用dd,fio等工具压测%util 也只有50%不到。

首先看下不同版本内核关于此数据的说明:

Linux 3.x

Field  9 -- # of I/Os currently in progress
    The only field that should go to zero. Incremented as requests are
    given to appropriate struct request_queue and decremented as they finish.
Field 10 -- # of milliseconds spent doing I/Os
    This field increases so long as field 9 is nonzero.

Linux 5.x

Field  9 -- # of I/Os currently in progress
    The only field that should go to zero. Incremented as requests are
    given to appropriate struct request_queue and decremented as they finish.

Field 10 -- # of milliseconds spent doing I/Os
    This field increases so long as field 9 is nonzero.

    Since 5.0 this field counts jiffies when at least one request was
    started or completed. If request runs more than 2 jiffies then some
    I/O time will not be accounted unless there are other requests.

较新版本内核对于io_ticks(Field 10)的定义多了一句解释，该数据在请求开始及结束时统计，如果请求超过2jiffies并且没有其他请求一些IO时间将不会被统计。

从数据说明看，新版本内核是有可能少统计一些io_ticks，再来看下内核具体实现。

老内核(3.x) 统计io_ticks的函数为part_round_stats_single()

static void part_round_stats_single(int cpu, struct hd_struct *part,
				    unsigned long now)
{
	if (now == part->stamp)
		return;

	if (part_in_flight(part)) {
		__part_stat_add(cpu, part, time_in_queue,
				part_in_flight(part) * (now - part->stamp));
		__part_stat_add(cpu, part, io_ticks, (now - part->stamp));
	}
	part->stamp = now;
}

在IO开始，合并，结束以及查询设备状态(/proc/diskstats,/sys/block/xxx/stat) 时调用。判断当前是否有IO请求在被处理(in_flight非0)，若有IO请求则根据时间戳与当前时间差值累加io_ticks及time_in_queue，并记录此时的时间戳。

新内核(5.x)统计io_ticks的函数为update_io_ticks()

void update_io_ticks(struct hd_struct *part, unsigned long now)
{
	unsigned long stamp;
again:
	stamp = READ_ONCE(part->stamp);
	if (unlikely(stamp != now)) {
		if (likely(cmpxchg(&part->stamp, stamp, now) == stamp)) {
			__part_stat_add(part, io_ticks, 1);
		}
	}
	if (part->partno) {
		part = &part_to_disk(part)->part0;
		goto again;
	}
}

仅在IO开始与结束时调用。不在判断in_flight, 每次io_ticks只累加1，并记录此时时间戳。

从代码来看，新版本内核的io_ticks只统计每个IO开始和结束最多2个jiffies(如果IO很快只统计1个jiffies)，这看似很不准确。只有当磁盘性能很好，每个IO耗时2jiffies内，或者IO非常繁忙的系统io_ticks才会准。为什么会有这么迷的操作呢？git blame查了下update_io_ticks()的提交记录，发现了这个patch：

https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/commit/block?id=5b18b5a737600fd20ba2045f320d5926ebbf341a

大致意思是为了减少性能开销，减少了对in_flight的判断，采用一种不太精确的统计方法。但对于新的统计算法为什么每次只累加1还是有疑问，为什么不能记录中间的时间呢？貌似也没有太多开销，正准备下手去改，发现了另一个patch：

https://git.kernel.org/pub/scm/linux/kernel/git/stable/linux.git/commit/?id=2b8bd423614c595540eaadcfbc702afe8e155e50

已经有人发现并优化了这个问题，方法是利用不同参数区分IO开始和结束，记录io完整消耗时间，使得较慢的磁盘也可以准确统计该参数。

 

time_in_queue

time_in_queue 是io_ticks的加权值，表示所有IO请求处理的总时间，由于目前大部分磁盘支持并发IO，该数值往往比绝对时间大。iostat用该数据计算avgqu-sz ，公式为avgqu-sz=Δtime_in_queue/Δt ， 表示IO队列的平均请求数。

老内核(3.x)统计time_in_queue的函数与io_ticks一样part_round_stats_single()

static void part_round_stats_single(int cpu, struct hd_struct *part,
				    unsigned long now)
{
	if (now == part->stamp)
		return;

	if (part_in_flight(part)) {
		__part_stat_add(cpu, part, time_in_queue,
				part_in_flight(part) * (now - part->stamp));
		__part_stat_add(cpu, part, io_ticks, (now - part->stamp));
	}
	part->stamp = now;
}

统计方法是，每次累加in_flight乘以时间戳与当前时间差值，即对io_ticks和in_flight的加权统计。

新内核(5.x)在IO请求完成时blk_account_io_done()函数中统计time_in_queue。

void blk_account_io_done(struct request *req, u64 now)
{
	/*
	 * Account IO completion.  flush_rq isn't accounted as a
	 * normal IO on queueing nor completion.  Accounting the
	 * containing request is enough.
	 */
	if (blk_do_io_stat(req) && !(req->rq_flags & RQF_FLUSH_SEQ)) {
		const int sgrp = op_stat_group(req_op(req));
		struct hd_struct *part;

		part_stat_lock();
		part = req->part;

		update_io_ticks(part, jiffies);
		part_stat_inc(part, ios[sgrp]);
		part_stat_add(part, nsecs[sgrp], now - req->start_time_ns);
		part_stat_add(part, time_in_queue, nsecs_to_jiffies64(now - req->start_time_ns));
		part_dec_in_flight(req->q, part, rq_data_dir(req));

		hd_struct_put(part);
		part_stat_unlock();
	}
}

统计方法是，每次累加每个IO请求的用时。

对于time_in_queue的统计，新老内核计算方法不同，但结果都是统计所有IO的处理时间总和，实际测试同一设备同样IO负载下不同内核该参数也无明显差异。

 

in_flight

in_flight 表示当前设备中未完成的IO请求数量，由于是瞬时值通常统计工具不会用到，排查问题时可以关注。

老内核(3.x)使用part_inc_in_flight()和part_dec_in_flight()统计in_flight，IO请求开始时加1，完成时减1.

static inline void part_inc_in_flight(struct hd_struct *part, int rw)
{
	atomic_inc(&part->in_flight[rw]);
	if (part->partno)
		atomic_inc(&part_to_disk(part)->part0.in_flight[rw]);
}

static inline void part_dec_in_flight(struct hd_struct *part, int rw)
{
	atomic_dec(&part->in_flight[rw]);
	if (part->partno)
		atomic_dec(&part_to_disk(part)->part0.in_flight[rw]);
}

新内核(5.x) 仍保留了这两个函数，但会判断是否使用mutiqueue，若是mutiqueue就直接返回，不做统计。

void part_inc_in_flight(struct request_queue *q, struct hd_struct *part, int rw)
{
	if (queue_is_mq(q))
		return;

	part_stat_local_inc(part, in_flight[rw]);
	if (part->partno)
		part_stat_local_inc(&part_to_disk(part)->part0, in_flight[rw]);
}

void part_dec_in_flight(struct request_queue *q, struct hd_struct *part, int rw)
{
	if (queue_is_mq(q))
		return;

	part_stat_local_dec(part, in_flight[rw]);
	if (part->partno)
		part_stat_local_dec(&part_to_disk(part)->part0, in_flight[rw]);
}

新内核已废弃了单队列，所以in_flight基本不会被统计，当查询/proc/diskstats,/sys/block/xxx/stat时，会通过blk_mq_in_flight()函数直接计算。

static bool blk_mq_check_inflight(struct blk_mq_hw_ctx *hctx,
				  struct request *rq, void *priv,
				  bool reserved)
{
	struct mq_inflight *mi = priv;

	/*
	 * index[0] counts the specific partition that was asked for.
	 */
	if (rq->part == mi->part)
		mi->inflight[0]++;

	return true;
}

unsigned int blk_mq_in_flight(struct request_queue *q, struct hd_struct *part)
{
	unsigned inflight[2];
	struct mq_inflight mi = { .part = part, .inflight = inflight, };

	inflight[0] = inflight[1] = 0;
	blk_mq_queue_tag_busy_iter(q, blk_mq_check_inflight, &mi);

	return inflight[0];
}

计算方法是，遍历所有处理中的IO请求，判断是否在当前查询的磁盘上。

新内核虽然没有统计in_flight，但当查询时通过计算也可实现同样的展示效果。

 

总结

随着内核不断演进，block层代码变化颇大，各数据统计方法也变化颇多，总结一下有变动的数据：

• io_ticks, 改变统计方法, 不如老版本精确，已有优化patch。
• time_in_queue , 改变统计方法，与老版本效果一致。
• in_flight , IO处理时不做统计，查询时再计算，与老版本效果一致。