keelOS 和 KVM 的性能对比
keelOS 开发版 5de4f7e(FreeBSD 14.5,bhyve,2026 年 10 月 3 日测)对 Proxmox VE 9.2(Linux 7.0.2,QEMU 11.0,KVM,2026 年 10 月 1 日测)
CPU
| 项目 | 单位 | keelOS | KVM | keelOS / KVM |
|---|---|---|---|---|
| 7-Zip 压缩跑分 | MIPS (越高越好) | 23,267 | 24,533 | 95% |
| sysbench CPU | events/s (越高越好) | 4,769 | 4,905 | 97% |
| 编译 Redis(make -j4) | s (越低越好) | 42.61 | 39.96 | 94% |
| 进程互相唤醒(perf sched pipe) | s (越低越好) | 4.84 | 3.579 | 74% |
进程互相唤醒。在 keelOS 的 hypervisor 下,唤醒另一个 vCPU 上的进程代价更高;perf sched pipe 里看得到,编译和压缩里也有一点。
内存
| 项目 | 单位 | keelOS | KVM | keelOS / KVM |
|---|---|---|---|---|
| sysbench 内存 | MiB/s (越高越好) | 5,272 | 5,182 | 102% |
存储
| 项目 | 单位 | keelOS | KVM | keelOS / KVM |
|---|---|---|---|---|
| 4K 随机读,QD32 | IOPS (越高越好) | 81,229 | 79,368 | 102% |
| 4K 随机写,QD32 | IOPS (越高越好) | 28,105 | 36,366 | 77% |
| 4K 随机读,QD1 | IOPS (越高越好) | 6,517 | 6,456 | 101% |
| 4K 随机读,QD1,p99 延迟 | us (越低越好) | 216 | 264 | 122% |
| 1M 顺序读,QD8 | MB/s (越高越好) | 1,458 | 1,970 | 74% |
| 1M 顺序写,QD8 | MB/s (越高越好) | 1,326 | 1,906 | 70% |
随机读从 10 月 3 日起和 KVM 持平(QD32:54% → 102%,QD1:101%)。改了两处:bhyve 的 virtio 磁盘原来每个请求都要从虚拟机里退出来一次,现在由一个暂时没活干的磁盘线程盯一小会儿虚拟机的请求队列,和 QEMU 的 iothread 做法一样;每块虚拟磁盘的工作线程从 8 个加到 32 个。
随机写:改一个 ZFS 设置,从 35% 到 77%。ZFS 按它所在系统的内存定脏数据上限。在 keelOS 上它所在的是宿主自己那一份内存,不是整台机器(这台 16 GB 里的 4 GB),所以上限是 372 MB,Linux 宿主上是 1.6 GB;ZFS 每 30 ms 就写一个事务组,太碎,效率低。上限设到 1.6 GB(这次测试就是这样)同一项是 KVM 的 77%;keelOS 从下一个版本起自己这样设。这不需要更多内存:脏数据住在 ZFS 的缓存里,缓存全程没超过它的上限。随机写剩下的差距和大块顺序读写还没解决。
一个走快了的时钟。测试时我们发现 bhyve 的 ACPI 定时器快 0.07%。Linux 虚拟机启动时拿它校准自己的时钟,之后发现和另一个定时器对不上,就退到一个慢的时钟源;从那以后每个要读时间的程序都变慢(同一项 QD32 读测试掉了三分之一)。10 月 1 日那次测试就是在慢时钟源上跑的。这一版已经修掉。
网络
| 项目 | 单位 | keelOS | KVM | keelOS / KVM |
|---|---|---|---|---|
| 虚拟机 → 另一台机器(千兆口) | Mbit/s (越高越好) | 941 | 941 | 100% |
| 另一台机器 → 虚拟机(千兆口) | Mbit/s (越高越好) | 933 | 941 | 99% |
| 同一宿主上虚拟机 → 虚拟机,单流 | Mbit/s (越高越好) | 24,925 | 31,070 | 80% |
| 同一宿主上虚拟机 ← 虚拟机,单流 | Mbit/s (越高越好) | 23,877 | 30,519 | 78% |
| 同一宿主上虚拟机 → 虚拟机,4 流 | Mbit/s (越高越好) | 25,934 | 26,991 | 96% |
| 同一宿主上虚拟机 ← 虚拟机,4 流 | Mbit/s (越高越好) | 23,482 | 27,018 | 87% |
同一宿主上虚拟机之间。KVM 在内核里转发数据包(vhost-net),虚拟机之间能传大包。keelOS 的虚拟交换机也在内核里,同样传大包:KVM 的 78–96%。剩下的差距在 bhyve 的 virtio 网卡上:它在用户态进程里,每个包还要经过它;全程留在内核里的路径在计划中。物理千兆口两边都跑满。
虚拟机之间那几行是怎么测的
2026 年 10 月 2 日,同一台服务器、同样两台虚拟机,用 keelOS 的虚拟交换机:内核里的交换机(netmap 的 VALE),成批搬运数据包,虚拟机之间直接传 64 KB 的大包。我们给它加了 VLAN,并修掉了 FreeBSD 里的三个 bug(bhyve、网卡驱动框架、ixl 驱动各一个),它们让它在负载下或接物理网口时不能用。它随 1.0 发布;这次测试用的是测试内核,交换机手工配置,两台虚拟机接在同一个 VLAN 的 access 口上。经物理千兆口,虚拟机和以前一样跑满端口。同样的配置另一次开机测到的是 KVM 的 41–84%。10 月 3 日我们找到并修掉了造成这类差别的一个原因(Linux 虚拟机退到了慢的时钟源,见"存储"一节),这几行会重新测。用这个交换机之前(tap 接口加网桥),同一项测试是 KVM 的 24–26%(表的最后两列)。
| 项目(Mbit/s) | KVM | keelOS | keelOS / KVM | 之前:tap + 网桥 | 之前 / KVM |
|---|---|---|---|---|---|
| 同一宿主上虚拟机 → 虚拟机,单流 | 31,070 | 24,925 | 80% | 7,579 | 24% |
| 同一宿主上虚拟机 ← 虚拟机,单流 | 30,519 | 23,877 | 78% | 7,473 | 24% |
| 同一宿主上虚拟机 → 虚拟机,4 流 | 26,991 | 25,934 | 96% | 6,837 | 25% |
| 同一宿主上虚拟机 ← 虚拟机,4 流 | 27,018 | 23,482 | 87% | 6,983 | 26% |
GPU 直通和物理机比
把一块 GeForce GTX 1080 Ti 直通给 keelOS 上的 Debian 13 虚拟机,再把同一块 Debian 系统盘直接在同一台服务器上启动。显卡自己做的事全速;内存和显卡之间拷数据在虚拟机里慢四分之一左右。
| 项目 | 单位 | keelOS 虚拟机 | 物理机 | 虚拟机 / 物理机 |
|---|---|---|---|---|
| 显存带宽 | GB/s (越高越好) | 349 | 349 | 100% |
| FP32 算力 | GFLOPS (越高越好) | 13,229 | 13,030 | 102% |
| FP64 算力 | GFLOPS (越高越好) | 425 | 419 | 101% |
| INT8 算力 | GIOPS (越高越好) | 11,522 | 11,027 | 104% |
| kernel 启动延迟 | µs (越低越好) | 3.92 | 3.82 | 97% |
| hashcat SHA-256 | GH/s (越高越好) | 4.13 | 4.089 | 101% |
| hashcat WPA | kH/s (越高越好) | 559 | 557 | 100% |
| 主机 → 显卡拷贝 | GB/s (越高越好) | 6.15 | 8.1 | 76% |
| 显卡 → 主机拷贝 | GB/s (越高越好) | 7.78 | 10.89 | 71% |
Supermicro X10DRU-i+,2 × Xeon E5-2667 v3,32 GB。Debian 13(内核 6.12),NVIDIA 驱动 550.163,OpenCL(clpeak)和 hashcat 自带的跑分。虚拟机 4 vCPU、8 GB,放在显卡所在的 NUMA 节点;物理机绑在同一节点。三次取中位数。
物理机上程序跑在另一颗 CPU 上时,同样的拷贝只有约 6 GB/s,所以 keelOS 会把带直通显卡的虚拟机自动放到显卡所在的 NUMA 节点。拷贝的差距排在 1.0 之后处理。
测试环境
- 服务器:Supermicro X11SPW,Xeon Gold 5122(4 核 8 线程),16 GB,两块 Samsung PM1725a NVMe。为什么不用首页数字那台(2 × Xeon Gold 6144):对比要清空硬盘、装 Proxmox VE,我们两台服务器里只有这台可以清空,另一台在跑长时间测试。
- 虚拟机:Debian 13,4 vCPU,4 GiB,virtio-blk 和 virtio-net。两边用同一份磁盘镜像、同一组 ZFS 卷(volblocksize 16K,不压缩)、同一个 MAC 地址,测试盘事先整盘写过一遍。
- keelOS:开发版 5de4f7e(FreeBSD 14.5,bhyve),2026 年 10 月 3 日测。Proxmox VE 9.2:内核 7.0,QEMU 11.0,ZFS 2.4;
--cpu host,磁盘cache=none、aio=io_uring、iothread;vhost-net;2026 年 10 月 1 日测,之后这台服务器一直跑 keelOS。两边 ZFS 缓存上限相同,测试时没有别的虚拟机在跑。 - 存储两边都只用一块 NVMe(Linux 读不了第二块盘上的保护信息);测试盘事先整盘写过一遍;两边 ZFS 的脏数据上限都是 1.6 GB(这台机器上 Linux 的默认值;keelOS 这次是手工设的,下一个版本起自动)。
- 每项跑三次,表里是中位数,三次的数值都在原始数据里。
我们在做什么
虚拟交换机正在接进 keelOS 的网络设置,随 1.0 发布。磁盘方面,接下来是随机写剩下的差距和大块顺序读写。每个版本都在同一台服务器上重新测,这一页显示最新的一次。