linuxsir首页 LinuxSir.Org | Linux、BSD、Solaris、Unix | 开源传万世,因有我参与欢迎您!
网站首页 | 设为首页 | 加入收藏
您所在的位置:主页 > Linux基础建设 >

DPDK内存大页在NUMA架构重分配的问题

时间:2019-10-06  来源:未知  作者:admin666

一. 问题介绍

?在DPDK中往往是在内核启动参数中设置要启动的大页的总数量,比如设置大页个数为16个,每个大页是1G,这样系统启动后,就能在/sys/devices/system/node/node0/hugepages/hugepages-1048576KB/nr_hugepages上看到node0上分配的大页,同样可以查看到node1上的大页。默认的情况是内核会平均分配到 不同的socket上。在我的机器上,就是2个socket,这样的话,每个node上会分到8个大页。

? 然而,问题就来了。对于使用DPDK ring的primary进程和secondary进程而言,为了提高性能,在其中的线程绑core的时候,最好是在同一个socket上,假设我们绑定了socket 0上的多个core,这时候,无论是primary进程还是secondary进程分配内存的时候都是优先在socket 0上的node 0分配内存,这就导致一个问题,node 1上的内存基本就分配不到,也就是说,虽然留出了16G的大页给DPDK的应用使用,但实际上,只有不到一半的使用率。这就有点浪费内存咯。

? 急于上面的问题,我们期望能够重新分配大页在不同socket上的分配比例,比如,如果DPDK进程都是在socket 0上,那么16G大页可以分配12G给node 0,剩余的4G给node 1,充分利用内存。

二. 重新配置方法

?对于不同的系统,配置的方法大同小异,对于2M的大页而言,可以直接进行配置,而对于1G的大页,老些的版本则存在一些问题,如在使用CentOS 6.3时,动态修改1G大页的个数就不成功。

?因此这里只说通用的做法,对于自己的系统,可以再进行细调。在内核启动参数中配置大页的大小和个数,以Ubuntu为例:

default_hugepagesz=1G hugepagesz=1G hugepages=1设置到/etc/default/grub中的GRUB_CMDLINE_LINUX中,然后运行update-grub更新启动参数配置文件 /boot/grub/grub.cfg。之后重新启动,cat /proc/meminfo就能看到系统中显示大页数量和剩余的数量(这个图是配置的2M的页)。

接下来就是如何解决提到的背景问题了:

? 在系统启动后,是可以再进行调整大页的数量的,配置的参数就在/sys/devices/system/node/node0/hugepages/hugepages-2048kB/nr_hugepages,这个是2M的配置,对于1G的页,无非就是2048K变为其他值。注意这里的node0,如果还有其他socket,就可以调整对应的socket上的大页的数量。

? 也正是基于上面的可调整参数,可以在系统启动后,先进行大页在不同socket上重新调整,然后再启动DPDK的应用进程。比如共设置16个大页,其中node 0上分配12个,node 1上分配4个。这里也会有另一个问题:就是如果调整后的大页分配大于原来的总页数会怎么样?对于2M的应该没啥问题,对于1G的,恐怕是不行的,暂时没实验,需要注意。这样调整后,把DPDK的应用都绑定在node 0上对应的core(因为我们给他分的大页多),这样的话,就能充分利用到我们分配的大页了。

至此,可以进一步观察实验了。

Linux公社的RSS地址:https://www.linuxidc.com/rssFeed.aspx

上一篇:没有了
友情链接
  • Mozilla发布Firefox 67.0.4,修复沙箱逃逸漏洞
  • 蚂蚁金服正式成为CNCF云原生计算基金会黄金会员
  • Firefox 68将采用Microsoft BITS安装更新
  • OpenSSH增加对存储在RAM中的私钥的保护
  • 谷歌想实现自己的curl,为什么?
  • Raspberry Pi 4发布:更快的CPU、更大的内存
  • Firefox的UA将移除CPU架构信息
  • Ubuntu放弃支持32位应用程序实属乌龙,Steam会否重回Ubuntu怀抱
  • Qt 5.13稳定版发布:引入glTF 2.0、改进Wayland以及支持Lottie动
  • 红帽企业Linux 7现已内置Redis 5最新版
  • Slack进入微软内部禁用服务清单,GitHub也在其列?
  • 安全的全新编程语言V发布首个可用版本
  • Windows Terminal已上架,快尝鲜
  • 阿里巴巴微服务开源生态报告No.1
  • 面世两年,Google地球将支持所有基于Chromium的浏览器
  • 推进企业容器化持续创新,Rancher ECIC千人盛典完美收官
  • CentOS 8.0最新构建状态公布,或于数周后发布
  • Debian移植RISC
  • 微软拆分操作系统的计划初现雏形
  • Oracle发布基于VS Code的开发者工具,轻松使用Oracle数据库
  • Ubuntu 19.10停止支持32位的x86架构
  • 微软为Windows Terminal推出全新logo
  • 联想ThinkPad P系列笔记本预装Ubuntu系统
  • 微软发布适用于Win7/8的Microsoft Edge预览版
  • 启智平台发布联邦学习开源数据协作项目OpenI纵横
  • 经过六个多月的延迟,微软终于推出Hyper
  • ZFS On Linux 0.8.1 发布,Python可移植性工作
  • DragonFly BSD 5.6.0 发布,HAMMER2状态良好
  • Linux Kernel 5.2
  • CentOS 8.0 看起来还需要几周的时间
  • 百度网盘Linux版正式发布
  • PCIe 6.0宣布:带宽翻倍 狂飙至256GB/s
  • PHP 7.4 Alpha 发布,FFI扩展,预加载Opcache以获得更好的性能
  • Canonical将在未来的Ubuntu版本中放弃对32位架构的支持
  • Scala 2.13 发布,改进的编译器性能
  • 微软的GitHub收购了Pull Panda,并且使所有订阅完全免费
  • Windows Subsystem for Linux 2 (WSL 2)现在适用于Windows 10用
  • Debian 10 “Buster”的RISC
  • MariaDB宣布发布MariaDB Enterprise Server 10.4
  • DXVK 1.2.2 发布,带来微小的CPU开销优化
  • DragonFlyBSD 5.6 RC1 发布,VM优化,默认为HAMMER2
  • PrimeNG 8.0.0 发布,支持Angular 8,FocusTrap等
  • GIMP 2.10.12 发布,一些有用的改进
  • 清华大学Anaconda 镜像服务即将恢复
  • Debian GNU/Linux 10 “Buster” 操作系统将于2019年7月6日发布
  • 时时彩论坛
  • 五星体育斯诺克
  • 北单比分直播
  • 河北11选5走势图
  • 福建体彩36选7开奖结果
  • 九龙图库下载