rocky9.1 深度学习环境配置_rokcy8和rocky9-程序员宅基地

技术标签: 深度学习  人工智能  

  • U盘制作启动盘,安装引导;略过;
  • sudo fdisk -l
  1. 安装nvidia驱动

    1. 教程参考:Rocky linux安装3090 + CUDA11.3 + pytorch - 知乎
    2. 驱动下载:Nvidia官网下载对应显卡驱动,网址略
# 确定系统版本
uname -a
uname -r

# 查看当前电脑的显卡型号
lshw -numeric -C display

# 命令行搜索集显和独显
lspci | grep VGA
lspci | grep NVIDIA

# 关闭默认gpu驱动,也就是禁用nouveau
# 修改配置文件
vim /usr/lib/modprobe.d/dist-blacklist.conf
# 注释
#blacklist nvidiafb
# 添加以下语句
blacklist nouveau
blacklist lbm-nouveau
options nouveau modeset=0
alias nouveau off
alias lbm-nouveau off

# 重启后,执行如下命令,如果没有屏幕输出,说明禁用nouveau成功
lsmod | grep nouveau

--kernel-source-path=/usr/src/kernels/$(uname -r)/ -k $(uname -r)

1. bug: uname -r和实际的/usr/src/kernels/下的名称不是完全一致,解决办法,手动给路径 --kernel-source-path=/usr/src/kernels/5.xxxxxxx -k 5.xxxxxx

先要确保这个路径下面有东西:ls /usr/src/kernels/


 sudo yum install ./kernel-devel-5.14.0-162.6.1.el9_1.x86_64.rpm 

# 执行下面操作,若有和uname -r一样的文件夹,即可安装显卡驱动

ls /usr/src/kernels/
5.14.0-162.6.1.el9_1.x86_64

sudo dnf update 很容易将内核给升级了,这样大家就没办法确保环境一致了!!!! 

遇到的其他问题;(由于维护不方便,不使用yum install去下载网络源,而是使用iso的安装包里面的rpm package来做系统安装)

方法是:将yum源换为本地源,即将iso作为yum源;解压缩后的包中是有appstream baseOS等文件夹中,其中也有data/repomod.xml

只需要将本地的/etc/repo.d等中的baseurl全部改为  xxxx/AppStream/data/repond.xml的路径即可;然后yum clean all

yum list 如果成功了,就更换了本地源。其中DVD光盘中只有AppStream和baseOS两个源。这是系统依赖,有gcc等。

然后正常的安装yum install等;他们都是有依赖的,且依赖确保大家的操作是一致的。这样就确保了环境一致。------linux运维! 

2. bug:x server 用命令禁止掉 --no-x-check

2Linux安装nvidia遇到的问题you appear to be running an x server please exit x before installing_纽约恋情的博客-程序员宅基地

# 我使用这个无效
sudo /etc/init.d/lightdm stop
sudo /etc/init.d/lightdm status 

# 有用的办法是
https://zhuanlan.zhihu.com/p/115758882
sudo ./NVIDIAxxxx.run --no-x-check

3.bug: nvidia-smi无法同nvidia驱动通信, 解决办法:kernel-header版本过高,需要重新下载离线包安装

我的kernel-header版本也抬高了,需要下载对应的rpm,离线安装,然后再装nvidia驱动,就好了。一波三折阿

sudo yum install ./kernel-headers-5.14.0-162.6.1.el9_1.x86_64.rpm

然后继续重装nvidia驱动,成功了。

# 这一步骤要修改,很容易出现kernel版本和内核版本不一致的情况
# sudo yum install kernel-devel elfutils elfutils-devel glibc-devel

# sudo yum install "kernel-devel-uname-r == $(uname -r)"

 sudo yum install ./kernel-devel-5.14.0-162.6.1.el9_1.x86_64.rpm 
sudo yum install ./kernel-headers-5.14.0-162.6.1.el9_1.x86_64.rpm
# 备份initramfs配置文件
sudo mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r).img.bak

# 重建initramfs文件
sudo dracut -v /boot/initramfs-$(uname -r).img $(uname -r)

# 添加执行权限
sudo chmod +x NVIDIA-Linux-x86_64-515.48.07.run
# 安装驱动
sudo ./NVIDIA-Linux-x86_64-515.48.07.run --no-opengl-files --kernel-source-path=/usr/src/kernels/$(uname -r)/ -k $(uname -r) --no-x-check

# 由于不是完全一致,就采用手动给路径的办法,成功了。
sudo ./NVIDIA-Linux-x86_64-535.113.01.run --no-opengl-files --kernel-source-path=/usr/src/kernels/5.14.0-162.6.1.el9_1.x86_64/ -k 5.14.0-162.6.1.el9_1.x86_64  --no-x-check


# --no-opengl-files 表示只安装驱动文件,不安装OpenGL文件。这个参数不可省略,否则会导致登陆界面死循环,英语一般称为”login loop”或者”stuck in login”。
# –-no-x-check 表示安装驱动时不检查X服务,非必需。
# –-no-nouveau-check 表示安装驱动时不检查nouveau,非必需。
# -Z, --disable-nouveau:禁用nouveau。此参数非必需,因为之前已经手动禁用了nouveau。

# 安装过程中,选择accept
# 如果提示要修改xorg.conf,选择yes
# 重新启动,查看显卡是否正常启动
# 检查驱动是否安装成功
nvidia-smi
# nvidia-settings

多年来一直困扰我的问题,就是当我们下载了一个rpm包来安装的时候发现缺少依赖。以前的做法是网上挨个去搜索依赖的rpm,然后依次安装。

# rpm -ivh google-chrome-stable_current_x86_64.rpm

其实有了yum早已经可以解决这个问题了,命令格式如下,yum会自动寻找依赖并且安装,从而完整这个rpm的安装。

# yum install ./google-chrome-stable_current_x86_64.rpm

有时候也会存在找不到依赖的情况;装kernel上,有些依赖可以获取,但是会配置高版本;低版本的还是要自己下载rpm,然后自动依赖,若依赖好了,只要能运行成功,就可以!!!

!!!若yum不存在内核版本的kernel,就换源:换源之后,还是没有!!

solution:下载kernel离线rpm包,用yum install安装

rocky9.1 yum 换源:让安装install下载更快!

sed -e 's|^mirrorlist=|#mirrorlist=|g' \
    -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \
    -i.bak \
    /etc/yum.repos.d/[Rr]ocky*.repo

安装了epel,修改如下:

sed -e 's|^metalink=|#metalink=|g' \
    -e 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|g' \
    -i.bak \
    /etc/yum.repos.d/epel*.repo
# 注意:
# Rocky Linux 中 #baseurl=https://download.example/pub
# 与 CentOS 相同,而 Alma Linux #baseurl=https://download.fedoraproject.org/pub

 清理并重新生成软件包;速度一下就快了,达到1M/s,应该是国内源更换成功了。

yum clean all
yum autoremove
rm -rf /var/cache/yum
yum makecache

二、rocky9 gcc版本降级,失败!放弃!!!再怎么都不行的,浪费2天时间了。若需要编译,再回来战斗!

如果,需要,就是在这下面编译对应版本的模型,就需要编译。

https://ftp.lysator.liu.se/pub/opensuse/distribution/leap/15.5/repo/oss/x86_64/gcc9-9.3.1+git1296-1.6.1.x86_64.rpm

 1. 通过rpm依赖安装,看看能不能降级

  • 发现没有生存libiberty.so 编译这个库时有困难;发现build文件夹中,mpc等都为空,应该是找不到libmpc等,就是库链接有问题
    • 就将/usr/local/lib下的四个依赖库的文件都拷贝到x86_pc_linux文件夹下,这个库就生成了!!!
make[3]: 离开目录“/home/dl/software/gcc-9.2.0/gcc-build-9.2.0/libiberty”
make[2]: 离开目录“/home/dl/software/gcc-9.2.0/gcc-build-9.2.0”
make[1]: *** [Makefile:26574:stage1-bubble] 错误 2
make[1]: 离开目录“/home/dl/software/gcc-9.2.0/gcc-build-9.2.0”
make: *** [Makefile:1002:all] 错误 2

三、其他软件安装

snap 安装Iptux

Install iptux on Linux | Snap Store

sudo dnf install https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm

sudo yum install snapd
sudo systemctl enable --now snapd.socket
sudo snap install iptux

编译tensorrt库遇到的问题

  • 0. 环境配置问题:
    • 1. rokcy系统,只装了nvidia驱动,遇到的问题如上所示;验证标准:nvidia-smi,通过!即可。
    • 2. 调用显卡是否可行:验证方法,安装conda,创建python虚拟环境,安装pytorch,cuda,cudnn等;然后使用python import torch torch.zeros(1).cuda(),return tensor([1.]) 证明算力8.6和cuda11.3是OK的,是支持的;cuda是支持本显卡的算力的。
    • 3. 环境本身没有安装cuda11.3.run,系统路径里面没有cuda11.3的环境的;cuda11.3完全是依赖与离线给的include和lib的
    • 4. cudnn本身就是一个包而已,不需要安装;
    • 5. Tensorrt本身也是一个安装包而已,不需要安装,编译的时候能找到invfer.dll or libinfer.so库,即可;而且只需要infer onnx两个库。
      • 找不到.so or .so.8 而路径下有.so.8.0.0,有很长的版本号,如何解决?!!
      • 链接库时遇到的问题:.so .so.8 两个都要存在才行;编译库需要.so; 运行库需要.so.8;这两个有时候是自动创建了软连接,如编译库的时候;但是在拷贝的时候是没有软连接的,其实都是同一份东西;但是同路径下是不能创建软连接的;ln -s是失败的;解决办法:复制,改名字即可。
    • 6. qt的编译信息报错很长,要去看lib.so相关的warning,会提示你找不到Kernels等库;solution:编写链接这些库的配置,在qt的.pro文件中。然后就通过了。
    • 7. tensorrt环境不一样,所以模型不一样。导致模型有打印输出,有加载上,但是运行到一半就挂了,所以需要结合现象来分析问题;然后尝试和解决!!
      • 解决:环境改为一样的。
      • 有兴趣就去解决:.so 和.so.8的调用问题!
    • 8. 改了之后,还是一样的报错;换个显卡就得编译;可能是这个问题!!!!!
    • 9. qt gdb问题,一台可以debug,一台电脑无法debug,所以是部署电脑的gdb存在了问题,需要重新安装gdb,这是个问题!!!!!
  • 1. 编译我的tensorrt-yolov5的库
    • (1)由于我的库,在之前的demo上copy过来的,导致两个问题;
      • ①编译build之后,生成的结果去了zy/文件夹,不在我的文件夹内;原因是qt 工程的问题;.pro路径依赖;拷贝走了都依赖;
      • ②在代码上写库,虽然每调用tkdnn,但是还是在加载这个库,没必要的;需要脱离;但是工程里面有些代码,又使用的tkdnn的库;没办法深度剥离,这是个问题,该如何解决呢????
      • ③我先重新创建一个pro来解决这个问题,重新创建,只有我的东西,然后把相关代码给干掉和屏蔽即可。
    • (2)干掉依赖tkdnn库的代码,然后函数等价平替:
      • ①getcwd,#include <unistd.h> 解决了这个问题
      • ②报错:yolov5::update()报错了,说明我的库的update出现了问题,就是tensorrt模型的问题,不兼容。
        • 解决办法:重新编译,然后看下得不得行!!!!!!
      • ③由于缺的依赖太多了,没办法,只能在2080ti上编译,看能不能解决这个库的问题,如果可以解决,就是库的依赖问题
      • ④彻底解决,需要解决shap_ptr等问题!!!windows下不存在此类问题,到底哪里的依赖出了问题呢??!!
    • (3)duration(const duration&) = default;
      • 挂在了duration里面,如果库里面注释掉这个,就可以了。所以还是环境依赖有问题。编写yolov5库的时候把这个注释掉,就可以运行起走了。所以还是哪里的问题呢?!!!
      • 注释掉后,有事shape_ptr智能指针有问题。这些难道是gcc版本太低了的原因吗?
      • 可能还是要在这台机器上编译,然后才能跑起来???
        • 算了,还是要先解决,不然的话去4600上又会跑步起来!!原因未知。
    • (4)qt的qDebug()屏蔽了我的库的printf信息,所以要暂时屏蔽qDebug()
    • (5)由于opencv版本不一样导致的各种问题:所以需要libopencv的模块名称,添加上去!!!opencv4只需要world,但opencv3需要更多!!!
    • (6)最终就成功了!!!!关键环节,还是要在可以debug的模式下编译库,demo调用库的源码,并且跑通,这样比较OK。
      • 在demo中,yolov5-dll也要是源码,非调库的状态,库代码可能会写错的!!!然后就OK了。
int main(int argc, char *argv[])
{
    setbuf(stdout,NULL);
    QApplication a(argc, argv);
    MainWindow w;
    w.show();
    return a.exec();
}

调试技巧-others

  • 1. C&无提示下排查问题:        
    • 逐行屏蔽,然后编译调试;这样
    • 文件夹调用的是release;库编译的是release,demo是debug;路径里面是release;
      • demo链接了release的库;debug编出来,链接了release的库,结果挂掉了。不是这个问题;另外一台可以过。
    • 所以:盲调如何定位到问题,是一门技术;靠盲目尝试不行;需要有思路
    • 解决办法:找有经验的人来做;然后学习其经验;
      • 尝试:光有new是可以的;new了库,是可以的;
      • 是哪一句导致其new的;
      • 猜想:只要把算法检测一开,就要崩溃。yes!证实!为什么呢?应该还是初始化有问题,模型文件不对?把init关闭了,看有没有问题?!
  • 2. 
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/haronchou/article/details/133694541

智能推荐

vue引入原生高德地图_前端引入原生地图-程序员宅基地

文章浏览阅读556次,点赞2次,收藏3次。由于工作上的需要,今天捣鼓了半天高德地图。如果定制化开发需求不太高的话,可以用vue-amap,这个我就不多说了,详细就看官网 https://elemefe.github.io/vue-amap/#/zh-cn/introduction/install然而我们公司需要英文版的高德,我看vue-amap中好像没有这方面的配置,而且还有一些其他的定制化开发需求,然后就只用原生的高德。其实原生的引入也不复杂,但是有几个坑要填一下。1. index.html注意,引入的高德js一定要放在头部而_前端引入原生地图

ViewGroup重写大法 (一)-程序员宅基地

文章浏览阅读104次。本文介绍ViewGroup重写,我们所熟知的LinearLayout,RelativeLayout,FrameLayout等等,所有的容器类都是ViewGroup的子类,ViewGroup又继承View。我们在熟练应用这些现成的系统布局的时候可能有时候就不能满足我们自己的需求了,这是我们就要自己重写一个容器来实现效果。ViewGroup重写可以达到各种效果,下面写一个简单的重写一个Vi..._viewgroup 重写

Stm32学习笔记,3万字超详细_stm32笔记-程序员宅基地

文章浏览阅读1.8w次,点赞279次,收藏1.5k次。本文章主要记录本人在学习stm32过程中的笔记,也插入了不少的例程代码,方便到时候CV。绝大多数内容为本人手写,小部分来自stm32官方的中文参考手册以及网上其他文章;代码部分大多来自江科大和正点原子的例程,注释是我自己添加;配图来自江科大/正点原子/中文参考手册。笔记内容都是平时自己一点点添加,不知不觉都已经这么长了。其实每一个标题其实都可以发一篇,但是这样搞太琐碎了,所以还是就这样吧。_stm32笔记

CTS(13)---CTS 测试之Media相关测试failed 小结(一)_mediacodec框架 cts-程序员宅基地

文章浏览阅读1.8k次。Android o CTS 测试之Media相关测试failed 小结(一)CTSCTS 即兼容性测试套件,CTS 在桌面设备上运行,并直接在连接的设备或模拟器上执行测试用例。CTS 是一套单元测试,旨在集成到工程师构建设备的日常工作流程(例如通过连续构建系统)中。其目的是尽早发现不兼容性,并确保软件在整个开发过程中保持兼容性。CTS 是一个自动化测试工具,其中包括两个主要软件组件:CTS tra..._mediacodec框架 cts

chosen.js插件使用,回显,动态添加选项-程序员宅基地

文章浏览阅读4.5k次。官网:https://harvesthq.github.io/chosen/实例化$(".chosen-select").chosen({disable_search_threshold: 10});赋值var optValue = $(".chosen-select").val();回显1.设置回显的值$(".chosen-select").val(“opt1”);2.触发cho..._chosen.js

C++ uint8_t数据串如何按位写入_unit8_t 集合 赋值 c++-程序员宅基地

文章浏览阅读1.9k次。撸码不易,网上找不到,索性自己写,且撸且珍惜!void bitsWrite(uint8_t* buff, int pos, int size, uint32_t value){ uint32_t index[] = { 0x80000000, 0x40000000, 0x20000000, 0x10000000, 0x8000000, 0x4000000, 0x2000000, 0x1000000, 0x800000, 0x400000, 0_unit8_t 集合 赋值 c++

随便推点

Javaweb框架 思维导图_javaweb框架图-程序员宅基地

文章浏览阅读748次。javaweb知识点_javaweb框架图

adb的升级与版本更新_adb iptabls怎么升级-程序员宅基地

文章浏览阅读1.1w次,点赞3次,收藏16次。adb是没有自动升级的命令的,如果想要更新adb的版本,我们可以在网上找到自己想要的版本进行更新给大家提供几个版本https://pan.baidu.com/s/1yd0dsmWn5CK08MlyuubR7g&shfl=shareset 提取码: 94z81、下载解压后我们可以找到下面几个文件,并复制2、找到adb安装的文件夹下的platform-tools文件夹,我这里是..._adb iptabls怎么升级

微信苹果版删除所有的聊天记录的图文教程_mac微信怎么删除聊天列表-程序员宅基地

文章浏览阅读3.8k次。很多用户可能都知道怎么在Windows系统上删除微信的聊天记录,那么苹果电脑上的微信软件怎么删除所有的聊天记录呢?下面小编就专门来给大家讲下微信mac版删除所有的聊天记录的图文教程。点击后会弹出提示窗口,点击这里的确认按钮就可以将其清理掉了。在这里选择要清理的数据,然后点击下方右边的清理按钮就行了。在mac上打开微信后,点击左下角的横线图标。然后再点击这里的管理微信聊天数据按钮。打开了设置窗口,点击上方的“通用”。在这里点击下方的前往清理按钮。点击弹出菜单里的“设置”。_mac微信怎么删除聊天列表

【报错笔记】数据类型转换时报错:Request processing failed;nested exception is java.lang.NumberFormatException:..._request processing failed; nested exception is jav-程序员宅基地

文章浏览阅读7.7k次。数据类型转换时报错:Request processing failed;nested exception is java.lang.NumberFormatException:For input String “20151512345”报错原因:数字格式异常,接着后面有 For input string: “201515612343” 提示,这就告诉我们你当前想把 “201515612343” 转换成数字类型时出错了。解决方案:使用2015151612343这个数字太大了,所以直接使用string_request processing failed; nested exception is java.lang.numberformatexcepti

qml 自定义消息框_Qt qml 自定义消息提示框-程序员宅基地

文章浏览阅读387次。版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/a844651990/article/details/78376767Qt qml 自定义消息提示框QtQuick有提供比较传统的信息提示框MessageDialog,但是实际开发过程并不太能满足我们的需求。下面是根据controls2模块中..._qml 自定义 messagedialog

Redis.conf 默认出厂内容_默认出厂的原始redis.conf文件全部内容-程序员宅基地

文章浏览阅读599次。# Redis configuration file example.## Note that in order to read the configuration file, Redis must be# started with the file path as first argument:## ./redis-server /path/to/redis.conf # Note on units: when memory size is needed, it is pos._默认出厂的原始redis.conf文件全部内容

推荐文章

热门文章

相关标签