AI 加速器环境（CUDA / NPU）

AI 加速器环境（CUDA / NPU）#

CUDA + OpenCV#

软件环境#

本教程在 WSL2 Ubuntu 20.04 上测试通过。

安装完成 CUDA 12 后，nvcc --version 的输出类似：

$ nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on ...
Cuda compilation tools, release 12.x, V12.x...

CUDA 路径#

$ whereis cuda
cuda: /usr/lib/cuda /usr/include/cuda.h /usr/local/cuda

安装步骤#

1. 安装 CUDA 密钥环和更新#

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update

2. 安装 cuDNN#

sudo apt-get -y install cudnn
sudo apt-get -y install cudnn-cuda-12

也可以手动下载对应 CUDA 版本的 cuDNN 归档文件安装（二选一即可）：

# 下载并解压 cuDNN 归档文件
wget https://developer.download.nvidia.com/compute/cudnn/redist/cudnn/linux-x86_64/cudnn-linux-x86_64-9.2.0.82_cuda12-archive.tar.xz
tar -xvf cudnn-linux-x86_64-9.2.0.82_cuda12-archive.tar.xz

# 复制头文件和库文件
sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda/include
sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

3. 准备 OpenCV 源码#

mkdir -p opencv
cd opencv
git clone https://github.com/opencv/opencv.git
git clone https://github.com/opencv/opencv_contrib.git

4. 配置和编译 OpenCV#

cd opencv
mkdir build && cd build

cmake -D CMAKE_BUILD_TYPE=RELEASE \
    -D CMAKE_INSTALL_PREFIX=/usr/local \
    -D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules \
    -D WITH_CUDA=ON \
    -D OPENCV_DNN_CUDA=ON \
    -D CUDA_ARCH_BIN=8.6 \
    -D CUDA_ARCH_PTX="" \
    -D CUDA_TOOLKIT_ROOT_DIR=/usr/local/cuda \
    -D CUDNN_LIBRARY=/usr/local/cuda/lib64/libcudnn.so \
    -D CUDNN_INCLUDE_DIR=/usr/local/cuda/include \
    -D WITH_CUBLAS=ON \
    -D WITH_NVCUVID=ON \
    -D BUILD_opencv_python3=ON \
    -D WITH_FFMPEG=ON \
    -D WITH_GSTREAMER=ON \
    -D WITH_V4L=ON \
    -D BUILD_opencv_videoio=ON \
    -D BUILD_EXAMPLES=OFF ..

make -j$(nproc)
sudo make install

5. 清理潜在的冲突#

pip uninstall opencv-python
pip uninstall opencv-python-headless

注意事项#

  1. CUDA 架构配置：CUDA_ARCH_BIN=8.6 对应 Ampere 架构（如 RTX 30 系列），请根据您的 GPU 架构调整（例如 Turing 为 7.5、Ada Lovelace 为 8.9）。

  2. 环境变量：编译完成后，建议更新库路径：

    sudo ldconfig

  3. 验证安装：可以通过以下命令验证 OpenCV 是否成功编译并支持 CUDA：

    import cv2
print(cv2.__version__)
print(cv2.cuda.getCudaEnabledDeviceCount())

  4. 依赖安装：如果编译过程中缺少依赖，可以使用以下命令安装常见依赖：

    sudo apt-get install build-essential cmake git pkg-config \
     libgtk-3-dev libavcodec-dev libavformat-dev libswscale-dev \
     libv4l-dev libxvidcore-dev libx264-dev libjpeg-dev \
     libpng-dev libtiff-dev gfortran openexr libatlas-base-dev \
     python3-dev python3-numpy libtbb2 libtbb-dev libdc1394-22-dev

用 NPU 训练神经网络#

检查是否支持 NPU#

pip install openvino
python -c "from openvino import Core; print(Core().available_devices)"

[‘CPU’, ‘GPU’, ‘NPU’]

下载和运行示例代码#

git clone https://github.com/openvinotoolkit/openvino_notebooks

在 Windows 上安装环境：openvinotoolkit/openvino_notebooks

将示例代码中运行实例的载体改为 NPU：

device = widgets.Dropdown(
    options=core.available_devices + ["AUTO"],
    value='NPU',  # 改为 NPU 既可使用 NPU 资源
    description='Device:',
    disabled=False,
)

观察实验结果#

../_images/npu_intel.png
Contents