cublas cudnn优化笔记

前言cublas 常用API

数据格式cublasGemmEx & cublasLtMatmul cuDNN 常用API

cudnnConvolutionForward

cublas。
官方指南：https://docs.nvidia.com/cuda/cublas/
头文件 cublas_v2.h
官方例子：https://github.com/NVIDIA/CUDALibrarySamples/

cuDNN。
cuDNN官方指南：https://docs.nvidia.com/deeplearning/cudnn/developer-guide/index.html
入门例子：http://www.goldsborough.me/cuda/ml/cudnn/c++/2017/10/01/14-37-23-convolutions_with_cudnn/ (API已过时，看个思路就好)

cuBLAS library uses column-major storage, and 1-based indexing.
c++ 对接cublas需要把二维数组转置。一般c++的矩阵都是 0-based indexing，也就是row-major storage。可以用Sgeam的api，m * n 的矩阵，转置。

cublasSgeam(cublas_handle, CUBLAS_OP_T, CUBLAS_OP_N, m, n, &alpha, in_addr, n, &beta, out_addr, m, out_addr, m)

但是，如果后面的操作带cublasOperation_t的对输入的操作的话，不用单独先转置。
比如，可以直接调用matmul：

const int lda = k;
const int ldb = n;
const int ldc = m;
cublasGemmEx(cublas_handle, CUBLAS_OP_T, CUBLAS_OP_T, m, n, k, &alpha, a_addr, type_a, lda, b_addr, type_b, ldb, &beta, c_addr, type_c, ldc, type_compute, CUBLAS_GEMM_DEFAULT_TENSOR_OP))

测下来什么都默认的情况，这俩性能差不错，所以用简单的cublasGemmEx。输入是fp32的数据，cublasComputeType_t 设置为CUBLAS_COMPUTE_32F_FAST_16F有将近50%的性能提升，精度差别也只是从0.01%降到0.1%。alpha和beta的数据类型需要跟input一样。CublasGemmAlgo_t 用 CUBLAS_GEMM_DEFAULT_TENSOR_OP。

cudnnConvolutionForward API

构图阶段可以做的一次性操作

// kernel_descriptor_ 和convolution_descriptor_ 可以重复使用，对于动态batchsize的算子，这俩永远固定的
CUDNN_CHECK(cudnnCreateFilterDescriptor(&kernel_descriptor_));
CUDNN_CHECK(cudnnSetFilter4dDescriptor(kernel_descriptor_, CUDNN_DATA_FLOAT, CUDNN_TENSOR_NHWC, n, k, h, w));

CUDNN_CHECK(cudnnCreateConvolutionDescriptor(&convolution_descriptor_));
CUDNN_CHECK(cudnnSetConvolution2dDescriptor(convolution_descriptor_, pad_h, pad_w, u, v, dilation_h, dilation_w, CUDNN_CONVOLUTION, CUDNN_DATA_FLOAT));

runtime的操作

// 因为动态batchsize，只有runtime才能知道具体的dim信息，需要重新set descriptor
cudnnTensorDescriptor_t runtime_input_descriptor{nullptr};
cudnnTensorDescriptor_t runtime_output_descriptor{nullptr};
CUDNN_CHECK(cudnnCreateTensorDescriptor(&runtime_input_descriptor));
CUDNN_CHECK(cudnnCreateTensorDescriptor(&runtime_output_descriptor));
CUDNN_CHECK(
  cudnnSetTensor4dDescriptor(runtime_input_descriptor, CUDNN_TENSOR_NHWC, CUDNN_DATA_FLOAT, n, c, h, w));
CUDNN_CHECK(
  cudnnSetTensor4dDescriptor(runtime_output_descriptor, CUDNN_TENSOR_NHWC, CUDNN_DATA_FLOAT, n, c, h, w));
int returned_algo_count = 0;
// 1是因为只取最优的算法即可
CUDNN_CHECK(cudnnGetConvolutionForwardAlgorithm_v7(cudnn_handle_, runtime_input_descriptor, kernel_descriptor_,
                                                   convolution_descriptor_, runtime_output_descriptor, 1,
                                                   &returned_algo_count, cudnn_algos_));
// cudnn_algos_[0].memory 最优算法需要的workspace
// cudnn_algos_[0].alog 最优算法