R语言--并行计算(parallel、foreach包)

​R语言是单核计算语言，在数据建模或计算过程中，常常出现相同或相似任务的重复计算，一般操作是for循环处理或采用apply族函数处理，为了更快完成计算，采用并行计算是更优的选择。

本文采用R语言中的parallel包与foreach包实现并行计算，并针对单变量并行和多变量并行计算这两个常用场景做了函数封装。

0.环境&软件

• win10 64bit

• R 3.6.1

   

1.安装包

install.packages("foreach")install.packages("parallel")install.packages("doParallel")

2.单变量并行

单变量并行计算，是最常见的应用场景，函数的动态参数只有一个，对动态参数进行遍历计算。采用parallel包实现。

# 单变量并行计算single_parallel <- function(func,iterable,...){  "  :param func:被并行函数  :param iteralbe:func的1个动态参数(vector、list)  :param ...:func的静态参数  :return list,与iterable等长  "  #1.加载包  library(parallel)  #2.计算计算机内核数  cores <- detectCores(logical = FALSE)  #3.打开并行计算  cl <- makeCluster(cores)  #4.给每个单独内核传递变量，函数等  clusterExport(cl,deparse(substitute(func)))  #5.开始并行计算（用法与sapply类似）  result <- parSapply(cl,iterable,func,...)  #6.关闭并行计算  stopCluster(cl)  return(result)}

其中，第4步比较重要，表示向每个进程的R session传入被并行遍历和一些全局变量。

3.多变量并行

多变量并行，是另一个常见的应用场景，是单变量并行的一个拓展，可以理解为mapply函数的并行版本，多变量并行允许传入多个动态参数，采用foreach包实现。

# 多变量并行计算multi_parallel <- function(func,...,MoreArgs=NULL){  "  :param func:被并行函数  :param ...:func的多个动态参数  :param MoreArgs:func的静态参数(list)  :return list  "  # 加载包  library(foreach)  library(doParallel)  library(parallel)  # 内核数  cores <- detectCores(logical = FALSE)  # 打开  cl <- makeCluster(cores)  # 注册  registerDoParallel(cl)  # 并行计算  dots <- list(...)  # 动态参数list  result <- foreach(i=seq(length(dots))) %dopar%     do.call(func,c(lapply(dots,`[`,i),MoreArgs))  # 数据与参数组成list传入函数  # 关闭  stopCluster(cl)  return(result)}

4.结果展示

测试single_parallel和multi_parallel函数，代码以及结果如下。

# 单变量并行测试代码single_parallel(log,1:10)single_parallel(round,runif(10),digits=1)# 多变量并行测试代码multi_parallel(paste,c("a","b"),c("c","d"),MoreArgs = list(sep="_"))

结果：