介绍

WDL是一种流程管理语言，内置支持并行，适合编写pipeline，比我之前总结的python包toil相比，有很大的优势，比如若是部署在集群，toil包需要每个节点都安装，而WDL并不需要。

好处

切换为WDL流程描述，用Cromwell执行workflow有如下好处

1. 添加流程只需要用户上传一个WDL文件就可以。
2. 流程可以嵌套，复用。
3. 界面修改流程，编辑流程运行参数都比较简单。
4. 原有流程可以用一个成本很低的方式先切换为WDL表述，后面慢慢做流程内部task的拆解，使得复用更加方便。

学习WDL

学习wdl的一个很好读的文档：
https://support.terra.bio/hc/en-us/articles/360037117492-Getting-Started-with-WDL
官方文档详细说明：
https://github.com/openwdl/wdl/blob/master/versions/1.0/SPEC.md#scatter–gather

用一个真实例子来学习： https://support.terra.bio/hc/en-us/articles/360037127992?id=7158

完整定义： https://github.com/openwdl/wdl/blob/master/versions/1.0/SPEC.md

WDL用法

1. 任务调度
   scatter可以使任务并行运行

Array[file] inputFilessactter (oneFile in inputFiles) {call stepA {input: in=oneFile}}call stepB {input: files=stepA.out}

2. 工作流
   scatter-gatter 基本可以解决各种工作流需求
3. task运行python代码
   需要注意以下细节：
   a. 向command传变量方式
   b. 向command传数组，sep用法：将wdl的list按照分隔符拼接成字符串
   c. 如何接受command的变量值，这里print，然后read_string(stdout())

task get_parameters_group_simp {String? docker_userFile jsonFileArray[String] arraytestString? s_strString? d_strcommand <<<python <<CODEimport jsonimport osarraytest = "${sep="," arraytest}".split(",")with open("${jsonFile}") as f:group=json.load(f)print (group['Name'])CODE>>>output {File name= read_string(stdout())}runtime {docker: "python:3.8.1-buster"docker_user: docker_usermemory: "1G"cpu: "1"singularity_mount_str: s_strdocker_mount_str: d_str}
}

4. WDL里scatter接受的格式是list，如何让它接受dict

在这里用到Pair

workflow test{File Sample String OUTPUTDIR  #must be absolute pathArray[Pair[String,String]] call_processcall process1 {input: jsonFile=Sample }call pre_process {input: file1=process1 .file1, file2=process1 .file2,  outputdir=OUTPUTDIR}scatter (pro in call_process) {call test_process{input: file1=pre_process.prefile1,file2=pre_process.prefile2, process=pro.right, outputdir=OUTPUTDIR, name=pro.left}}
}

此时json是

{"_comment": "绝对路径输出目录","test.OUTPUTDIR": "xxx/xxx/output","test.call_process": [{"Left":"1", "Right":"hahaha"},{"Left":"2", "Right":"tttt"}],"test.Sample": "xxx/Group_Sample.json",
}

6. 获取指令运行结果
   如上方的在python中print 文件名，在output里read_string(stdout())可以读取到。
   有个问题，目前调用docker，read_string(stdout())的时候会把结果打印2遍

Cromwell的最简单用法

下载
下载2个jar包，womtool-48.jar cromwell-48.jar
验证wdl文件是否有语法错误

$ java -jar womtool-48.jar validate hw.wdl
Success!

得到输入json文件

$ java -jar womtool-48.jar inputs hw.wdl
{"test.hello.name": "String"
}

直接运行

java -jar cromwell-48.jar run hw.wdl -i hw.json

1. 下载cromwell： https://github.com/broadinstitute/cromwell/releases
2. hw.wdl 和 hw.json

$ cat hw.wdl
task hello {String namecommand {echo 'Hello ${name}!'}output {File response = stdout()}
}workflow test {call hello
}$ cat hw.json
{"test.hello.name": "World"
}

如果想用slurm调度作业，并且执行docker包装的流程，可以这样：

java -Dconfig.file=./slurm_singularity.conf  -jar cromwell-48.jar run hw_docker.wdl -i hw.json -m jw.logs.json

输出jw.logs.json是作业的最终统计信息，包含运行时间，运行是否成功等等。
配置文件slurm_singularity.conf附在文末。

Cromwell的Server模式

Cromwell每次运行都会在内存里准备一个数据库来记录任务运行情况，比较费内存。使用server会更好一点，还可以用API访问作业。
Server模式下好处是可以方便的检查作业状态、可以杀掉作业、查看作业运行时间等。

启动server模式：

java -Dconfig.file=./slurm_singularity.conf  -jar cromwell-48.jar server

这个配置文件可以将docker作业在slurm上投递。这个配置文件在文末可以找到。

启动后，可以这样使用 （使用说明： https://github.com/teamcgc/cromwell#rest-api）

#验证Workflow的WDL描述文件是否有语法错误
curl http://localhost:8080/api/womtool/v1/describe -F workflowSource=@hw_docker.wdl
{"valid":true,"errors":[],"validWorkflow":true,"name":"test","inputs":[{"name":"hello.name","valueType":{"typeName":"String"},"typeDisplayName":"String","optional":false,"default":null}],"outputs":[{"name":"hello.response","valueType":{"typeName":"File"},"typeDisplayName":"File"}],"images":["\"ubuntu:latest\""],"submittedDescriptorType":{"descriptorType":"WDL","descriptorTypeVersion":"draft-2"},"importedDescriptorTypes":[],"meta":{},"parameterMeta":{},"isRunnableWorkflow":true}

API使用

#递交一个作业
curl http://localhost:8080/api/workflows/v1 -F workflowSource=@hw_docker.wdl -F workflowInputs=@hw.json
{"id":"8c1c83a9-8ea1-4daa-befb-9d4d6adff698","status":"Submitted"}#查询作业状态
curl http://localhost:8080/api/workflows/v1/8c1c83a9-8ea1-4daa-befb-9d4d6adff698/status
{"status":"Succeeded","id":"8c1c83a9-8ea1-4daa-befb-9d4d6adff698"}#查询作业输出文件
curl http://localhost:8080/api/workflows/v1/8c1c83a9-8ea1-4daa-befb-9d4d6adff698/outputs
{"outputs":{"test.hello.response":"/disk/SERVER/testing/cromwell/cromwell-executions/test/8c1c83a9-8ea1-4daa-befb-9d4d6adff698/call-hello/execution/stdout"},"id":"8c1c83a9-8ea1-4daa-befb-9d4d6adff698"}#查询作业log
curl http://localhost:8080/api/workflows/v1/8c1c83a9-8ea1-4daa-befb-9d4d6adff698/logs
{"calls":{"test.hello":[{"stderr":"/disk/SERVER/testing/cromwell/cromwell-executions/test/8c1c83a9-8ea1-4daa-befb-9d4d6adff698/call-hello/execution/stderr","stdout":"/disk/SERVER/testing/cromwell/cromwell-executions/test/8c1c83a9-8ea1-4daa-befb-9d4d6adff698/call-hello/execution/stdout","attempt":1,"shardIndex":-1}]},"id":"8c1c83a9-8ea1-4daa-befb-9d4d6adff698"}#停止一个作业
curl http://localhost:8080/api/workflows/v1/42c199ae-2125-412e-96df-ac9652d101b0/abort -X POST

还可以用浏览器看运行时间 http://192.168.10.32:8080/api/workflows/v1/721e39ce-7760-428e-9ad2-51a5cc083854/timing

投递作业的客户端

除了API请求之外，还可以使用Oliver
https://cromwell.readthedocs.io/en/stable/Ecosystem/

配置文件

$ cat slurm_singularity.conf#这第一部分是为了服务器模式的设置，单独运行不需要
webservice {port = 8080
}
#这部分是slurm调度的部分
backend {default = slurmproviders {slurm {actor-factory = "cromwell.backend.impl.sfs.config.ConfigBackendLifecycleActorFactory"config {runtime-attributes = """Int runtime_minutes = 600Int cpus = 2Int requested_memory_mb_per_core = 8000String? docker"""submit = """sbatch \--wait \-J ${job_name} \-D ${cwd} \-o ${out} \-e ${err} \-t ${runtime_minutes} \${"-c " + cpus} \--mem-per-cpu=${requested_memory_mb_per_core} \--wrap "/bin/bash ${script}""""submit-docker = """# Ensure singularity is loaded if it's installed as a modulemodule load Singularity/3.0.1# Build the Docker image into a singularity imageDOCKER_NAME=$(sed -e 's/[^A-Za-z0-9._-]/_/g' <<< ${docker})IMAGE=${cwd}/$DOCKER_NAME.sifif [ ! -f $IMAGE ]; thensingularity pull $IMAGE docker://${docker}fi# Submit the script to SLURMsbatch \--wait \-J ${job_name} \-D ${cwd} \-o ${cwd}/execution/stdout \-e ${cwd}/execution/stderr \-t ${runtime_minutes} \${"-c " + cpus} \--mem-per-cpu=${requested_memory_mb_per_core} \--wrap "singularity exec --bind ${cwd}:${docker_cwd} $IMAGE ${job_shell} ${script}"# --wrap "singularity exec --userns --bind ${cwd}:${docker_cwd} $IMAGE ${job_shell} ${script}"# 这里，如果是IGC环境可以考虑让--bind的目录增加/DATA,  /disk 还有 /var/www/ivd. 这样任何文件应该都可以在docker里正常找到"""kill = "scancel ${job_id}"check-alive = "squeue -j ${job_id}"job-id-regex = "Submitted batch job (\\d+).*"}}}
}

单独运行Cromwell，会在内存离创建一个sqldb，比较消耗内存，而且会随着作业越来越多，消耗更多内存。为了解决这个问题，需要给Cromwell配一个MySQL服务。
配置文件增加

database {profile = "slick.jdbc.MySQLProfile$"db {driver = "com.mysql.cj.jdbc.Driver"url = "jdbc:mysql://localhost/cromwell_db?rewriteBatchedStatements=true&useSSL=false"user = "cromwell_user"password = "cromwell_pass"connectionTimeout = 5000}
}

docker-compose 里加上

ersion: '2'
services:cromwell_mysql:image: mariadb:10.4.6-bionicenvironment:- MYSQL_RANDOM_ROOT_PASSWORD=yes- MYSQL_DATABASE=cromwell_db- MYSQL_USER=cromwell_user- MYSQL_PASSWORD=cromwell_passvolumes:- ./cromwell_data:/var/lib/mysqlports:- "3306:3306"