MLIR toy笔记

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

• 前言
• Toy 指南
• • 一、Toy 和 AST（抽象语法树）
  • 二、Basic MLIR
  • • Toy Dialect
    • Toy Operations
  • 三、Transformation（High-level）
  • 四、Transformation（Generic）
  • • inlining
  • 五、
• 概念
• • Dialect
  • Operations

官方指南：https://mlir.llvm.org/docs/Tutorials/Toy

• 用dialect多层逐级向下抽象lowing，多层语义统一

AST结构：

Model:
	Function
		Proto 'name' @path.toy:row:col'
		Params: [param1]
		Block {
			Return
			VarDecl
		}

从Toy语言到AST的parser可以参考llvm的https://llvm.org/docs/tutorial/MyFirstLanguageFrontend/LangImpl02.html

• Dialects: attribute相关的定义，在不同的namespace中表示，图中可以混合多个Dialect定义，分级lowing。
• Operations: instructions, globals (like functions), modules

在toy Dialect中的transpose operation集成方式：

%t_tensor = "toy.transpose"(%tensor) {inplace = true} : (tensor<2x3xf64>) -> tensor<3x2xf64> loc("example/file/path":12:1)

其中一个operation需要包含的概念：

• name（toy.transpose）
• SSA计算值（返回值%t_tensor，输入%tensor）
• 属性（inplace = true）
• result type（-> tensor<3x2xf64> ）
• 源码位置（loc(“example/file/path”:12:1)）
• successors blocks (for branches, mostly)
• regions (for structural operations like functions)

• c++ 继承,class ToyDialect : public mlir::Dialect
• TableGen，在ODS框架里定义，def Toy_Dialect : Dialect，https://llvm.org/docs/TableGen/ProgRef.html

加载自定义dialect： context.loadDialect();
内置的dialect：https://mlir.llvm.org/docs/Dialects/Builtin/

1. c++ 模板
   自定义的op继承mlir::Op，基类是一个CRTP（奇异递归模板模式），class ToyXXOp : public mlir::Op。Trait可以有很多，描述op属性。
   注册：

   void ToyDialect::initialize() {
     addOperations();
   }
   

   • Operation：真实数据存储在reference里，需要传递值
   • Op：基类，wrapper (*operation) 的智能指针

   mlir::Operation *operation;
   ToyXXOp op = llvm::dyn_cast(operation);
   mlir::Operation *internalOperation = op.getOperation(); // 获取op里面wrapper的operation
   

2. ODS Framework
   Operation Definition Specification：https://mlir.llvm.org/docs/OpDefinitions/
   编译阶段自动由TableGen生成，继承自Op类。
   Toy Dialect的基类op定义为class Toy_Op traits = []> :Op;
   Toy里自定义的op为：

   def ToyXXOp : Toy_Op<"XX"> {
   	let arguments = (ins F64ElementsAttr:$value);
   	let results = (outs F64Tensor);
   	let hasVerifier = 1;
   	let builders = [
   		OpBuilder<(ins "double":$value)>
   	];
   }
   

在Toy Dialect高级语义基础上做 local pattern-match transformations。MLIR’s Generic DAG Rewriter：https://mlir.llvm.org/docs/PatternRewriter/

1. c++ pattern-match
   继承mlir::OpRewritePattern并重写matchAndRewrite。
   注册:

   // 在ToyXXOp的Canonicalization framework中
   void TransposeOp::getCanonicalizationPatterns(RewritePatternSet &results, MLIRContext *context) {
     results.add(context);
   }
   
   // 在主流程中，把optimization加到PassManager里
   mlir::PassManager pm(module.getContext());
   pm.addNestedPass(mlir::createCanonicalizerPass());
   

2. DRR
   https://mlir.llvm.org/docs/DeclarativeRewrites/
   只能用于通过ODS注册的op
   重写规则

   class Pattern resultPatterns,
   		list additionalConstraints = [],
   		dag benefitsAdded = (addBenefit 0)>;
   
   // 例子：Reshape(Reshape(x)) 替换为 Reshape(x)
   def ReshapeReshapeOptPattern : Pat<(ReshapeOp(ReshapeOp $arg)), (ReshapeOp $arg)>;
   
   // 带参数限制条件的pattern
   // 例子：reshape的输入和输出shape相同，为重复
   def TypesAreIdentical : Constraint>;
   def RedundantReshapeOptPattern : Pat<(ReshapeOp:$res $arg), (replaceWithValue $arg),
     [(TypesAreIdentical $res, $arg)]>; // additionalConstraints
   
   // 例子，pattern使用c++ func，常量reshape时做常亮折叠
   def ReshapeConstant : NativeCodeCall<"$0.reshape(($1.getType()).cast())">;
   def FoldConstantReshapeOptPattern : Pat<(ReshapeOp:$res (ConstantOp $arg)), // ReshapeOp 的输入是ConstantOp
     (ConstantOp (ReshapeConstant $arg, $res))>; // 保留用res的type创建的ConstantOp
   

   这种方式是针对Dialect的op维度的优化操作。

interfaces：https://mlir.llvm.org/docs/Interfaces/，可以用此方式，根据不同的Dialect写inline的function。

1. 在dialect里的op增加constraint，继承DialectInlinerInterface，并在Dialect的initialize时注册addInterfaces();。
2. 基于ODS注册callable的operation interface。

   def FuncOp : Toy_Op<"func", [DeclareOpInterfaceMethods]> { ... }
   def GenericCallOp : Toy_Op<"generic_call", [DeclareOpInterfaceMethods]> { ... }
   // DeclareOpInterfaceMethods 可以自动声明interface里面的method
   
   pm.addPass(mlir::createInlinerPass()); 
   

https://mlir.llvm.org/docs/LangRef/#dialects

https://mlir.llvm.org/docs/LangRef/#operations