3. 构建 JIT：每个函数的延迟编译¶

本教程尚在开发中。它不完整，细节可能会频繁更改。 尽管如此，我们还是邀请您尝试现有的内容，并欢迎任何反馈。

3.1. 第 3 章简介 ¶

警告：由于 ORC API 更新，此文本目前已过时。

示例代码已更新，可以使用。API 变化稳定后，文本将进行更新。

欢迎来到“在 LLVM 中构建基于 ORC 的 JIT”教程的第 3 章。本章讨论延迟 JIT，并向您展示如何通过向第 2 章中的 JIT 添加 ORC CompileOnDemand 层来启用它。

当我们将模块添加到第 2 章中的 KaleidoscopeJIT 类时，IRTransformLayer、IRCompileLayer 和 RTDyldObjectLinkingLayer 分别会立即为我们优化、编译和链接它。这种方案，即预先完成使模块可执行的所有工作，易于理解，其性能特征也易于推断。但是，如果要编译的代码量很大，它会导致非常高的启动时间，并且如果在运行时仅调用了少数编译后的函数，它也可能会进行大量不必要的编译。真正的“即时”编译器应该允许我们将任何给定函数的编译延迟到第一次调用该函数的那一刻，从而改善启动时间并消除冗余工作。事实上，ORC API 为我们提供了一个层来延迟编译 LLVM IR：CompileOnDemandLayer。

CompileOnDemandLayer 类符合第 2 章中描述的层接口，但其 addModule 方法的行为与我们迄今为止看到的层大不相同：它不是预先执行任何工作，而是仅仅扫描正在添加的模块，并安排在第一次调用模块中的每个函数时编译它们。为此，CompileOnDemandLayer 为其扫描的每个函数创建了两个小实用程序：一个存根和一个编译回调。存根是一对函数指针（一旦编译该函数，它将指向该函数的实现）和通过该指针的间接跳转。通过在程序的生命周期内修复间接跳转的地址，我们可以为函数提供一个永久的“有效地址”，即使从未编译该函数的实现，或者如果由于例如在更高的优化级别重新编译函数而多次编译该函数并更改了地址，该地址也可以安全地用于间接寻址和函数指针比较。第二个实用程序，编译回调，表示从程序重新进入编译器的入口点，这将触发编译，然后执行函数。通过初始化函数的存根以指向函数的编译回调，我们启用了延迟编译：第一次尝试调用该函数将遵循函数指针并触发编译回调。编译回调将编译函数，更新存根的函数指针，然后执行函数。在随后对该函数的所有调用中，函数指针将指向已编译的函数，因此编译器不会产生进一步的开销。我们将在本教程的下一章中更详细地介绍此过程，但现在我们将信任 CompileOnDemandLayer 为我们设置所有存根和回调。我们只需将 CompileOnDemandLayer 添加到堆栈的顶部，我们就可以获得延迟编译的好处。我们只需要对源代码进行一些更改。

...
#include "llvm/ExecutionEngine/SectionMemoryManager.h"
#include "llvm/ExecutionEngine/Orc/CompileOnDemandLayer.h"
#include "llvm/ExecutionEngine/Orc/CompileUtils.h"
...

...
class KaleidoscopeJIT {
private:
  std::unique_ptr<TargetMachine> TM;
  const DataLayout DL;
  RTDyldObjectLinkingLayer ObjectLayer;
  IRCompileLayer<decltype(ObjectLayer), SimpleCompiler> CompileLayer;

  using OptimizeFunction =
      std::function<std::shared_ptr<Module>(std::shared_ptr<Module>)>;

  IRTransformLayer<decltype(CompileLayer), OptimizeFunction> OptimizeLayer;

  std::unique_ptr<JITCompileCallbackManager> CompileCallbackManager;
  CompileOnDemandLayer<decltype(OptimizeLayer)> CODLayer;

public:
  using ModuleHandle = decltype(CODLayer)::ModuleHandleT;

首先，我们需要包含 CompileOnDemandLayer.h 头文件，然后向我们的类添加两个新成员：一个 std::unique_ptr<JITCompileCallbackManager> 和一个 CompileOnDemandLayer。CompileCallbackManager 成员由 CompileOnDemandLayer 用于创建每个函数所需的编译回调。

KaleidoscopeJIT()
    : TM(EngineBuilder().selectTarget()), DL(TM->createDataLayout()),
      ObjectLayer([]() { return std::make_shared<SectionMemoryManager>(); }),
      CompileLayer(ObjectLayer, SimpleCompiler(*TM)),
      OptimizeLayer(CompileLayer,
                    [this](std::shared_ptr<Module> M) {
                      return optimizeModule(std::move(M));
                    }),
      CompileCallbackManager(
          orc::createLocalCompileCallbackManager(TM->getTargetTriple(), 0)),
      CODLayer(OptimizeLayer,
               [this](Function &F) { return std::set<Function*>({&F}); },
               *CompileCallbackManager,
               orc::createLocalIndirectStubsManagerBuilder(
                 TM->getTargetTriple())) {
  llvm::sys::DynamicLibrary::LoadLibraryPermanently(nullptr);
}

接下来，我们必须更新我们的构造函数以初始化新成员。要创建合适的编译回调管理器，我们使用 createLocalCompileCallbackManager 函数，该函数接受一个 TargetMachine 和一个 ExecutorAddr，如果收到编译未知函数的请求，则调用该函数。在我们的简单 JIT 中，这种情况不太可能发生，因此我们将作弊并在此处传递“0”。在生产质量的 JIT 中，您可以提供一个函数的地址，该函数会抛出异常以展开 JIT 代码的堆栈。

现在我们可以构建我们的 CompileOnDemandLayer 了。遵循先前层的模式，我们首先传递对堆栈中下一层的引用——OptimizeLayer。接下来，我们需要提供一个“分区函数”：当调用尚未编译的函数时，CompileOnDemandLayer 将调用此函数以询问我们希望编译什么。至少我们需要编译被调用的函数（由分区函数的参数给出），但我们还可以请求 CompileOnDemandLayer 编译从被调用的函数无条件调用（或很可能被调用）的其他函数。对于 KaleidoscopeJIT，我们将保持简单，只请求编译被调用的函数。接下来，我们传递对 CompileCallbackManager 的引用。最后，我们需要提供一个“间接存根管理器构建器”：一个构建 IndirectStubManagers 的实用程序函数，IndirectStubManagers 又用于为每个模块中的函数构建存根。CompileOnDemandLayer 将在每次调用 addModule 时调用一次间接存根管理器构建器，并使用生成的间接存根管理器为集合中所有模块中的所有函数创建存根。如果/何时从 JIT 中删除模块集，则将删除间接存根管理器，释放分配给存根的任何内存。我们通过使用 createLocalIndirectStubsManagerBuilder 实用程序来提供此函数。

// ...
        if (auto Sym = CODLayer.findSymbol(Name, false))
// ...
return cantFail(CODLayer.addModule(std::move(Ms),
                                   std::move(Resolver)));
// ...

// ...
return CODLayer.findSymbol(MangledNameStream.str(), true);
// ...

// ...
CODLayer.removeModule(H);
// ...

最后，我们需要替换 addModule、findSymbol 和 removeModule 方法中对 OptimizeLayer 的引用。有了这些，我们就启动并运行了。

待完成

**章节结论。**

3.3. 完整代码清单 ¶

以下是我们正在运行的示例的完整代码清单，其中添加了 CompileOnDemand 层以启用每个函数的延迟编译。要构建此示例，请使用

# Compile
clang++ -g toy.cpp `llvm-config --cxxflags --ldflags --system-libs --libs core orcjit native` -O3 -o toy
# Run
./toy

以下是代码

//===- KaleidoscopeJIT.h - A simple JIT for Kaleidoscope --------*- C++ -*-===//
//
// Part of the LLVM Project, under the Apache License v2.0 with LLVM Exceptions.
// See https://llvm.net.cn/LICENSE.txt for license information.
// SPDX-License-Identifier: Apache-2.0 WITH LLVM-exception
//
//===----------------------------------------------------------------------===//
//
// Contains a simple JIT definition for use in the kaleidoscope tutorials.
//
//===----------------------------------------------------------------------===//

#ifndef LLVM_EXECUTIONENGINE_ORC_KALEIDOSCOPEJIT_H
#define LLVM_EXECUTIONENGINE_ORC_KALEIDOSCOPEJIT_H

#include "llvm/ADT/StringRef.h"
#include "llvm/ExecutionEngine/Orc/CompileOnDemandLayer.h"
#include "llvm/ExecutionEngine/Orc/CompileUtils.h"
#include "llvm/ExecutionEngine/Orc/Core.h"
#include "llvm/ExecutionEngine/Orc/EPCIndirectionUtils.h"
#include "llvm/ExecutionEngine/Orc/ExecutionUtils.h"
#include "llvm/ExecutionEngine/Orc/ExecutorProcessControl.h"
#include "llvm/ExecutionEngine/Orc/IRCompileLayer.h"
#include "llvm/ExecutionEngine/Orc/IRTransformLayer.h"
#include "llvm/ExecutionEngine/Orc/JITTargetMachineBuilder.h"
#include "llvm/ExecutionEngine/Orc/RTDyldObjectLinkingLayer.h"
#include "llvm/ExecutionEngine/Orc/Shared/ExecutorSymbolDef.h"
#include "llvm/ExecutionEngine/SectionMemoryManager.h"
#include "llvm/IR/DataLayout.h"
#include "llvm/IR/LLVMContext.h"
#include "llvm/IR/LegacyPassManager.h"
#include "llvm/Transforms/InstCombine/InstCombine.h"
#include "llvm/Transforms/Scalar.h"
#include "llvm/Transforms/Scalar/GVN.h"
#include <memory>

namespace llvm {
namespace orc {

class KaleidoscopeJIT {
private:
  std::unique_ptr<ExecutionSession> ES;
  std::unique_ptr<EPCIndirectionUtils> EPCIU;

  DataLayout DL;
  MangleAndInterner Mangle;

  RTDyldObjectLinkingLayer ObjectLayer;
  IRCompileLayer CompileLayer;
  IRTransformLayer OptimizeLayer;
  CompileOnDemandLayer CODLayer;

  JITDylib &MainJD;

  static void handleLazyCallThroughError() {
    errs() << "LazyCallThrough error: Could not find function body";
    exit(1);
  }

public:
  KaleidoscopeJIT(std::unique_ptr<ExecutionSession> ES,
                  std::unique_ptr<EPCIndirectionUtils> EPCIU,
                  JITTargetMachineBuilder JTMB, DataLayout DL)
      : ES(std::move(ES)), EPCIU(std::move(EPCIU)), DL(std::move(DL)),
        Mangle(*this->ES, this->DL),
        ObjectLayer(*this->ES,
                    []() { return std::make_unique<SectionMemoryManager>(); }),
        CompileLayer(*this->ES, ObjectLayer,
                     std::make_unique<ConcurrentIRCompiler>(std::move(JTMB))),
        OptimizeLayer(*this->ES, CompileLayer, optimizeModule),
        CODLayer(*this->ES, OptimizeLayer,
                 this->EPCIU->getLazyCallThroughManager(),
                 [this] { return this->EPCIU->createIndirectStubsManager(); }),
        MainJD(this->ES->createBareJITDylib("<main>")) {
    MainJD.addGenerator(
        cantFail(DynamicLibrarySearchGenerator::GetForCurrentProcess(
            DL.getGlobalPrefix())));
  }

  ~KaleidoscopeJIT() {
    if (auto Err = ES->endSession())
      ES->reportError(std::move(Err));
    if (auto Err = EPCIU->cleanup())
      ES->reportError(std::move(Err));
  }

  static Expected<std::unique_ptr<KaleidoscopeJIT>> Create() {
    auto EPC = SelfExecutorProcessControl::Create();
    if (!EPC)
      return EPC.takeError();

    auto ES = std::make_unique<ExecutionSession>(std::move(*EPC));

    auto EPCIU = EPCIndirectionUtils::Create(*ES);
    if (!EPCIU)
      return EPCIU.takeError();

    (*EPCIU)->createLazyCallThroughManager(
        *ES, ExecutorAddr::fromPtr(&handleLazyCallThroughError));

    if (auto Err = setUpInProcessLCTMReentryViaEPCIU(**EPCIU))
      return std::move(Err);

    JITTargetMachineBuilder JTMB(
        ES->getExecutorProcessControl().getTargetTriple());

    auto DL = JTMB.getDefaultDataLayoutForTarget();
    if (!DL)
      return DL.takeError();

    return std::make_unique<KaleidoscopeJIT>(std::move(ES), std::move(*EPCIU),
                                             std::move(JTMB), std::move(*DL));
  }

  const DataLayout &getDataLayout() const { return DL; }

  JITDylib &getMainJITDylib() { return MainJD; }

  Error addModule(ThreadSafeModule TSM, ResourceTrackerSP RT = nullptr) {
    if (!RT)
      RT = MainJD.getDefaultResourceTracker();

    return CODLayer.add(RT, std::move(TSM));
  }

  Expected<ExecutorSymbolDef> lookup(StringRef Name) {
    return ES->lookup({&MainJD}, Mangle(Name.str()));
  }

private:
  static Expected<ThreadSafeModule>
  optimizeModule(ThreadSafeModule TSM, const MaterializationResponsibility &R) {
    TSM.withModuleDo([](Module &M) {
      // Create a function pass manager.
      auto FPM = std::make_unique<legacy::FunctionPassManager>(&M);

      // Add some optimizations.
      FPM->add(createInstructionCombiningPass());
      FPM->add(createReassociatePass());
      FPM->add(createGVNPass());
      FPM->add(createCFGSimplificationPass());
      FPM->doInitialization();

      // Run the optimizations over all functions in the module being added to
      // the JIT.
      for (auto &F : M)
        FPM->run(F);
    });

    return std::move(TSM);
  }
};

} // end namespace orc
} // end namespace llvm

#endif // LLVM_EXECUTIONENGINE_ORC_KALEIDOSCOPEJIT_H

下一章：极端延迟 - 使用编译回调直接从 AST 进行 JIT

文档

参与贡献

其他链接

此页面

3. 构建 JIT：每个函数的延迟编译¶

3.1. 第 3 章简介 ¶

3.2. 延迟编译 ¶

3.3. 完整代码清单 ¶

3. 构建 JIT：每个函数的延迟编译¶

3.1. 第 3 章 简介¶

3.2. 延迟编译¶

3.3. 完整代码清单¶

3.1. 第 3 章简介 ¶

3.2. 延迟编译 ¶

3.3. 完整代码清单 ¶