网站框架的动态编译的实现原理

ZKWeb网站框架是一个自主开发的网页框架，实现了动态插件和自动编译功能。
ZKWeb把一个文件夹当成是一个插件，无需使用csproj或xproj等形式的项目文件管理，并且支持修改插件代码后自动重新编译加载。

下面将说明ZKWeb如何实现这个功能，您也可以参考下面的代码和流程在自己的项目中实现。
ZKWeb的开源协议是MIT，有需要的代码可以直接搬，不需要担心协议问题。

实现动态编译依赖的主要技术

编译: Roslyn Compiler
Roslyn是微软提供的开源的c# 6.0编译工具，可以通过Roslyn来支持自宿主编译功能。
要使用Roslyn可以安装nuget包Microsoft.CodeAnalysis.CSharp。
微软还提供了更简单的Microsoft.CodeAnalysis.CSharp.Scripting包，这个包只需简单几行就能实现c#的动态脚本。

加载dll: System.Runtime.Loader
在.Net Framework中动态加载一个dll程序集可以使用Assembly.LoadFile，但是在.Net Core中这个函数被移除了。
微软为.Net Core提供了一套全新的程序集管理机制，要求使用AssemblyLoadContext来加载程序集。
遗憾的是我还没有找到微软官方关于这方面的说明。

生成pdb: Microsoft.DiaSymReader.Native, Microsoft.DiaSymReader.PortablePdb
为了支持调试编译出来的程序集，还需要生成pdb调试文件。
在.Net Core中，Roslyn并不包含生成pdb的功能，还需要安装Microsoft.DiaSymReader.Native和Microsoft.DiaSymReader.PortablePdb才能支持生成pdb文件。
安装了这个包以后Roslyn会自动识别并使用。

实现动态编译插件系统的流程

在ZKWeb框架中，插件是一个文件夹，网站的配置文件中的插件列表就是文件夹的列表。
在网站启动时，会查找每个文件夹下的*.cs文件对比文件列表和修改时间是否与上次编译的不同，如果不同则重新编译该文件夹下的代码。
网站启动后，会监视*.cs和*.dll文件是否有变化，如果有变化则重新启动网站以重新编译。
ZKWeb的插件文件夹结构如下

  • 插件文件夹

    • bin：程序集文件夹

      • net: .Net Framework编译的程序集

        • 插件名称.dll: 编译出来的程序集
        • 插件名称.pdb: 调试文件
        • CompileInfo.txt: 储存了文件列表和修改时间
      • netstandard: .Net Core编译的程序集
        • 同net文件夹下的内容
    • src 源代码文件夹
    • static 静态文件的文件夹
    • 其他文件夹……

通过Roslyn编译代码文件到程序集dll

在网站启动时，插件管理器在得到插件文件夹列表后会使用Directory.EnumerateFiles递归查找该文件夹下的所有*.cs文件。
在得到这些代码文件路径后，我们就可以传给Roslyn让它编译出dll程序集。
ZKWeb调用Roslyn编译的完整代码可以查看这里，下面说明编译的流程：

首先调用CSharpSyntaxTree.ParseText来解析代码列表到语法树列表，我们可以从源代码列表得出List<SyntaxTree>。
parseOptions是解析选项，ZKWeb会在.Net Core编译时定义NETCORE标记，这样插件代码中可以使用#if NETCORE来定义.Net Core专用的处理。
path是文件路径，必须传入文件路径才能调试生成出来的程序集，否则即使生成了pdb也不能捕捉断点。

// Parse source files into syntax trees
// Also define NETCORE for .Net Core
var parseOptions = CSharpParseOptions.Default;
#if NETCORE
parseOptions = parseOptions.WithPreprocessorSymbols("NETCORE");
#endif
var syntaxTrees = sourceFiles
    .Select(path => CSharpSyntaxTree.ParseText(
        File.ReadAllText(path), parseOptions, path, Encoding.UTF8))
.ToList();

接下来需要分析代码中的using来找出代码依赖了哪些程序集，并逐一载入这些程序集。
例如遇到using System.Threading;会尝试载入System和System.Threading程序集。

// Find all using directive and load the namespace as assembly
// It‘s for resolve assembly dependencies of plugin
LoadAssembliesFromUsings(syntaxTrees);

LoadAssembliesFromUsings的代码如下，虽然比较长但是逻辑并不复杂。
关于IAssemblyLoader将在后面阐述，这里只需要知道它可以按名称载入程序集。

/// <summary>
/// Find all using directive
/// And try to load the namespace as assembly
/// </summary>
/// <param name="syntaxTrees">Syntax trees</param>
protected void LoadAssembliesFromUsings(IList<SyntaxTree> syntaxTrees) {
    // Find all using directive
    var assemblyLoader = Application.Ioc.Resolve<IAssemblyLoader>();
    foreach (var tree in syntaxTrees) {
        foreach (var usingSyntax in ((CompilationUnitSyntax)tree.GetRoot()).Usings) {
            var name = usingSyntax.Name;
            var names = new List<string>();
            while (name != null) {
                // The type is "IdentifierNameSyntax" if it‘s single identifier
                // eg: System
                // The type is "QualifiedNameSyntax" if it‘s contains more than one identifier
                // eg: System.Threading
                if (name is QualifiedNameSyntax) {
                    var qualifiedName = (QualifiedNameSyntax)name;
                    var identifierName = (IdentifierNameSyntax)qualifiedName.Right;
                    names.Add(identifierName.Identifier.Text);
                    name = qualifiedName.Left;
                } else if (name is IdentifierNameSyntax) {
                    var identifierName = (IdentifierNameSyntax)name;
                    names.Add(identifierName.Identifier.Text);
                    name = null;
                }
            }
            if (names.Contains("src")) {
                // Ignore if it looks like a namespace from plugin
                continue;
            }
            names.Reverse();
            for (int c = 1; c <= names.Count; ++c) {
                // Try to load the namespace as assembly
                // eg: will try "System" and "System.Threading" from "System.Threading"
                var usingName = string.Join(".", names.Take(c));
                if (LoadedNamespaces.Contains(usingName)) {
                    continue;
                }
                try {
                    assemblyLoader.Load(usingName);
                } catch {
                }
                LoadedNamespaces.Add(usingName);
            }
        }
    }
}

经过上面这一步后，代码依赖的所有程序集应该都载入到当前进程中了，
我们需要找出这些程序集并且传给Roslyn，在编译代码时引用这些程序集文件。
下面的代码生成了一个List<PortableExecutableReference>对象。

// Add loaded assemblies to compile references
var assemblyLoader = Application.Ioc.Resolve<IAssemblyLoader>();
var references = assemblyLoader.GetLoadedAssemblies()
    .Select(assembly => assembly.Location)
    .Select(path => MetadataReference.CreateFromFile(path))
    .ToList();

构建编译选项
这里需要调用微软非公开的函数WithTopLevelBinderFlags来设置IgnoreCorLibraryDuplicatedTypes。
这个标志让Roslyn可以忽略System.Runtime.Extensions和System.Private.CoreLib中重复的类型。
如果需要让Roslyn正常工作在windows和linux上，必须设置这个标志，具体可以看https://github.com/dotnet/roslyn/issues/13267。
Roslyn Scripting默认会使用这个标志，操蛋的微软

// Create compilation options and set IgnoreCorLibraryDuplicatedTypes flag
// To avoid error like The type ‘Path‘ exists in both
// ‘System.Runtime.Extensions, Version=4.1.0.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a‘
// and
// ‘System.Private.CoreLib, Version=4.0.0.0, Culture=neutral, PublicKeyToken=7cec85d7bea7798e
var compilationOptions = new CSharpCompilationOptions(
    OutputKind.DynamicallyLinkedLibrary,
    optimizationLevel: optimizationLevel);
var withTopLevelBinderFlagsMethod = compilationOptions.GetType()
    .FastGetMethod("WithTopLevelBinderFlags", BindingFlags.Instance | BindingFlags.NonPublic);
var binderFlagsType = withTopLevelBinderFlagsMethod.GetParameters()[0].ParameterType;
compilationOptions = (CSharpCompilationOptions)withTopLevelBinderFlagsMethod.FastInvoke(
    compilationOptions,
    binderFlagsType.GetField("IgnoreCorLibraryDuplicatedTypes").GetValue(binderFlagsType));

最后调用Roslyn编译，传入语法树列表和引用程序集列表可以得到目标程序集。
使用Emit函数编译后会返回一个EmitResult对象，里面保存了编译中出现的错误和警告信息。
注意编译出错时Emit不会抛出例外，需要手动检查EmitResult中的Success属性。

// Compile to assembly, throw exception if error occurred
var compilation = CSharpCompilation.Create(assemblyName)
    .WithOptions(compilationOptions)
    .AddReferences(references)
    .AddSyntaxTrees(syntaxTrees);
var emitResult = compilation.Emit(assemblyPath, pdbPath);
if (!emitResult.Success) {
    throw new CompilationException(string.Join("\r\n",
        emitResult.Diagnostics.Where(d => d.WarningLevel == 0)));
}

到此已经完成了代码文件(cs)到程序集(dll)的编译，下面来看如何载入这个程序集。

载入程序集

在.Net Framework中，载入程序集文件非常简单，只需要调用Assembly.LoadFile。
在.Net Core中，载入程序集文件需要定义AssemblyLoadContext，并且所有相关的程序集都需要通过同一个Context来载入。
需要注意的是AssemblyLoadContext不能用在.Net Framework中，ZKWeb为了消除这个差异定义了IAssemblyLoader接口。
完整的代码可以查看
IAssemblyLoader
CoreAssemblyLoader
NetAssemblyLoader

.Net Framework的载入只是调用了Assembly中原来的函数，这里就不再说明了。
.Net Core使用的载入器定义了AssemblyLoadContext，代码如下：
代码中的plugin.ReferenceAssemblyPath指的是插件自带的第三方dll文件，用于载入插件依赖但是主项目中没有引用的dll文件。

/// <summary>
/// The context for loading assembly
/// </summary>
private class LoadContext : AssemblyLoadContext {
    protected override Assembly Load(AssemblyName assemblyName) {
        try {
            // Try load directly
            return Assembly.Load(assemblyName);
        } catch {
            // If failed, try to load it from plugin‘s reference directory
            var pluginManager = Application.Ioc.Resolve<PluginManager>();
            foreach (var plugin in pluginManager.Plugins) {
                var path = plugin.ReferenceAssemblyPath(assemblyName.Name);
                if (path != null) {
                    return LoadFromAssemblyPath(path);
                }
            }
            throw;
        }
    }
}

定义了LoadContext以后需要把这个类设为单例，载入时都通过这个Context来载入。
因为.Net Core目前无法获取到所有已载入的程序集，只能获取程序本身依赖的程序集列表，
这里还添加了一个ISet<Assembly> LoadedAssemblies用于记录历史载入的所有程序集。

/// <summary>
/// Load assembly by name
/// </summary>
public Assembly Load(string name) {
    // Replace name if replacement exists
    name = ReplacementAssemblies.GetOrDefault(name, name);
    var assembly = Context.LoadFromAssemblyName(new AssemblyName(name));
    LoadedAssemblies.Add(assembly);
    return assembly;
}

/// <summary>
/// Load assembly by name object
/// </summary>
public Assembly Load(AssemblyName assemblyName) {
    var assembly = Context.LoadFromAssemblyName(assemblyName);
    LoadedAssemblies.Add(assembly);
    return assembly;
}

/// <summary>
/// Load assembly from it‘s binary contents
/// </summary>
public Assembly Load(byte[] rawAssembly) {
    using (var stream = new MemoryStream(rawAssembly)) {
        var assembly = Context.LoadFromStream(stream);
        LoadedAssemblies.Add(assembly);
        return assembly;
    }
}

/// <summary>
/// Load assembly from file path
/// </summary>
public Assembly LoadFile(string path) {
    var assembly = Context.LoadFromAssemblyPath(path);
    LoadedAssemblies.Add(assembly);
    return assembly;
}

到这里已经可以载入编译的程序集(dll)文件了，下面来看如何实现修改代码后自动重新编译。

检测代码文件变化并自动重新编译

ZKWeb使用了FileSystemWatcher来检测代码文件的变化，完整代码可以查看这里。
主要的代码如下

// Function use to stop website
Action stopWebsite = () => {
    var stoppers = Application.Ioc.ResolveMany<IWebsiteStopper>();
    stoppers.ForEach(s => s.StopWebsite());
};
// Function use to handle file changed
Action<string> onFileChanged = (path) => {
    var ext = Path.GetExtension(path).ToLower();
    if (ext == ".cs" || ext == ".json" || ext == ".dll") {
        stopWebsite();
    }
};
// Function use to start file system watcher
Action<FileSystemWatcher> startWatcher = (watcher) => {
    watcher.NotifyFilter = NotifyFilters.LastWrite | NotifyFilters.FileName;
    watcher.Changed += (sender, e) => onFileChanged(e.FullPath);
    watcher.Created += (sender, e) => onFileChanged(e.FullPath);
    watcher.Deleted += (sender, e) => onFileChanged(e.FullPath);
    watcher.Renamed += (sender, e) => { onFileChanged(e.FullPath); onFileChanged(e.OldFullPath); };
    watcher.EnableRaisingEvents = true;
};
// Monitor plugin directory
var pathManager = Application.Ioc.Resolve<PathManager>();
pathManager.GetPluginDirectories().Where(p => Directory.Exists(p)).ForEach(p => {
    var pluginFilesWatcher = new FileSystemWatcher();
    pluginFilesWatcher.Path = p;
    pluginFilesWatcher.IncludeSubdirectories = true;
    startWatcher(pluginFilesWatcher);
});

这段代码监视了插件文件夹下的cs, json, dll文件，
一旦发生变化就调用IWebsiteStopper来停止网站，网站下次打开时将会重新编译和载入插件。
IWebsiteStopper是一个抽象的接口，在Asp.Net中停止网站调用了HttpRuntime.UnloadAppDomain，而在Asp.Net Core中停止网站调用了IApplicationLifetime.StopApplication。

Asp.Net停止网站会卸载当前的AppDomain，下次刷新网页时会自动重新启动。
而Asp.Net Core停止网站会终止当前的进程，使用IIS托管时IIS会在自动重启进程，但使用自宿主时则需要依赖外部工具来重启。

写在最后

ZKWeb实现的动态编译技术大幅度的减少了开发时的等待时间，
主要节省在不需要每次都按快捷键编译和不需要像其他模块化开发一样需要从子项目复制dll文件到主项目，如果dll文件较多而且用了机械硬盘，复制时间可能会比编译时间还要漫长。

我将会在这个博客继续分享ZKWeb框架中使用的技术。
如果有不明白的部分，欢迎加入ZKWeb交流群522083886询问，

出处：https://www.cnblogs.com/zkweb/p/5857355.html

原文地址：https://www.cnblogs.com/mq0036/p/12690763.html

时间： 2024-10-14 10:54:22

网站框架的动态编译的实现原理的相关文章

分享基于.NET动态编译&amp;Newtonsoft.Json封装实现JSON转换器（JsonConverter）原理及JSON操作技巧

原文:分享基于.NET动态编译&Newtonsoft.Json封装实现JSON转换器(JsonConverter)原理及JSON操作技巧 看文章标题就知道,本文的主题就是关于JSON,JSON转换器(JsonConverter)具有将C#定义的类源代码直接转换成对应的JSON字符串,以及将JSON字符串转换成对应的C#定义的类源代码,而JSON操作技巧则说明如何通过JPath来快速的定位JSON的属性节点从而达到灵活读写JSON目的. 一.JSON转换器(JsonConverter)使用及原理介

Java中的静态代理、通用动态代理类以及原理剖析

代理模式和静态代理 在开发中,代理模式是常用的模式之一,一般来说我们使用的代理模式基本上都是静态代理,实现模式大致如下 : 我们以网络代理为例,简单演示一下静态代理的实现 : // 网络接口 interface Network { public void surfTheInternet(); public void gotoFacebook(); } // 普通网络 class CommonNetwork implements Network { @Override public void su

让C#语言充当自身脚本！——.NET中的动态编译

原文:让C#语言充当自身脚本!--.NET中的动态编译 代码的动态编译并执行是.NET平台提供给我们的很强大的一个工具,用以灵活扩展(当然是面对内部开发人员)复杂而无法估算的逻辑,并通过一些额外的代码来扩展我们已有 的应用程序.这在很大程度上给我们提供了另外一种扩展的方式(当然这并不能算是严格意义上的扩展,但至少为我们提供了一种思路). 动态代码执行可以应用在诸如模板生成,外加逻辑扩展等一些场合.一个简单的例子,为了网站那的响应速度,HTML静态页面往往是我们最好的选择,但基于数据驱动的网站往往

jdk动态代理和cglib动态代理底层实现原理超详细解析(jdk动态代理篇)

代理模式是一种很常见的模式,关于底层原理网上看到很多的有关的讲解,但看了一些都觉得比较粗略,很多时候把底层代码copy下来也不大讲解,感觉不如自己详细的写上一篇.本文将以非常详细的说明来分析jdk动态代理底层的实现原理,篇幅较长,但是每个核心方法代码中每步都有说明.还请耐心阅读 1.举例 public class ProxyFactory implements InvocationHandler { private Class target; public <T>T getProxy(Clas

浅谈VB.Net 程序的编译和动态编译

---恢复内容开始--- 一般,我们都是通过Visual Studio(下面简称vs)来编写和编译vb.net应用程序的,但是,不少的人并不知道vs是通过何种方式编译程序的.今天,我们就来探讨一下编译vb.net程序的真正原理. 这篇随笔包含如下几个部分: 1.VS是怎么编译的 2.通过vbc.exe来编译应用程序 3.在代码中通过VBCodeProvider动态编译应用程序 ok,首先来说说vs编译应用程序的方法.其实,vs是通过调用vbc.exe来编译vbnet应用程序的.vs把用户编写的代

网站数据统计分析中的日志收集原理及其实现

> 网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析.百度统计 和 腾讯分析等等.所有这些统计分析工具的第一步都是网站访问数据的收集.目前主流的数据收集方式基本都是基于javascript的.本文将简要分析这种数据收集的原理,并一步一步实际搭建一个实际的数据收集系统. 1.数据收集原理分析 简单来说,网站统计分析工具需要收集到用户浏览目标网站的行为(如打开某网页.点击某按钮.将商品加入购物车等)及行为附加数据(如某下单行为产生的订单金额等).早期的网站统计往往只收

ASP.NET 动态编译、预编译和 WebDeployment 项目(转)

概述 在 Web 服务器上,既可以部署源文件,也可以部署编译后程序集. 若部署源文件,则当用户访问时,Web 应用程序会被动态编译,并缓存该程序集,以便下次访问. 否则,若部署程序集,Web 应用程序能直接使用. 动态编译 本文针对 VS 2008.Web 应用程序要想为请求提供服务,ASP.NET 必须首先分析 Web 应用程序的代码,并将其编译成一个或多个程序集.当编译代码时,会将代码编译为 Microsoft 中间语言(MSIL,与具体编程语言和 CPU 无关的语言).运行时,MSIL 将

busybox静态编译及动态编译实践

1. 简介 BusyBox 是一个集成了一百多个最常用linux命令和工具的软件.BusyBox 包含了一些简单的工具,例如ls.cat和echo等等,还包含了一些更大.更复杂的工具,例grep.find.mount以及telnet.有些人将 BusyBox 称为 Linux 工具里的瑞士军刀. 简单的说BusyBox就好像是个大工具箱,它集成压缩了Linux的许多工具和命令.除此之外,提供了良好的编程框架,用户能够将自己的命令集成到busybox当中.在实际的使用过程中,busybox常常被用

C# 反射，动态编译

反射是动态获取程序集的元数据的一种技术,这句话是做.NET程序员面试题目的一个的答案,你可选择记住它,就好比高中生物学里面讲到的细胞的结构的课程时,细胞由细胞膜,细胞质和细胞核组成.根据做程序的经验,Never ask why不是好习惯,即使是微软的API,有时候违反了调用约定,也会很抓狂. 请看下面这一段代码 Assembly assembly = Assembly.GetExecutingAssembly(); object entryForm = Activator.CreateInsta