riscv 启动流程分析

文章目录

riscv Linux 目录分布
内核第一个运行的地方——head.S
内核运行的第一个C文件——init/main.c
- setup_arch()
- - parse_dtb()
  - setup_initial_init_mm()
  - early_ioremap_setup()
  - jump_label_init()
  - parse_early_param()
  - efi_init()
  - paging_init()
  - misc_mem_init()
  - init_resources()
  - sbi_init()
  - kasan_init()
  - setup_smp()
  - riscv_fill_hwcap()
- trap_init()
- mem_init()
- init_IRQ()
- time_init()

riscv Linux 目录分布

通过文章将 Linux 移植到新的处理器架构，第 1 部分：基础可知，我们进行一个新的处理器架构的移植，需要做到以下 3 点：
1、确定这是不是一个新的架构移植。
2、了解我们要移植的硬件。
3、了解内核的基本概念。
在riscv已经被移植支持的情况下，我们现在要做的是分析，Linux内核是如何支持riscv架构的。

- configs/：支持系统的默认配置 (i.e. *_defconfig files)
- include/asm/ ：Linux源码内部使用的头文件
- include/uapi/asm： 对于要导出到用户空间（例如 libc ）的头文件
- kernel/：通用内核管理
- lib/：优化过的那套函数 (e.g. memcpy(), memset(), etc.)
- mm/：内存管理

configs文件中主要是一些配置文件，编译时可以选择默认配置进行编译，配置项较多，我们暂时不进行分析。
include/asm/ 目录下定义了大量头文件，用于内核编译时使用。
include/uapi/asm目录下定义了很多结构体以及宏定义，可以供应用层使用，可以更方便的与内核统一使用一些定义好的数据。
kernel/目录下有许多C文件，包含CPU获取id，信号，中断，ops，smp，time等功能。
lib/目录下供9个文件，其中5个为汇编实现的代码。用于底层基础函数的实现。mm/目录下进行内存的管理，包括虚拟内存分配，页错误处理，cache刷新等。

架构相关的includ目录存在于架构相关文件夹，非架构相关的存在与include/asm-gereric目录下。

内核第一个运行的地方——head.S

kernel_entry*
 start_kernel
    setup_arch*
     trap_init*
        mm_init
            mem_init*
        init_IRQ*
        time_init*
        rest_init
            kernel_thread
            kernel_thread
            cpu_startup_entry

内核的整体启动流程如上所示，我们从代码中进行分析，具体内核在启动过程中做了什么。
首先我们找到head.S文件。

ENTRY(_start_kernel)
        
        csrw CSR_IE, zero
        csrw CSR_IP, zero

在内核启动时，一开始就关闭了所有中断。Technical Report UCB/EECS-2016-129 一文中讲了，CSR 的寄存器分布。
关闭中断后，关闭了 FPU 功能，以检测内核空间内非法使用的定位点。后面是通过一系列的宏定义进行一些环境的配置，使得一些功能能够跑起来。
这些宏定义有

ENTRY(_start_kernel)
        关闭所有中断
#ifdef CONFIG_RISCV_M_MODE
        
        
        
        
#endif 
        
        
#ifdef CONFIG_RISCV_BOOT_SPINWAIT
        
#ifndef CONFIG_XIP_KERNEL
        
#else
        
        
#endif 
#endif 
#ifdef CONFIG_XIP_KERNEL

#endif
#ifndef CONFIG_XIP_KERNEL
        
#endif
        
        
#ifdef CONFIG_BUILTIN_DTB
#else
#endif 
#ifdef CONFIG_MMU
#endif 
#ifdef CONFIG_KASAN
#endif
        
#if CONFIG_RISCV_BOOT_SPINWAIT
        
        
        
#endif 
END(_start_kernel)

内核运行的第一个C文件——init/main.c

第一个运行的C语言函数为start_kernel，在该函数中进行内核的第一个线程的创建。在创建之前，会执行架构相关的函数，从而适配硬件。

kernel_entry*
 start_kernel
    setup_arch*
     trap_init*
        mm_init
            mem_init*
        init_IRQ*
        time_init*
        rest_init
            kernel_thread
            kernel_thread
            cpu_startup_entry

setup_arch()

首先分析 setup_arch 这个函数，该函数属于架构相关函数，对应的文件在 arch/riscv/kernel 文件下。

parse_dtb()

这个函数首先要执行的是解析设备树，这说明 riscv 像 arm 一样，使用设备树进行设备驱动的管理，我们查看 x86 架构下的 setup_arch 则无设备树相关的配置。设备树解析函数通过 drivers/of 目录下的设备树驱动进行解析，并取出设备树中 model 名称。
设备树解析调用的函数时 parse_dtb，函数中调用了一个全局变量 dtb_early_va，这个变量是在 head.S 中进行的赋值，head.S 中调用该函数时，提前将变量放置于寄存器 a0 中，用于 C 函数的传参。
设备树地址传参代码：

#ifdef CONFIG_BUILTIN_DTB
        la a0, __dtb_start
        XIP_FIXUP_OFFSET a0
#else
        mv a0, s1
#endif 
        call setup_vm

setup_initial_init_mm()

设备树解析完成后，进行了早期内存的初始化，给出了代码段的起始与结束位置，数据段的结束位置，堆地址结束位置。

[0.000000] OF: fdt: Ignoring memory range 0x80000000 - 0x80200000
[0.000000] Machine model: riscv-virtio,qemu
[0.000000]start_code=0x80002000,end_code=0x806ae52c,end_data=0x812d2a00,brk=0x81322000

通过以上打印信息可知各个段的分配地址。CPU 内部的 RAM 寻址需要预留一些空间，所有 ram 起始地址就从 0x80000000 开始，地址空间分配完成之后将 boot_command_line 地址传出，供后续使用。

early_ioremap_setup()

早期 ioremap 初始化,将 I/O 的物理地址映射到虚拟地址。当 CPU 读取一段物理地址时，它可以读取到映射了 I/O 设备的物理 RAM 区域。ioremap 就是用来把设备内存映射到内核地址空间的。
该函数是一个架构不相关的函数，位于 mm/early_ioremap.c，

jump_label_init()

架构无关函数，位于 kernel 目录下，初始化 jump-label 子系统，jump-label 用于取消 if 判断分支，通过运行时修改代码，来提高执行的效率。

parse_early_param()

架构无关函数，解析早期传入的参数。

efi_init() paging_init()

完成系统分页机制的初始化工作, 建立页表, 从而内核可以完成虚拟内存的映射和转换工作，这一个函数执行完成之后，就可以通过虚拟地址来访问实际的物理地址了。

misc_mem_init()

测试 ram 是否正常
numa 架构初始化
内存模型 sparse 初始化
初始化 zone，用于管理物理内存地址区域
保留内核崩溃时内核信息导出时所用的内存区域。
打印内存分配情况 __memblock_dump_all()，实际未输出

init_resources()

初始化内存资源，把系统的 ram 以及其他需要保留的 ram 进行保留

sbi_init()

函数相关打印如下，具体作用暂未分析

[    0.000000] SBI specification v0.2 detected
[    0.000000] SBI implementation ID=0x1 Version=0x9
[    0.000000] SBI TIME extension detected
[    0.000000] SBI IPI extension detected
[    0.000000] SBI RFENCE extension detected
[    0.000000] SBI HSM extension detected

kasan_init()

初始化 kasan 动态监测内存错误的工具，初始化完成之后，可以在内存使用越界或者释放后访问时，产生出错报告，帮助分析内核异常。

setup_smp()

配置 SMP 系统，使芯片可以多核运行。

riscv_fill_hwcap()

打印信息如下：
[ 0.000000] riscv: ISA extensions acdfimsu
[ 0.000000] riscv: ELF capabilities acdfim
具体作用暂未分析。

trap_init()

未定义该函数

mem_init()

mem_init() 是架构相关函数，我们分析一下该函数具体做了哪些工作。

void __init mem_init(void)
{
#ifdef CONFIG_FLATMEM
	BUG_ON(!mem_map);
#endif 

#ifdef CONFIG_SWIOTLB
	if (swiotlb_force == SWIOTLB_FORCE ||
	    max_pfn > PFN_DOWN(dma32_phys_limit))
		swiotlb_init(1);//软件DMA映射，解决部分DMA外设无法访问高地址内存的问题。
	else
		swiotlb_force = SWIOTLB_NO_FORCE;
#endif
	memblock_free_all();//释放空闲页面给伙伴分配器

	print_vm_layout();//打印内存分布情况
}

init_IRQ()

中断初始化是一个架构相关的函数，首先从设备树中取出中断控制器(（)interrupt-controller)这一节点。
通过命令将 qemu 的 DTB 文件导出.

sudo env PATH=/labs/linux-lab/boards/riscv64/virt/bsp/qemu/v6.0.0/bin/:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin  qemu-system-riscv64 -bios /labs/linux-lab/boards/riscv64/virt/bsp/bios/opensbi/generic/fw_jump.elf -M virt,dumpdtb=my.dtb  -m 128M -net nic,model=virtio -net tap -device virtio-net-device,netdev=net0,mac=$(tools/qemu/macaddr.sh) -netdev tap,id=net0 -smp 4 -kernel /labs/linux-lab/build/riscv64/virt/linux/v5.17/arch/riscv/boot/Image -no-reboot  -drive if=none,file=/labs/linux-lab/build/riscv64/virt/bsp/root/2019.05/rootfs.ext2,format=raw,id=virtio-vda -device virtio-blk-device,drive=virtio-vda -nographic   -append "route=$(ifconfig br0 | grep 'inet ' | tr -d -c '^[0-9. ]' | awk '{print $1}') iface=eth0 rw fsck.repair=yes rootwait root=/dev/vda console=ttyS0"

并将 dtb 文件反编译成 dts 文件。

dtc -I dtb -O dts -o qemu-virt.dts my.dtb

init_IRQ()->irqchip_init()->of_irq_init()->
在 of_irq_init() 中遍历设备树，通过 __irq_of_table 进行匹配，匹配成功后进行初始化 irq。
查看设备树，找到 interrupt-controller 的 compatible 为 riscv,cpu-intc，

cpu@0 {
        phandle = <0x07>;
        device_type = "cpu";
        reg = <0x00>;
        status = "okay";
        compatible = "riscv";
        riscv,isa = "rv64imafdcsu";
        mmu-type = "riscv,sv48";

        interrupt-controller {
                #interrupt-cells = <0x01>;
                interrupt-controller;
                compatible = "riscv,cpu-intc";
                phandle = <0x08>;
        };
};

通过匹配，最终调用的驱动是driver/irqchip/irq-riscv-intc.c

static int __init riscv_intc_init(struct device_node *node,
                                  struct device_node *parent)
{
        int rc, hartid;
        pr_info("[nfk test] %s-%s-%drn",__FILE__,__FUNCTION__,__LINE__);
        hartid = riscv_of_parent_hartid(node);//获取CPU id
        if (hartid < 0) {
                pr_warn("unable to find hart id for %pOFn", node);
                return 0;
        }
        else
        {
                pr_info("[nfk test] get hartid=%drn",hartid);
        }

        
        if (riscv_hartid_to_cpuid(hartid) != smp_processor_id())
                return 0;
                //每一个CPU都会有其DT NODE，当前我们只需要初始化
                //boot CPU 的DT NODE

        intc_domain = irq_domain_add_linear(node, BITS_PER_LONG,
                                            &riscv_intc_domain_ops, NULL);//向系统注册一个irq domain，
        //最终调用__irq_domain_add（）,进行内存申请，domain回调函数配置，此处仅完成了irq_domain的注册，后面的中断映射关系还需要在具体驱动中实现。
        if (!intc_domain) {//intc_domain就是interrupt-controller的软件抽象
                pr_err("unable to add IRQ domainn");
                return -ENXIO;
        }

        rc = set_handle_irq(&riscv_intc_irq);//配置中断处理函数
        if (rc) {
                pr_err("failed to set irq handlern");
                return rc;
        }

        cpuhp_setup_state(CPUHP_AP_IRQ_RISCV_STARTING,
                          "irqchip/riscv/intc:starting",
                          riscv_intc_cpu_starting,
                          riscv_intc_cpu_dying);//对热插拔函数进行配置

        pr_info("%d local interrupts mappedn", BITS_PER_LONG);

        return 0;
}

[ 0.000000] riscv-intc: [nfk test] drivers/irqchip/irq-riscv-intc.c-riscv_intc_init-99
[ 0.000000] riscv-intc: get hartid=0
[ 0.000000] riscv-intc: hartid 0,cpuid 1 not smp processor_id
[ 0.000000] riscv-intc: [nfk test] drivers/irqchip/irq-riscv-intc.c-riscv_intc_init-99
[ 0.000000] riscv-intc: get hartid=1
[ 0.000000] riscv-intc: hartid 1,cpuid 2 not smp processor_id
[ 0.000000] riscv-intc: [nfk test] drivers/irqchip/irq-riscv-intc.c-riscv_intc_init-99
[ 0.000000] riscv-intc: get hartid=2
[ 0.000000] riscv-intc: hartid 2,cpuid 3 not smp processor_id
[ 0.000000] riscv-intc: [nfk test] drivers/irqchip/irq-riscv-intc.c-riscv_intc_init-99
[ 0.000000] riscv-intc: get hartid=3
[ 0.000000] riscv-intc: 64 local interrupts mapped

中断初始化的打印如上所示。

time_init()

架构相关函数time_init(),

void __init time_init(void)
{
        struct device_node *cpu;
        u32 prop;
        
        cpu = of_find_node_by_path("/cpus");
        if (!cpu || of_property_read_u32(cpu, "timebase-frequency", &prop))
                panic(KERN_WARNING "RISC-V system with no 'timebase-frequency' in DTSn");
        of_node_put(cpu);//减少引用计数
        riscv_timebase = prop;

        lpj_fine = riscv_timebase / HZ; 
        //遍历设备树，进行时钟初始化，类似于of_irq_init(),linux-lab-disk中的虚拟开发板当前匹配为空
        of_clk_init(NULL);

        timer_probe();
}

timer_probe()中遍历设备树，通过__timer_of_table进行匹配，匹配成功后进行初始化timer。

void __init timer_probe(void)
{
        struct device_node *np;
        const struct of_device_id *match;
        of_init_fn_1_ret init_func_ret;
        unsigned timers = 0;
        int ret;
        pr_info("[nfk test] %s-%s-%dn",__FILE__,__FUNCTION__,__LINE__);
        for_each_matching_node_and_match(np, __timer_of_table, &match) {//遍历设备树，匹配timer
                if (!of_device_is_available(np))
                        continue;

                pr_info("[nfk test] %s-%s-%dn",__FILE__,__FUNCTION__,__LINE__);
                init_func_ret = match->data;

                ret = init_func_ret(np);//timer初始化
                if (ret) {
                        if (ret != -EPROBE_DEFER)
                                pr_err("Failed to initialize '%pOF': %dn", np,
                                       ret);
                        continue;
                }

                timers++;
        }

        timers += acpi_probe_device_table(timer);//注册timer

        if (!timers)
                pr_crit("%s: no matching timers foundn", __func__);
        pr_info("[nfk test] %s-%s-%dn",__FILE__,__FUNCTION__,__LINE__);
}

添加调试信息，打印如下：

[ 0.000000] [nfk test] drivers/clocksource/timer-probe.c-timer_probe-23
[ 0.000000] [nfk test] drivers/clocksource/timer-probe.c-timer_probe-28
[ 0.000000] [nfk test] drivers/clocksource/timer-probe.c-timer_probe-28
[ 0.000000] [nfk test] drivers/clocksource/timer-probe.c-timer_probe-28
[ 0.000000] [nfk test] drivers/clocksource/timer-probe.c-timer_probe-28
[ 0.000000] riscv_timer_init_dt: Registering clocksource cpuid [0] hartid [3]
[ 0.000000] clocksource: riscv_clocksource: mask: 0xffffffffffffffff max_cycles: 0x24e6a1710, max_idle_ns: 440795202120 ns
[ 0.000126] sched_clock: 64 bits at 10MHz, resolution 100ns, wraps every 4398046511100ns
[ 0.002668] [nfk test] drivers/clocksource/timer-probe.c-timer_probe-46

通过以上信息，可知，匹配到了4次timer，通过中间的相关打印信息，找到驱动drivers/clocksource/timer-riscv.c。

static int __init riscv_timer_init_dt(struct device_node *n)
{
        int cpuid, hartid, error;
        struct device_node *child;
        struct irq_domain *domain;

        hartid = riscv_of_processor_hartid(n);//获取node所在的hartid
        if (hartid < 0) {
                pr_warn("Not valid hartid for node [%pOF] error = [%d]n",
                        n, hartid);
                return hartid;
        }

        cpuid = riscv_hartid_to_cpuid(hartid);//获取cpu id
        if (cpuid < 0) {
                pr_warn("Invalid cpuid for hartid [%d]n", hartid);
                return cpuid;
        }

        if (cpuid != smp_processor_id())
                return 0;//判断是否未boot cpu

        domain = NULL;
        child = of_get_compatible_child(n, "riscv,cpu-intc");
        if (!child) {//获取中断的domain
                pr_err("Failed to find INTC node [%pOF]n", n);
                return -ENODEV;
        }
        domain = irq_find_host(child);
        of_node_put(child);
        if (!domain) {
                pr_err("Failed to find IRQ domain for node [%pOF]n", n);
                return -ENODEV;
        }

        riscv_clock_event_irq = irq_create_mapping(domain, RV_IRQ_TIMER);//建立中断映射
        if (!riscv_clock_event_irq) {
                pr_err("Failed to map timer interrupt for node [%pOF]n", n);
                return -ENODEV;
        }

        pr_info("%s: Registering clocksource cpuid [%d] hartid [%d]n",
               __func__, cpuid, hartid);
        error = clocksource_register_hz(&riscv_clocksource, riscv_timebase);//注册timer
        if (error) {
                pr_err("RISCV timer register failed [%d] for cpu = [%d]n",
                       error, cpuid);
                return error;
        }
        sched_clock_register(riscv_sched_clock, 64, riscv_timebase);

        error = request_percpu_irq(riscv_clock_event_irq,
                                    riscv_timer_interrupt,
                                    "riscv-timer", &riscv_clock_event);
                                    //注册中断处理函数
        if (error) {
                pr_err("registering percpu irq failed [%d]n", error);
                return error;
        }

        error = cpuhp_setup_state(CPUHP_AP_RISCV_TIMER_STARTING,
                         "clockevents/riscv/timer:starting",
                         riscv_timer_starting_cpu, riscv_timer_dying_cpu);//热插拔配置
        if (error)
                pr_err("cpu hp setup state failed for RISCV timer [%d]n",
                       error);
        return error;
}

riscv 启动流程分析

Linux相关栏目本月热门文章