vmrunkernel: get the page table setup right
[akaros.git] / user / vmm / memory.c
1 /* Copyright (c) 2017 Google Inc.
2  * See LICENSE for details.
3  *
4  * Memory, paging, e820, bootparams and other helpers */
5
6 #include <stdio.h>
7 #include <pthread.h>
8 #include <sys/types.h>
9 #include <sys/stat.h>
10 #include <fcntl.h>
11 #include <parlib/arch/arch.h>
12 #include <parlib/ros_debug.h>
13 #include <unistd.h>
14 #include <errno.h>
15 #include <dirent.h>
16 #include <stdlib.h>
17 #include <string.h>
18 #include <ros/syscall.h>
19 #include <sys/mman.h>
20 #include <vmm/vmm.h>
21 #include <vmm/acpi/acpi.h>
22 #include <ros/arch/mmu.h>
23 #include <ros/arch/membar.h>
24 #include <ros/vmm.h>
25 #include <parlib/uthread.h>
26 #include <vmm/linux_bootparam.h>
27 #include <getopt.h>
28
29 #include <vmm/sched.h>
30 #include <vmm/net.h>
31 #include <sys/eventfd.h>
32 #include <sys/uio.h>
33 #include <sys/param.h>
34 #include <parlib/opts.h>
35
36 #define ALIGNED(p, a)   (!(((uintptr_t)(p)) & ((a)-1)))
37
38 static char *entrynames[] = {
39         [E820_RAM] "E820_RAM",
40         [E820_RESERVED] "E820_RESERVED",
41         [E820_ACPI] "E820_ACPI",
42         [E820_NVS] "E820_NVS",
43         [E820_UNUSABLE] "E820_UNUSABLE",
44 };
45
46 static void dumpe820(struct e820entry *e, int nr)
47 {
48         for (int i = 0; i < nr; i++) {
49                 fprintf(stderr, "%d:%p %p %p %s\n",
50                         i, e[i].addr, e[i].size, e[i].type,
51                         entrynames[e[i].type]);
52         }
53 }
54
55 // e820map creates an e820 map in the bootparams struct.  If we've
56 // gotten here, then memsize and memstart are valid.  It returns
57 // pointer to the first page after the map for our bump allocator.  We
58 // assume the ranges passed in are validated already.
59 void *init_e820map(struct boot_params *bp,
60                    unsigned long long memstart,
61                    unsigned long long memsize)
62 {
63         unsigned long long lowmem = 0;
64         // Everything in Linux at this level is PGSIZE.
65         memset(bp, 0, PGSIZE);
66
67         bp->e820_entries = 0;
68
69         // The first page is always reserved.
70         bp->e820_map[bp->e820_entries].addr = 0;
71         bp->e820_map[bp->e820_entries].size = PGSIZE;
72         bp->e820_map[bp->e820_entries++].type = E820_RESERVED;
73
74         /* Give it just a tiny bit of memory -- 60k -- at low memory. */
75         bp->e820_map[bp->e820_entries].addr = PGSIZE;
76         bp->e820_map[bp->e820_entries].size = LOW64K - PGSIZE;
77         bp->e820_map[bp->e820_entries++].type = E820_RAM;
78
79         // All other memory from 64k to memstart is reserved.
80         bp->e820_map[bp->e820_entries].addr = LOW64K;
81         bp->e820_map[bp->e820_entries].size = memstart - LOW64K;
82         bp->e820_map[bp->e820_entries++].type = E820_RESERVED;
83
84         // If memory starts below RESERVED, then add an entry for memstart to
85         // the smaller of RESERVED or memsize.
86         if (memstart < RESERVED) {
87                 bp->e820_map[bp->e820_entries].addr = memstart;
88                 if (memstart + memsize > RESERVED)
89                         bp->e820_map[bp->e820_entries].size = RESERVED - memstart;
90                 else
91                         bp->e820_map[bp->e820_entries].size = memsize;
92                 lowmem = bp->e820_map[bp->e820_entries].size;
93                 bp->e820_map[bp->e820_entries++].type = E820_RAM;
94         }
95
96         bp->e820_map[bp->e820_entries].addr = RESERVED;
97         bp->e820_map[bp->e820_entries].size = RESERVEDSIZE;
98         bp->e820_map[bp->e820_entries++].type = E820_RESERVED;
99
100         if ((memstart + memsize) > RESERVED) {
101                 bp->e820_map[bp->e820_entries].addr = MAX(memstart, _4GiB);
102                 bp->e820_map[bp->e820_entries].size = memsize - lowmem;
103                 bp->e820_map[bp->e820_entries++].type = E820_RAM;
104         }
105
106         dumpe820(bp->e820_map, bp->e820_entries);
107         return (void *)bp + PGSIZE;
108 }
109
110 /* checkmemaligned verifies alignment attributes of your memory space.
111  * It terminates your process with extreme prejudice if they are
112  * incorrect in some way. */
113 void checkmemaligned(unsigned long long memstart, unsigned long long memsize)
114 {
115         if (!ALIGNED(memstart, PML1_REACH))
116                 errx(1, "memstart (%#x) wrong: must be aligned to %#x",
117                      memstart, PML1_REACH);
118         if (!ALIGNED(memsize, PML1_REACH))
119                 errx(1, "memsize (%#x) wrong: must be aligned to %#x",
120                      memsize, PML1_REACH);
121 }
122
123 // memory allocates memory for the VM. It's a complicated mess because of the
124 // break for APIC and other things. We just go ahead and leave the region from
125 // RESERVED to _4GiB for that.  The memory is either split, all low, or all
126 // high. This code is designed for a kernel. Dune-style code does not need it
127 // as it does not have the RESERVED restrictions. Dune-style code can use this,
128 // however, by setting memstart to 4 GiB.
129 void mmap_memory(unsigned long long memstart, unsigned long long memsize)
130 {
131         void *r1, *r2;
132         unsigned long r1size = memsize;
133
134         // Let's do some minimal validation, so we don't drive
135         // people crazy.
136         checkmemaligned(memstart, memsize);
137         if ((memstart >= RESERVED) && (memstart < _4GiB))
138                 errx(1, "memstart (%#x) wrong: must be < %#x or >= %#x\n",
139                      memstart, RESERVED, _4GiB);
140         if (memstart < MinMemory)
141                 errx(1, "memstart (%#x) wrong: must be > %#x\n",
142                      memstart, MinMemory);
143
144         // Note: this test covers the split case as well as the
145         // 'all above 4G' case.
146         if ((memstart + memsize) > RESERVED) {
147                 unsigned long long r2start = MAX(memstart, _4GiB);
148
149                 r1size = memstart < RESERVED ? RESERVED - memstart : 0;
150                 r2 = mmap((void *)r2start, memsize - r1size,
151                           PROT_READ | PROT_WRITE | PROT_EXEC,
152                           MAP_POPULATE | MAP_ANONYMOUS, -1, 0);
153                 if (r2 != (void *)r2start) {
154                         fprintf(stderr,
155                                 "High region: Could not mmap 0x%lx bytes at 0x%lx\n",
156                                 memsize, r2start);
157                         exit(1);
158                 }
159                 if (memstart >= _4GiB)
160                         return;
161         }
162
163         r1 = mmap((void *)memstart, r1size,
164                       PROT_READ | PROT_WRITE | PROT_EXEC,
165                       MAP_POPULATE | MAP_ANONYMOUS, -1, 0);
166         if (r1 != (void *)memstart) {
167                 fprintf(stderr, "Low region: Could not mmap 0x%lx bytes at 0x%lx\n",
168                         memsize, memstart);
169                 exit(1);
170         }
171 }