vmm: Allow VMMs to change vmexit conditions (XCC)
[akaros.git] / tests / dune / dune.c
1 #include <stdio.h>
2 #include <pthread.h>
3 #include <sys/types.h>
4 #include <sys/stat.h>
5 #include <fcntl.h>
6 #include <parlib/arch/arch.h>
7 #include <parlib/ros_debug.h>
8 #include <unistd.h>
9 #include <gelf.h>
10 #include <errno.h>
11 #include <libelf.h>
12 #include <dirent.h>
13 #include <stdlib.h>
14 #include <string.h>
15 #include <ros/syscall.h>
16 #include <sys/mman.h>
17 #include <vmm/vmm.h>
18 #include <vmm/acpi/acpi.h>
19 #include <vmm/acpi/vmm_simple_dsdt.h>
20 #include <ros/arch/mmu.h>
21 #include <ros/arch/membar.h>
22 #include <ros/vmm.h>
23 #include <parlib/uthread.h>
24 #include <vmm/linux_bootparam.h>
25 #include <getopt.h>
26 #include <iplib/iplib.h>
27 #include <vmm/sched.h>
28 #include <sys/eventfd.h>
29 #include <sys/uio.h>
30 #include <err.h>
31 #include <vmm/linuxemu.h>
32 struct vmm_gpcore_init gpci;
33 bool linuxemu(struct guest_thread *gth, struct vm_trapframe *tf);
34
35 /* ah, elf. */
36 struct elf_aux {
37         unsigned long v[2];
38 };
39
40 extern char **environ;
41
42 static struct virtual_machine vm = {.halt_exit = true,};
43
44 static unsigned long long memsize = GiB;
45 static uintptr_t memstart = MinMemory;
46
47 static int debug;
48
49 static void hlt(void)
50 {
51         __asm__ __volatile__("\thlt\n\t");
52 }
53
54 static int pc(char *c)
55 {
56         __asm__ __volatile__("movq $1, %%rax\n"
57                              "movq $1, %%rdi\n"
58                              "movq %0, %%rsi\n"
59                              "movq $1, %%rdx\n"
60                              "vmcall\n" ::
61                              "m"(c) : "rdi", "rax", "rsi", "rdx");
62         return 0;
63 }
64
65 static void xnum(uint64_t x)
66 {
67         static char *hex = "0123456789abcdef";
68
69         for (int i = 0; i < 8; i++) {
70                 uint8_t v = ((uint8_t*)&x)[7 - i];
71                 pc(&hex[v >> 4]);
72                 pc(&hex[v & 0xf]);
73         }
74 }
75
76 static void show(char *s)
77 {
78         static char *showedoff = "NULL POINTER: That's bad.\n";
79
80         if (!s) {
81                 show(showedoff);
82                 return;
83         }
84         while (*s) {
85                 pc(s);
86                 s++;
87         }
88 }
89
90 /* This is a small test that runs in gr0 and tests our argument setup.
91  * This test can grow in capability as we find more broken bits in our
92  * dune-like environment. */
93
94 void dune_test(void *stack)
95 {
96         show("Hello this is dune's test\n");
97
98         int argc;
99         char **argv;
100         struct elf_aux *auxv;
101
102         show("dune_test: dumping argv, env, and aux\n");
103
104         argc = *((uint64_t*)stack);
105         argv = &((char**)stack)[1];
106         show("argc: "); xnum(argc); show("\n");
107         show("argv: "); xnum((uint64_t)argv); show("\n");
108
109         for (int i = 0; i < argc; i++, argv++) {
110                 show("arg["); xnum(i); show("]:");
111                 show(argv[0]);
112                 show("\n");
113         }
114         // skip the null and move on to envp.
115         argv++;
116         for (int i = 0; argv[0]; i++, argv++) {
117                 show("env["); xnum(i); show("]:");
118                 show(argv[0]);
119                 show("\n");
120         }
121         // skip the null and move on to auxv.
122         argv++;
123         auxv = (void *)argv;
124         for (int i = 0; auxv[i].v[0]; i++) {
125                 show("auxv["); xnum(i); show("]:");
126                 xnum(auxv[i].v[0]); show(":");
127                 xnum(auxv[i].v[1]); show("\n");
128         }
129         show("Done dumping [argv, env, auxv]\n");
130         hlt();
131 }
132
133 /* populate_stack fills the stack with an argv, envp, and auxv.
134  * We assume the stack pointer is backed by real memory.
135  * It will go hard with you if it does not. For your own health,
136  * stack should be 16-byte aligned. */
137 void *populate_stack(uintptr_t *stack, int argc, char *argv[],
138                          int envc, char *envp[],
139                          int auxc, struct elf_aux auxv[])
140 {
141         /* Function to get the lengths of the argument and environment strings. */
142         int get_lens(int argc, char *argv[], int arg_lens[])
143         {
144                 int total = 0;
145
146                 if (!argc)
147                         return 0;
148                 for (int i = 0; i < argc; i++) {
149                         arg_lens[i] = strlen(argv[i]) + 1;
150                         total += arg_lens[i];
151                 }
152                 return total;
153         }
154
155         /* Function to help map the argument and environment strings, to their
156          * final location. */
157         int remap(int argc, char *argv[], char *new_argv[],
158               char new_argbuf[], int arg_lens[])
159         {
160                 int offset = 0;
161
162                 if (!argc)
163                         return 0;
164                 for (int i = 0; i < argc; i++) {
165                         memcpy(new_argbuf + offset, argv[i], arg_lens[i]);
166                         if (debug) {
167                                 fprintf(stderr, "data: memcpy(%p, %p, %ld)\n",
168                                         new_argbuf + offset, argv[i], arg_lens[i]);
169                                 fprintf(stderr, "arg: set arg %d, @%p, to %p\n", i,
170                                         &new_argv[i], new_argbuf + offset);
171                         }
172                         new_argv[i] = new_argbuf + offset;
173                         offset += arg_lens[i];
174                 }
175                 new_argv[argc] = NULL;
176                 return offset;
177         }
178
179         /* Start tracking the size of the buffer necessary to hold all of our data
180          * on the stack. Preallocate space for argc, argv, envp, and auxv in this
181          * buffer. */
182         int bufsize = 0;
183
184         bufsize += 1 * sizeof(size_t);
185         bufsize += (auxc + 1) * sizeof(struct elf_aux);
186         bufsize += (envc + 1) * sizeof(char**);
187         bufsize += (argc + 1) * sizeof(char**);
188         if (debug)
189                 fprintf(stderr, "Bufsize for pointers and argc is %d\n", bufsize);
190
191         /* Add in the size of the env and arg strings. */
192         int arg_lens[argc];
193         int env_lens[envc];
194
195         bufsize += get_lens(argc, argv, arg_lens);
196         bufsize += get_lens(envc, envp, env_lens);
197         if (debug)
198                 fprintf(stderr, "Bufsize for pointers, argc, and strings is %d\n",
199                         bufsize);
200
201         /* Adjust bufsize so that our buffer will ultimately be 16 byte aligned. */
202         bufsize = (bufsize + 15) & ~0xf;
203         if (debug)
204                 fprintf(stderr,
205                         "Bufsize for pointers, argc, and strings is rounded is %d\n",
206                         bufsize);
207
208         /* Set up pointers to all of the appropriate data regions we map to. */
209         size_t *new_argc = (size_t*)((uint8_t*)stack - bufsize);
210         char **new_argv = (char**)(new_argc + 1);
211         char **new_envp = new_argv + argc + 1;
212         struct elf_aux *new_auxv = (struct elf_aux*)(new_envp + envc + 1);
213         char *new_argbuf = (char*)(new_auxv + auxc + 1);
214
215         if (debug) {
216                 fprintf(stderr, "There are %d args, %d env, and %d aux\n", new_argc,
217                         envc, auxc);
218                 fprintf(stderr, "Locations: argc: %p, argv: %p, envp: %p, auxv: %p\n",
219                                 new_argc, new_argv, new_envp, new_auxv);
220                 fprintf(stderr, "Locations: argbuf: %p, ", new_argbuf);
221                 fprintf(stderr, "Sizeof argc is %d\n", sizeof(size_t));
222         }
223         /* Map argc into its final location. */
224         *new_argc = argc;
225
226         /* Map all data for argv and envp into its final location. */
227         int offset = 0;
228
229         offset = remap(argc, argv, new_argv, new_argbuf, arg_lens);
230         if (offset == -1)
231                 return 0;
232         if (debug) {
233                 fprintf(stderr, "Locations: argbuf: %p, envbuf: %p, ", new_argbuf,
234                         new_argbuf + offset);
235
236         }
237         offset = remap(envc, envp, new_envp, new_argbuf + offset, env_lens);
238         if (offset == -1)
239                 return 0;
240
241         /* Map auxv into its final location. */
242         struct elf_aux null_aux = {0, 0};
243
244         memcpy(new_auxv, auxv, auxc * sizeof(struct elf_aux));
245         memcpy(new_auxv + auxc, &null_aux, sizeof(struct elf_aux));
246         if (debug) {
247                 fprintf(stderr, "auxbuf: %p\n", new_auxv);
248                 hexdump(stdout, new_auxv, auxc * sizeof(struct elf_aux));
249         }
250         return (uint8_t*)stack - bufsize;
251 }
252
253 static struct option long_options[] = {
254         {"aux",           required_argument, 0, 'a'},
255         {"debug",         no_argument,       0, 'd'},
256         {"vmmflags",      required_argument, 0, 'v'},
257         {"memsize",       required_argument, 0, 'm'},
258         {"memstart",      required_argument, 0, 'M'},
259         {"cmdline_extra", required_argument, 0, 'c'},
260         {"greedy",        no_argument,       0, 'g'},
261         {"scp",           no_argument,       0, 's'},
262         {"test",          no_argument,       0, 't'},
263         {"help",          no_argument,       0, 'h'},
264         {0, 0, 0, 0}
265 };
266
267 static void
268 usage(void)
269 {
270         // Sadly, the getopt_long struct does
271         // not have a pointer to help text.
272         fprintf(stderr,
273               "Usage: dune [options] <ELF file] [<ELF file>...]\n");
274         fprintf(stderr,
275               "Or for testing: dune -t [options]\nOptions are:\n");
276         for (int i = 0;
277              i < COUNT_OF(long_options) - 1;
278              i++) {
279                 struct option *l = &long_options[i];
280
281                 fprintf(stderr, "%s or %c%s\n", l->name, l->val,
282                         l->has_arg ? " <arg>" : "");
283         }
284         exit(0);
285 }
286
287 static struct elf_aux *
288 getextra(int *auxc, char *_s)
289 {
290         struct elf_aux *auxv;
291         char *s = strdup(_s);
292         // icky hardcode, but realistic.
293         char *auxpairs[32];
294
295         *auxc = gettokens(s, auxpairs, 32, ",");
296         if (debug)
297                 fprintf(stderr, "Found %d extra aux pairs\n", *auxc);
298         if (*auxc < 1)
299                 return NULL;
300         auxv = malloc(sizeof(*auxv) * *auxc);
301         if (!auxv)
302                 errx(1, "auxv malloc: %r");
303         for (int i = 0; i < *auxc; i++) {
304                 char *aux[2];
305                 int j;
306                 uint32_t t, v;
307
308                 j = gettokens(auxpairs[i], aux, 2, "=");
309                 if (j < 2) {
310                         fprintf(stderr, "%s: should be in the form type=val\n",
311                                 auxpairs[i]);
312                         free(auxv);
313                         return NULL;
314                 }
315                 t = strtoul(aux[0], 0, 0);
316                 v = strtoul(aux[1], 0, 0);
317                 auxv[i].v[0] = t;
318                 auxv[i].v[1] = v;
319                 if (debug)
320                         fprintf(stderr, "Adding aux pair 0x%x:0x%x\n", auxv[i].v[0],
321                                 auxv[i].v[1]);
322         }
323         return auxv;
324
325 }
326
327 static struct elf_aux *
328 buildaux(struct elf_aux *base, int basec, struct elf_aux *extra, int extrac)
329 {
330         int total = basec + extrac;
331         struct elf_aux *ret;
332
333         ret = realloc(extra, total * sizeof(*ret));
334         if (!ret)
335                 return NULL;
336
337         if (debug)
338                 fprintf(stderr, "buildaux: consolidating %d aux and %d extra\n",
339                         basec, extrac);
340         /* TOOD: check for dups. */
341         if (basec)
342                 memmove(&ret[extrac], base, sizeof(*base)*basec);
343         return ret;
344 }
345
346 int main(int argc, char **argv)
347 {
348         void *tos;
349         int envc, auxc, extrac = 0;
350         struct elf_aux *auxv, *extra = NULL;
351         int vmmflags = 0;
352         uint64_t entry = 0;
353         int ret;
354         struct vm_trapframe *vm_tf;
355         int c;
356         int test = 0;
357         int option_index;
358         int ac = argc;
359         char **av = argv;
360
361         fprintf(stderr, "%p %p %p %p\n", PGSIZE, PGSHIFT, PML1_SHIFT,
362                 PML1_PTE_REACH);
363
364         if ((uintptr_t)__procinfo.program_end >= MinMemory) {
365                 fprintf(stderr,
366                         "Panic: vmrunkernel binary extends into guest memory\n");
367                 exit(1);
368         }
369
370         while ((c = getopt_long(argc, argv, "a:dv:m:M:gsth", long_options,
371                                 &option_index)) != -1) {
372                 switch (c) {
373                 case 'a':
374                         extra = getextra(&extrac, optarg);
375                         if (debug)
376                                 fprintf(stderr, "Added %d aux items\n", extrac);
377                         break;
378                 case 'd':
379                         fprintf(stderr, "SET DEBUG\n");
380                         debug++;
381                         break;
382                 case 'v':
383                         vmmflags = strtoull(optarg, 0, 0);
384                         break;
385                 case 'm':
386                         memsize = strtoull(optarg, 0, 0);
387                         break;
388                 case 'M':
389                         memstart = strtoull(optarg, 0, 0);
390                         break;
391                 case 'g':       /* greedy */
392                         parlib_never_yield = TRUE;
393                         break;
394                 case 's':       /* scp */
395                         parlib_wants_to_be_mcp = FALSE;
396                         break;
397                 case 't':
398                         test = 1;
399                         break;
400                 case 'h':
401                 default:
402                         usage();
403                         break;
404                 }
405         }
406         argc -= optind;
407         argv += optind;
408         if ((!test) && (argc < 1)) {
409                 usage();
410         }
411
412         init_syscall_table();
413
414         if ((uintptr_t)(memstart + memsize) >= (uintptr_t)BRK_START) {
415                 fprintf(stderr,
416                         "memstart 0x%lx memsize 0x%lx -> 0x%lx is too large; overlaps BRK_START at %p\n",
417                         memstart, memsize, memstart + memsize, BRK_START);
418                 exit(1);
419         }
420
421         mmap_memory(&vm, memstart, memsize);
422
423         if (debug)
424                 fprintf(stderr, "mmap guest physical memory at %p for 0x%lx bytes\n",
425                         memstart, memsize);
426
427         // TODO: find out why we can't use memstart + memsize as TOS.
428         tos = (void *)(memstart + 0x800000);
429
430         for (envc = 0; environ[envc]; envc++)
431                 ;
432         auxv = (struct elf_aux *)&environ[envc+1];
433         for (auxc = 0; auxv[auxc].v[0]; auxc++)
434                 ;
435         auxv = buildaux(auxv, auxc, extra, extrac);
436         if (!auxv) {
437                 fprintf(stderr, "Can't build auxv: %r");
438                 exit(1);
439         }
440         auxc = auxc + extrac;
441
442         if (!test) {
443                 entry = load_elf(argv[0], MinMemory);
444                 if (entry == 0) {
445                         fprintf(stderr, "Unable to load kernel %s\n", argv[0]);
446                         exit(1);
447                 }
448         } else {
449                 fprintf(stderr, "Running dune test\n");
450                 entry = (uintptr_t) dune_test;
451         }
452         if (debug)
453                 fprintf(stderr, "Test: Populate stack at %p\n", tos);
454         tos = populate_stack(tos, ac, av, envc, environ, auxc, auxv);
455         if (debug)
456                 fprintf(stderr, "populated stack at %p; argc %d, envc %d, auxc %d\n",
457                         tos, ac, envc, auxc);
458
459         ret = vthread_attr_init(&vm, vmmflags);
460         if (ret) {
461                 fprintf(stderr, "vmm_init failed: %r\n");
462                 exit(1);
463         }
464
465         vm.gths[0]->vmcall = linuxemu;
466         vm_tf = gth_to_vmtf(vm.gths[0]);
467
468         /* we can't use the default stack since we set one up
469          * ourselves. */
470         vm_tf->tf_rsp = (uint64_t)tos;
471         if (debug)
472                 fprintf(stderr, "stack is %p\n", tos);
473
474         vthread_create(&vm, 0, (void *)entry, tos);
475
476         uthread_sleep_forever();
477         return 0;
478 }