Added logging functionality to linuxemu
[akaros.git] / tests / dune / dune.c
1 #include <stdio.h>
2 #include <pthread.h>
3 #include <sys/types.h>
4 #include <sys/stat.h>
5 #include <fcntl.h>
6 #include <parlib/arch/arch.h>
7 #include <parlib/ros_debug.h>
8 #include <unistd.h>
9 #include <gelf.h>
10 #include <errno.h>
11 #include <libelf.h>
12 #include <dirent.h>
13 #include <stdlib.h>
14 #include <string.h>
15 #include <ros/syscall.h>
16 #include <sys/mman.h>
17 #include <vmm/vmm.h>
18 #include <vmm/acpi/acpi.h>
19 #include <vmm/acpi/vmm_simple_dsdt.h>
20 #include <ros/arch/mmu.h>
21 #include <ros/arch/membar.h>
22 #include <ros/vmm.h>
23 #include <parlib/uthread.h>
24 #include <vmm/linux_bootparam.h>
25 #include <getopt.h>
26 #include <iplib/iplib.h>
27 #include <vmm/sched.h>
28 #include <sys/eventfd.h>
29 #include <sys/uio.h>
30 #include <err.h>
31 #include <vmm/linuxemu.h>
32
33 struct vmm_gpcore_init gpci;
34 bool linuxemu(struct guest_thread *gth, struct vm_trapframe *tf);
35
36 /* ah, elf. */
37 struct elf_aux {
38         unsigned long v[2];
39 };
40
41 extern char **environ;
42
43 static struct virtual_machine vm = {.halt_exit = true,};
44
45 static unsigned long long memsize = GiB;
46 static uintptr_t memstart = MinMemory;
47
48 static int dune_debug;
49
50 static void hlt(void)
51 {
52         __asm__ __volatile__("\thlt\n\t");
53 }
54
55 static int pc(char *c)
56 {
57         __asm__ __volatile__("movq $1, %%rax\n"
58                              "movq $1, %%rdi\n"
59                              "movq %0, %%rsi\n"
60                              "movq $1, %%rdx\n"
61                              "vmcall\n" ::
62                              "m"(c) : "rdi", "rax", "rsi", "rdx");
63         return 0;
64 }
65
66 static void xnum(uint64_t x)
67 {
68         static char *hex = "0123456789abcdef";
69
70         for (int i = 0; i < 8; i++) {
71                 uint8_t v = ((uint8_t*)&x)[7 - i];
72                 pc(&hex[v >> 4]);
73                 pc(&hex[v & 0xf]);
74         }
75 }
76
77 static void show(char *s)
78 {
79         static char *showedoff = "NULL POINTER: That's bad.\n";
80
81         if (!s) {
82                 show(showedoff);
83                 return;
84         }
85         while (*s) {
86                 pc(s);
87                 s++;
88         }
89 }
90
91 /* This is a small test that runs in gr0 and tests our argument setup.
92  * This test can grow in capability as we find more broken bits in our
93  * dune-like environment. */
94
95 void dune_test(void *stack)
96 {
97         show("Hello this is dune's test\n");
98
99         int argc;
100         char **argv;
101         struct elf_aux *auxv;
102
103         show("dune_test: dumping argv, env, and aux\n");
104
105         argc = *((uint64_t*)stack);
106         argv = &((char**)stack)[1];
107         show("argc: "); xnum(argc); show("\n");
108         show("argv: "); xnum((uint64_t)argv); show("\n");
109
110         for (int i = 0; i < argc; i++, argv++) {
111                 show("arg["); xnum(i); show("]:");
112                 show(argv[0]);
113                 show("\n");
114         }
115         // skip the null and move on to envp.
116         argv++;
117         for (int i = 0; argv[0]; i++, argv++) {
118                 show("env["); xnum(i); show("]:");
119                 show(argv[0]);
120                 show("\n");
121         }
122         // skip the null and move on to auxv.
123         argv++;
124         auxv = (void *)argv;
125         for (int i = 0; auxv[i].v[0]; i++) {
126                 show("auxv["); xnum(i); show("]:");
127                 xnum(auxv[i].v[0]); show(":");
128                 xnum(auxv[i].v[1]); show("\n");
129         }
130         show("Done dumping [argv, env, auxv]\n");
131         hlt();
132 }
133
134 /* populate_stack fills the stack with an argv, envp, and auxv.
135  * We assume the stack pointer is backed by real memory.
136  * It will go hard with you if it does not. For your own health,
137  * stack should be 16-byte aligned. */
138 void *populate_stack(uintptr_t *stack, int argc, char *argv[],
139                          int envc, char *envp[],
140                          int auxc, struct elf_aux auxv[])
141 {
142         /* Function to get the lengths of the argument and environment strings. */
143         int get_lens(int argc, char *argv[], int arg_lens[])
144         {
145                 int total = 0;
146
147                 if (!argc)
148                         return 0;
149                 for (int i = 0; i < argc; i++) {
150                         arg_lens[i] = strlen(argv[i]) + 1;
151                         total += arg_lens[i];
152                 }
153                 return total;
154         }
155
156         /* Function to help map the argument and environment strings, to their
157          * final location. */
158         int remap(int argc, char *argv[], char *new_argv[],
159               char new_argbuf[], int arg_lens[])
160         {
161                 int offset = 0;
162
163                 if (!argc)
164                         return 0;
165                 for (int i = 0; i < argc; i++) {
166                         memcpy(new_argbuf + offset, argv[i], arg_lens[i]);
167                         if (dune_debug) {
168                                 fprintf(stderr, "data: memcpy(%p, %p, %ld)\n",
169                                         new_argbuf + offset, argv[i], arg_lens[i]);
170                                 fprintf(stderr, "arg: set arg %d, @%p, to %p\n", i,
171                                         &new_argv[i], new_argbuf + offset);
172                         }
173                         new_argv[i] = new_argbuf + offset;
174                         offset += arg_lens[i];
175                 }
176                 new_argv[argc] = NULL;
177                 return offset;
178         }
179
180         /* Start tracking the size of the buffer necessary to hold all of our data
181          * on the stack. Preallocate space for argc, argv, envp, and auxv in this
182          * buffer. */
183         int bufsize = 0;
184
185         bufsize += 1 * sizeof(size_t);
186         bufsize += (auxc + 1) * sizeof(struct elf_aux);
187         bufsize += (envc + 1) * sizeof(char**);
188         bufsize += (argc + 1) * sizeof(char**);
189         if (dune_debug)
190                 fprintf(stderr, "Bufsize for pointers and argc is %d\n", bufsize);
191
192         /* Add in the size of the env and arg strings. */
193         int arg_lens[argc];
194         int env_lens[envc];
195
196         bufsize += get_lens(argc, argv, arg_lens);
197         bufsize += get_lens(envc, envp, env_lens);
198         if (dune_debug)
199                 fprintf(stderr, "Bufsize for pointers, argc, and strings is %d\n",
200                         bufsize);
201
202         /* Adjust bufsize so that our buffer will ultimately be 16 byte aligned. */
203         bufsize = (bufsize + 15) & ~0xf;
204         if (dune_debug)
205                 fprintf(stderr,
206                         "Bufsize for pointers, argc, and strings is rounded is %d\n",
207                         bufsize);
208
209         /* Set up pointers to all of the appropriate data regions we map to. */
210         size_t *new_argc = (size_t*)((uint8_t*)stack - bufsize);
211         char **new_argv = (char**)(new_argc + 1);
212         char **new_envp = new_argv + argc + 1;
213         struct elf_aux *new_auxv = (struct elf_aux*)(new_envp + envc + 1);
214         char *new_argbuf = (char*)(new_auxv + auxc + 1);
215
216         if (dune_debug) {
217                 fprintf(stderr, "There are %d args, %d env, and %d aux\n", new_argc,
218                         envc, auxc);
219                 fprintf(stderr, "Locations: argc: %p, argv: %p, envp: %p, auxv: %p\n",
220                                 new_argc, new_argv, new_envp, new_auxv);
221                 fprintf(stderr, "Locations: argbuf: %p, ", new_argbuf);
222                 fprintf(stderr, "Sizeof argc is %d\n", sizeof(size_t));
223         }
224         /* Map argc into its final location. */
225         *new_argc = argc;
226
227         /* Map all data for argv and envp into its final location. */
228         int offset = 0;
229
230         offset = remap(argc, argv, new_argv, new_argbuf, arg_lens);
231         if (offset == -1)
232                 return 0;
233         if (dune_debug) {
234                 fprintf(stderr, "Locations: argbuf: %p, envbuf: %p, ", new_argbuf,
235                         new_argbuf + offset);
236
237         }
238         offset = remap(envc, envp, new_envp, new_argbuf + offset, env_lens);
239         if (offset == -1)
240                 return 0;
241
242         /* Map auxv into its final location. */
243         struct elf_aux null_aux = {0, 0};
244
245         memcpy(new_auxv, auxv, auxc * sizeof(struct elf_aux));
246         memcpy(new_auxv + auxc, &null_aux, sizeof(struct elf_aux));
247         if (dune_debug) {
248                 fprintf(stderr, "auxbuf: %p\n", new_auxv);
249                 hexdump(stdout, new_auxv, auxc * sizeof(struct elf_aux));
250         }
251         return (uint8_t*)stack - bufsize;
252 }
253
254 static struct option long_options[] = {
255         {"aux",           required_argument, 0, 'a'},
256         {"debug",         no_argument,       0, 'd'},
257         {"vmmflags",      required_argument, 0, 'v'},
258         {"memsize",       required_argument, 0, 'm'},
259         {"memstart",      required_argument, 0, 'M'},
260         {"cmdline_extra", required_argument, 0, 'c'},
261         {"greedy",        no_argument,       0, 'g'},
262         {"scp",           no_argument,       0, 's'},
263         {"test",          no_argument,       0, 't'},
264         {"help",          no_argument,       0, 'h'},
265         {0, 0, 0, 0}
266 };
267
268 static void
269 usage(void)
270 {
271         // Sadly, the getopt_long struct does
272         // not have a pointer to help text.
273         fprintf(stderr,
274               "Usage: dune [options] <ELF file] [<ELF file>...]\n");
275         fprintf(stderr,
276               "Or for testing: dune -t [options]\nOptions are:\n");
277         for (int i = 0;
278              i < COUNT_OF(long_options) - 1;
279              i++) {
280                 struct option *l = &long_options[i];
281
282                 fprintf(stderr, "%s or %c%s\n", l->name, l->val,
283                         l->has_arg ? " <arg>" : "");
284         }
285         exit(0);
286 }
287
288 static struct elf_aux *
289 getextra(int *auxc, char *_s)
290 {
291         struct elf_aux *auxv;
292         char *s = strdup(_s);
293         // icky hardcode, but realistic.
294         char *auxpairs[32];
295
296         *auxc = gettokens(s, auxpairs, 32, ",");
297         if (dune_debug)
298                 fprintf(stderr, "Found %d extra aux pairs\n", *auxc);
299         if (*auxc < 1)
300                 return NULL;
301         auxv = malloc(sizeof(*auxv) * *auxc);
302         if (!auxv)
303                 errx(1, "auxv malloc: %r");
304         for (int i = 0; i < *auxc; i++) {
305                 char *aux[2];
306                 int j;
307                 uint32_t t, v;
308
309                 j = gettokens(auxpairs[i], aux, 2, "=");
310                 if (j < 2) {
311                         fprintf(stderr, "%s: should be in the form type=val\n",
312                                 auxpairs[i]);
313                         free(auxv);
314                         return NULL;
315                 }
316                 t = strtoul(aux[0], 0, 0);
317                 v = strtoul(aux[1], 0, 0);
318                 auxv[i].v[0] = t;
319                 auxv[i].v[1] = v;
320                 if (dune_debug)
321                         fprintf(stderr, "Adding aux pair 0x%x:0x%x\n", auxv[i].v[0],
322                                 auxv[i].v[1]);
323         }
324         return auxv;
325
326 }
327
328 static struct elf_aux *
329 buildaux(struct elf_aux *base, int basec, struct elf_aux *extra, int extrac)
330 {
331         int total = basec + extrac;
332         struct elf_aux *ret;
333
334         ret = realloc(extra, total * sizeof(*ret));
335         if (!ret)
336                 return NULL;
337
338         if (dune_debug)
339                 fprintf(stderr, "buildaux: consolidating %d aux and %d extra\n",
340                         basec, extrac);
341         /* TOOD: check for dups. */
342         if (basec)
343                 memmove(&ret[extrac], base, sizeof(*base)*basec);
344         return ret;
345 }
346
347 int main(int argc, char **argv)
348 {
349         void *tos;
350         int envc, auxc, extrac = 0;
351         struct elf_aux *auxv, *extra = NULL;
352         int vmmflags = 0;
353         uint64_t entry = 0;
354         int ret;
355         struct vm_trapframe *vm_tf;
356         int c;
357         int test = 0;
358         int option_index;
359         int ac = argc;
360         char **av = argv;
361
362         fprintf(stderr, "%p %p %p %p\n", PGSIZE, PGSHIFT, PML1_SHIFT,
363                 PML1_PTE_REACH);
364
365         if ((uintptr_t)__procinfo.program_end >= MinMemory) {
366                 fprintf(stderr,
367                         "Panic: vmrunkernel binary extends into guest memory\n");
368                 exit(1);
369         }
370
371         while ((c = getopt_long(argc, argv, "a:dv:m:M:gsth", long_options,
372                                 &option_index)) != -1) {
373                 switch (c) {
374                 case 'a':
375                         extra = getextra(&extrac, optarg);
376                         if (dune_debug)
377                                 fprintf(stderr, "Added %d aux items\n", extrac);
378                         break;
379                 case 'd':
380                         fprintf(stderr, "SET DEBUG\n");
381                         dune_debug++;
382                         break;
383                 case 'v':
384                         vmmflags = strtoull(optarg, 0, 0);
385                         break;
386                 case 'm':
387                         memsize = strtoull(optarg, 0, 0);
388                         break;
389                 case 'M':
390                         memstart = strtoull(optarg, 0, 0);
391                         break;
392                 case 'g':       /* greedy */
393                         parlib_never_yield = TRUE;
394                         break;
395                 case 's':       /* scp */
396                         parlib_wants_to_be_mcp = FALSE;
397                         break;
398                 case 't':
399                         test = 1;
400                         break;
401                 case 'h':
402                 default:
403                         usage();
404                         break;
405                 }
406         }
407         argc -= optind;
408         argv += optind;
409         if ((!test) && (argc < 1)) {
410                 usage();
411         }
412
413         init_lemu_logging(dune_debug);
414         init_syscall_table();
415
416         if ((uintptr_t)(memstart + memsize) >= (uintptr_t)BRK_START) {
417                 fprintf(stderr,
418                         "memstart 0x%lx memsize 0x%lx -> 0x%lx is too large; overlaps BRK_START at %p\n",
419                         memstart, memsize, memstart + memsize, BRK_START);
420                 exit(1);
421         }
422
423         mmap_memory(&vm, memstart, memsize);
424
425         if (dune_debug)
426                 fprintf(stderr, "mmap guest physical memory at %p for 0x%lx bytes\n",
427                         memstart, memsize);
428
429         // TODO: find out why we can't use memstart + memsize as TOS.
430         tos = (void *)(memstart + 0x800000);
431
432         for (envc = 0; environ[envc]; envc++)
433                 ;
434         auxv = (struct elf_aux *)&environ[envc+1];
435         for (auxc = 0; auxv[auxc].v[0]; auxc++)
436                 ;
437         auxv = buildaux(auxv, auxc, extra, extrac);
438         if (!auxv) {
439                 fprintf(stderr, "Can't build auxv: %r");
440                 exit(1);
441         }
442         auxc = auxc + extrac;
443
444         if (!test) {
445                 entry = load_elf(argv[0], MinMemory);
446                 if (entry == 0) {
447                         fprintf(stderr, "Unable to load kernel %s\n", argv[0]);
448                         exit(1);
449                 }
450         } else {
451                 fprintf(stderr, "Running dune test\n");
452                 entry = (uintptr_t) dune_test;
453         }
454         if (dune_debug)
455                 fprintf(stderr, "Test: Populate stack at %p\n", tos);
456         tos = populate_stack(tos, ac, av, envc, environ, auxc, auxv);
457         if (dune_debug)
458                 fprintf(stderr, "populated stack at %p; argc %d, envc %d, auxc %d\n",
459                         tos, ac, envc, auxc);
460
461         ret = vthread_attr_init(&vm, vmmflags);
462         if (ret) {
463                 fprintf(stderr, "vmm_init failed: %r\n");
464                 exit(1);
465         }
466
467         vm.gths[0]->vmcall = linuxemu;
468         vm_tf = gth_to_vmtf(vm.gths[0]);
469
470         /* we can't use the default stack since we set one up
471          * ourselves. */
472         vm_tf->tf_rsp = (uint64_t)tos;
473         if (dune_debug)
474                 fprintf(stderr, "stack is %p\n", tos);
475
476         vthread_create(&vm, 0, (void *)entry, tos);
477
478         uthread_sleep_forever();
479         return 0;
480 }