We're finding more undocumented bits. So the bit set test is failing.
[akaros.git] / tests / vmm / vmrunkernel.c
index 5ea9e5b..65f669e 100644 (file)
 #include <sys/mman.h>
 #include <vmm/coreboot_tables.h>
 #include <ros/vmm.h>
+#include <parlib/uthread.h>
 #include <vmm/virtio.h>
 #include <vmm/virtio_mmio.h>
 #include <vmm/virtio_ids.h>
+#include <vmm/virtio_config.h>
 
 /* this test will run the "kernel" in the negative address space. We hope. */
 int *mmap_blob;
 unsigned long long stack[1024];
 volatile int shared = 0;
+volatile int quit = 0;
 int mcp = 1;
 
 #define MiB 0x100000u
 #define GiB (1u<<30)
-#define VIRTIOBASE (15*MiB)
 #define GKERNBASE (16*MiB)
 #define KERNSIZE (128*MiB+GKERNBASE)
 uint8_t _kernel[KERNSIZE];
 
 unsigned long long *p512, *p1, *p2m;
 
-pthread_t *my_threads;
 void **my_retvals;
-int nr_threads = 2;
+int nr_threads = 3;
 char *line, *consline, *outline;
 struct scatterlist iov[32];
 unsigned int inlen, outlen, conslen;
+int debug = 0;
 /* unlike Linux, this shared struct is for both host and guest. */
 //     struct virtqueue *constoguest = 
 //             vring_new_virtqueue(0, 512, 8192, 0, inpages, NULL, NULL, "test");
 volatile int gaveit = 0, gotitback = 0;
-struct virtqueue *guesttocons;
 struct scatterlist out[] = { {NULL, sizeof(outline)}, };
 struct scatterlist in[] = { {NULL, sizeof(line)}, };
+uint64_t virtio_mmio_base = 0x100000000;
 
-static inline uint32_t read32(const volatile void *addr)
+void *consout(void *arg)
 {
-       return *(const volatile uint32_t *)addr;
-}
-
-static inline void write32(volatile void *addr, uint32_t value)
-{
-       *(volatile uint32_t *)addr = value;
+       struct virtio_threadarg *a = arg;
+       struct virtqueue *v = a->arg->virtio;
+       fprintf(stderr, "talk thread ..\n");
+       uint16_t head;
+       uint32_t vv;
+       int i;
+       int num;
+       if (debug) {
+               printf("----------------------- TT a %p\n", a);
+               printf("talk thread ttargs %x v %x\n", a, v);
+       }
+       
+       for(num = 0;;num++) {
+               /* host: use any buffers we should have been sent. */
+               head = wait_for_vq_desc(v, iov, &outlen, &inlen);
+               if (debug)
+                       printf("CCC: vq desc head %d, gaveit %d gotitback %d\n", head, gaveit, gotitback);
+               for(i = 0; debug && i < outlen + inlen; i++)
+                       printf("CCC: v[%d/%d] v %p len %d\n", i, outlen + inlen, iov[i].v, iov[i].length);
+               /* host: if we got an output buffer, just output it. */
+               for(i = 0; i < outlen; i++) {
+                       num++;
+                       int j;
+                       for (j = 0; j < iov[i].length; j++)
+                               printf("%c", ((char *)iov[i].v)[j]);
+               }
+               
+               if (debug)
+                       printf("CCC: outlen is %d; inlen is %d\n", outlen, inlen);
+               /* host: fill in the writeable buffers. */
+               /* why we're getting these I don't know. */
+               for (i = outlen; i < outlen + inlen; i++) {
+                       if (debug) fprintf(stderr, "CCC: send back empty writeable");
+                       iov[i].length = 0;
+               }
+               if (debug) printf("CCC: call add_used\n");
+               /* host: now ack that we used them all. */
+               add_used(v, head, outlen+inlen);
+               if (debug) printf("CCC: DONE call add_used\n");
+       }
+       fprintf(stderr, "All done\n");
+       return NULL;
 }
 
-void dumpvirtio_mmio(FILE *f, void *v)
+void *consin(void *arg)
 {
-       fprintf(f, "VIRTIO_MMIO_MAGIC_VALUE: 0x%x\n", read32(v+VIRTIO_MMIO_MAGIC_VALUE));
-       fprintf(f, "VIRTIO_MMIO_VERSION: 0x%x\n", read32(v+VIRTIO_MMIO_VERSION));
-       fprintf(f, "VIRTIO_MMIO_DEVICE_ID: 0x%x\n", read32(v+VIRTIO_MMIO_DEVICE_ID));
-       fprintf(f, "VIRTIO_MMIO_VENDOR_ID: 0x%x\n", read32(v+VIRTIO_MMIO_VENDOR_ID));
-       fprintf(f, "VIRTIO_MMIO_DEVICE_FEATURES: 0x%x\n", read32(v+VIRTIO_MMIO_DEVICE_FEATURES));
-       fprintf(f, "VIRTIO_MMIO_DEVICE_FEATURES_SEL: 0x%x\n", read32(v+VIRTIO_MMIO_DEVICE_FEATURES_SEL));
-       fprintf(f, "VIRTIO_MMIO_DRIVER_FEATURES: 0x%x\n", read32(v+VIRTIO_MMIO_DRIVER_FEATURES));
-       fprintf(f, "VIRTIO_MMIO_DRIVER_FEATURES_SEL: 0x%x\n", read32(v+VIRTIO_MMIO_DRIVER_FEATURES_SEL));
-       fprintf(f, "VIRTIO_MMIO_GUEST_PAGE_SIZE: 0x%x\n", read32(v+VIRTIO_MMIO_GUEST_PAGE_SIZE));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_SEL: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_SEL));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_NUM_MAX: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_NUM_MAX));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_NUM: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_NUM));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_ALIGN: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_ALIGN));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_PFN: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_PFN));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_READY: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_READY));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_NOTIFY: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_NOTIFY));
-       fprintf(f, "VIRTIO_MMIO_INTERRUPT_STATUS: 0x%x\n", read32(v+VIRTIO_MMIO_INTERRUPT_STATUS));
-       fprintf(f, "VIRTIO_MMIO_INTERRUPT_ACK: 0x%x\n", read32(v+VIRTIO_MMIO_INTERRUPT_ACK));
-       fprintf(f, "VIRTIO_MMIO_STATUS: 0x%x\n", read32(v+VIRTIO_MMIO_STATUS));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_DESC_LOW: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_DESC_LOW));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_DESC_HIGH: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_DESC_HIGH));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_AVAIL_LOW: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_AVAIL_LOW));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_AVAIL_HIGH: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_AVAIL_HIGH));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_USED_LOW: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_USED_LOW));
-       fprintf(f, "VIRTIO_MMIO_QUEUE_USED_HIGH: 0x%x\n", read32(v+VIRTIO_MMIO_QUEUE_USED_HIGH));
-       fprintf(f, "VIRTIO_MMIO_CONFIG_GENERATION: 0x%x\n", read32(v+VIRTIO_MMIO_CONFIG_GENERATION));
-}
-static void setupconsole(void *v)
-{
-       // try to make linux happy.
-       // this is not really endian safe but ... well ... WE'RE ON THE SAME MACHINE
-       write32(v+VIRTIO_MMIO_MAGIC_VALUE, ('v' | 'i' << 8 | 'r' << 16 | 't' << 24));
-       // no constant for this is defined anywhere. It's just 1.
-       write32(v+VIRTIO_MMIO_VERSION, 1);
-       write32(v+VIRTIO_MMIO_DEVICE_ID, VIRTIO_ID_CONSOLE);
-       write32(v+VIRTIO_MMIO_QUEUE_NUM_MAX, 1);
-       write32(v+VIRTIO_MMIO_QUEUE_PFN, 0);
-}
-
-int debug = 1;
-
-struct ttargs {
-       void *virtio;
-};
 
-void *talk_thread(void *arg)
-{
+       fprintf(stderr, "consinput; nothing to do\n");
+#if 0
        struct ttargs *a = arg;
        void *v = a->virtio;
        fprintf(stderr, "talk thread ..\n");
@@ -129,7 +123,7 @@ void *talk_thread(void *arg)
        }
        if (debug)printf("vv %x, set selector %x\n", vv, read32(v + VIRTIO_MMIO_DRIVER_FEATURES_SEL));
        if (debug) printf("loop forever");
-       while (1)
+       while (! quit)
                ;
        for(num = 0;;num++) {
                /* host: use any buffers we should have been sent. */
@@ -166,28 +160,39 @@ void *talk_thread(void *arg)
                add_used(guesttocons, head, outlen+inlen);
                if (debug) printf("DONE call add_used\n");
        }
+#endif
        fprintf(stderr, "All done\n");
        return NULL;
 }
 
-struct ttargs t;
-       
+static struct vqdev vqdev= {
+name: "console",
+dev: VIRTIO_ID_CONSOLE,
+device_features: 0, /* Can't do it: linux console device does not support it. VIRTIO_F_VERSION_1*/
+numvqs: 2,
+vqs: {
+               {name: "consin", maxqnum: 64, f: &consin, arg: (void *)0},
+               {name: "consout", maxqnum: 64, f: consout, arg: (void *)0},
+       }
+};
 
 int main(int argc, char **argv)
 {
+       uint64_t virtiobase = 0x100000000ULL;
+       struct vmctl vmctl;
        int amt;
        int vmmflags = VMM_VMCALL_PRINTF;
        uint64_t entry = 0x1000000, kerneladdress = 0x1000000;
        int nr_gpcs = 1;
-       int fd = open("#cons/sysctl", O_RDWR), ret;
+       int fd = open("#c/vmctl", O_RDWR), ret;
        void * x;
        int kfd = -1;
        static char cmd[512];
        void *coreboot_tables = (void *) 0x1165000;
-       /* kernel has to be in the range VIRTIOBASE to KERNSIZE+GKERNBASE for now. */
+
        // mmap is not working for us at present.
-       if ((uint64_t)_kernel > VIRTIOBASE) {
-               printf("kernel array @%p is above , VIRTIOBASE@%p sucks\n", _kernel, VIRTIOBASE);
+       if ((uint64_t)_kernel > GKERNBASE) {
+               printf("kernel array @%p is above , GKERNBASE@%p sucks\n", _kernel, GKERNBASE);
                exit(1);
        }
        memset(_kernel, 0, sizeof(_kernel));
@@ -259,9 +264,8 @@ int main(int argc, char **argv)
 
        mcp = 1;
        if (mcp) {
-               my_threads = malloc(sizeof(pthread_t) * nr_threads);
                my_retvals = malloc(sizeof(void*) * nr_threads);
-               if (!(my_retvals && my_threads))
+               if (!my_retvals)
                        perror("Init threads/malloc");
 
                pthread_can_vcore_request(FALSE);       /* 2LS won't manage vcores */
@@ -276,8 +280,6 @@ int main(int argc, char **argv)
                }
        }
 
-       t.virtio = (void *)VIRTIOBASE;
-
        ret = syscall(33, 1);
        if (ret < 0) {
                perror("vm setup");
@@ -306,45 +308,62 @@ int main(int argc, char **argv)
        kernbase >>= (0+12);
        kernbase <<= (0 + 12);
        uint8_t *kernel = (void *)GKERNBASE;
-       write_coreboot_table(coreboot_tables, ((void *)VIRTIOBASE) /*kernel*/, KERNSIZE + 1048576);
+       //write_coreboot_table(coreboot_tables, ((void *)VIRTIOBASE) /*kernel*/, KERNSIZE + 1048576);
        hexdump(stdout, coreboot_tables, 512);
-       setupconsole((void *)VIRTIOBASE);
-       hexdump(stdout, (void *)VIRTIOBASE, 128);
        printf("kernbase for pml4 is 0x%llx and entry is %llx\n", kernbase, entry);
        printf("p512 %p p512[0] is 0x%lx p1 %p p1[0] is 0x%x\n", p512, p512[0], p1, p1[0]);
-       sprintf(cmd, "V 0x%llx 0x%llx 0x%llx", entry, (unsigned long long) &stack[1024], (unsigned long long) p512);
+       vmctl.command = REG_RSP_RIP_CR3;
+       vmctl.cr3 = (uint64_t) p512;
+       vmctl.regs.tf_rip = entry;
+       vmctl.regs.tf_rsp = (uint64_t) &stack[1024];
        if (mcp) {
-               if (pthread_create(&my_threads[0], NULL, &talk_thread, &t))
-                       perror("pth_create failed");
+               /* set up virtio bits, which depend on threads being enabled. */
+               register_virtio_mmio(&vqdev, virtio_mmio_base);
        }
        printf("threads started\n");
        printf("Writing command :%s:\n", cmd);
-       // sys_getpcoreid
-       ret = write(fd, cmd, strlen(cmd));
-       if (ret != strlen(cmd)) {
+
+       ret = write(fd, &vmctl, sizeof(vmctl));
+       if (ret != sizeof(vmctl)) {
                perror(cmd);
        }
-       sprintf(cmd, "V 0 0 0");
        while (1) {
+               void showstatus(FILE *f, struct vmctl *v);
                int c;
-               printf("RESUME?\n");
-               c = getchar();
-               if (c == 'q')
-                       break;
-               ret = write(fd, cmd, strlen(cmd));
-               if (ret != strlen(cmd)) {
+               vmctl.command = REG_RIP;
+               if (debug) printf("RESUME?\n");
+               //c = getchar();
+               //if (c == 'q')
+                       //break;
+               if (debug) printf("RIP %p, shutdown 0x%x\n", vmctl.regs.tf_rip, vmctl.shutdown);
+               //showstatus(stdout, &vmctl);
+               // this will be in a function, someday.
+               // A rough check: is the GPA 
+               if ((vmctl.shutdown == 5/*EXIT_REASON_EPT_VIOLATION*/) && ((vmctl.gpa & ~0xfffULL) == virtiobase)) {
+                       if (debug) printf("DO SOME VIRTIO\n");
+                       virtio_mmio(&vmctl);
+                       vmctl.shutdown = 0;
+                       vmctl.gpa = 0;
+                       vmctl.command = REG_ALL;
+               }
+               if (debug) printf("NOW DO A RESUME\n");
+               ret = write(fd, &vmctl, sizeof(vmctl));
+               if (ret != sizeof(vmctl)) {
                        perror(cmd);
                }
        }
-       dumpvirtio_mmio(stdout, (void *)VIRTIOBASE);
+
        printf("shared is %d, blob is %d\n", shared, *mmap_blob);
 
+       quit = 1;
+       /* later. 
        for (int i = 0; i < nr_threads-1; i++) {
                int ret;
                if (pthread_join(my_threads[i], &my_retvals[i]))
                        perror("pth_join failed");
                printf("%d %d\n", i, ret);
        }
+ */
 
        return 0;
 }