More verbose multicore debugging
[akaros.git] / kern / src / env.c
index 514815a..3a4abb4 100644 (file)
@@ -136,9 +136,8 @@ WRITES(e->env_pgdir, e->env_cr3, e->env_procinfo, e->env_procdata)
         * First, allocate a page for the pgdir of this process and up
         * its reference count since this will never be done elsewhere
         */
-       r = page_alloc(&pgdir);
+       r = kpage_alloc(&pgdir);
        if(r < 0) return r;
-       page_incref(pgdir);
 
        /*
         * Next, set up the e->env_pgdir and e->env_cr3 pointers to point
@@ -171,7 +170,7 @@ WRITES(e->env_pgdir, e->env_cr3, e->env_procinfo, e->env_procdata)
         * procinfo structure into the page table
         */
        for(int i=0; i<PROCINFO_NUM_PAGES; i++) {
-               if(page_alloc(&pginfo[i]) < 0)
+               if(upage_alloc(e, &pginfo[i]) < 0)
                        goto env_setup_vm_error;
                if(page_insert(e->env_pgdir, pginfo[i], (void*SNT)(UINFO + i*PGSIZE),
                               PTE_USER_RO) < 0)
@@ -183,7 +182,7 @@ WRITES(e->env_pgdir, e->env_cr3, e->env_procinfo, e->env_procdata)
         * procdata structure into the page table
         */
        for(int i=0; i<PROCDATA_NUM_PAGES; i++) {
-               if(page_alloc(&pgdata[i]) < 0)
+               if(upage_alloc(e, &pgdata[i]) < 0)
                        goto env_setup_vm_error;
                if(page_insert(e->env_pgdir, pgdata[i], (void*SNT)(UDATA + i*PGSIZE),
                               PTE_USER_RW) < 0)
@@ -206,7 +205,7 @@ WRITES(e->env_pgdir, e->env_cr3, e->env_procinfo, e->env_procdata)
         * (TODO).  Note the page is alloced only the first time through
         */
        if (!shared_page) {
-               if(page_alloc(&shared_page) < 0)
+               if(upage_alloc(e, &shared_page) < 0)
                        goto env_setup_vm_error;
                // Up it, so it never goes away.  One per user, plus one from page_alloc
                // This is necessary, since it's in the per-process range of memory that
@@ -239,7 +238,7 @@ proc_init_procinfo(struct proc* p)
        p->env_procinfo->id = (p->env_id & 0x3FF);
 
        // TODO: maybe do something smarter here
-       p->env_procinfo->max_harts = num_cpus > 1 ? num_cpus-1 : 1;
+       p->env_procinfo->max_harts = MAX(1,num_cpus-1);
 }
 
 // Sets up argc/argv in procinfo.  Returns number of
@@ -319,6 +318,10 @@ env_alloc(env_t **newenv_store, envid_t parent_id)
 
     { INITSTRUCT(*e)
 
+       // Setup the default map of where to get cache colors from
+       e->cache_colors_map = global_cache_colors_map;
+       e->next_cache_color = 0;
+
        // Allocate and set up the page directory for this environment.
        if ((r = env_setup_vm(e)) < 0) {
                spin_lock(&freelist_lock);
@@ -344,8 +347,6 @@ env_alloc(env_t **newenv_store, envid_t parent_id)
        e->num_vcores = 0;
        for (int i = 0; i < MAX_NUM_CPUS; i++)
                e->vcoremap[i] = -1;
-       e->cache_colors_map = kmalloc(llc_cache->num_colors, 0);
-       CLR_BITMASK(e->cache_colors_map, llc_cache->num_colors);
        memset(&e->resources, 0, sizeof(e->resources));
 
        memset(&e->env_ancillary_state, 0, sizeof(e->env_ancillary_state));
@@ -382,7 +383,7 @@ env_alloc(env_t **newenv_store, envid_t parent_id)
 //
 // Allocate len bytes of physical memory for environment env,
 // and map it at virtual address va in the environment's address space.
-// Does not zero or otherwise initialize the mapped pages in any way.
+// Pages are zeroed by upage_alloc.
 // Pages should be writable by user and kernel.
 // Panic if any allocation attempt fails.
 //
@@ -401,9 +402,6 @@ env_segment_alloc(env_t *e, void *SNT va, size_t len)
                panic("Wrap-around in memory allocation addresses!");
        if ((uintptr_t)end > UTOP)
                panic("Attempting to map above UTOP!");
-       // page_insert/pgdir_walk alloc a page and read/write to it via its address
-       // starting from pgdir (e's), so we need to be using e's pgdir
-       assert(e->env_cr3 == rcr3());
        num_pages = LA2PPN(end - start);
 
        for (i = 0; i < num_pages; i++, start += PGSIZE) {
@@ -414,7 +412,7 @@ env_segment_alloc(env_t *e, void *SNT va, size_t len)
                pte = pgdir_walk(e->env_pgdir, start, 0);
                if (pte && *pte & PTE_P)
                        continue;
-               if ((r = page_alloc(&page)) < 0)
+               if ((r = upage_alloc(e, &page)) < 0)
                        panic("env_segment_alloc: %e", r);
                page_insert(e->env_pgdir, page, start, PTE_USER_RW);
        }
@@ -448,6 +446,52 @@ env_segment_free(env_t *e, void *SNT va, size_t len)
        }
 }
 
+// this helper function handles all cases of copying to/from user/kernel
+// or between two users.
+static error_t
+load_icode_memcpy(env_t* e, env_t* binary_env, void* dest, const void* src, size_t len)
+{
+       if(src < (void*)UTOP)
+       {
+               if(binary_env == NULL)
+                       return -EFAULT;
+
+               if(e == NULL)
+                       return memcpy_from_user(binary_env,dest,src,len);
+               else
+               {
+                       // TODO: do something more elegant & faster here.
+                       // e.g. a memcpy_from_user_to_user
+                       uint8_t kbuf[1024];
+                       while(len > 0)
+                       {
+                               size_t thislen = MIN(len,sizeof(kbuf));
+                               if(memcpy_from_user(binary_env,kbuf,src,thislen))
+                                       return -EFAULT;
+                               if(memcpy_to_user(e,dest,kbuf,thislen))
+                                       panic("destination env isn't mapped!");
+                               len -= thislen;
+                               src += thislen;
+                               dest += thislen;
+                       }
+                       return ESUCCESS;
+               }
+
+       }
+       else
+       {
+               if(binary_env != NULL)
+                       return -EFAULT;
+
+               if(e == NULL)
+                       memcpy(dest,src,len);
+               else if(memcpy_to_user(e,dest,src,len))
+                       panic("destination env isn't mapped!");
+
+               return ESUCCESS;
+       }
+}
+
 //
 // Set up the initial program binary, stack, and processor flags
 // for a user process.
@@ -461,13 +505,14 @@ env_segment_free(env_t *e, void *SNT va, size_t len)
 //
 // Finally, this function maps one page for the program's initial stack.
 static void*
-load_icode(env_t *SAFE e, uint8_t *COUNT(size) binary, size_t size)
+load_icode(env_t *SAFE e, env_t* binary_env, uint8_t *COUNT(size) binary, size_t size)
 {
        // asw: copy the headers because they might not be aligned.
        elf_t elfhdr;
        proghdr_t phdr;
        void* _end = 0;
-       memcpy(&elfhdr, binary, sizeof(elfhdr));
+
+       assert(load_icode_memcpy(NULL,binary_env,&elfhdr, binary, sizeof(elfhdr)) == ESUCCESS);
 
        int i, r;
 
@@ -476,28 +521,12 @@ load_icode(env_t *SAFE e, uint8_t *COUNT(size) binary, size_t size)
        // make sure we have proghdrs to load
        assert(elfhdr.e_phnum);
 
-       // to actually access any pages alloc'd for this environment, we
-       // need to have the hardware use this environment's page tables.
-       uintreg_t old_cr3 = rcr3();
-       /*
-        * Even though we'll decref later and no one should be killing us at this
-        * stage, we're still going to wrap the lcr3s with incref/decref.
-        *
-        * Note we never decref on the old_cr3, since we aren't willing to let it
-        * die.  It's also not clear who the previous process is - sometimes it
-        * isn't even a process (when the kernel loads on its own, and not in
-        * response to a syscall).  Probably need to think more about this (TODO)
-        *
-        * This can get a bit tricky if this code blocks (will need to think about a
-        * decref then), if we try to change states, etc.
-        */
-       proc_incref(e);
-       lcr3(e->env_cr3);
-
        // TODO: how do we do a runtime COUNT?
        {TRUSTEDBLOCK // zra: TRUSTEDBLOCK until validation is done.
        for (i = 0; i < elfhdr.e_phnum; i++) {
-               memcpy(&phdr, binary + elfhdr.e_phoff + i*sizeof(phdr), sizeof(phdr));
+               // copy phdr to kernel mem
+               assert(load_icode_memcpy(NULL,binary_env,&phdr, binary + elfhdr.e_phoff + i*sizeof(phdr), sizeof(phdr)) == ESUCCESS);
+
                if (phdr.p_type != ELF_PROG_LOAD)
                        continue;
                // TODO: validate elf header fields!
@@ -505,9 +534,12 @@ load_icode(env_t *SAFE e, uint8_t *COUNT(size) binary, size_t size)
                // this, there will be issues with overlapping sections
                _end = MAX(_end, (void*)(phdr.p_va + phdr.p_memsz));
                env_segment_alloc(e, (void*SNT)phdr.p_va, phdr.p_memsz);
-               memcpy((void*)phdr.p_va, binary + phdr.p_offset, phdr.p_filesz);
-               memset((void*)phdr.p_va + phdr.p_filesz, 0, 
-                             phdr.p_memsz - phdr.p_filesz);
+
+               // copy section to user mem
+               assert(load_icode_memcpy(e,binary_env,(void*)phdr.p_va, binary + phdr.p_offset, phdr.p_filesz) == ESUCCESS);
+
+               //no need to memclr the remaining p_memsz-p_filesz bytes
+               //because upage_alloc'd pages are zeroed
        }}
 
        proc_set_program_counter(&e->env_tf, elfhdr.e_entry);
@@ -517,10 +549,6 @@ load_icode(env_t *SAFE e, uint8_t *COUNT(size) binary, size_t size)
        // starting at virtual address USTACKTOP - USTACK_NUM_PAGES*PGSIZE.
        env_segment_alloc(e, (void*SNT)(USTACKTOP - USTACK_NUM_PAGES*PGSIZE), 
                          USTACK_NUM_PAGES*PGSIZE);
-
-       // reload the original address space
-       lcr3(old_cr3);
-       proc_decref(e);
        
        return _end;
 }
@@ -528,7 +556,7 @@ load_icode(env_t *SAFE e, uint8_t *COUNT(size) binary, size_t size)
 //
 // Allocates a new env and loads the named elf binary into it.
 //
-env_t* env_create(uint8_t *binary, size_t size)
+env_t* env_create()
 {
        env_t *e;
        int r;
@@ -537,13 +565,21 @@ env_t* env_create(uint8_t *binary, size_t size)
        curid = (current ? current->env_id : 0);
        if ((r = env_alloc(&e, curid)) < 0)
                panic("env_create: %e", r);
-       
+
+       // default PC: will cause page fault if not otherwise set.
+       proc_set_program_counter(&e->env_tf, 0);
+       e->end_text_segment = 0;
+       e->end_data_segment = 0;
+
+       return e;
+}
+
+void env_load_icode(env_t* e, env_t* binary_env, uint8_t* binary, size_t size)
+{
        /* Load the binary and set the current locations of the elf segments.
         * All end-of-segment pointers are page aligned (invariant) */
-       e->end_text_segment = load_icode(e, binary, size);
+       e->end_text_segment = load_icode(e, binary_env, binary, size);
        e->end_data_segment = e->end_text_segment;
-
-       return e;
 }
 
 //
@@ -559,6 +595,13 @@ env_free(env_t *e)
        // All parts of the kernel should have decref'd before env_free was called.
        assert(e->env_refcnt == 0);
 
+       // Free any colors allocated to this process
+       if(e->cache_colors_map != global_cache_colors_map) {
+               for(int i=0; i<llc_cache->num_colors; i++)
+                       cache_color_free(llc_cache, e->cache_colors_map);
+               cache_colors_map_free(e->cache_colors_map);
+       }
+
        // Flush all mapped pages in the user portion of the address space
        env_user_mem_free(e);
 
@@ -568,9 +611,6 @@ env_free(env_t *e)
        e->env_cr3 = 0;
        page_decref(pa2page(pa));
 
-       //Free any memory allocated by this process
-       kfree(e->cache_colors_map);
-
        // return the environment to the free list
        e->state = ENV_FREE;
        spin_lock(&freelist_lock);