Fix bug with duping fds for plan 9 files
[akaros.git] / kern / src / syscall.c
index c10c9e5..57a3d68 100644 (file)
@@ -4,12 +4,13 @@
 #pragma nosharc
 #endif
 
+//#define DEBUG
 #include <ros/common.h>
 #include <arch/types.h>
 #include <arch/arch.h>
 #include <arch/mmu.h>
 #include <arch/console.h>
-#include <ros/time.h>
+#include <time.h>
 #include <error.h>
 
 #include <elf.h>
 #include <smp.h>
 #include <arsc_server.h>
 #include <event.h>
-#include <socket.h>
-
-
-#ifdef __CONFIG_NETWORKING__
-#include <arch/nic_common.h>
-extern int (*send_frame)(const char *CT(len) data, size_t len);
-extern unsigned char device_mac[6];
-#endif
+#include <termios.h>
 
 /* Tracing Globals */
 int systrace_flags = 0;
@@ -48,7 +42,7 @@ struct systrace_record *systrace_buffer = 0;
 uint32_t systrace_bufidx = 0;
 size_t systrace_bufsize = 0;
 struct proc *systrace_procs[MAX_NUM_TRACED] = {0};
-spinlock_t systrace_lock = SPINLOCK_INITIALIZER;
+spinlock_t systrace_lock = SPINLOCK_INITIALIZER_IRQSAVE;
 
 /* Not enforcing the packing of systrace_procs yet, but don't rely on that */
 static bool proc_is_traced(struct proc *p)
@@ -67,15 +61,16 @@ static void finish_sysc(struct syscall *sysc, struct proc *p)
         * CASing with userspace.  We need the atomics since we're racing with
         * userspace for the event_queue registration.  The 'lock' tells userspace
         * to not muck with the flags while we're signalling. */
-       atomic_or(&sysc->flags, SC_K_LOCK | SC_DONE); 
+       atomic_or(&sysc->flags, SC_K_LOCK | SC_DONE);
        __signal_syscall(sysc, p);
        atomic_and(&sysc->flags, ~SC_K_LOCK); 
 }
 
-/* Helper that "finishes" the current async syscall.  This should be used when
- * we are calling a function in a syscall that might not return and won't be
- * able to use the normal syscall return path, such as proc_yield().  Call this
- * from within syscall.c (I don't want it global).
+/* Helper that "finishes" the current async syscall.  This should be used with
+ * care when we are not using the normal syscall completion path.
+ *
+ * Do *NOT* complete the same syscall twice.  This is catastrophic for _Ms, and
+ * a bad idea for _S.
  *
  * It is possible for another user thread to see the syscall being done early -
  * they just need to be careful with the weird proc management calls (as in,
@@ -86,9 +81,9 @@ static void finish_sysc(struct syscall *sysc, struct proc *p)
 static void finish_current_sysc(int retval)
 {
        struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
-       assert(pcpui->cur_sysc);
-       pcpui->cur_sysc->retval = retval;
-       finish_sysc(pcpui->cur_sysc, pcpui->cur_proc);
+       assert(pcpui->cur_kthread->sysc);
+       pcpui->cur_kthread->sysc->retval = retval;
+       finish_sysc(pcpui->cur_kthread->sysc, pcpui->cur_proc);
 }
 
 /* Callable by any function while executing a syscall (or otherwise, actually).
@@ -96,8 +91,73 @@ static void finish_current_sysc(int retval)
 void set_errno(int errno)
 {
        struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
-       if (pcpui->cur_sysc)
-               pcpui->cur_sysc->err = errno;
+       if (pcpui->cur_kthread && pcpui->cur_kthread->sysc)
+               pcpui->cur_kthread->sysc->err = errno;
+}
+
+/* Callable by any function while executing a syscall (or otherwise, actually).
+ */
+int get_errno(void)
+{
+       /* if there's no errno to get, that's not an error I guess. */
+       int errno = 0;
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       if (pcpui->cur_kthread && pcpui->cur_kthread->sysc)
+               errno = pcpui->cur_kthread->sysc->err;
+       return errno;
+}
+
+void unset_errno(void)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       if (!pcpui->cur_kthread || !pcpui->cur_kthread->sysc)
+               return;
+       pcpui->cur_kthread->sysc->err = 0;
+       pcpui->cur_kthread->sysc->errstr[0] = '\0';
+}
+
+void set_errstr(char *fmt, ...)
+{
+       va_list ap;
+       int rc;
+
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       if (!pcpui->cur_kthread || !pcpui->cur_kthread->sysc)
+               return;
+
+       va_start(ap, fmt);
+       rc = vsnprintf(pcpui->cur_kthread->sysc->errstr, MAX_ERRSTR_LEN, fmt, ap);
+       va_end(ap);
+
+       /* TODO: likely not needed */
+       pcpui->cur_kthread->sysc->errstr[MAX_ERRSTR_LEN - 1] = '\0';
+}
+
+char *current_errstr(void)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       if (!pcpui->cur_kthread || !pcpui->cur_kthread->sysc)
+               return "no errstr";
+       return pcpui->cur_kthread->sysc->errstr;
+}
+
+struct errbuf *get_cur_errbuf(void)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       return (struct errbuf*)pcpui->cur_kthread->errbuf;
+}
+
+void set_cur_errbuf(struct errbuf *ebuf)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       pcpui->cur_kthread->errbuf = ebuf;
+}
+
+char *get_cur_genbuf(void)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       assert(pcpui->cur_kthread);
+       return pcpui->cur_kthread->generic_buf;
 }
 
 /************** Utility Syscalls **************/
@@ -129,7 +189,7 @@ static int sys_block(struct proc *p, unsigned int usec)
 // lines, to simulate doing something useful.
 static int sys_cache_buster(struct proc *p, uint32_t num_writes,
                              uint32_t num_pages, uint32_t flags)
-{ TRUSTEDBLOCK /* zra: this is not really part of the kernel */
+{
        #define BUSTER_ADDR             0xd0000000L  // around 512 MB deep
        #define MAX_WRITES              1048576*8
        #define MAX_PAGES               32
@@ -199,7 +259,7 @@ static int sys_cache_buster(struct proc *p, uint32_t num_writes,
 
 static int sys_cache_invalidate(void)
 {
-       #ifdef __i386__
+       #ifdef CONFIG_X86
                wbinvd();
        #endif
        return 0;
@@ -222,13 +282,14 @@ static ssize_t sys_cputs(struct proc *p, const char *DANGEROUS string,
 
 // Read a character from the system console.
 // Returns the character.
+/* TODO: remove me */
 static uint16_t sys_cgetc(struct proc *p)
 {
        uint16_t c;
 
-       // The cons_getc() primitive doesn't wait for a character,
+       // The cons_get_any_char() primitive doesn't wait for a character,
        // but the sys_cgetc() system call does.
-       while ((c = cons_getc()) == 0)
+       while ((c = cons_get_any_char()) == 0)
                cpu_relax();
 
        return c;
@@ -244,7 +305,7 @@ static uint32_t sys_getpcoreid(void)
 // this is removed from the user interface
 static size_t sys_getvcoreid(struct proc *p)
 {
-       return proc_get_vcoreid(p, core_id());
+       return proc_get_vcoreid(p);
 }
 
 /************** Process management syscalls **************/
@@ -270,6 +331,7 @@ static int sys_proc_create(struct proc *p, char *path, size_t path_l,
        t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* TODO: 9ns support */
        program = do_file_open(t_path, 0, 0);
        user_memdup_free(p, t_path);
        if (!program)
@@ -311,29 +373,31 @@ static error_t sys_proc_run(struct proc *p, unsigned pid)
        struct proc *target = pid2proc(pid);
        error_t retval = 0;
 
-       if (!target)
-               return -EBADPROC;
-       // note we can get interrupted here. it's not bad.
-       spin_lock(&p->proc_lock);
-       // make sure we have access and it's in the right state to be activated
+       if (!target) {
+               set_errno(ESRCH);
+               return -1;
+       }
+       /* make sure we have access and it's in the right state to be activated */
        if (!proc_controls(p, target)) {
-               proc_decref(target);
-               retval = -EPERM;
+               set_errno(EPERM);
+               goto out_error;
        } else if (target->state != PROC_CREATED) {
-               proc_decref(target);
-               retval = -EINVAL;
-       } else {
-               __proc_set_state(target, PROC_RUNNABLE_S);
-               schedule_scp(target);
+               set_errno(EINVAL);
+               goto out_error;
        }
-       spin_unlock(&p->proc_lock);
+       /* Note a proc can spam this for someone it controls.  Seems safe - if it
+        * isn't we can change it. */
+       proc_wakeup(target);
        proc_decref(target);
-       return retval;
+       return 0;
+out_error:
+       proc_decref(target);
+       return -1;
 }
 
 /* Destroy proc pid.  If this is called by the dying process, it will never
  * return.  o/w it will return 0 on success, or an error.  Errors include:
- * - EBADPROC: if there is no such process with pid
+ * - ESRCH: if there is no such process with pid
  * - EPERM: if caller does not control pid */
 static error_t sys_proc_destroy(struct proc *p, pid_t pid, int exitcode)
 {
@@ -359,40 +423,39 @@ static error_t sys_proc_destroy(struct proc *p, pid_t pid, int exitcode)
        proc_destroy(p_to_die);
        /* we only get here if we weren't the one to die */
        proc_decref(p_to_die);
-       return ESUCCESS;
+       return 0;
 }
 
 static int sys_proc_yield(struct proc *p, bool being_nice)
 {
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
        /* proc_yield() often doesn't return - we need to set the syscall retval
         * early.  If it doesn't return, it expects to eat our reference (for now).
         */
-       finish_current_sysc(0);
+       finish_sysc(pcpui->cur_kthread->sysc, pcpui->cur_proc);
+       pcpui->cur_kthread->sysc = 0;   /* don't touch sysc again */
        proc_incref(p, 1);
        proc_yield(p, being_nice);
        proc_decref(p);
-       return 0;
+       /* Shouldn't return, to prevent the chance of mucking with cur_sysc. */
+       smp_idle();
+       assert(0);
 }
 
-static void sys_change_vcore(struct proc *p, uint32_t vcoreid,
+static int sys_change_vcore(struct proc *p, uint32_t vcoreid,
                              bool enable_my_notif)
 {
-       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
-       /* Change to vcore may start the vcore up remotely before we can finish the
-        * async syscall, so we need to finish the sysc and not touch the struct.
-        * Note this sysc has no return value. */
-       finish_sysc(pcpui->cur_sysc, pcpui->cur_proc);
-       pcpui->cur_sysc = 0;    /* don't touch sysc again */
-       proc_change_to_vcore(p, vcoreid, enable_my_notif);
-       /* Shouldn't return, to prevent the chance of mucking with cur_sysc.
-        * smp_idle will make sure we run the appropriate cur_tf (which will be the
-        * new vcore for successful calls). */
-       smp_idle();
+       /* Note retvals can be negative, but we don't mess with errno in case
+        * callers use this in low-level code and want to extract the 'errno'. */
+       return proc_change_to_vcore(p, vcoreid, enable_my_notif);
 }
 
 static ssize_t sys_fork(env_t* e)
 {
+       struct proc *temp;
        int8_t state = 0;
+       int ret;
+
        // TODO: right now we only support fork for single-core processes
        if (e->state != PROC_RUNNING_S) {
                set_errno(EINVAL);
@@ -404,21 +467,15 @@ static ssize_t sys_fork(env_t* e)
 
        env->heap_top = e->heap_top;
        env->ppid = e->pid;
-       disable_irqsave(&state);        /* protect cur_tf */
-       /* Can't really fork if we don't have a current_tf to fork */
-       if (!current_tf) {
+       disable_irqsave(&state);        /* protect cur_ctx */
+       /* Can't really fork if we don't have a current_ctx to fork */
+       if (!current_ctx) {
                set_errno(EINVAL);
                return -1;
        }
-       env->env_tf = *current_tf;
+       env->scp_ctx = *current_ctx;
        enable_irqsave(&state);
 
-       /* We need to speculatively say the syscall worked before copying the memory
-        * out, since the 'forked' process's call never actually goes through the
-        * syscall return path, and will never think it is done.  This violates a
-        * few things.  Just be careful with fork. */
-       finish_current_sysc(0);
-
        env->cache_colors_map = cache_colors_map_alloc();
        for(int i=0; i < llc_cache->num_colors; i++)
                if(GET_BITMASK_BIT(e->cache_colors_map,i))
@@ -432,6 +489,13 @@ static ssize_t sys_fork(env_t* e)
                set_errno(ENOMEM);
                return -1;
        }
+       /* Switch to the new proc's address space and finish the syscall.  We'll
+        * never naturally finish this syscall for the new proc, since its memory
+        * is cloned before we return for the original process.  If we ever do CoW
+        * for forked memory, this will be the first place that gets CoW'd. */
+       temp = switch_to(env);
+       finish_current_sysc(0);
+       switch_back(env, temp);
 
        /* In general, a forked process should be a fresh process, and we copy over
         * whatever stuff is needed between procinfo/procdata. */
@@ -439,23 +503,25 @@ static ssize_t sys_fork(env_t* e)
        memcpy(env->procinfo->argp, e->procinfo->argp, sizeof(e->procinfo->argp));
        memcpy(env->procinfo->argbuf, e->procinfo->argbuf,
               sizeof(e->procinfo->argbuf));
-       #ifdef __i386__
+       #ifdef CONFIG_X86
        /* new guy needs to know about ldt (everything else in procdata is fresh */
        env->procdata->ldt = e->procdata->ldt;
        #endif
 
        clone_files(&e->open_files, &env->open_files);
+       /* FYI: once we call ready, the proc is open for concurrent usage */
        __proc_ready(env);
-       __proc_set_state(env, PROC_RUNNABLE_S);
-       schedule_scp(env);
+       proc_wakeup(env);
 
        // don't decref the new process.
        // that will happen when the parent waits for it.
        // TODO: if the parent doesn't wait, we need to change the child's parent
        // when the parent dies, or at least decref it
 
-       printd("[PID %d] fork PID %d\n",e->pid,env->pid);
-       return env->pid;
+       printd("[PID %d] fork PID %d\n", e->pid, env->pid);
+       ret = env->pid;
+       proc_decref(env);       /* give up the reference created in proc_alloc() */
+       return ret;
 }
 
 /* Load the binary "path" into the current process, and start executing it.
@@ -487,24 +553,28 @@ static int sys_exec(struct proc *p, char *path, size_t path_l,
        t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
-       disable_irqsave(&state);        /* protect cur_tf */
-       /* Can't exec if we don't have a current_tf to restart (if we fail).  This
+       disable_irqsave(&state);        /* protect cur_ctx */
+       /* Can't exec if we don't have a current_ctx to restart (if we fail).  This
         * isn't 100% true, but I'm okay with it. */
-       if (!pcpui->cur_tf) {
+       if (!pcpui->cur_ctx) {
                enable_irqsave(&state);
                set_errno(EINVAL);
                return -1;
        }
-       /* Preemptively copy out the cur_tf, in case we fail later (easier on cur_tf
-        * if we do this now) */
-       p->env_tf = *pcpui->cur_tf;
-       /* Clear the current_tf.  We won't be returning the 'normal' way.  Even if
+       /* Preemptively copy out the cur_ctx, in case we fail later (easier on
+        * cur_ctx if we do this now) */
+       p->scp_ctx = *pcpui->cur_ctx;
+       /* Clear the current_ctx.  We won't be returning the 'normal' way.  Even if
         * we want to return with an error, we need to go back differently in case
         * we succeed.  This needs to be done before we could possibly block, but
-        * unfortunately happens before the point of no return. */
-       pcpui->cur_tf = 0;
+        * unfortunately happens before the point of no return.
+        *
+        * Note that we will 'hard block' if we block at all.  We can't return to
+        * userspace and then asynchronously finish the exec later. */
+       clear_owning_proc(core_id());
        enable_irqsave(&state);
        /* This could block: */
+       /* TODO: 9ns support */
        program = do_file_open(t_path, 0, 0);
        user_memdup_free(p, t_path);
        if (!program)
@@ -517,11 +587,14 @@ static int sys_exec(struct proc *p, char *path, size_t path_l,
                                   sizeof(pi->argbuf)))
                goto mid_error;
        /* This is the point of no return for the process. */
-       #ifdef __i386__
+       #ifdef CONFIG_X86
        /* clear this, so the new program knows to get an LDT */
        p->procdata->ldt = 0;
        #endif
-       destroy_vmrs(p);
+       /* When we destroy our memory regions, accessing cur_sysc would PF */
+       pcpui->cur_kthread->sysc = 0;
+       unmap_and_destroy_vmrs(p);
+       close_9ns_files(p, TRUE);
        close_all_files(&p->open_files, TRUE);
        env_user_mem_free(p, 0, UMAPTOP);
        if (load_elf(p, program)) {
@@ -545,77 +618,179 @@ mid_error:
 early_error:
        finish_current_sysc(-1);
 success:
-       /* Here's how we'll restart the new (or old) process: */
+       /* Here's how we restart the new (on success) or old (on failure) proc: */
        spin_lock(&p->proc_lock);
        __unmap_vcore(p, 0);    /* VC# keep in sync with proc_run_s */
-       __proc_set_state(p, PROC_RUNNABLE_S);
-       schedule_scp(p);
+       __proc_set_state(p, PROC_WAITING);      /* fake a yield */
        spin_unlock(&p->proc_lock);
+       proc_wakeup(p);
 all_out:
        /* we can't return, since we'd write retvals to the old location of the
         * syscall struct (which has been freed and is in the old userspace) (or has
         * already been written to).*/
        disable_irq();                  /* abandon_core/clear_own wants irqs disabled */
-       clear_owning_proc(core_id());
        abandon_core();
        smp_idle();                             /* will reenable interrupts */
 }
 
-static ssize_t sys_trywait(env_t* e, pid_t pid, int* status)
-{
-       /* TODO:
-        * - WAIT should handle stop and start via signal too
-        *      - what semantics?  need a wait for every change to state?  etc.
-        * - should have an option for WNOHANG, and a bunch of other things.
-        * - think about what functions we want to work with MCPS
-        *   */
-       struct proc* p = pid2proc(pid);
+/* Helper, will attempt a particular wait on a proc.  Returns the pid of the
+ * process if we waited on it successfully, and the status will be passed back
+ * in ret_status (kernel memory).  Returns 0 if the wait failed and we should
+ * try again.  Returns -1 if we should abort.  Only handles DYING.  Callers
+ * need to lock to protect the children tailq and reaping bits. */
+static pid_t try_wait(struct proc *parent, struct proc *child, int *ret_status,
+                      int options)
+{
+       if (child->state == PROC_DYING) {
+               /* Disown returns -1 if it's already been disowned or we should o/w
+                * abort.  This can happen if we have concurrent waiters, both with
+                * pointers to the child (only one should reap).  Note that if we don't
+                * do this, we could go to sleep and never receive a cv_signal. */
+               if (__proc_disown_child(parent, child))
+                       return -1;
+               /* despite disowning, the child won't be freed til we drop this ref
+                * held by this function, so it is safe to access the memory.
+                *
+                * Note the exit code one byte in the 0xff00 spot.  Check out glibc's
+                * posix/sys/wait.h and bits/waitstatus.h for more info.  If we ever
+                * deal with signalling and stopping, we'll need to do some more work
+                * here.*/
+               *ret_status = (child->exitcode & 0xff) << 8;
+               return child->pid;
+       }
+       return 0;
+}
 
-       // TODO: this syscall is racy, so we only support for single-core procs
-       if(e->state != PROC_RUNNING_S)
+/* Helper, like try_wait, but attempts a wait on any of the children, returning
+ * the specific PID we waited on, 0 to try again (a waitable exists), and -1 to
+ * abort (no children/waitables exist).  Callers need to lock to protect the
+ * children tailq and reaping bits.*/
+static pid_t try_wait_any(struct proc *parent, int *ret_status, int options)
+{
+       struct proc *i, *temp;
+       pid_t retval;
+       if (TAILQ_EMPTY(&parent->children))
                return -1;
+       /* Could have concurrent waiters mucking with the tailq, caller must lock */
+       TAILQ_FOREACH_SAFE(i, &parent->children, sibling_link, temp) {
+               retval = try_wait(parent, i, ret_status, options);
+               /* This catches a thread causing a wait to fail but not taking the
+                * child off the list before unlocking.  Should never happen. */
+               assert(retval != -1);
+               /* Succeeded, return the pid of the child we waited on */
+               if (retval)
+                       return retval;
+       }
+       assert(retval == 0);
+       return 0;
+}
 
-       // TODO: need to use errno properly.  sadly, ROS error codes conflict..
-
-       if(p)
-       {
-               ssize_t ret;
-
-               if(current->pid == p->ppid)
-               {
-                       /* Block til there is some activity */
-                       if (!(p->state == PROC_DYING)) {
-                               sleep_on(&p->state_change);
-                       }
-                       if(p->state == PROC_DYING)
-                       {
-                               memcpy_to_user(e,status,&p->exitcode,sizeof(int));
-                               printd("[PID %d] waited for PID %d (code %d)\n",
-                                      e->pid,p->pid,p->exitcode);
-                               ret = 0;
-                       }
-                       else // not dead yet
-                       {
-                               warn("Should not have reached here.");
-                               set_errno(ESUCCESS);
-                               ret = -1;
-                       }
-               }
-               else // not a child of the calling process
-               {
-                       set_errno(EPERM);
-                       ret = -1;
-               }
+/* Waits on a particular child, returns the pid of the child waited on, and
+ * puts the ret status in *ret_status.  Returns the pid if we succeeded, 0 if
+ * the child was not waitable and WNOHANG, and -1 on error. */
+static pid_t wait_one(struct proc *parent, struct proc *child, int *ret_status,
+                      int options)
+{
+       pid_t retval;
+       cv_lock(&parent->child_wait);
+       /* retval == 0 means we should block */
+       retval = try_wait(parent, child, ret_status, options);
+       if ((retval == 0) && (options & WNOHANG))
+               goto out_unlock;
+       while (!retval) {
+               cpu_relax();
+               cv_wait(&parent->child_wait);
+               /* If we're dying, then we don't need to worry about waiting.  We don't
+                * do this yet, but we'll need this outlet when we deal with orphaned
+                * children and having init inherit them. */
+               if (parent->state == PROC_DYING)
+                       goto out_unlock;
+               /* Any child can wake us up, but we check for the particular child we
+                * care about */
+               retval = try_wait(parent, child, ret_status, options);
+       }
+       if (retval == -1) {
+               /* Child was already waited on by a concurrent syscall. */
+               set_errno(ECHILD);
+       }
+       /* Fallthrough */
+out_unlock:
+       cv_unlock(&parent->child_wait);
+       return retval;
+}
 
-               // if the wait succeeded, decref twice
-               if (ret == 0)
-                       proc_decref(p);
-               proc_decref(p);
-               return ret;
+/* Waits on any child, returns the pid of the child waited on, and puts the ret
+ * status in *ret_status.  Is basically a waitpid(-1, ... );  See wait_one for
+ * more details.  Returns -1 if there are no children to wait on, and returns 0
+ * if there are children and we need to block but WNOHANG was set. */
+static pid_t wait_any(struct proc *parent, int *ret_status, int options)
+{
+       pid_t retval;
+       cv_lock(&parent->child_wait);
+       retval = try_wait_any(parent, ret_status, options);
+       if ((retval == 0) && (options & WNOHANG))
+               goto out_unlock;
+       while (!retval) {
+               cpu_relax();
+               cv_wait(&parent->child_wait);
+               if (parent->state == PROC_DYING)
+                       goto out_unlock;
+               /* Any child can wake us up from the CV.  This is a linear try_wait
+                * scan.  If we have a lot of children, we could optimize this. */
+               retval = try_wait_any(parent, ret_status, options);
        }
+       if (retval == -1)
+               assert(TAILQ_EMPTY(&parent->children));
+       /* Fallthrough */
+out_unlock:
+       cv_unlock(&parent->child_wait);
+       return retval;
+}
 
-       set_errno(EPERM);
-       return -1;
+/* Note: we only allow waiting on children (no such thing as threads, for
+ * instance).  Right now we only allow waiting on termination (not signals),
+ * and we don't have a way for parents to disown their children (such as
+ * ignoring SIGCHLD, see man 2 waitpid's Notes).
+ *
+ * We don't bother with stop/start signals here, though we can probably build
+ * it in the helper above.
+ *
+ * Returns the pid of who we waited on, or -1 on error, or 0 if we couldn't
+ * wait (WNOHANG). */
+static pid_t sys_waitpid(struct proc *parent, pid_t pid, int *status,
+                         int options)
+{
+       struct proc *child;
+       pid_t retval = 0;
+       int ret_status = 0;
+
+       /* -1 is the signal for 'any child' */
+       if (pid == -1) {
+               retval = wait_any(parent, &ret_status, options);
+               goto out;
+       }
+       child = pid2proc(pid);
+       if (!child) {
+               set_errno(ECHILD);      /* ECHILD also used for no proc */
+               retval = -1;
+               goto out;
+       }
+       if (!(parent->pid == child->ppid)) {
+               set_errno(ECHILD);
+               retval = -1;
+               goto out_decref;
+       }
+       retval = wait_one(parent, child, &ret_status, options);
+       /* fall-through */
+out_decref:
+       proc_decref(child);
+out:
+       /* ignoring / don't care about memcpy's retval here. */
+       if (status)
+               memcpy_to_user(parent, status, &ret_status, sizeof(ret_status));
+       printd("[PID %d] waited for PID %d, got retval %d (status 0x%x)\n",
+              parent->pid, pid, retval, ret_status);
+       return retval;
 }
 
 /************** Memory Management Syscalls **************/
@@ -650,6 +825,43 @@ static int sys_shared_page_free(env_t* p1, void*DANGEROUS addr, pid_t p2)
        return -1;
 }
 
+/* Helper, to do the actual provisioning of a resource to a proc */
+static int prov_resource(struct proc *target, unsigned int res_type,
+                         long res_val)
+{
+       switch (res_type) {
+               case (RES_CORES):
+                       /* in the off chance we have a kernel scheduler that can't
+                        * provision, we'll need to change this. */
+                       return provision_core(target, res_val);
+               default:
+                       printk("[kernel] received provisioning for unknown resource %d\n",
+                              res_type);
+                       set_errno(ENOENT);      /* or EINVAL? */
+                       return -1;
+       }
+}
+
+/* Rough syscall to provision res_val of type res_type to target_pid */
+static int sys_provision(struct proc *p, int target_pid,
+                         unsigned int res_type, long res_val)
+{
+       struct proc *target = pid2proc(target_pid);
+       int retval;
+       if (!target) {
+               if (target_pid == 0)
+                       return prov_resource(0, res_type, res_val);
+               /* debugging interface */
+               if (target_pid == -1)
+                       print_prov_map();
+               set_errno(ESRCH);
+               return -1;
+       }
+       retval = prov_resource(target, res_type, res_val);
+       proc_decref(target);
+       return retval;
+}
+
 /* Untested.  Will notify the target on the given vcore, if the caller controls
  * the target.  Will honor the target's wanted/vcoreid.  u_ne can be NULL. */
 static int sys_notify(struct proc *p, int target_pid, unsigned int ev_type,
@@ -658,7 +870,7 @@ static int sys_notify(struct proc *p, int target_pid, unsigned int ev_type,
        struct event_msg local_msg = {0};
        struct proc *target = pid2proc(target_pid);
        if (!target) {
-               set_errno(EBADPROC);
+               set_errno(ESRCH);
                return -1;
        }
        if (!proc_controls(p, target)) {
@@ -673,6 +885,8 @@ static int sys_notify(struct proc *p, int target_pid, unsigned int ev_type,
                        set_errno(EINVAL);
                        return -1;
                }
+       } else {
+               local_msg.ev_type = ev_type;
        }
        send_kernel_event(target, &local_msg, 0);
        proc_decref(target);
@@ -680,15 +894,13 @@ static int sys_notify(struct proc *p, int target_pid, unsigned int ev_type,
 }
 
 /* Will notify the calling process on the given vcore, independently of WANTED
- * or advertised vcoreid.  If you change the parameters, change pop_ros_tf() */
+ * or advertised vcoreid.  If you change the parameters, change pop_user_ctx().
+ */
 static int sys_self_notify(struct proc *p, uint32_t vcoreid,
                            unsigned int ev_type, struct event_msg *u_msg,
                            bool priv)
 {
        struct event_msg local_msg = {0};
-
-       printd("[kernel] received self notify for vcoreid %d, type %d, msg %08p\n",
-              vcoreid, ev_type, u_msg);
        /* if the user provided an ev_msg, copy it in and use that */
        if (u_msg) {
                if (memcpy_from_user(p, &local_msg, u_msg, sizeof(struct event_msg))) {
@@ -698,12 +910,27 @@ static int sys_self_notify(struct proc *p, uint32_t vcoreid,
        } else {
                local_msg.ev_type = ev_type;
        }
+       if (local_msg.ev_type >= MAX_NR_EVENT) {
+               printk("[kernel] received self-notify for vcoreid %d, ev_type %d, "
+                      "u_msg %p, u_msg->type %d\n", vcoreid, ev_type, u_msg,
+                      u_msg ? u_msg->ev_type : 0);
+               return -1;
+       }
        /* this will post a message and IPI, regardless of wants/needs/debutantes.*/
        post_vcore_event(p, &local_msg, vcoreid, priv ? EVENT_VCORE_PRIVATE : 0);
        proc_notify(p, vcoreid);
        return 0;
 }
 
+/* Puts the calling core into vcore context, if it wasn't already, via a
+ * self-IPI / active notification.  Barring any weird unmappings, we just send
+ * ourselves a __notify. */
+static int sys_vc_entry(struct proc *p)
+{
+       send_kernel_message(core_id(), __notify, (long)p, 0, 0, KMSG_ROUTINE);
+       return 0;
+}
+
 /* This will set a local timer for usec, then shut down the core.  There's a
  * slight race between spinner and halt.  For now, the core will wake up for
  * other interrupts and service them, but will not process routine messages or
@@ -738,194 +965,79 @@ static int sys_halt_core(struct proc *p, unsigned int usec)
  * but that's fine thanks to the async kernel interface. */
 static int sys_change_to_m(struct proc *p)
 {
-       int retval = 0;
-       spin_lock(&p->proc_lock);
-       if (!__proc_is_mcp(p)) {
-               /* Catch user bugs */
-               if (!p->procdata->res_req[RES_CORES].amt_wanted) {
-                       printk("[kernel] process needs to specify amt_wanted\n");
-                       p->procdata->res_req[RES_CORES].amt_wanted = 1;
-               }
-               __proc_change_to_m(p);
-               /* Tell the ksched about us */
-               register_mcp(p);
-       } else {
-               set_errno(EINVAL);
+       int retval = proc_change_to_m(p);
+       /* convert the kernel error code into (-1, errno) */
+       if (retval) {
+               set_errno(-retval);
                retval = -1;
        }
-       spin_unlock(&p->proc_lock);
        return retval;
 }
 
-/* Not sure what people will need.  For now, they can send in the resource they
- * want.  Up to the ksched to support this, and other things (like -1 for all
- * resources).  Might have this info go in via procdata instead. */
-static int sys_poke_ksched(struct proc *p, int res_type)
-{
-       poke_ksched(p, res_type);
-       return 0;
-}
-
-/************** Platform Specific Syscalls **************/
-
-//Read a buffer over the serial port
-static ssize_t sys_serial_read(env_t* e, char *DANGEROUS _buf, size_t len)
-{
-       printk("[kernel] serial reading is deprecated.\n");
-       if (len == 0)
-               return 0;
-
-       #ifdef __CONFIG_SERIAL_IO__
-           char *COUNT(len) buf = user_mem_assert(e, _buf, len, 1, PTE_USER_RO);
-               size_t bytes_read = 0;
-               int c;
-               while((c = serial_read_byte()) != -1) {
-                       buf[bytes_read++] = (uint8_t)c;
-                       if(bytes_read == len) break;
-               }
-               return (ssize_t)bytes_read;
-       #else
-               return -EINVAL;
-       #endif
-}
-
-//Write a buffer over the serial port
-static ssize_t sys_serial_write(env_t* e, const char *DANGEROUS buf, size_t len)
+/* Pokes the ksched for the given resource for target_pid.  If the target pid
+ * == 0, we just poke for the calling process.  The common case is poking for
+ * self, so we avoid the lookup. 
+ *
+ * Not sure if you could harm someone via asking the kernel to look at them, so
+ * we'll do a 'controls' check for now.  In the future, we might have something
+ * in the ksched that limits or penalizes excessive pokes. */
+static int sys_poke_ksched(struct proc *p, int target_pid,
+                           unsigned int res_type)
 {
-       printk("[kernel] serial writing is deprecated.\n");
-       if (len == 0)
+       struct proc *target;
+       int retval = 0;
+       if (!target_pid) {
+               poke_ksched(p, res_type);
                return 0;
-       #ifdef __CONFIG_SERIAL_IO__
-               char *COUNT(len) _buf = user_mem_assert(e, buf, len, 1, PTE_USER_RO);
-               for(int i =0; i<len; i++)
-                       serial_send_byte(buf[i]);
-               return (ssize_t)len;
-       #else
-               return -EINVAL;
-       #endif
-}
-
-#ifdef __CONFIG_NETWORKING__
-// This is not a syscall we want. Its hacky. Here just for syscall stuff until get a stack.
-static ssize_t sys_eth_read(env_t* e, char *DANGEROUS buf)
-{
-       if (eth_up) {
-
-               uint32_t len;
-               char *ptr;
-
-               spin_lock(&packet_buffers_lock);
-
-               if (num_packet_buffers == 0) {
-                       spin_unlock(&packet_buffers_lock);
-                       return 0;
-               }
-
-               ptr = packet_buffers[packet_buffers_head];
-               len = packet_buffers_sizes[packet_buffers_head];
-
-               num_packet_buffers--;
-               packet_buffers_head = (packet_buffers_head + 1) % MAX_PACKET_BUFFERS;
-
-               spin_unlock(&packet_buffers_lock);
-
-               char* _buf = user_mem_assert(e, buf, len, 1, PTE_U);
-
-               memcpy(_buf, ptr, len);
-
-               kfree(ptr);
-
-               return len;
        }
-       else
-               return -EINVAL;
-}
-
-// This is not a syscall we want. Its hacky. Here just for syscall stuff until get a stack.
-static ssize_t sys_eth_write(env_t* e, const char *DANGEROUS buf, size_t len)
-{
-       if (eth_up) {
-
-               if (len == 0)
-                       return 0;
-
-               // HACK TO BYPASS HACK
-               int just_sent = send_frame(buf, len);
-
-               if (just_sent < 0) {
-                       printk("Packet send fail\n");
-                       return 0;
-               }
-
-               return just_sent;
-
-               // END OF RECURSIVE HACK
-/*
-               char *COUNT(len) _buf = user_mem_assert(e, buf, len, PTE_U);
-               int total_sent = 0;
-               int just_sent = 0;
-               int cur_packet_len = 0;
-               while (total_sent != len) {
-                       cur_packet_len = ((len - total_sent) > MTU) ? MTU : (len - total_sent);
-                       char dest_mac[6] = APPSERVER_MAC_ADDRESS;
-                       char* wrap_buffer = eth_wrap(_buf + total_sent, cur_packet_len, device_mac, dest_mac, APPSERVER_PORT);
-                       just_sent = send_frame(wrap_buffer, cur_packet_len + sizeof(struct ETH_Header));
-
-                       if (just_sent < 0)
-                               return 0; // This should be an error code of its own
-
-                       if (wrap_buffer)
-                               kfree(wrap_buffer);
-
-                       total_sent += cur_packet_len;
-               }
-
-               return (ssize_t)len;
-*/
+       target = pid2proc(target_pid);
+       if (!target) {
+               set_errno(ESRCH);
+               return -1;
+       }
+       if (!proc_controls(p, target)) {
+               set_errno(EPERM);
+               retval = -1;
+               goto out;
        }
-       else
-               return -EINVAL;
+       poke_ksched(target, res_type);
+out:
+       proc_decref(target);
+       return retval;
 }
 
-static ssize_t sys_eth_get_mac_addr(env_t* e, char *DANGEROUS buf) 
+static int sys_abort_sysc(struct proc *p, struct syscall *sysc)
 {
-       if (eth_up) {
-               for (int i = 0; i < 6; i++)
-                       buf[i] = device_mac[i];
-               return 0;
-       }
-       else
-               return -EINVAL;
+       return abort_sysc(p, sysc);
 }
 
-static int sys_eth_recv_check(env_t* e) 
+static unsigned long sys_populate_va(struct proc *p, uintptr_t va,
+                                     unsigned long nr_pgs)
 {
-       if (num_packet_buffers != 0) 
-               return 1;
-       else
-               return 0;
+       return populate_va(p, ROUNDDOWN(va, PGSIZE), nr_pgs);
 }
 
-#endif // Network
-
 static intreg_t sys_read(struct proc *p, int fd, void *buf, int len)
 {
        ssize_t ret;
        struct file *file = get_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
-       }
-       if (!file->f_op->read) {
+       /* VFS */
+       if (file) {
+               if (!file->f_op->read) {
+                       kref_put(&file->f_kref);
+                       set_errno(EINVAL);
+                       return -1;
+               }
+               /* TODO: (UMEM) currently, read() handles user memcpy
+                * issues, but we probably should user_mem_check and
+                * pin the region here, so read doesn't worry about
+                * it */
+               ret = file->f_op->read(file, buf, len, &file->f_pos);
                kref_put(&file->f_kref);
-               set_errno(EINVAL);
-               return -1;
+               return ret;
        }
-       /* TODO: (UMEM) currently, read() handles user memcpy issues, but we
-        * probably should user_mem_check and pin the region here, so read doesn't
-        * worry about it */
-       ret = file->f_op->read(file, buf, len, &file->f_pos);
-       kref_put(&file->f_kref);
+       /* plan9, should also handle errors (EBADF) */
+    ret = sysread(fd, buf, len);
        return ret;
 }
 
@@ -933,58 +1045,80 @@ static intreg_t sys_write(struct proc *p, int fd, const void *buf, int len)
 {
        ssize_t ret;
        struct file *file = get_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
-       }
-       if (!file->f_op->write) {
+       /* VFS */
+       if (file) {
+               if (!file->f_op->write) {
+                       kref_put(&file->f_kref);
+                       set_errno(EINVAL);
+                       return -1;
+               }
+               /* TODO: (UMEM) */
+               ret = file->f_op->write(file, buf, len, &file->f_pos);
                kref_put(&file->f_kref);
-               set_errno(EINVAL);
-               return -1;
+               return ret;
        }
-       /* TODO: (UMEM) */
-       ret = file->f_op->write(file, buf, len, &file->f_pos);
-       kref_put(&file->f_kref);
+       /* plan9, should also handle errors */
+       ret = syswrite(fd, (void*)buf, len);
        return ret;
 }
 
 /* Checks args/reads in the path, opens the file, and inserts it into the
- * process's open file list. 
- *
- * TODO: take the path length */
+ * process's open file list. */
 static intreg_t sys_open(struct proc *p, const char *path, size_t path_l,
                          int oflag, int mode)
 {
-       int fd = 0;
+       int fd;
        struct file *file;
 
-       printd("File %s Open attempt\n", path);
+       printd("File %s Open attempt oflag %x mode %x\n", path, oflag, mode);
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
        mode &= ~p->fs_env.umask;
        file = do_file_open(t_path, oflag, mode);
-       user_memdup_free(p, t_path);
-       if (!file)
-               return -1;
-       fd = insert_file(&p->open_files, file, 0);      /* stores the ref to file */
-       kref_put(&file->f_kref);
-       if (fd < 0) {
-               warn("File insertion failed");
-               return -1;
+       /* VFS */
+       if (file) {
+               fd = insert_file(&p->open_files, file, 0);      /* stores the ref to file */
+               kref_put(&file->f_kref);        /* drop our ref */
+               if (fd < 0)
+                       warn("File insertion failed");
+       } else {
+               unset_errno();  /* Go can't handle extra errnos */
+               fd = sysopen(t_path, oflag);
+               /* successful lookup with CREATE and EXCL is an error */
+               if (fd != -1) {
+                       if ((oflag & O_CREATE) && (oflag & O_EXCL)) {
+                               set_errno(EEXIST);
+                               sysclose(fd);
+                               user_memdup_free(p, t_path);
+                               return -1;
+                       }
+               } else {
+                       if (oflag & O_CREATE) {
+                               mode &= S_PMASK;
+                               fd = syscreate(t_path, oflag, mode);
+                       }
+               }
        }
-       printd("File %s Open, res=%d\n", path, fd);
+       user_memdup_free(p, t_path);
+       printd("File %s Open, fd=%d\n", path, fd);
        return fd;
 }
 
 static intreg_t sys_close(struct proc *p, int fd)
 {
-       struct file *file = put_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
+       struct file *file = get_file_from_fd(&p->open_files, fd);
+       int retval = 0;
+       printd("sys_close %d\n", fd);
+       /* VFS */
+       if (file) {
+               put_file_from_fd(&p->open_files, fd);
+               kref_put(&file->f_kref);        /* Drop the ref from get_file */
+               return 0;
        }
-       return 0;
+       /* 9ns, should also handle errors (bad FD, etc) */
+       retval = sysclose(fd);
+       return retval;
 }
 
 /* kept around til we remove the last ufe */
@@ -995,23 +1129,27 @@ static intreg_t sys_close(struct proc *p, int fd)
 static intreg_t sys_fstat(struct proc *p, int fd, struct kstat *u_stat)
 {
        struct kstat *kbuf;
-       struct file *file = get_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
-       }
+       struct file *file;
        kbuf = kmalloc(sizeof(struct kstat), 0);
        if (!kbuf) {
-               kref_put(&file->f_kref);
                set_errno(ENOMEM);
                return -1;
        }
-       stat_inode(file->f_dentry->d_inode, kbuf);
-       kref_put(&file->f_kref);
+       file = get_file_from_fd(&p->open_files, fd);
+       /* VFS */
+       if (file) {
+               stat_inode(file->f_dentry->d_inode, kbuf);
+               kref_put(&file->f_kref);
+       } else {
+               unset_errno();  /* Go can't handle extra errnos */
+           if (sysfstatakaros(fd, (struct kstat *)kbuf) < 0) {
+                       kfree(kbuf);
+                       return -1;
+               }
+       }
        /* TODO: UMEM: pin the memory, copy directly, and skip the kernel buffer */
        if (memcpy_to_user_errno(p, u_stat, kbuf, sizeof(struct kstat))) {
                kfree(kbuf);
-               set_errno(EINVAL);
                return -1;
        }
        kfree(kbuf);
@@ -1027,28 +1165,38 @@ static intreg_t stat_helper(struct proc *p, const char *path, size_t path_l,
        struct kstat *kbuf;
        struct dentry *path_d;
        char *t_path = user_strdup_errno(p, path, path_l);
+       int retval = 0;
        if (!t_path)
                return -1;
-       path_d = lookup_dentry(t_path, flags);
-       user_memdup_free(p, t_path);
-       if (!path_d)
-               return -1;
        kbuf = kmalloc(sizeof(struct kstat), 0);
        if (!kbuf) {
                set_errno(ENOMEM);
+               retval = -1;
+               goto out_with_path;
+       }
+       /* Check VFS for path */
+       path_d = lookup_dentry(t_path, flags);
+       if (path_d) {
+               stat_inode(path_d->d_inode, kbuf);
                kref_put(&path_d->d_kref);
-               return -1;
+       } else {
+               /* VFS failed, checking 9ns */
+               unset_errno();  /* Go can't handle extra errnos */
+               retval = sysstatakaros(t_path, (struct stat *)kbuf);
+               printd("sysstat returns %d\n", retval);
+               /* both VFS and 9ns failed, bail out */
+               if (retval < 0)
+                       goto out_with_kbuf;
        }
-       stat_inode(path_d->d_inode, kbuf);
-       kref_put(&path_d->d_kref);
        /* TODO: UMEM: pin the memory, copy directly, and skip the kernel buffer */
-       if (memcpy_to_user_errno(p, u_stat, kbuf, sizeof(struct kstat))) {
-               kfree(kbuf);
-               set_errno(EINVAL);
-               return -1;
-       }
+       if (memcpy_to_user_errno(p, u_stat, kbuf, sizeof(struct kstat)))
+               retval = -1;
+       /* Fall-through */
+out_with_kbuf:
        kfree(kbuf);
-       return 0;
+out_with_path:
+       user_memdup_free(p, t_path);
+       return retval;
 }
 
 /* Follow a final symlink */
@@ -1068,11 +1216,29 @@ static intreg_t sys_lstat(struct proc *p, const char *path, size_t path_l,
 intreg_t sys_fcntl(struct proc *p, int fd, int cmd, int arg)
 {
        int retval = 0;
+       int newfd;
        struct file *file = get_file_from_fd(&p->open_files, fd);
+
        if (!file) {
+               /* 9ns hack */
+               switch (cmd) {
+                       case (F_DUPFD):
+                               return sysdup(fd, -1);
+                       case (F_GETFD):
+                       case (F_SETFD):
+                               return 0;
+                       case (F_GETFL):
+                               return fd_getfl(fd);
+                       case (F_SETFL):
+                               return fd_setfl(fd, arg);
+                       default:
+                               warn("Unsupported fcntl cmd %d\n", cmd);
+               }
+               /* not really ever calling this, even for badf, due to the switch */
                set_errno(EBADF);
                return -1;
        }
+
        switch (cmd) {
                case (F_DUPFD):
                        retval = insert_file(&p->open_files, file, arg);
@@ -1110,6 +1276,7 @@ static intreg_t sys_access(struct proc *p, const char *path, size_t path_l,
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* TODO: 9ns support */
        retval = do_access(t_path, mode);
        user_memdup_free(p, t_path);
        printd("Access for path: %s retval: %d\n", path, retval);
@@ -1127,32 +1294,84 @@ intreg_t sys_umask(struct proc *p, int mask)
        return old_mask;
 }
 
+static void init_dir_for_wstat(struct dir *d)
+{
+       d->type = ~0;
+       d->dev = ~0;
+       d->qid.path = ~0;
+       d->qid.vers = ~0;
+       d->qid.type = ~0;
+       d->mode = ~0;
+       d->atime = ~0;
+       d->mtime = ~0;
+       d->length = ~0;
+       d->name = "";
+       d->uid = "";
+       d->gid = "";
+       d->muid = "";
+}
+
 intreg_t sys_chmod(struct proc *p, const char *path, size_t path_l, int mode)
 {
        int retval;
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* busybox sends in the upper bits as 37777777 (-1), perhaps trying to get
+        * the 'default' setting? */
+       if (mode & ~S_PMASK)
+               printd("[kernel] sys_chmod ignoring upper bits %o\n", mode & ~S_PMASK);
+       mode &= S_PMASK;
        retval = do_chmod(t_path, mode);
-       user_memdup_free(p, t_path);
+       /* let's try 9ns */
        if (retval < 0) {
-               set_errno(-retval);
-               return -1;
+               unset_errno();
+               uint8_t *buf;
+               int size;
+               struct dir d;
+               init_dir_for_wstat(&d);
+               d.mode = mode;
+               size = sizeD2M(&d);
+               buf = kmalloc(size, KMALLOC_WAIT);
+               convD2M(&d, buf, size);
+               /* wstat returns the number of bytes written */
+               retval = syswstat(t_path, buf, size);
+               retval = (retval > 0 ? 0 : -1);
+               kfree(buf);
        }
+       user_memdup_free(p, t_path);
        return retval;
 }
 
-static intreg_t sys_lseek(struct proc *p, int fd, off_t offset, int whence)
+/* 64 bit seek, with the off64_t passed in via two (potentially 32 bit) off_ts.
+ * We're supporting both 32 and 64 bit kernels/userspaces, but both use the
+ * llseek syscall with 64 bit parameters. */
+static intreg_t sys_llseek(struct proc *p, int fd, off_t offset_hi,
+                           off_t offset_lo, off64_t *result, int whence)
 {
-       off_t ret;
-       struct file *file = get_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
+       off64_t retoff = 0;
+       off64_t tempoff = 0;
+       int ret = 0;
+       struct file *file;
+       tempoff = offset_hi;
+       tempoff <<= 32;
+       tempoff |= offset_lo;
+       file = get_file_from_fd(&p->open_files, fd);
+       if (file) {
+               ret = file->f_op->llseek(file, tempoff, &retoff, whence);
+               kref_put(&file->f_kref);
+       } else {
+               /* won't return here if error ... */
+               ret = sysseek(fd, tempoff, whence);
+               retoff = ret;
+               ret = 0;
        }
-       ret = file->f_op->llseek(file, offset, whence);
-       kref_put(&file->f_kref);
-       return ret;
+
+       if (ret)
+               return -1;
+       if (memcpy_to_user_errno(p, result, &retoff, sizeof(off64_t)))
+               return -1;
+       return 0;
 }
 
 intreg_t sys_link(struct proc *p, char *old_path, size_t old_l,
@@ -1180,6 +1399,10 @@ intreg_t sys_unlink(struct proc *p, const char *path, size_t path_l)
        if (!t_path)
                return -1;
        retval = do_unlink(t_path);
+       if (retval) {
+               unset_errno();
+               retval = sysremove(t_path);
+       }
        user_memdup_free(p, t_path);
        return retval;
 }
@@ -1196,7 +1419,7 @@ intreg_t sys_symlink(struct proc *p, char *old_path, size_t old_l,
                user_memdup_free(p, t_oldpath);
                return -1;
        }
-       ret = do_symlink(new_path, old_path, S_IRWXU | S_IRWXG | S_IRWXO);
+       ret = do_symlink(t_newpath, t_oldpath, S_IRWXU | S_IRWXG | S_IRWXO);
        user_memdup_free(p, t_oldpath);
        user_memdup_free(p, t_newpath);
        return ret;
@@ -1205,26 +1428,43 @@ intreg_t sys_symlink(struct proc *p, char *old_path, size_t old_l,
 intreg_t sys_readlink(struct proc *p, char *path, size_t path_l,
                       char *u_buf, size_t buf_l)
 {
-       char *symname;
+       char *symname = NULL;
+       uint8_t *buf = NULL;
        ssize_t copy_amt;
+       int ret = -1;
        struct dentry *path_d;
        char *t_path = user_strdup_errno(p, path, path_l);
        if (t_path == NULL)
                return -1;
+       /* TODO: 9ns support */
        path_d = lookup_dentry(t_path, 0);
+       if (!path_d){
+               int n = 2048;
+               buf = kmalloc(n*2, KMALLOC_WAIT);
+               struct dir *d = (void *)&buf[n];
+               /* try 9ns. */
+               if (sysstat(t_path, buf, n) > 0) {
+                       printk("sysstat t_path %s\n", t_path);
+                       convM2D(buf, n, d, (char *)&d[1]);
+                       /* will be NULL if things did not work out */
+                       symname = d->muid;
+               }
+       } else
+               symname = path_d->d_inode->i_op->readlink(path_d);
+
        user_memdup_free(p, t_path);
-       if (!path_d)
-               return -1;
-       symname = path_d->d_inode->i_op->readlink(path_d);
-       copy_amt = strnlen(symname, buf_l - 1) + 1;
-       if (memcpy_to_user_errno(p, u_buf, symname, copy_amt)) {
-               kref_put(&path_d->d_kref);
-               set_errno(EINVAL);
-               return -1;
+
+       if (symname){
+               copy_amt = strnlen(symname, buf_l - 1) + 1;
+               if (! memcpy_to_user_errno(p, u_buf, symname, copy_amt))
+                       ret = copy_amt;
        }
-       kref_put(&path_d->d_kref);
+       if (path_d)
+               kref_put(&path_d->d_kref);
+       if (buf)
+               kfree(buf);
        printd("READLINK returning %s\n", u_buf);
-       return copy_amt;
+       return ret;
 }
 
 intreg_t sys_chdir(struct proc *p, const char *path, size_t path_l)
@@ -1233,6 +1473,7 @@ intreg_t sys_chdir(struct proc *p, const char *path, size_t path_l)
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* TODO: 9ns support */
        retval = do_chdir(&p->fs_env, t_path);
        user_memdup_free(p, t_path);
        if (retval) {
@@ -1262,8 +1503,16 @@ intreg_t sys_mkdir(struct proc *p, const char *path, size_t path_l, int mode)
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       mode &= S_PMASK;
        mode &= ~p->fs_env.umask;
        retval = do_mkdir(t_path, mode);
+       if (retval) {
+               unset_errno();
+               /* mixing plan9 and glibc here, make sure DMDIR doesn't overlap with any
+                * permissions */
+               static_assert(!(S_PMASK & DMDIR));
+               retval = syscreate(t_path, O_RDWR, DMDIR | mode);
+       }
        user_memdup_free(p, t_path);
        return retval;
 }
@@ -1274,11 +1523,28 @@ intreg_t sys_rmdir(struct proc *p, const char *path, size_t path_l)
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* TODO: 9ns support */
        retval = do_rmdir(t_path);
        user_memdup_free(p, t_path);
        return retval;
 }
 
+intreg_t sys_pipe(struct proc *p, int *u_pipefd, int flags)
+{
+       int pipefd[2] = {0};
+       int retval = syspipe(pipefd);
+
+       if (retval)
+               return -1;
+       if (memcpy_to_user_errno(p, u_pipefd, pipefd, sizeof(pipefd))) {
+               sysclose(pipefd[0]);
+               sysclose(pipefd[1]);
+               set_errno(EFAULT);
+               return -1;
+       }
+       return 0;
+}
+
 intreg_t sys_gettimeofday(struct proc *p, int *buf)
 {
        static spinlock_t gtod_lock = SPINLOCK_INITIALIZER;
@@ -1287,42 +1553,79 @@ intreg_t sys_gettimeofday(struct proc *p, int *buf)
        spin_lock(&gtod_lock);
        if(t0 == 0)
 
-#if (defined __CONFIG_APPSERVER__)
+#if (defined CONFIG_APPSERVER)
        t0 = ufe(time,0,0,0,0);
 #else
        // Nanwan's birthday, bitches!!
        t0 = 1242129600;
-#endif 
+#endif
        spin_unlock(&gtod_lock);
 
        long long dt = read_tsc();
        /* TODO: This probably wants its own function, using a struct timeval */
-       int kbuf[2] = {t0+dt/system_timing.tsc_freq,
+       long kbuf[2] = {t0+dt/system_timing.tsc_freq,
            (dt%system_timing.tsc_freq)*1000000/system_timing.tsc_freq};
 
        return memcpy_to_user_errno(p,buf,kbuf,sizeof(kbuf));
 }
 
-#define SIZEOF_STRUCT_TERMIOS 60
 intreg_t sys_tcgetattr(struct proc *p, int fd, void *termios_p)
 {
-       int* kbuf = kmalloc(SIZEOF_STRUCT_TERMIOS,0);
-       int ret = ufe(tcgetattr,fd,PADDR(kbuf),0,0);
-       if(ret != -1 && memcpy_to_user_errno(p,termios_p,kbuf,SIZEOF_STRUCT_TERMIOS))
-               ret = -1;
+       int retval = 0;
+       /* TODO: actually support this call on tty FDs.  Right now, we just fake
+        * what my linux box reports for a bash pty. */
+       struct termios *kbuf = kmalloc(sizeof(struct termios), 0);
+       kbuf->c_iflag = 0x2d02;
+       kbuf->c_oflag = 0x0005;
+       kbuf->c_cflag = 0x04bf;
+       kbuf->c_lflag = 0x8a3b;
+       kbuf->c_line = 0x0;
+       kbuf->c_ispeed = 0xf;
+       kbuf->c_ospeed = 0xf;
+       kbuf->c_cc[0] = 0x03;
+       kbuf->c_cc[1] = 0x1c;
+       kbuf->c_cc[2] = 0x7f;
+       kbuf->c_cc[3] = 0x15;
+       kbuf->c_cc[4] = 0x04;
+       kbuf->c_cc[5] = 0x00;
+       kbuf->c_cc[6] = 0x01;
+       kbuf->c_cc[7] = 0xff;
+       kbuf->c_cc[8] = 0x11;
+       kbuf->c_cc[9] = 0x13;
+       kbuf->c_cc[10] = 0x1a;
+       kbuf->c_cc[11] = 0xff;
+       kbuf->c_cc[12] = 0x12;
+       kbuf->c_cc[13] = 0x0f;
+       kbuf->c_cc[14] = 0x17;
+       kbuf->c_cc[15] = 0x16;
+       kbuf->c_cc[16] = 0xff;
+       kbuf->c_cc[17] = 0x00;
+       kbuf->c_cc[18] = 0x00;
+       kbuf->c_cc[19] = 0x00;
+       kbuf->c_cc[20] = 0x00;
+       kbuf->c_cc[21] = 0x00;
+       kbuf->c_cc[22] = 0x00;
+       kbuf->c_cc[23] = 0x00;
+       kbuf->c_cc[24] = 0x00;
+       kbuf->c_cc[25] = 0x00;
+       kbuf->c_cc[26] = 0x00;
+       kbuf->c_cc[27] = 0x00;
+       kbuf->c_cc[28] = 0x00;
+       kbuf->c_cc[29] = 0x00;
+       kbuf->c_cc[30] = 0x00;
+       kbuf->c_cc[31] = 0x00;
+
+       if (memcpy_to_user_errno(p, termios_p, kbuf, sizeof(struct termios)))
+               retval = -1;
        kfree(kbuf);
-       return ret;
+       return retval;
 }
 
 intreg_t sys_tcsetattr(struct proc *p, int fd, int optional_actions,
                        const void *termios_p)
 {
-       void* kbuf = user_memdup_errno(p,termios_p,SIZEOF_STRUCT_TERMIOS);
-       if(kbuf == NULL)
-               return -1;
-       int ret = ufe(tcsetattr,fd,optional_actions,PADDR(kbuf),0);
-       user_memdup_free(p,kbuf);
-       return ret;
+       /* TODO: do this properly too.  For now, we just say 'it worked' */
+       return 0;
 }
 
 /* TODO: we don't have any notion of UIDs or GIDs yet, but don't let that stop a
@@ -1339,9 +1642,104 @@ intreg_t sys_setgid(struct proc *p, gid_t gid)
        return 0;
 }
 
+/* long bind(char* src_path, char* onto_path, int flag);
+ *
+ * The naming for the args in bind is messy historically.  We do:
+ *             bind src_path onto_path
+ * plan9 says bind NEW OLD, where new is *src*, and old is *onto*.
+ * Linux says mount --bind OLD NEW, where OLD is *src* and NEW is *onto*. */
+intreg_t sys_nbind(struct proc *p,
+                   char *src_path, size_t src_l,
+                   char *onto_path, size_t onto_l,
+                   unsigned int flag)
+
+{
+       int ret;
+       char *t_srcpath = user_strdup_errno(p, src_path, src_l);
+       if (t_srcpath == NULL) {
+               printd("srcpath dup failed ptr %p size %d\n", src_path, src_l);
+               return -1;
+       }
+       char *t_ontopath = user_strdup_errno(p, onto_path, onto_l);
+       if (t_ontopath == NULL) {
+               user_memdup_free(p, t_srcpath);
+               printd("ontopath dup failed ptr %p size %d\n", onto_path, onto_l);
+               return -1;
+       }
+       printd("sys_nbind: %s -> %s flag %d\n", t_srcpath, t_ontopath, flag);
+       ret = sysbind(t_srcpath, t_ontopath, flag);
+       user_memdup_free(p, t_srcpath);
+       user_memdup_free(p, t_ontopath);
+       return ret;
+}
+
+/* int mount(int fd, int afd, char* onto_path, int flag, char* aname); */
+intreg_t sys_nmount(struct proc *p,
+                    int fd,
+                    char *onto_path, size_t onto_l,
+                    unsigned int flag
+                       /* we ignore these */
+                       /* no easy way to pass this many args anyway. *
+                   int afd,
+                    char *auth, size_t auth_l*/)
+{
+       int ret;
+       int afd;
+
+       afd = -1;
+       char *t_ontopath = user_strdup_errno(p, onto_path, onto_l);
+       if (t_ontopath == NULL)
+               return -1;
+       ret = sysmount(fd, afd, t_ontopath, flag, /* spec or auth */"");
+       user_memdup_free(p, t_ontopath);
+       return ret;
+}
+
+/* int mount(int fd, int afd, char* old, int flag, char* aname); */
+intreg_t sys_nunmount(struct proc *p, char *name, int name_l, char *old_path, int old_l)
+{
+       int ret;
+       char *t_oldpath = user_strdup_errno(p, old_path, old_l);
+       if (t_oldpath == NULL)
+               return -1;
+       char *t_name = user_strdup_errno(p, name, name_l);
+       if (t_name == NULL) {
+               user_memdup_free(p, t_oldpath);
+               return -1;
+       }
+       ret = sysunmount(t_name, t_oldpath);
+       printd("go do it\n");
+       user_memdup_free(p, t_oldpath);
+       user_memdup_free(p, t_name);
+       return ret;
+}
+
+static int sys_fd2path(struct proc *p, int fd, void *u_buf, size_t len)
+{
+       int ret;
+       struct chan *ch;
+       ERRSTACK(1);
+       /* UMEM: Check the range, can PF later and kill if the page isn't present */
+       if (!is_user_rwaddr(u_buf, len)) {
+               printk("[kernel] bad user addr %p (+%p) in %s (user bug)\n", u_buf,
+                      len, __FUNCTION__);
+               return -1;
+       }
+       /* fdtochan throws */
+       if (waserror()) {
+               poperror();
+               return -1;
+       }
+       ch = fdtochan(current->fgrp, fd, -1, FALSE, TRUE);
+       ret = snprintf(u_buf, len, "%s", "chanpath(ch)");
+       cclose(ch);
+       poperror();
+       return ret;
+}
+
 /************** Syscall Invokation **************/
 
-const static struct sys_table_entry syscall_table[] = {
+const struct sys_table_entry syscall_table[] = {
        [SYS_null] = {(syscall_t)sys_null, "null"},
        [SYS_block] = {(syscall_t)sys_block, "block"},
        [SYS_cache_buster] = {(syscall_t)sys_cache_buster, "buster"},
@@ -1359,42 +1757,24 @@ const static struct sys_table_entry syscall_table[] = {
        [SYS_change_vcore] = {(syscall_t)sys_change_vcore, "change_vcore"},
        [SYS_fork] = {(syscall_t)sys_fork, "fork"},
        [SYS_exec] = {(syscall_t)sys_exec, "exec"},
-       [SYS_trywait] = {(syscall_t)sys_trywait, "trywait"},
+       [SYS_waitpid] = {(syscall_t)sys_waitpid, "waitpid"},
        [SYS_mmap] = {(syscall_t)sys_mmap, "mmap"},
        [SYS_munmap] = {(syscall_t)sys_munmap, "munmap"},
        [SYS_mprotect] = {(syscall_t)sys_mprotect, "mprotect"},
        [SYS_shared_page_alloc] = {(syscall_t)sys_shared_page_alloc, "pa"},
        [SYS_shared_page_free] = {(syscall_t)sys_shared_page_free, "pf"},
+       [SYS_provision] = {(syscall_t)sys_provision, "provision"},
        [SYS_notify] = {(syscall_t)sys_notify, "notify"},
        [SYS_self_notify] = {(syscall_t)sys_self_notify, "self_notify"},
+       [SYS_vc_entry] = {(syscall_t)sys_vc_entry, "vc_entry"},
        [SYS_halt_core] = {(syscall_t)sys_halt_core, "halt_core"},
-#ifdef __CONFIG_SERIAL_IO__
-       [SYS_serial_read] = {(syscall_t)sys_serial_read, "ser_read"},
-       [SYS_serial_write] = {(syscall_t)sys_serial_write, "ser_write"},
-#endif
-#ifdef __CONFIG_NETWORKING__
-       [SYS_eth_read] = {(syscall_t)sys_eth_read, "eth_read"},
-       [SYS_eth_write] = {(syscall_t)sys_eth_write, "eth_write"},
-       [SYS_eth_get_mac_addr] = {(syscall_t)sys_eth_get_mac_addr, "get_mac"},
-       [SYS_eth_recv_check] = {(syscall_t)sys_eth_recv_check, "recv_check"},
-#endif
-#ifdef __CONFIG_ARSC_SERVER__
+#ifdef CONFIG_ARSC_SERVER
        [SYS_init_arsc] = {(syscall_t)sys_init_arsc, "init_arsc"},
 #endif
        [SYS_change_to_m] = {(syscall_t)sys_change_to_m, "change_to_m"},
        [SYS_poke_ksched] = {(syscall_t)sys_poke_ksched, "poke_ksched"},
-
-// socket related syscalls
-       [SYS_socket] ={(syscall_t)sys_socket, "socket"},
-       [SYS_sendto] ={(syscall_t)sys_sendto, "sendto"},
-       [SYS_recvfrom] ={(syscall_t)sys_recvfrom, "recvfrom"},
-       [SYS_select] ={(syscall_t)sys_select, "select"},
-       [SYS_connect] = {(syscall_t)sys_connect, "connect"},
-       [SYS_send] ={(syscall_t)sys_send, "send"},
-       [SYS_recv] ={(syscall_t)sys_recv, "recvfrom"},
-       [SYS_bind] ={(syscall_t)sys_bind, "bind"},
-       [SYS_accept] ={(syscall_t)sys_accept, "accept"},
-
+       [SYS_abort_sysc] = {(syscall_t)sys_abort_sysc, "abort_sysc"},
+       [SYS_populate_va] = {(syscall_t)sys_populate_va, "populate_va"},
 
        [SYS_read] = {(syscall_t)sys_read, "read"},
        [SYS_write] = {(syscall_t)sys_write, "write"},
@@ -1407,7 +1787,7 @@ const static struct sys_table_entry syscall_table[] = {
        [SYS_access] = {(syscall_t)sys_access, "access"},
        [SYS_umask] = {(syscall_t)sys_umask, "umask"},
        [SYS_chmod] = {(syscall_t)sys_chmod, "chmod"},
-       [SYS_lseek] = {(syscall_t)sys_lseek, "lseek"},
+       [SYS_llseek] = {(syscall_t)sys_llseek, "llseek"},
        [SYS_link] = {(syscall_t)sys_link, "link"},
        [SYS_unlink] = {(syscall_t)sys_unlink, "unlink"},
        [SYS_symlink] = {(syscall_t)sys_symlink, "symlink"},
@@ -1416,34 +1796,43 @@ const static struct sys_table_entry syscall_table[] = {
        [SYS_getcwd] = {(syscall_t)sys_getcwd, "getcwd"},
        [SYS_mkdir] = {(syscall_t)sys_mkdir, "mkdri"},
        [SYS_rmdir] = {(syscall_t)sys_rmdir, "rmdir"},
+       [SYS_pipe] = {(syscall_t)sys_pipe, "pipe"},
        [SYS_gettimeofday] = {(syscall_t)sys_gettimeofday, "gettime"},
        [SYS_tcgetattr] = {(syscall_t)sys_tcgetattr, "tcgetattr"},
        [SYS_tcsetattr] = {(syscall_t)sys_tcsetattr, "tcsetattr"},
        [SYS_setuid] = {(syscall_t)sys_setuid, "setuid"},
-       [SYS_setgid] = {(syscall_t)sys_setgid, "setgid"}
-};
+       [SYS_setgid] = {(syscall_t)sys_setgid, "setgid"},
+       /* special! */
+       [SYS_nbind] ={(syscall_t)sys_nbind, "nbind"},
+       [SYS_nmount] ={(syscall_t)sys_nmount, "nmount"},
+       [SYS_nunmount] ={(syscall_t)sys_nunmount, "nunmount"},
+       [SYS_fd2path] ={(syscall_t)sys_fd2path, "fd2path"},
 
+};
+const int max_syscall = sizeof(syscall_table)/sizeof(syscall_table[0]);
 /* Executes the given syscall.
  *
  * Note tf is passed in, which points to the tf of the context on the kernel
  * stack.  If any syscall needs to block, it needs to save this info, as well as
  * any silly state.
- * 
+ *
  * This syscall function is used by both local syscall and arsc, and should
  * remain oblivious of the caller. */
 intreg_t syscall(struct proc *p, uintreg_t sc_num, uintreg_t a0, uintreg_t a1,
                  uintreg_t a2, uintreg_t a3, uintreg_t a4, uintreg_t a5)
 {
-       const int max_syscall = sizeof(syscall_table)/sizeof(syscall_table[0]);
+       intreg_t ret = -1;
+       ERRSTACK(1);
+
 
        uint32_t coreid, vcoreid;
        if (systrace_flags & SYSTRACE_ON) {
                if ((systrace_flags & SYSTRACE_ALLPROC) || (proc_is_traced(p))) {
                        coreid = core_id();
-                       vcoreid = proc_get_vcoreid(p, coreid);
+                       vcoreid = proc_get_vcoreid(p);
                        if (systrace_flags & SYSTRACE_LOUD) {
-                               printk("[%16llu] Syscall %3d (%12s):(%08p, %08p, %08p, %08p, "
-                                      "%08p, %08p) proc: %d core: %d vcore: %d\n", read_tsc(),
+                               printk("[%16llu] Syscall %3d (%12s):(%p, %p, %p, %p, "
+                                      "%p, %p) proc: %d core: %d vcore: %d\n", read_tsc(),
                                       sc_num, syscall_table[sc_num].name, a0, a1, a2, a3,
                                       a4, a5, p->pid, coreid, vcoreid);
                        } else {
@@ -1471,7 +1860,30 @@ intreg_t syscall(struct proc *p, uintreg_t sc_num, uintreg_t a0, uintreg_t a1,
        if (sc_num > max_syscall || syscall_table[sc_num].call == NULL)
                panic("Invalid syscall number %d for proc %x!", sc_num, p);
 
-       return syscall_table[sc_num].call(p, a0, a1, a2, a3, a4, a5);
+       /* N.B. This is going away. */
+       if (waserror()){
+               printk("Plan 9 system call returned via waserror()\n");
+               printk("String: '%s'\n", current_errstr());
+               /* if we got here, then the errbuf was right.
+                * no need to check!
+                */
+               return -1;
+       }
+       //printd("before syscall errstack %p\n", errstack);
+       //printd("before syscall errstack base %p\n", get_cur_errbuf());
+       ret = syscall_table[sc_num].call(p, a0, a1, a2, a3, a4, a5);
+       //printd("after syscall errstack base %p\n", get_cur_errbuf());
+       if (get_cur_errbuf() != &errstack[0]) {
+               coreid = core_id();
+               vcoreid = proc_get_vcoreid(p);
+               printk("[%16llu] Syscall %3d (%12s):(%p, %p, %p, %p, "
+                      "%p, %p) proc: %d core: %d vcore: %d\n", read_tsc(),
+                      sc_num, syscall_table[sc_num].name, a0, a1, a2, a3,
+                      a4, a5, p->pid, coreid, vcoreid);
+               if (sc_num != SYS_fork)
+                       printk("YOU SHOULD PANIC: errstack mismatch");
+       }
+       return ret;
 }
 
 /* Execute the syscall on the local core */
@@ -1480,16 +1892,23 @@ void run_local_syscall(struct syscall *sysc)
        struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
 
        /* TODO: (UMEM) assert / pin the memory for the sysc */
-       user_mem_assert(pcpui->cur_proc, sysc, sizeof(struct syscall),
-                       sizeof(uintptr_t), PTE_USER_RW);
-       pcpui->cur_sysc = sysc;                 /* let the core know which sysc it is */
+       assert(irq_is_enabled());       /* in case we proc destroy */
+       /* Abort on mem check failure, for now */
+       if (!user_mem_check(pcpui->cur_proc, sysc, sizeof(struct syscall),
+                           sizeof(uintptr_t), PTE_USER_RW))
+               return;
+       pcpui->cur_kthread->sysc = sysc;        /* let the core know which sysc it is */
        sysc->retval = syscall(pcpui->cur_proc, sysc->num, sysc->arg0, sysc->arg1,
                               sysc->arg2, sysc->arg3, sysc->arg4, sysc->arg5);
        /* Need to re-load pcpui, in case we migrated */
        pcpui = &per_cpu_info[core_id()];
+       /* Some 9ns paths set errstr, but not errno.  glibc will ignore errstr.
+        * this is somewhat hacky, since errno might get set unnecessarily */
+       if ((current_errstr()[0] != 0) && (!sysc->err))
+               sysc->err = EUNSPECIFIED;
        finish_sysc(sysc, pcpui->cur_proc);
        /* Can unpin (UMEM) at this point */
-       pcpui->cur_sysc = 0;    /* no longer working on sysc */
+       pcpui->cur_kthread->sysc = 0;   /* no longer working on sysc */
 }
 
 /* A process can trap and call this function, which will set up the core to
@@ -1511,7 +1930,7 @@ void prep_syscalls(struct proc *p, struct syscall *sysc, unsigned int nr_syscs)
 
 /* Call this when something happens on the syscall where userspace might want to
  * get signaled.  Passing p, since the caller should know who the syscall
- * belongs to (probably is current). 
+ * belongs to (probably is current).
  *
  * You need to have SC_K_LOCK set when you call this. */
 void __signal_syscall(struct syscall *sysc, struct proc *p)
@@ -1552,7 +1971,7 @@ void systrace_start(bool silent)
                __init_systrace();
                init = TRUE;
        }
-       systrace_flags = silent ? SYSTRACE_ON : SYSTRACE_ON | SYSTRACE_LOUD; 
+       systrace_flags = silent ? SYSTRACE_ON : SYSTRACE_ON | SYSTRACE_LOUD;
        spin_unlock_irqsave(&systrace_lock);
 }
 
@@ -1615,8 +2034,8 @@ void systrace_print(bool all, struct proc *p)
         * timestamp and loop around.  Careful of concurrent writes. */
        for (int i = 0; i < systrace_bufsize; i++)
                if (systrace_buffer[i].timestamp)
-                       printk("[%16llu] Syscall %3d (%12s):(%08p, %08p, %08p, %08p, %08p,"
-                              "%08p) proc: %d core: %d vcore: %d\n",
+                       printk("[%16llu] Syscall %3d (%12s):(%p, %p, %p, %p, %p,"
+                              "%p) proc: %d core: %d vcore: %d\n",
                               systrace_buffer[i].timestamp,
                               systrace_buffer[i].syscallno,
                               syscall_table[systrace_buffer[i].syscallno].name,