Fix bug with duping fds for plan 9 files
[akaros.git] / kern / src / syscall.c
index 2fa8eb4..57a3d68 100644 (file)
@@ -4,12 +4,13 @@
 #pragma nosharc
 #endif
 
+//#define DEBUG
 #include <ros/common.h>
 #include <arch/types.h>
 #include <arch/arch.h>
 #include <arch/mmu.h>
 #include <arch/console.h>
-#include <ros/time.h>
+#include <time.h>
 #include <error.h>
 
 #include <elf.h>
 #include <event.h>
 #include <termios.h>
 
-
-#ifdef __CONFIG_NETWORKING__
-#include <arch/nic_common.h>
-extern int (*send_frame)(const char *CT(len) data, size_t len);
-extern unsigned char device_mac[6];
-#endif
-
 /* Tracing Globals */
 int systrace_flags = 0;
 struct systrace_record *systrace_buffer = 0;
@@ -67,7 +61,7 @@ static void finish_sysc(struct syscall *sysc, struct proc *p)
         * CASing with userspace.  We need the atomics since we're racing with
         * userspace for the event_queue registration.  The 'lock' tells userspace
         * to not muck with the flags while we're signalling. */
-       atomic_or(&sysc->flags, SC_K_LOCK | SC_DONE); 
+       atomic_or(&sysc->flags, SC_K_LOCK | SC_DONE);
        __signal_syscall(sysc, p);
        atomic_and(&sysc->flags, ~SC_K_LOCK); 
 }
@@ -87,9 +81,9 @@ static void finish_sysc(struct syscall *sysc, struct proc *p)
 static void finish_current_sysc(int retval)
 {
        struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
-       assert(pcpui->cur_sysc);
-       pcpui->cur_sysc->retval = retval;
-       finish_sysc(pcpui->cur_sysc, pcpui->cur_proc);
+       assert(pcpui->cur_kthread->sysc);
+       pcpui->cur_kthread->sysc->retval = retval;
+       finish_sysc(pcpui->cur_kthread->sysc, pcpui->cur_proc);
 }
 
 /* Callable by any function while executing a syscall (or otherwise, actually).
@@ -97,8 +91,73 @@ static void finish_current_sysc(int retval)
 void set_errno(int errno)
 {
        struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
-       if (pcpui->cur_sysc)
-               pcpui->cur_sysc->err = errno;
+       if (pcpui->cur_kthread && pcpui->cur_kthread->sysc)
+               pcpui->cur_kthread->sysc->err = errno;
+}
+
+/* Callable by any function while executing a syscall (or otherwise, actually).
+ */
+int get_errno(void)
+{
+       /* if there's no errno to get, that's not an error I guess. */
+       int errno = 0;
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       if (pcpui->cur_kthread && pcpui->cur_kthread->sysc)
+               errno = pcpui->cur_kthread->sysc->err;
+       return errno;
+}
+
+void unset_errno(void)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       if (!pcpui->cur_kthread || !pcpui->cur_kthread->sysc)
+               return;
+       pcpui->cur_kthread->sysc->err = 0;
+       pcpui->cur_kthread->sysc->errstr[0] = '\0';
+}
+
+void set_errstr(char *fmt, ...)
+{
+       va_list ap;
+       int rc;
+
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       if (!pcpui->cur_kthread || !pcpui->cur_kthread->sysc)
+               return;
+
+       va_start(ap, fmt);
+       rc = vsnprintf(pcpui->cur_kthread->sysc->errstr, MAX_ERRSTR_LEN, fmt, ap);
+       va_end(ap);
+
+       /* TODO: likely not needed */
+       pcpui->cur_kthread->sysc->errstr[MAX_ERRSTR_LEN - 1] = '\0';
+}
+
+char *current_errstr(void)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       if (!pcpui->cur_kthread || !pcpui->cur_kthread->sysc)
+               return "no errstr";
+       return pcpui->cur_kthread->sysc->errstr;
+}
+
+struct errbuf *get_cur_errbuf(void)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       return (struct errbuf*)pcpui->cur_kthread->errbuf;
+}
+
+void set_cur_errbuf(struct errbuf *ebuf)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       pcpui->cur_kthread->errbuf = ebuf;
+}
+
+char *get_cur_genbuf(void)
+{
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       assert(pcpui->cur_kthread);
+       return pcpui->cur_kthread->generic_buf;
 }
 
 /************** Utility Syscalls **************/
@@ -130,7 +189,7 @@ static int sys_block(struct proc *p, unsigned int usec)
 // lines, to simulate doing something useful.
 static int sys_cache_buster(struct proc *p, uint32_t num_writes,
                              uint32_t num_pages, uint32_t flags)
-{ TRUSTEDBLOCK /* zra: this is not really part of the kernel */
+{
        #define BUSTER_ADDR             0xd0000000L  // around 512 MB deep
        #define MAX_WRITES              1048576*8
        #define MAX_PAGES               32
@@ -200,7 +259,7 @@ static int sys_cache_buster(struct proc *p, uint32_t num_writes,
 
 static int sys_cache_invalidate(void)
 {
-       #ifdef __i386__
+       #ifdef CONFIG_X86
                wbinvd();
        #endif
        return 0;
@@ -272,6 +331,7 @@ static int sys_proc_create(struct proc *p, char *path, size_t path_l,
        t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* TODO: 9ns support */
        program = do_file_open(t_path, 0, 0);
        user_memdup_free(p, t_path);
        if (!program)
@@ -372,8 +432,8 @@ static int sys_proc_yield(struct proc *p, bool being_nice)
        /* proc_yield() often doesn't return - we need to set the syscall retval
         * early.  If it doesn't return, it expects to eat our reference (for now).
         */
-       finish_sysc(pcpui->cur_sysc, pcpui->cur_proc);
-       pcpui->cur_sysc = 0;    /* don't touch sysc again */
+       finish_sysc(pcpui->cur_kthread->sysc, pcpui->cur_proc);
+       pcpui->cur_kthread->sysc = 0;   /* don't touch sysc again */
        proc_incref(p, 1);
        proc_yield(p, being_nice);
        proc_decref(p);
@@ -394,6 +454,8 @@ static ssize_t sys_fork(env_t* e)
 {
        struct proc *temp;
        int8_t state = 0;
+       int ret;
+
        // TODO: right now we only support fork for single-core processes
        if (e->state != PROC_RUNNING_S) {
                set_errno(EINVAL);
@@ -405,13 +467,13 @@ static ssize_t sys_fork(env_t* e)
 
        env->heap_top = e->heap_top;
        env->ppid = e->pid;
-       disable_irqsave(&state);        /* protect cur_tf */
-       /* Can't really fork if we don't have a current_tf to fork */
-       if (!current_tf) {
+       disable_irqsave(&state);        /* protect cur_ctx */
+       /* Can't really fork if we don't have a current_ctx to fork */
+       if (!current_ctx) {
                set_errno(EINVAL);
                return -1;
        }
-       env->env_tf = *current_tf;
+       env->scp_ctx = *current_ctx;
        enable_irqsave(&state);
 
        env->cache_colors_map = cache_colors_map_alloc();
@@ -441,7 +503,7 @@ static ssize_t sys_fork(env_t* e)
        memcpy(env->procinfo->argp, e->procinfo->argp, sizeof(e->procinfo->argp));
        memcpy(env->procinfo->argbuf, e->procinfo->argbuf,
               sizeof(e->procinfo->argbuf));
-       #ifdef __i386__
+       #ifdef CONFIG_X86
        /* new guy needs to know about ldt (everything else in procdata is fresh */
        env->procdata->ldt = e->procdata->ldt;
        #endif
@@ -457,7 +519,9 @@ static ssize_t sys_fork(env_t* e)
        // when the parent dies, or at least decref it
 
        printd("[PID %d] fork PID %d\n", e->pid, env->pid);
-       return env->pid;
+       ret = env->pid;
+       proc_decref(env);       /* give up the reference created in proc_alloc() */
+       return ret;
 }
 
 /* Load the binary "path" into the current process, and start executing it.
@@ -489,24 +553,28 @@ static int sys_exec(struct proc *p, char *path, size_t path_l,
        t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
-       disable_irqsave(&state);        /* protect cur_tf */
-       /* Can't exec if we don't have a current_tf to restart (if we fail).  This
+       disable_irqsave(&state);        /* protect cur_ctx */
+       /* Can't exec if we don't have a current_ctx to restart (if we fail).  This
         * isn't 100% true, but I'm okay with it. */
-       if (!pcpui->cur_tf) {
+       if (!pcpui->cur_ctx) {
                enable_irqsave(&state);
                set_errno(EINVAL);
                return -1;
        }
-       /* Preemptively copy out the cur_tf, in case we fail later (easier on cur_tf
-        * if we do this now) */
-       p->env_tf = *pcpui->cur_tf;
-       /* Clear the current_tf.  We won't be returning the 'normal' way.  Even if
+       /* Preemptively copy out the cur_ctx, in case we fail later (easier on
+        * cur_ctx if we do this now) */
+       p->scp_ctx = *pcpui->cur_ctx;
+       /* Clear the current_ctx.  We won't be returning the 'normal' way.  Even if
         * we want to return with an error, we need to go back differently in case
         * we succeed.  This needs to be done before we could possibly block, but
-        * unfortunately happens before the point of no return. */
-       pcpui->cur_tf = 0;
+        * unfortunately happens before the point of no return.
+        *
+        * Note that we will 'hard block' if we block at all.  We can't return to
+        * userspace and then asynchronously finish the exec later. */
+       clear_owning_proc(core_id());
        enable_irqsave(&state);
        /* This could block: */
+       /* TODO: 9ns support */
        program = do_file_open(t_path, 0, 0);
        user_memdup_free(p, t_path);
        if (!program)
@@ -519,11 +587,14 @@ static int sys_exec(struct proc *p, char *path, size_t path_l,
                                   sizeof(pi->argbuf)))
                goto mid_error;
        /* This is the point of no return for the process. */
-       #ifdef __i386__
+       #ifdef CONFIG_X86
        /* clear this, so the new program knows to get an LDT */
        p->procdata->ldt = 0;
        #endif
-       destroy_vmrs(p);
+       /* When we destroy our memory regions, accessing cur_sysc would PF */
+       pcpui->cur_kthread->sysc = 0;
+       unmap_and_destroy_vmrs(p);
+       close_9ns_files(p, TRUE);
        close_all_files(&p->open_files, TRUE);
        env_user_mem_free(p, 0, UMAPTOP);
        if (load_elf(p, program)) {
@@ -558,7 +629,6 @@ all_out:
         * syscall struct (which has been freed and is in the old userspace) (or has
         * already been written to).*/
        disable_irq();                  /* abandon_core/clear_own wants irqs disabled */
-       clear_owning_proc(core_id());
        abandon_core();
        smp_idle();                             /* will reenable interrupts */
 }
@@ -755,6 +825,43 @@ static int sys_shared_page_free(env_t* p1, void*DANGEROUS addr, pid_t p2)
        return -1;
 }
 
+/* Helper, to do the actual provisioning of a resource to a proc */
+static int prov_resource(struct proc *target, unsigned int res_type,
+                         long res_val)
+{
+       switch (res_type) {
+               case (RES_CORES):
+                       /* in the off chance we have a kernel scheduler that can't
+                        * provision, we'll need to change this. */
+                       return provision_core(target, res_val);
+               default:
+                       printk("[kernel] received provisioning for unknown resource %d\n",
+                              res_type);
+                       set_errno(ENOENT);      /* or EINVAL? */
+                       return -1;
+       }
+}
+
+/* Rough syscall to provision res_val of type res_type to target_pid */
+static int sys_provision(struct proc *p, int target_pid,
+                         unsigned int res_type, long res_val)
+{
+       struct proc *target = pid2proc(target_pid);
+       int retval;
+       if (!target) {
+               if (target_pid == 0)
+                       return prov_resource(0, res_type, res_val);
+               /* debugging interface */
+               if (target_pid == -1)
+                       print_prov_map();
+               set_errno(ESRCH);
+               return -1;
+       }
+       retval = prov_resource(target, res_type, res_val);
+       proc_decref(target);
+       return retval;
+}
+
 /* Untested.  Will notify the target on the given vcore, if the caller controls
  * the target.  Will honor the target's wanted/vcoreid.  u_ne can be NULL. */
 static int sys_notify(struct proc *p, int target_pid, unsigned int ev_type,
@@ -787,15 +894,13 @@ static int sys_notify(struct proc *p, int target_pid, unsigned int ev_type,
 }
 
 /* Will notify the calling process on the given vcore, independently of WANTED
- * or advertised vcoreid.  If you change the parameters, change pop_ros_tf() */
+ * or advertised vcoreid.  If you change the parameters, change pop_user_ctx().
+ */
 static int sys_self_notify(struct proc *p, uint32_t vcoreid,
                            unsigned int ev_type, struct event_msg *u_msg,
                            bool priv)
 {
        struct event_msg local_msg = {0};
-
-       printd("[kernel] received self notify for vcoreid %d, type %d, msg %08p\n",
-              vcoreid, ev_type, u_msg);
        /* if the user provided an ev_msg, copy it in and use that */
        if (u_msg) {
                if (memcpy_from_user(p, &local_msg, u_msg, sizeof(struct event_msg))) {
@@ -805,12 +910,27 @@ static int sys_self_notify(struct proc *p, uint32_t vcoreid,
        } else {
                local_msg.ev_type = ev_type;
        }
+       if (local_msg.ev_type >= MAX_NR_EVENT) {
+               printk("[kernel] received self-notify for vcoreid %d, ev_type %d, "
+                      "u_msg %p, u_msg->type %d\n", vcoreid, ev_type, u_msg,
+                      u_msg ? u_msg->ev_type : 0);
+               return -1;
+       }
        /* this will post a message and IPI, regardless of wants/needs/debutantes.*/
        post_vcore_event(p, &local_msg, vcoreid, priv ? EVENT_VCORE_PRIVATE : 0);
        proc_notify(p, vcoreid);
        return 0;
 }
 
+/* Puts the calling core into vcore context, if it wasn't already, via a
+ * self-IPI / active notification.  Barring any weird unmappings, we just send
+ * ourselves a __notify. */
+static int sys_vc_entry(struct proc *p)
+{
+       send_kernel_message(core_id(), __notify, (long)p, 0, 0, KMSG_ROUTINE);
+       return 0;
+}
+
 /* This will set a local timer for usec, then shut down the core.  There's a
  * slight race between spinner and halt.  For now, the core will wake up for
  * other interrupts and service them, but will not process routine messages or
@@ -854,175 +974,70 @@ static int sys_change_to_m(struct proc *p)
        return retval;
 }
 
-/* Not sure what people will need.  For now, they can send in the resource they
- * want.  Up to the ksched to support this, and other things (like -1 for all
- * resources).  Might have this info go in via procdata instead. */
-static int sys_poke_ksched(struct proc *p, int res_type)
-{
-       poke_ksched(p, res_type);
-       return 0;
-}
-
-/************** Platform Specific Syscalls **************/
-
-//Read a buffer over the serial port
-static ssize_t sys_serial_read(env_t* e, char *DANGEROUS _buf, size_t len)
-{
-       printk("[kernel] serial reading is deprecated.\n");
-       if (len == 0)
-               return 0;
-
-       #ifdef __CONFIG_SERIAL_IO__
-           char *COUNT(len) buf = user_mem_assert(e, _buf, len, 1, PTE_USER_RO);
-               size_t bytes_read = 0;
-               int c;
-               while((c = serial_read_byte()) != -1) {
-                       buf[bytes_read++] = (uint8_t)c;
-                       if(bytes_read == len) break;
-               }
-               return (ssize_t)bytes_read;
-       #else
-               return -EINVAL;
-       #endif
-}
-
-//Write a buffer over the serial port
-static ssize_t sys_serial_write(env_t* e, const char *DANGEROUS buf, size_t len)
+/* Pokes the ksched for the given resource for target_pid.  If the target pid
+ * == 0, we just poke for the calling process.  The common case is poking for
+ * self, so we avoid the lookup. 
+ *
+ * Not sure if you could harm someone via asking the kernel to look at them, so
+ * we'll do a 'controls' check for now.  In the future, we might have something
+ * in the ksched that limits or penalizes excessive pokes. */
+static int sys_poke_ksched(struct proc *p, int target_pid,
+                           unsigned int res_type)
 {
-       printk("[kernel] serial writing is deprecated.\n");
-       if (len == 0)
+       struct proc *target;
+       int retval = 0;
+       if (!target_pid) {
+               poke_ksched(p, res_type);
                return 0;
-       #ifdef __CONFIG_SERIAL_IO__
-               char *COUNT(len) _buf = user_mem_assert(e, buf, len, 1, PTE_USER_RO);
-               for(int i =0; i<len; i++)
-                       serial_send_byte(buf[i]);
-               return (ssize_t)len;
-       #else
-               return -EINVAL;
-       #endif
-}
-
-#ifdef __CONFIG_NETWORKING__
-// This is not a syscall we want. Its hacky. Here just for syscall stuff until get a stack.
-static ssize_t sys_eth_read(env_t* e, char *DANGEROUS buf)
-{
-       if (eth_up) {
-
-               uint32_t len;
-               char *ptr;
-
-               spin_lock(&packet_buffers_lock);
-
-               if (num_packet_buffers == 0) {
-                       spin_unlock(&packet_buffers_lock);
-                       return 0;
-               }
-
-               ptr = packet_buffers[packet_buffers_head];
-               len = packet_buffers_sizes[packet_buffers_head];
-
-               num_packet_buffers--;
-               packet_buffers_head = (packet_buffers_head + 1) % MAX_PACKET_BUFFERS;
-
-               spin_unlock(&packet_buffers_lock);
-
-               char* _buf = user_mem_assert(e, buf, len, 1, PTE_U);
-
-               memcpy(_buf, ptr, len);
-
-               kfree(ptr);
-
-               return len;
        }
-       else
-               return -EINVAL;
-}
-
-// This is not a syscall we want. Its hacky. Here just for syscall stuff until get a stack.
-static ssize_t sys_eth_write(env_t* e, const char *DANGEROUS buf, size_t len)
-{
-       if (eth_up) {
-
-               if (len == 0)
-                       return 0;
-
-               // HACK TO BYPASS HACK
-               int just_sent = send_frame(buf, len);
-
-               if (just_sent < 0) {
-                       printk("Packet send fail\n");
-                       return 0;
-               }
-
-               return just_sent;
-
-               // END OF RECURSIVE HACK
-/*
-               char *COUNT(len) _buf = user_mem_assert(e, buf, len, PTE_U);
-               int total_sent = 0;
-               int just_sent = 0;
-               int cur_packet_len = 0;
-               while (total_sent != len) {
-                       cur_packet_len = ((len - total_sent) > MTU) ? MTU : (len - total_sent);
-                       char dest_mac[6] = APPSERVER_MAC_ADDRESS;
-                       char* wrap_buffer = eth_wrap(_buf + total_sent, cur_packet_len, device_mac, dest_mac, APPSERVER_PORT);
-                       just_sent = send_frame(wrap_buffer, cur_packet_len + sizeof(struct ETH_Header));
-
-                       if (just_sent < 0)
-                               return 0; // This should be an error code of its own
-
-                       if (wrap_buffer)
-                               kfree(wrap_buffer);
-
-                       total_sent += cur_packet_len;
-               }
-
-               return (ssize_t)len;
-*/
+       target = pid2proc(target_pid);
+       if (!target) {
+               set_errno(ESRCH);
+               return -1;
+       }
+       if (!proc_controls(p, target)) {
+               set_errno(EPERM);
+               retval = -1;
+               goto out;
        }
-       else
-               return -EINVAL;
+       poke_ksched(target, res_type);
+out:
+       proc_decref(target);
+       return retval;
 }
 
-static ssize_t sys_eth_get_mac_addr(env_t* e, char *DANGEROUS buf) 
+static int sys_abort_sysc(struct proc *p, struct syscall *sysc)
 {
-       if (eth_up) {
-               for (int i = 0; i < 6; i++)
-                       buf[i] = device_mac[i];
-               return 0;
-       }
-       else
-               return -EINVAL;
+       return abort_sysc(p, sysc);
 }
 
-static int sys_eth_recv_check(env_t* e) 
+static unsigned long sys_populate_va(struct proc *p, uintptr_t va,
+                                     unsigned long nr_pgs)
 {
-       if (num_packet_buffers != 0) 
-               return 1;
-       else
-               return 0;
+       return populate_va(p, ROUNDDOWN(va, PGSIZE), nr_pgs);
 }
 
-#endif // Network
-
 static intreg_t sys_read(struct proc *p, int fd, void *buf, int len)
 {
        ssize_t ret;
        struct file *file = get_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
-       }
-       if (!file->f_op->read) {
+       /* VFS */
+       if (file) {
+               if (!file->f_op->read) {
+                       kref_put(&file->f_kref);
+                       set_errno(EINVAL);
+                       return -1;
+               }
+               /* TODO: (UMEM) currently, read() handles user memcpy
+                * issues, but we probably should user_mem_check and
+                * pin the region here, so read doesn't worry about
+                * it */
+               ret = file->f_op->read(file, buf, len, &file->f_pos);
                kref_put(&file->f_kref);
-               set_errno(EINVAL);
-               return -1;
+               return ret;
        }
-       /* TODO: (UMEM) currently, read() handles user memcpy issues, but we
-        * probably should user_mem_check and pin the region here, so read doesn't
-        * worry about it */
-       ret = file->f_op->read(file, buf, len, &file->f_pos);
-       kref_put(&file->f_kref);
+       /* plan9, should also handle errors (EBADF) */
+    ret = sysread(fd, buf, len);
        return ret;
 }
 
@@ -1030,58 +1045,80 @@ static intreg_t sys_write(struct proc *p, int fd, const void *buf, int len)
 {
        ssize_t ret;
        struct file *file = get_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
-       }
-       if (!file->f_op->write) {
+       /* VFS */
+       if (file) {
+               if (!file->f_op->write) {
+                       kref_put(&file->f_kref);
+                       set_errno(EINVAL);
+                       return -1;
+               }
+               /* TODO: (UMEM) */
+               ret = file->f_op->write(file, buf, len, &file->f_pos);
                kref_put(&file->f_kref);
-               set_errno(EINVAL);
-               return -1;
+               return ret;
        }
-       /* TODO: (UMEM) */
-       ret = file->f_op->write(file, buf, len, &file->f_pos);
-       kref_put(&file->f_kref);
+       /* plan9, should also handle errors */
+       ret = syswrite(fd, (void*)buf, len);
        return ret;
 }
 
 /* Checks args/reads in the path, opens the file, and inserts it into the
- * process's open file list. 
- *
- * TODO: take the path length */
+ * process's open file list. */
 static intreg_t sys_open(struct proc *p, const char *path, size_t path_l,
                          int oflag, int mode)
 {
-       int fd = 0;
+       int fd;
        struct file *file;
 
-       printd("File %s Open attempt\n", path);
+       printd("File %s Open attempt oflag %x mode %x\n", path, oflag, mode);
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
        mode &= ~p->fs_env.umask;
        file = do_file_open(t_path, oflag, mode);
-       user_memdup_free(p, t_path);
-       if (!file)
-               return -1;
-       fd = insert_file(&p->open_files, file, 0);      /* stores the ref to file */
-       kref_put(&file->f_kref);
-       if (fd < 0) {
-               warn("File insertion failed");
-               return -1;
+       /* VFS */
+       if (file) {
+               fd = insert_file(&p->open_files, file, 0);      /* stores the ref to file */
+               kref_put(&file->f_kref);        /* drop our ref */
+               if (fd < 0)
+                       warn("File insertion failed");
+       } else {
+               unset_errno();  /* Go can't handle extra errnos */
+               fd = sysopen(t_path, oflag);
+               /* successful lookup with CREATE and EXCL is an error */
+               if (fd != -1) {
+                       if ((oflag & O_CREATE) && (oflag & O_EXCL)) {
+                               set_errno(EEXIST);
+                               sysclose(fd);
+                               user_memdup_free(p, t_path);
+                               return -1;
+                       }
+               } else {
+                       if (oflag & O_CREATE) {
+                               mode &= S_PMASK;
+                               fd = syscreate(t_path, oflag, mode);
+                       }
+               }
        }
-       printd("File %s Open, res=%d\n", path, fd);
+       user_memdup_free(p, t_path);
+       printd("File %s Open, fd=%d\n", path, fd);
        return fd;
 }
 
 static intreg_t sys_close(struct proc *p, int fd)
 {
-       struct file *file = put_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
+       struct file *file = get_file_from_fd(&p->open_files, fd);
+       int retval = 0;
+       printd("sys_close %d\n", fd);
+       /* VFS */
+       if (file) {
+               put_file_from_fd(&p->open_files, fd);
+               kref_put(&file->f_kref);        /* Drop the ref from get_file */
+               return 0;
        }
-       return 0;
+       /* 9ns, should also handle errors (bad FD, etc) */
+       retval = sysclose(fd);
+       return retval;
 }
 
 /* kept around til we remove the last ufe */
@@ -1092,23 +1129,27 @@ static intreg_t sys_close(struct proc *p, int fd)
 static intreg_t sys_fstat(struct proc *p, int fd, struct kstat *u_stat)
 {
        struct kstat *kbuf;
-       struct file *file = get_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
-       }
+       struct file *file;
        kbuf = kmalloc(sizeof(struct kstat), 0);
        if (!kbuf) {
-               kref_put(&file->f_kref);
                set_errno(ENOMEM);
                return -1;
        }
-       stat_inode(file->f_dentry->d_inode, kbuf);
-       kref_put(&file->f_kref);
+       file = get_file_from_fd(&p->open_files, fd);
+       /* VFS */
+       if (file) {
+               stat_inode(file->f_dentry->d_inode, kbuf);
+               kref_put(&file->f_kref);
+       } else {
+               unset_errno();  /* Go can't handle extra errnos */
+           if (sysfstatakaros(fd, (struct kstat *)kbuf) < 0) {
+                       kfree(kbuf);
+                       return -1;
+               }
+       }
        /* TODO: UMEM: pin the memory, copy directly, and skip the kernel buffer */
        if (memcpy_to_user_errno(p, u_stat, kbuf, sizeof(struct kstat))) {
                kfree(kbuf);
-               set_errno(EINVAL);
                return -1;
        }
        kfree(kbuf);
@@ -1124,28 +1165,38 @@ static intreg_t stat_helper(struct proc *p, const char *path, size_t path_l,
        struct kstat *kbuf;
        struct dentry *path_d;
        char *t_path = user_strdup_errno(p, path, path_l);
+       int retval = 0;
        if (!t_path)
                return -1;
-       path_d = lookup_dentry(t_path, flags);
-       user_memdup_free(p, t_path);
-       if (!path_d)
-               return -1;
        kbuf = kmalloc(sizeof(struct kstat), 0);
        if (!kbuf) {
                set_errno(ENOMEM);
+               retval = -1;
+               goto out_with_path;
+       }
+       /* Check VFS for path */
+       path_d = lookup_dentry(t_path, flags);
+       if (path_d) {
+               stat_inode(path_d->d_inode, kbuf);
                kref_put(&path_d->d_kref);
-               return -1;
+       } else {
+               /* VFS failed, checking 9ns */
+               unset_errno();  /* Go can't handle extra errnos */
+               retval = sysstatakaros(t_path, (struct stat *)kbuf);
+               printd("sysstat returns %d\n", retval);
+               /* both VFS and 9ns failed, bail out */
+               if (retval < 0)
+                       goto out_with_kbuf;
        }
-       stat_inode(path_d->d_inode, kbuf);
-       kref_put(&path_d->d_kref);
        /* TODO: UMEM: pin the memory, copy directly, and skip the kernel buffer */
-       if (memcpy_to_user_errno(p, u_stat, kbuf, sizeof(struct kstat))) {
-               kfree(kbuf);
-               set_errno(EINVAL);
-               return -1;
-       }
+       if (memcpy_to_user_errno(p, u_stat, kbuf, sizeof(struct kstat)))
+               retval = -1;
+       /* Fall-through */
+out_with_kbuf:
        kfree(kbuf);
-       return 0;
+out_with_path:
+       user_memdup_free(p, t_path);
+       return retval;
 }
 
 /* Follow a final symlink */
@@ -1165,11 +1216,29 @@ static intreg_t sys_lstat(struct proc *p, const char *path, size_t path_l,
 intreg_t sys_fcntl(struct proc *p, int fd, int cmd, int arg)
 {
        int retval = 0;
+       int newfd;
        struct file *file = get_file_from_fd(&p->open_files, fd);
+
        if (!file) {
+               /* 9ns hack */
+               switch (cmd) {
+                       case (F_DUPFD):
+                               return sysdup(fd, -1);
+                       case (F_GETFD):
+                       case (F_SETFD):
+                               return 0;
+                       case (F_GETFL):
+                               return fd_getfl(fd);
+                       case (F_SETFL):
+                               return fd_setfl(fd, arg);
+                       default:
+                               warn("Unsupported fcntl cmd %d\n", cmd);
+               }
+               /* not really ever calling this, even for badf, due to the switch */
                set_errno(EBADF);
                return -1;
        }
+
        switch (cmd) {
                case (F_DUPFD):
                        retval = insert_file(&p->open_files, file, arg);
@@ -1207,6 +1276,7 @@ static intreg_t sys_access(struct proc *p, const char *path, size_t path_l,
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* TODO: 9ns support */
        retval = do_access(t_path, mode);
        user_memdup_free(p, t_path);
        printd("Access for path: %s retval: %d\n", path, retval);
@@ -1224,32 +1294,84 @@ intreg_t sys_umask(struct proc *p, int mask)
        return old_mask;
 }
 
+static void init_dir_for_wstat(struct dir *d)
+{
+       d->type = ~0;
+       d->dev = ~0;
+       d->qid.path = ~0;
+       d->qid.vers = ~0;
+       d->qid.type = ~0;
+       d->mode = ~0;
+       d->atime = ~0;
+       d->mtime = ~0;
+       d->length = ~0;
+       d->name = "";
+       d->uid = "";
+       d->gid = "";
+       d->muid = "";
+}
+
 intreg_t sys_chmod(struct proc *p, const char *path, size_t path_l, int mode)
 {
        int retval;
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* busybox sends in the upper bits as 37777777 (-1), perhaps trying to get
+        * the 'default' setting? */
+       if (mode & ~S_PMASK)
+               printd("[kernel] sys_chmod ignoring upper bits %o\n", mode & ~S_PMASK);
+       mode &= S_PMASK;
        retval = do_chmod(t_path, mode);
-       user_memdup_free(p, t_path);
+       /* let's try 9ns */
        if (retval < 0) {
-               set_errno(-retval);
-               return -1;
+               unset_errno();
+               uint8_t *buf;
+               int size;
+               struct dir d;
+               init_dir_for_wstat(&d);
+               d.mode = mode;
+               size = sizeD2M(&d);
+               buf = kmalloc(size, KMALLOC_WAIT);
+               convD2M(&d, buf, size);
+               /* wstat returns the number of bytes written */
+               retval = syswstat(t_path, buf, size);
+               retval = (retval > 0 ? 0 : -1);
+               kfree(buf);
        }
+       user_memdup_free(p, t_path);
        return retval;
 }
 
-static intreg_t sys_lseek(struct proc *p, int fd, off_t offset, int whence)
+/* 64 bit seek, with the off64_t passed in via two (potentially 32 bit) off_ts.
+ * We're supporting both 32 and 64 bit kernels/userspaces, but both use the
+ * llseek syscall with 64 bit parameters. */
+static intreg_t sys_llseek(struct proc *p, int fd, off_t offset_hi,
+                           off_t offset_lo, off64_t *result, int whence)
 {
-       off_t ret;
-       struct file *file = get_file_from_fd(&p->open_files, fd);
-       if (!file) {
-               set_errno(EBADF);
-               return -1;
+       off64_t retoff = 0;
+       off64_t tempoff = 0;
+       int ret = 0;
+       struct file *file;
+       tempoff = offset_hi;
+       tempoff <<= 32;
+       tempoff |= offset_lo;
+       file = get_file_from_fd(&p->open_files, fd);
+       if (file) {
+               ret = file->f_op->llseek(file, tempoff, &retoff, whence);
+               kref_put(&file->f_kref);
+       } else {
+               /* won't return here if error ... */
+               ret = sysseek(fd, tempoff, whence);
+               retoff = ret;
+               ret = 0;
        }
-       ret = file->f_op->llseek(file, offset, whence);
-       kref_put(&file->f_kref);
-       return ret;
+
+       if (ret)
+               return -1;
+       if (memcpy_to_user_errno(p, result, &retoff, sizeof(off64_t)))
+               return -1;
+       return 0;
 }
 
 intreg_t sys_link(struct proc *p, char *old_path, size_t old_l,
@@ -1277,6 +1399,10 @@ intreg_t sys_unlink(struct proc *p, const char *path, size_t path_l)
        if (!t_path)
                return -1;
        retval = do_unlink(t_path);
+       if (retval) {
+               unset_errno();
+               retval = sysremove(t_path);
+       }
        user_memdup_free(p, t_path);
        return retval;
 }
@@ -1293,7 +1419,7 @@ intreg_t sys_symlink(struct proc *p, char *old_path, size_t old_l,
                user_memdup_free(p, t_oldpath);
                return -1;
        }
-       ret = do_symlink(new_path, old_path, S_IRWXU | S_IRWXG | S_IRWXO);
+       ret = do_symlink(t_newpath, t_oldpath, S_IRWXU | S_IRWXG | S_IRWXO);
        user_memdup_free(p, t_oldpath);
        user_memdup_free(p, t_newpath);
        return ret;
@@ -1302,26 +1428,43 @@ intreg_t sys_symlink(struct proc *p, char *old_path, size_t old_l,
 intreg_t sys_readlink(struct proc *p, char *path, size_t path_l,
                       char *u_buf, size_t buf_l)
 {
-       char *symname;
+       char *symname = NULL;
+       uint8_t *buf = NULL;
        ssize_t copy_amt;
+       int ret = -1;
        struct dentry *path_d;
        char *t_path = user_strdup_errno(p, path, path_l);
        if (t_path == NULL)
                return -1;
+       /* TODO: 9ns support */
        path_d = lookup_dentry(t_path, 0);
+       if (!path_d){
+               int n = 2048;
+               buf = kmalloc(n*2, KMALLOC_WAIT);
+               struct dir *d = (void *)&buf[n];
+               /* try 9ns. */
+               if (sysstat(t_path, buf, n) > 0) {
+                       printk("sysstat t_path %s\n", t_path);
+                       convM2D(buf, n, d, (char *)&d[1]);
+                       /* will be NULL if things did not work out */
+                       symname = d->muid;
+               }
+       } else
+               symname = path_d->d_inode->i_op->readlink(path_d);
+
        user_memdup_free(p, t_path);
-       if (!path_d)
-               return -1;
-       symname = path_d->d_inode->i_op->readlink(path_d);
-       copy_amt = strnlen(symname, buf_l - 1) + 1;
-       if (memcpy_to_user_errno(p, u_buf, symname, copy_amt)) {
-               kref_put(&path_d->d_kref);
-               set_errno(EINVAL);
-               return -1;
+
+       if (symname){
+               copy_amt = strnlen(symname, buf_l - 1) + 1;
+               if (! memcpy_to_user_errno(p, u_buf, symname, copy_amt))
+                       ret = copy_amt;
        }
-       kref_put(&path_d->d_kref);
+       if (path_d)
+               kref_put(&path_d->d_kref);
+       if (buf)
+               kfree(buf);
        printd("READLINK returning %s\n", u_buf);
-       return copy_amt;
+       return ret;
 }
 
 intreg_t sys_chdir(struct proc *p, const char *path, size_t path_l)
@@ -1330,6 +1473,7 @@ intreg_t sys_chdir(struct proc *p, const char *path, size_t path_l)
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* TODO: 9ns support */
        retval = do_chdir(&p->fs_env, t_path);
        user_memdup_free(p, t_path);
        if (retval) {
@@ -1359,8 +1503,16 @@ intreg_t sys_mkdir(struct proc *p, const char *path, size_t path_l, int mode)
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       mode &= S_PMASK;
        mode &= ~p->fs_env.umask;
        retval = do_mkdir(t_path, mode);
+       if (retval) {
+               unset_errno();
+               /* mixing plan9 and glibc here, make sure DMDIR doesn't overlap with any
+                * permissions */
+               static_assert(!(S_PMASK & DMDIR));
+               retval = syscreate(t_path, O_RDWR, DMDIR | mode);
+       }
        user_memdup_free(p, t_path);
        return retval;
 }
@@ -1371,11 +1523,28 @@ intreg_t sys_rmdir(struct proc *p, const char *path, size_t path_l)
        char *t_path = user_strdup_errno(p, path, path_l);
        if (!t_path)
                return -1;
+       /* TODO: 9ns support */
        retval = do_rmdir(t_path);
        user_memdup_free(p, t_path);
        return retval;
 }
 
+intreg_t sys_pipe(struct proc *p, int *u_pipefd, int flags)
+{
+       int pipefd[2] = {0};
+       int retval = syspipe(pipefd);
+
+       if (retval)
+               return -1;
+       if (memcpy_to_user_errno(p, u_pipefd, pipefd, sizeof(pipefd))) {
+               sysclose(pipefd[0]);
+               sysclose(pipefd[1]);
+               set_errno(EFAULT);
+               return -1;
+       }
+       return 0;
+}
+
 intreg_t sys_gettimeofday(struct proc *p, int *buf)
 {
        static spinlock_t gtod_lock = SPINLOCK_INITIALIZER;
@@ -1384,12 +1553,12 @@ intreg_t sys_gettimeofday(struct proc *p, int *buf)
        spin_lock(&gtod_lock);
        if(t0 == 0)
 
-#if (defined __CONFIG_APPSERVER__)
+#if (defined CONFIG_APPSERVER)
        t0 = ufe(time,0,0,0,0);
 #else
        // Nanwan's birthday, bitches!!
        t0 = 1242129600;
-#endif 
+#endif
        spin_unlock(&gtod_lock);
 
        long long dt = read_tsc();
@@ -1473,9 +1642,104 @@ intreg_t sys_setgid(struct proc *p, gid_t gid)
        return 0;
 }
 
+/* long bind(char* src_path, char* onto_path, int flag);
+ *
+ * The naming for the args in bind is messy historically.  We do:
+ *             bind src_path onto_path
+ * plan9 says bind NEW OLD, where new is *src*, and old is *onto*.
+ * Linux says mount --bind OLD NEW, where OLD is *src* and NEW is *onto*. */
+intreg_t sys_nbind(struct proc *p,
+                   char *src_path, size_t src_l,
+                   char *onto_path, size_t onto_l,
+                   unsigned int flag)
+
+{
+       int ret;
+       char *t_srcpath = user_strdup_errno(p, src_path, src_l);
+       if (t_srcpath == NULL) {
+               printd("srcpath dup failed ptr %p size %d\n", src_path, src_l);
+               return -1;
+       }
+       char *t_ontopath = user_strdup_errno(p, onto_path, onto_l);
+       if (t_ontopath == NULL) {
+               user_memdup_free(p, t_srcpath);
+               printd("ontopath dup failed ptr %p size %d\n", onto_path, onto_l);
+               return -1;
+       }
+       printd("sys_nbind: %s -> %s flag %d\n", t_srcpath, t_ontopath, flag);
+       ret = sysbind(t_srcpath, t_ontopath, flag);
+       user_memdup_free(p, t_srcpath);
+       user_memdup_free(p, t_ontopath);
+       return ret;
+}
+
+/* int mount(int fd, int afd, char* onto_path, int flag, char* aname); */
+intreg_t sys_nmount(struct proc *p,
+                    int fd,
+                    char *onto_path, size_t onto_l,
+                    unsigned int flag
+                       /* we ignore these */
+                       /* no easy way to pass this many args anyway. *
+                   int afd,
+                    char *auth, size_t auth_l*/)
+{
+       int ret;
+       int afd;
+
+       afd = -1;
+       char *t_ontopath = user_strdup_errno(p, onto_path, onto_l);
+       if (t_ontopath == NULL)
+               return -1;
+       ret = sysmount(fd, afd, t_ontopath, flag, /* spec or auth */"");
+       user_memdup_free(p, t_ontopath);
+       return ret;
+}
+
+/* int mount(int fd, int afd, char* old, int flag, char* aname); */
+intreg_t sys_nunmount(struct proc *p, char *name, int name_l, char *old_path, int old_l)
+{
+       int ret;
+       char *t_oldpath = user_strdup_errno(p, old_path, old_l);
+       if (t_oldpath == NULL)
+               return -1;
+       char *t_name = user_strdup_errno(p, name, name_l);
+       if (t_name == NULL) {
+               user_memdup_free(p, t_oldpath);
+               return -1;
+       }
+       ret = sysunmount(t_name, t_oldpath);
+       printd("go do it\n");
+       user_memdup_free(p, t_oldpath);
+       user_memdup_free(p, t_name);
+       return ret;
+}
+
+static int sys_fd2path(struct proc *p, int fd, void *u_buf, size_t len)
+{
+       int ret;
+       struct chan *ch;
+       ERRSTACK(1);
+       /* UMEM: Check the range, can PF later and kill if the page isn't present */
+       if (!is_user_rwaddr(u_buf, len)) {
+               printk("[kernel] bad user addr %p (+%p) in %s (user bug)\n", u_buf,
+                      len, __FUNCTION__);
+               return -1;
+       }
+       /* fdtochan throws */
+       if (waserror()) {
+               poperror();
+               return -1;
+       }
+       ch = fdtochan(current->fgrp, fd, -1, FALSE, TRUE);
+       ret = snprintf(u_buf, len, "%s", "chanpath(ch)");
+       cclose(ch);
+       poperror();
+       return ret;
+}
+
 /************** Syscall Invokation **************/
 
-const static struct sys_table_entry syscall_table[] = {
+const struct sys_table_entry syscall_table[] = {
        [SYS_null] = {(syscall_t)sys_null, "null"},
        [SYS_block] = {(syscall_t)sys_block, "block"},
        [SYS_cache_buster] = {(syscall_t)sys_cache_buster, "buster"},
@@ -1499,24 +1763,19 @@ const static struct sys_table_entry syscall_table[] = {
        [SYS_mprotect] = {(syscall_t)sys_mprotect, "mprotect"},
        [SYS_shared_page_alloc] = {(syscall_t)sys_shared_page_alloc, "pa"},
        [SYS_shared_page_free] = {(syscall_t)sys_shared_page_free, "pf"},
+       [SYS_provision] = {(syscall_t)sys_provision, "provision"},
        [SYS_notify] = {(syscall_t)sys_notify, "notify"},
        [SYS_self_notify] = {(syscall_t)sys_self_notify, "self_notify"},
+       [SYS_vc_entry] = {(syscall_t)sys_vc_entry, "vc_entry"},
        [SYS_halt_core] = {(syscall_t)sys_halt_core, "halt_core"},
-#ifdef __CONFIG_SERIAL_IO__
-       [SYS_serial_read] = {(syscall_t)sys_serial_read, "ser_read"},
-       [SYS_serial_write] = {(syscall_t)sys_serial_write, "ser_write"},
-#endif
-#ifdef __CONFIG_NETWORKING__
-       [SYS_eth_read] = {(syscall_t)sys_eth_read, "eth_read"},
-       [SYS_eth_write] = {(syscall_t)sys_eth_write, "eth_write"},
-       [SYS_eth_get_mac_addr] = {(syscall_t)sys_eth_get_mac_addr, "get_mac"},
-       [SYS_eth_recv_check] = {(syscall_t)sys_eth_recv_check, "recv_check"},
-#endif
-#ifdef __CONFIG_ARSC_SERVER__
+#ifdef CONFIG_ARSC_SERVER
        [SYS_init_arsc] = {(syscall_t)sys_init_arsc, "init_arsc"},
 #endif
        [SYS_change_to_m] = {(syscall_t)sys_change_to_m, "change_to_m"},
        [SYS_poke_ksched] = {(syscall_t)sys_poke_ksched, "poke_ksched"},
+       [SYS_abort_sysc] = {(syscall_t)sys_abort_sysc, "abort_sysc"},
+       [SYS_populate_va] = {(syscall_t)sys_populate_va, "populate_va"},
+
        [SYS_read] = {(syscall_t)sys_read, "read"},
        [SYS_write] = {(syscall_t)sys_write, "write"},
        [SYS_open] = {(syscall_t)sys_open, "open"},
@@ -1528,7 +1787,7 @@ const static struct sys_table_entry syscall_table[] = {
        [SYS_access] = {(syscall_t)sys_access, "access"},
        [SYS_umask] = {(syscall_t)sys_umask, "umask"},
        [SYS_chmod] = {(syscall_t)sys_chmod, "chmod"},
-       [SYS_lseek] = {(syscall_t)sys_lseek, "lseek"},
+       [SYS_llseek] = {(syscall_t)sys_llseek, "llseek"},
        [SYS_link] = {(syscall_t)sys_link, "link"},
        [SYS_unlink] = {(syscall_t)sys_unlink, "unlink"},
        [SYS_symlink] = {(syscall_t)sys_symlink, "symlink"},
@@ -1537,25 +1796,34 @@ const static struct sys_table_entry syscall_table[] = {
        [SYS_getcwd] = {(syscall_t)sys_getcwd, "getcwd"},
        [SYS_mkdir] = {(syscall_t)sys_mkdir, "mkdri"},
        [SYS_rmdir] = {(syscall_t)sys_rmdir, "rmdir"},
+       [SYS_pipe] = {(syscall_t)sys_pipe, "pipe"},
        [SYS_gettimeofday] = {(syscall_t)sys_gettimeofday, "gettime"},
        [SYS_tcgetattr] = {(syscall_t)sys_tcgetattr, "tcgetattr"},
        [SYS_tcsetattr] = {(syscall_t)sys_tcsetattr, "tcsetattr"},
        [SYS_setuid] = {(syscall_t)sys_setuid, "setuid"},
-       [SYS_setgid] = {(syscall_t)sys_setgid, "setgid"}
-};
+       [SYS_setgid] = {(syscall_t)sys_setgid, "setgid"},
+       /* special! */
+       [SYS_nbind] ={(syscall_t)sys_nbind, "nbind"},
+       [SYS_nmount] ={(syscall_t)sys_nmount, "nmount"},
+       [SYS_nunmount] ={(syscall_t)sys_nunmount, "nunmount"},
+       [SYS_fd2path] ={(syscall_t)sys_fd2path, "fd2path"},
 
+};
+const int max_syscall = sizeof(syscall_table)/sizeof(syscall_table[0]);
 /* Executes the given syscall.
  *
  * Note tf is passed in, which points to the tf of the context on the kernel
  * stack.  If any syscall needs to block, it needs to save this info, as well as
  * any silly state.
- * 
+ *
  * This syscall function is used by both local syscall and arsc, and should
  * remain oblivious of the caller. */
 intreg_t syscall(struct proc *p, uintreg_t sc_num, uintreg_t a0, uintreg_t a1,
                  uintreg_t a2, uintreg_t a3, uintreg_t a4, uintreg_t a5)
 {
-       const int max_syscall = sizeof(syscall_table)/sizeof(syscall_table[0]);
+       intreg_t ret = -1;
+       ERRSTACK(1);
+
 
        uint32_t coreid, vcoreid;
        if (systrace_flags & SYSTRACE_ON) {
@@ -1563,8 +1831,8 @@ intreg_t syscall(struct proc *p, uintreg_t sc_num, uintreg_t a0, uintreg_t a1,
                        coreid = core_id();
                        vcoreid = proc_get_vcoreid(p);
                        if (systrace_flags & SYSTRACE_LOUD) {
-                               printk("[%16llu] Syscall %3d (%12s):(%08p, %08p, %08p, %08p, "
-                                      "%08p, %08p) proc: %d core: %d vcore: %d\n", read_tsc(),
+                               printk("[%16llu] Syscall %3d (%12s):(%p, %p, %p, %p, "
+                                      "%p, %p) proc: %d core: %d vcore: %d\n", read_tsc(),
                                       sc_num, syscall_table[sc_num].name, a0, a1, a2, a3,
                                       a4, a5, p->pid, coreid, vcoreid);
                        } else {
@@ -1592,7 +1860,30 @@ intreg_t syscall(struct proc *p, uintreg_t sc_num, uintreg_t a0, uintreg_t a1,
        if (sc_num > max_syscall || syscall_table[sc_num].call == NULL)
                panic("Invalid syscall number %d for proc %x!", sc_num, p);
 
-       return syscall_table[sc_num].call(p, a0, a1, a2, a3, a4, a5);
+       /* N.B. This is going away. */
+       if (waserror()){
+               printk("Plan 9 system call returned via waserror()\n");
+               printk("String: '%s'\n", current_errstr());
+               /* if we got here, then the errbuf was right.
+                * no need to check!
+                */
+               return -1;
+       }
+       //printd("before syscall errstack %p\n", errstack);
+       //printd("before syscall errstack base %p\n", get_cur_errbuf());
+       ret = syscall_table[sc_num].call(p, a0, a1, a2, a3, a4, a5);
+       //printd("after syscall errstack base %p\n", get_cur_errbuf());
+       if (get_cur_errbuf() != &errstack[0]) {
+               coreid = core_id();
+               vcoreid = proc_get_vcoreid(p);
+               printk("[%16llu] Syscall %3d (%12s):(%p, %p, %p, %p, "
+                      "%p, %p) proc: %d core: %d vcore: %d\n", read_tsc(),
+                      sc_num, syscall_table[sc_num].name, a0, a1, a2, a3,
+                      a4, a5, p->pid, coreid, vcoreid);
+               if (sc_num != SYS_fork)
+                       printk("YOU SHOULD PANIC: errstack mismatch");
+       }
+       return ret;
 }
 
 /* Execute the syscall on the local core */
@@ -1602,16 +1893,22 @@ void run_local_syscall(struct syscall *sysc)
 
        /* TODO: (UMEM) assert / pin the memory for the sysc */
        assert(irq_is_enabled());       /* in case we proc destroy */
-       user_mem_assert(pcpui->cur_proc, sysc, sizeof(struct syscall),
-                       sizeof(uintptr_t), PTE_USER_RW);
-       pcpui->cur_sysc = sysc;                 /* let the core know which sysc it is */
+       /* Abort on mem check failure, for now */
+       if (!user_mem_check(pcpui->cur_proc, sysc, sizeof(struct syscall),
+                           sizeof(uintptr_t), PTE_USER_RW))
+               return;
+       pcpui->cur_kthread->sysc = sysc;        /* let the core know which sysc it is */
        sysc->retval = syscall(pcpui->cur_proc, sysc->num, sysc->arg0, sysc->arg1,
                               sysc->arg2, sysc->arg3, sysc->arg4, sysc->arg5);
        /* Need to re-load pcpui, in case we migrated */
        pcpui = &per_cpu_info[core_id()];
+       /* Some 9ns paths set errstr, but not errno.  glibc will ignore errstr.
+        * this is somewhat hacky, since errno might get set unnecessarily */
+       if ((current_errstr()[0] != 0) && (!sysc->err))
+               sysc->err = EUNSPECIFIED;
        finish_sysc(sysc, pcpui->cur_proc);
        /* Can unpin (UMEM) at this point */
-       pcpui->cur_sysc = 0;    /* no longer working on sysc */
+       pcpui->cur_kthread->sysc = 0;   /* no longer working on sysc */
 }
 
 /* A process can trap and call this function, which will set up the core to
@@ -1633,7 +1930,7 @@ void prep_syscalls(struct proc *p, struct syscall *sysc, unsigned int nr_syscs)
 
 /* Call this when something happens on the syscall where userspace might want to
  * get signaled.  Passing p, since the caller should know who the syscall
- * belongs to (probably is current). 
+ * belongs to (probably is current).
  *
  * You need to have SC_K_LOCK set when you call this. */
 void __signal_syscall(struct syscall *sysc, struct proc *p)
@@ -1674,7 +1971,7 @@ void systrace_start(bool silent)
                __init_systrace();
                init = TRUE;
        }
-       systrace_flags = silent ? SYSTRACE_ON : SYSTRACE_ON | SYSTRACE_LOUD; 
+       systrace_flags = silent ? SYSTRACE_ON : SYSTRACE_ON | SYSTRACE_LOUD;
        spin_unlock_irqsave(&systrace_lock);
 }
 
@@ -1737,8 +2034,8 @@ void systrace_print(bool all, struct proc *p)
         * timestamp and loop around.  Careful of concurrent writes. */
        for (int i = 0; i < systrace_bufsize; i++)
                if (systrace_buffer[i].timestamp)
-                       printk("[%16llu] Syscall %3d (%12s):(%08p, %08p, %08p, %08p, %08p,"
-                              "%08p) proc: %d core: %d vcore: %d\n",
+                       printk("[%16llu] Syscall %3d (%12s):(%p, %p, %p, %p, %p,"
+                              "%p) proc: %d core: %d vcore: %d\n",
                               systrace_buffer[i].timestamp,
                               systrace_buffer[i].syscallno,
                               syscall_table[systrace_buffer[i].syscallno].name,