Ksched preempts SCPs on schedule() calls
[akaros.git] / kern / src / process.c
index 3abf01e..4f6dcac 100644 (file)
@@ -38,6 +38,7 @@ static uint32_t get_vcoreid(struct proc *p, uint32_t pcoreid);
 static uint32_t try_get_pcoreid(struct proc *p, uint32_t vcoreid);
 static uint32_t get_pcoreid(struct proc *p, uint32_t vcoreid);
 static void __proc_free(struct kref *kref);
+static bool scp_is_vcctx_ready(struct preempt_data *vcpd);
 
 /* PID management. */
 #define PID_MAX 32767 // goes from 0 to 32767, with 0 reserved
@@ -209,6 +210,9 @@ static void proc_init_procinfo(struct proc* p)
 static void proc_init_procdata(struct proc *p)
 {
        memset(p->procdata, 0, sizeof(struct procdata));
+       /* processes can't go into vc context on vc 0 til they unset this.  This is
+        * for processes that block before initing uthread code (like rtld). */
+       atomic_set(&p->procdata->vcore_preempt_data[0].flags, VC_SCP_NOVCCTX);
 }
 
 /* Allocates and initializes a process, with the given parent.  Currently
@@ -243,6 +247,7 @@ error_t proc_alloc(struct proc **pp, struct proc *parent)
        /* Set the basic status variables. */
        spinlock_init(&p->proc_lock);
        p->exitcode = 1337;     /* so we can see processes killed by the kernel */
+       init_sem(&p->state_change, 0);
        p->ppid = parent ? parent->pid : 0;
        p->state = PROC_CREATED; /* shouldn't go through state machine for init */
        p->env_flags = 0;
@@ -410,6 +415,14 @@ static void __set_proc_current(struct proc *p)
        }
 }
 
+/* Flag says if vcore context is not ready, which is set in init_procdata.  The
+ * process must turn off this flag on vcore0 at some point.  It's off by default
+ * on all other vcores. */
+static bool scp_is_vcctx_ready(struct preempt_data *vcpd)
+{
+       return !(atomic_read(&vcpd->flags) & VC_SCP_NOVCCTX);
+}
+
 /* Dispatches a _S process to run on the current core.  This should never be
  * called to "restart" a core.   
  *
@@ -459,8 +472,10 @@ void proc_run_s(struct proc *p)
                        pcpui->owning_proc = p;
                        /* TODO: (HSS) set silly state here (__startcore does it instantly) */
                        /* similar to the old __startcore, start them in vcore context if
-                        * they have notifs and aren't already in vcore context. */
-                       if (!vcpd->notif_disabled && vcpd->notif_pending) {
+                        * they have notifs and aren't already in vcore context.  o/w, start
+                        * them wherever they were before (could be either vc ctx or not) */
+                       if (!vcpd->notif_disabled && vcpd->notif_pending
+                                                 && scp_is_vcctx_ready(vcpd)) {
                                vcpd->notif_disabled = TRUE;
                                /* save the _S's tf in the notify slot, build and pop a new one
                                 * in actual/cur_tf. */
@@ -470,6 +485,12 @@ void proc_run_s(struct proc *p)
                                proc_init_trapframe(pcpui->cur_tf, 0, p->env_entry,
                                                    vcpd->transition_stack);
                        } else {
+                               /* If they have no transition stack, then they can't receive
+                                * events.  The most they are getting is a wakeup from the
+                                * kernel.  They won't even turn off notif_pending, so we'll do
+                                * that for them. */
+                               if (!scp_is_vcctx_ready(vcpd))
+                                       vcpd->notif_pending = FALSE;
                                /* this is one of the few times cur_tf != &actual_tf */
                                pcpui->cur_tf = &p->env_tf;
                        }
@@ -613,6 +634,8 @@ void proc_restartcore(void)
 {
        struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
        assert(!pcpui->cur_sysc);
+       /* TODO: can probably remove this enable_irq.  it was an optimization for
+        * RKMs */
        /* Try and get any interrupts before we pop back to userspace.  If we didn't
         * do this, we'd just get them in userspace, but this might save us some
         * effort/overhead. */
@@ -658,6 +681,7 @@ void proc_restartcore(void)
 void proc_destroy(struct proc *p)
 {
        uint32_t num_revoked = 0;
+       struct kthread *sleeper;
        spin_lock(&p->proc_lock);
        /* storage for pc_arr is alloced at decl, which is after grabbing the lock*/
        uint32_t pc_arr[p->procinfo->num_vcores];
@@ -715,6 +739,10 @@ void proc_destroy(struct proc *p)
        close_all_files(&p->open_files, FALSE);
        /* This decref is for the process's existence. */
        proc_decref(p);
+       /* Signal our state change.  Assuming we only have one waiter right now. */
+       sleeper = __up_sem(&p->state_change, TRUE);
+       if (sleeper)
+               kthread_runnable(sleeper);
        /* Unlock.  A death IPI should be on its way, either from the RUNNING_S one,
         * or from proc_take_cores with a __death.  in general, interrupts should be
         * on when you call proc_destroy locally, but currently aren't for all
@@ -842,27 +870,38 @@ static uint32_t get_pcoreid(struct proc *p, uint32_t vcoreid)
        return try_get_pcoreid(p, vcoreid);
 }
 
-/* Helper function: yields / wraps up current_tf and schedules the _S */
-void __proc_yield_s(struct proc *p, struct trapframe *tf)
+/* Helper: saves the SCP's tf state and unmaps vcore 0.  In the future, we'll
+ * probably use vc0's space for env_tf and the silly state. */
+static void __proc_save_context_s(struct proc *p, struct trapframe *tf)
 {
-       assert(p->state == PROC_RUNNING_S);
        p->env_tf= *tf;
        env_push_ancillary_state(p);                    /* TODO: (HSS) */
        __unmap_vcore(p, 0);    /* VC# keep in sync with proc_run_s */
+}
+
+/* Helper function: yields / wraps up current_tf */
+void __proc_yield_s(struct proc *p, struct trapframe *tf)
+{
+       assert(p->state == PROC_RUNNING_S);
        __proc_set_state(p, PROC_RUNNABLE_S);
-       schedule_scp(p);
+       __proc_save_context_s(p, tf);
 }
 
 /* Yields the calling core.  Must be called locally (not async) for now.
- * - If RUNNING_S, you just give up your time slice and will eventually return.
+ * - If RUNNING_S, you just give up your time slice and will eventually return,
+ *   possibly after WAITING on an event.
  * - If RUNNING_M, you give up the current vcore (which never returns), and
  *   adjust the amount of cores wanted/granted.
- * - If you have only one vcore, you switch to RUNNABLE_M.  When you run again,
- *   you'll have one guaranteed core, starting from the entry point.
+ * - If you have only one vcore, you switch to WAITING.  There's no 'classic
+ *   yield' for MCPs (at least not now).  When you run again, you'll have one
+ *   guaranteed core, starting from the entry point.
  *
- * If the call is being nice, it means that it is in response to a preemption
- * (which needs to be checked).  If there is no preemption pending, just return.
- * No matter what, don't adjust the number of cores wanted.
+ * If the call is being nice, it means different things for SCPs and MCPs.  For
+ * MCPs, it means that it is in response to a preemption (which needs to be
+ * checked).  If there is no preemption pending, just return.  For SCPs, it
+ * means the proc wants to give up the core, but still has work to do.  If not,
+ * the proc is trying to wait on an event.  It's not being nice to others, it
+ * just has no work to do.
  *
  * This usually does not return (smp_idle()), so it will eat your reference.
  * Also note that it needs a non-current/edible reference, since it will abandon
@@ -891,8 +930,42 @@ void proc_yield(struct proc *SAFE p, bool being_nice)
        spin_lock(&p->proc_lock); /* horrible scalability.  =( */
        switch (p->state) {
                case (PROC_RUNNING_S):
-                       __proc_yield_s(p, current_tf);  /* current_tf 0'd in abandon core */
-                       spin_unlock(&p->proc_lock);
+                       if (!being_nice) {
+                               /* waiting for an event to unblock us */
+                               vcpd = &p->procdata->vcore_preempt_data[0];
+                               /* this check is an early optimization (check, signal, check
+                                * again pattern).  We could also lock before spamming the
+                                * vcore in event.c */
+                               if (vcpd->notif_pending) {
+                                       /* they can't handle events, just need to prevent a yield.
+                                        * (note the notif_pendings are collapsed). */
+                                       if (!scp_is_vcctx_ready(vcpd))
+                                               vcpd->notif_pending = FALSE;
+                                       goto out_failed;
+                               }
+                               /* syncing with event's SCP code.  we set waiting, then check
+                                * pending.  they set pending, then check waiting.  it's not
+                                * possible for us to miss the notif *and* for them to miss
+                                * WAITING.  one (or both) of us will see and make sure the proc
+                                * wakes up.  */
+                               __proc_set_state(p, PROC_WAITING);
+                               wrmb(); /* don't let the state write pass the notif read */ 
+                               if (vcpd->notif_pending) {
+                                       __proc_set_state(p, PROC_RUNNING_S);
+                                       if (!scp_is_vcctx_ready(vcpd))
+                                               vcpd->notif_pending = FALSE;
+                                       goto out_failed;
+                               }
+                               /* if we're here, we want to sleep.  a concurrent event that
+                                * hasn't already written notif_pending will have seen WAITING,
+                                * and will be spinning while we do this. */
+                               __proc_save_context_s(p, current_tf);
+                       } else {
+                               /* yielding to allow other processes to run */
+                               __proc_yield_s(p, current_tf);
+                               schedule_scp(p);
+                       }
+                       spin_unlock(&p->proc_lock);     /* note that irqs are not enabled yet */
                        goto out_yield_core;
                case (PROC_RUNNING_M):
                        break;                          /* will handle this stuff below */
@@ -1031,7 +1104,7 @@ void __proc_wakeup(struct proc *p)
                        p->procdata->res_req[RES_CORES].amt_wanted = 1;
                __proc_set_state(p, PROC_RUNNABLE_M);
        } else {
-               printk("[kernel] FYI, waking up an _S proc\n");
+               printd("[kernel] FYI, waking up an _S proc\n"); /* thanks, past brho! */
                __proc_set_state(p, PROC_RUNNABLE_S);
                schedule_scp(p);
        }
@@ -1761,6 +1834,10 @@ void __notify(struct trapframe *tf, uint32_t srcid, long a0, long a1, long a2)
         * after we unmap. */
        vcoreid = get_vcoreid(p, coreid);
        vcpd = &p->procdata->vcore_preempt_data[vcoreid];
+       /* for SCPs that haven't (and might never) call vc_event_init, like rtld.
+        * this is harmless for MCPS to check this */
+       if (!scp_is_vcctx_ready(vcpd))
+               return;
        printd("received active notification for proc %d's vcore %d on pcore %d\n",
               p->procinfo->pid, vcoreid, coreid);
        /* sort signals.  notifs are now masked, like an interrupt gate */