Ksched preempts SCPs on schedule() calls
[akaros.git] / kern / src / process.c
index 0734d9e..4f6dcac 100644 (file)
@@ -38,6 +38,7 @@ static uint32_t get_vcoreid(struct proc *p, uint32_t pcoreid);
 static uint32_t try_get_pcoreid(struct proc *p, uint32_t vcoreid);
 static uint32_t get_pcoreid(struct proc *p, uint32_t vcoreid);
 static void __proc_free(struct kref *kref);
+static bool scp_is_vcctx_ready(struct preempt_data *vcpd);
 
 /* PID management. */
 #define PID_MAX 32767 // goes from 0 to 32767, with 0 reserved
@@ -209,6 +210,9 @@ static void proc_init_procinfo(struct proc* p)
 static void proc_init_procdata(struct proc *p)
 {
        memset(p->procdata, 0, sizeof(struct procdata));
+       /* processes can't go into vc context on vc 0 til they unset this.  This is
+        * for processes that block before initing uthread code (like rtld). */
+       atomic_set(&p->procdata->vcore_preempt_data[0].flags, VC_SCP_NOVCCTX);
 }
 
 /* Allocates and initializes a process, with the given parent.  Currently
@@ -243,6 +247,7 @@ error_t proc_alloc(struct proc **pp, struct proc *parent)
        /* Set the basic status variables. */
        spinlock_init(&p->proc_lock);
        p->exitcode = 1337;     /* so we can see processes killed by the kernel */
+       init_sem(&p->state_change, 0);
        p->ppid = parent ? parent->pid : 0;
        p->state = PROC_CREATED; /* shouldn't go through state machine for init */
        p->env_flags = 0;
@@ -410,6 +415,14 @@ static void __set_proc_current(struct proc *p)
        }
 }
 
+/* Flag says if vcore context is not ready, which is set in init_procdata.  The
+ * process must turn off this flag on vcore0 at some point.  It's off by default
+ * on all other vcores. */
+static bool scp_is_vcctx_ready(struct preempt_data *vcpd)
+{
+       return !(atomic_read(&vcpd->flags) & VC_SCP_NOVCCTX);
+}
+
 /* Dispatches a _S process to run on the current core.  This should never be
  * called to "restart" a core.   
  *
@@ -459,8 +472,10 @@ void proc_run_s(struct proc *p)
                        pcpui->owning_proc = p;
                        /* TODO: (HSS) set silly state here (__startcore does it instantly) */
                        /* similar to the old __startcore, start them in vcore context if
-                        * they have notifs and aren't already in vcore context. */
-                       if (!vcpd->notif_disabled && vcpd->notif_pending) {
+                        * they have notifs and aren't already in vcore context.  o/w, start
+                        * them wherever they were before (could be either vc ctx or not) */
+                       if (!vcpd->notif_disabled && vcpd->notif_pending
+                                                 && scp_is_vcctx_ready(vcpd)) {
                                vcpd->notif_disabled = TRUE;
                                /* save the _S's tf in the notify slot, build and pop a new one
                                 * in actual/cur_tf. */
@@ -470,6 +485,12 @@ void proc_run_s(struct proc *p)
                                proc_init_trapframe(pcpui->cur_tf, 0, p->env_entry,
                                                    vcpd->transition_stack);
                        } else {
+                               /* If they have no transition stack, then they can't receive
+                                * events.  The most they are getting is a wakeup from the
+                                * kernel.  They won't even turn off notif_pending, so we'll do
+                                * that for them. */
+                               if (!scp_is_vcctx_ready(vcpd))
+                                       vcpd->notif_pending = FALSE;
                                /* this is one of the few times cur_tf != &actual_tf */
                                pcpui->cur_tf = &p->env_tf;
                        }
@@ -613,6 +634,8 @@ void proc_restartcore(void)
 {
        struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
        assert(!pcpui->cur_sysc);
+       /* TODO: can probably remove this enable_irq.  it was an optimization for
+        * RKMs */
        /* Try and get any interrupts before we pop back to userspace.  If we didn't
         * do this, we'd just get them in userspace, but this might save us some
         * effort/overhead. */
@@ -658,6 +681,7 @@ void proc_restartcore(void)
 void proc_destroy(struct proc *p)
 {
        uint32_t num_revoked = 0;
+       struct kthread *sleeper;
        spin_lock(&p->proc_lock);
        /* storage for pc_arr is alloced at decl, which is after grabbing the lock*/
        uint32_t pc_arr[p->procinfo->num_vcores];
@@ -715,6 +739,10 @@ void proc_destroy(struct proc *p)
        close_all_files(&p->open_files, FALSE);
        /* This decref is for the process's existence. */
        proc_decref(p);
+       /* Signal our state change.  Assuming we only have one waiter right now. */
+       sleeper = __up_sem(&p->state_change, TRUE);
+       if (sleeper)
+               kthread_runnable(sleeper);
        /* Unlock.  A death IPI should be on its way, either from the RUNNING_S one,
         * or from proc_take_cores with a __death.  in general, interrupts should be
         * on when you call proc_destroy locally, but currently aren't for all
@@ -857,7 +885,6 @@ void __proc_yield_s(struct proc *p, struct trapframe *tf)
        assert(p->state == PROC_RUNNING_S);
        __proc_set_state(p, PROC_RUNNABLE_S);
        __proc_save_context_s(p, tf);
-       schedule_scp(p);
 }
 
 /* Yields the calling core.  Must be called locally (not async) for now.
@@ -909,8 +936,13 @@ void proc_yield(struct proc *SAFE p, bool being_nice)
                                /* this check is an early optimization (check, signal, check
                                 * again pattern).  We could also lock before spamming the
                                 * vcore in event.c */
-                               if (vcpd->notif_pending)
+                               if (vcpd->notif_pending) {
+                                       /* they can't handle events, just need to prevent a yield.
+                                        * (note the notif_pendings are collapsed). */
+                                       if (!scp_is_vcctx_ready(vcpd))
+                                               vcpd->notif_pending = FALSE;
                                        goto out_failed;
+                               }
                                /* syncing with event's SCP code.  we set waiting, then check
                                 * pending.  they set pending, then check waiting.  it's not
                                 * possible for us to miss the notif *and* for them to miss
@@ -920,6 +952,8 @@ void proc_yield(struct proc *SAFE p, bool being_nice)
                                wrmb(); /* don't let the state write pass the notif read */ 
                                if (vcpd->notif_pending) {
                                        __proc_set_state(p, PROC_RUNNING_S);
+                                       if (!scp_is_vcctx_ready(vcpd))
+                                               vcpd->notif_pending = FALSE;
                                        goto out_failed;
                                }
                                /* if we're here, we want to sleep.  a concurrent event that
@@ -929,6 +963,7 @@ void proc_yield(struct proc *SAFE p, bool being_nice)
                        } else {
                                /* yielding to allow other processes to run */
                                __proc_yield_s(p, current_tf);
+                               schedule_scp(p);
                        }
                        spin_unlock(&p->proc_lock);     /* note that irqs are not enabled yet */
                        goto out_yield_core;
@@ -1799,6 +1834,10 @@ void __notify(struct trapframe *tf, uint32_t srcid, long a0, long a1, long a2)
         * after we unmap. */
        vcoreid = get_vcoreid(p, coreid);
        vcpd = &p->procdata->vcore_preempt_data[vcoreid];
+       /* for SCPs that haven't (and might never) call vc_event_init, like rtld.
+        * this is harmless for MCPS to check this */
+       if (!scp_is_vcctx_ready(vcpd))
+               return;
        printd("received active notification for proc %d's vcore %d on pcore %d\n",
               p->procinfo->pid, vcoreid, coreid);
        /* sort signals.  notifs are now masked, like an interrupt gate */