Asserts/checks for early RKMSG context
[akaros.git] / kern / src / smp.c
index 537233d..fd16a42 100644 (file)
@@ -17,7 +17,7 @@
 #include <assert.h>
 #include <pmap.h>
 #include <process.h>
-#include <manager.h>
+#include <schedule.h>
 #include <trap.h>
 
 struct per_cpu_info per_cpu_info[MAX_NUM_CPUS];
@@ -25,96 +25,83 @@ struct per_cpu_info per_cpu_info[MAX_NUM_CPUS];
 // tracks number of global waits on smp_calls, must be <= NUM_HANDLER_WRAPPERS
 atomic_t outstanding_calls = 0;
 
-/* All cores end up calling this whenever there is nothing left to do.  Non-zero
- * cores call it when they are done booting.  Other cases include after getting
- * a DEATH IPI.
- * - Management cores (core 0 for now) call manager, which should never return.
- * - Worker cores halt and wake up when interrupted, do any work on their work
- *   queue, then halt again.
- *
- * TODO: think about resetting the stack pointer at the beginning for worker
- * cores. (keeps the stack from growing if we never go back to userspace).
- * TODO: think about unifying the manager into a workqueue function, so we don't
- * need to check mgmt_core in here.  it gets a little ugly, since there are
- * other places where we check for mgmt and might not smp_idle / call manager.
- */
-void smp_idle(void)
+/* Helper for running a proc (if we should).  Lots of repetition with
+ * proc_restartcore */
+static void try_run_proc(void)
 {
-       int8_t state = 0;
-       per_cpu_info_t *myinfo = &per_cpu_info[core_id()];
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
 
-       if (!management_core()) {
-               enable_irq();
-               while (1) {
-                       process_routine_kmsg();
-                       cpu_halt();
-               }
-       } else {
-               /* techincally, this check is arch dependent.  i want to know if it
-                * happens.  the enabling/disabling could be interesting. */
-               enable_irqsave(&state);
-               if (!STAILQ_EMPTY(&myinfo->immed_amsgs) ||
-                       !STAILQ_EMPTY(&myinfo->routine_amsgs)) 
-                       printk("[kernel] kmsgs in smp_idle() on a management core.\n");
-               process_routine_kmsg();
-               disable_irqsave(&state);
-               manager();
+       disable_irq();
+       /* There was a process running here, and we should return to it. */
+       if (pcpui->owning_proc) {
+               proc_restartcore();
+               assert(0);
        }
-       assert(0);
 }
 
-#ifdef __CONFIG_EXPER_TRADPROC__
-/* For experiments with per-core schedulers (traditional).  This checks the
- * runqueue, and if there is something there, it runs in.  Note this does
- * nothing for whoever was running here.  Consider saving and restoring them,
- * resetting current, etc. */
-void local_schedule(void)
+/* All cores end up calling this whenever there is nothing left to do or they
+ * don't know explicitly what to do.  Non-zero cores call it when they are done
+ * booting.  Other cases include after getting a DEATH IPI.
+ *
+ * All cores attempt to run the context of any owning proc.  Barring that, the
+ * cores enter a loop.  They halt and wake up when interrupted, do any work on
+ * their work queue, then halt again.  In between, the ksched gets a chance to
+ * tell it to do something else, or perhaps to halt in another manner. */
+static void __attribute__((noinline, noreturn)) __smp_idle(void)
 {
-       struct per_cpu_info *my_info = &per_cpu_info[core_id()];
-       struct proc *next_to_run;
-
-       spin_lock_irqsave(&my_info->runqueue_lock);
-       next_to_run = TAILQ_FIRST(&my_info->runqueue);
-       if (next_to_run)
-               TAILQ_REMOVE(&my_info->runqueue, next_to_run, proc_link);
-       spin_unlock_irqsave(&my_info->runqueue_lock);
-       if (!next_to_run)
-               return;
-       assert(next_to_run->state == PROC_RUNNING_M); // FILTHY HACK
-       printd("Core %d trying to run proc %08p\n", core_id(), next_to_run);
-       void proc_run_hand(struct trapframe *tf, uint32_t src_id, void *p, void *a1,
-                          void *a2)
-       {
-               proc_run((struct proc*)p);
+       struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
+       clear_rkmsg(pcpui);
+       /* TODO: idle, abandon_core(), and proc_restartcore() need cleaned up */
+       enable_irq();   /* get any IRQs before we halt later */
+       try_run_proc();
+       /* if we made it here, we truly want to idle */
+       /* in the future, we may need to proactively leave process context here.
+        * for now, it is possible to have a current loaded, even if we are idle
+        * (and presumably about to execute a kmsg or fire up a vcore). */
+       while (1) {
+               disable_irq();
+               process_routine_kmsg();
+               try_run_proc();
+               cpu_bored();            /* call out to the ksched */
+               /* cpu_halt() atomically turns on interrupts and halts the core.
+                * Important to do this, since we could have a RKM come in via an
+                * interrupt right while PRKM is returning, and we wouldn't catch
+                * it. */
+               cpu_halt();
+               /* interrupts are back on now (given our current semantics) */
        }
-       send_kernel_message(core_id(), proc_run_hand, (void*)next_to_run, 0, 0,
-                           KMSG_ROUTINE);
-       return;
+       assert(0);
 }
 
-void local_schedule_proc(uint32_t core, struct proc *p)
+void smp_idle(void)
 {
-       assert(core); // for sanity don't put them on core0 or any management core
-       struct per_cpu_info *my_info = &per_cpu_info[core];
-       spin_lock_irqsave(&my_info->runqueue_lock);
-       TAILQ_INSERT_TAIL(&my_info->runqueue, p, proc_link);
-       printd("SCHED: inserting proc %p on core %d\n", p, core);
-       spin_unlock_irqsave(&my_info->runqueue_lock);
+       #ifdef __CONFIG_RESET_STACKS__
+       set_stack_pointer(get_stack_top());
+       #endif /* __CONFIG_RESET_STACKS__ */
+       __smp_idle();
+       assert(0);
 }
 
-/* ghetto func to act like a load balancer.  for now, it just looks at the head
- * of every other cpu's queue. */
-void load_balance(void)
+/* Arch-independent per-cpu initialization.  This will call the arch dependent
+ * init first. */
+void smp_percpu_init(void)
 {
-       struct per_cpu_info *other_info;
-       struct proc *dummy;
-
-       for (int i = 0; i < num_cpus; i++) {
-               other_info = &per_cpu_info[i];
-               spin_lock_irqsave(&other_info->runqueue_lock);
-               dummy = TAILQ_FIRST(&other_info->runqueue);
-               spin_unlock_irqsave(&other_info->runqueue_lock);
-       }
+       uint32_t coreid = core_id();
+       /* Don't initialize __ctx_depth here, since it is already 1 (at least on
+        * x86), since this runs in irq context. */
+       /* Do this first */
+       __arch_pcpu_init(coreid);
+       per_cpu_info[coreid].spare = 0;
+       /* Init relevant lists */
+       spinlock_init(&per_cpu_info[coreid].immed_amsg_lock);
+       STAILQ_INIT(&per_cpu_info[coreid].immed_amsgs);
+       spinlock_init(&per_cpu_info[coreid].routine_amsg_lock);
+       STAILQ_INIT(&per_cpu_info[coreid].routine_amsgs);
+       /* Initialize the per-core timer chain */
+       init_timer_chain(&per_cpu_info[coreid].tchain, set_pcpu_alarm_interrupt);
+#ifdef __CONFIG_KTHREAD_POISON__
+       /* TODO: KTHR-STACK */
+       uintptr_t *poison = (uintptr_t*)ROUNDDOWN(get_stack_top() - 1, PGSIZE);
+       *poison = 0xdeadbeef;
+#endif /* __CONFIG_KTHREAD_POISON__ */
 }
-
-#endif /* __CONFIG_EXPER_TRADPROC__ */