3586289e1ce7b970abe7f8ecf02c7e5457cc41a0
[akaros.git] / kern / src / smp.c
1 /*
2  * Copyright (c) 2009 The Regents of the University of California
3  * Barret Rhoden <brho@cs.berkeley.edu>
4  * See LICENSE for details.
5  */
6
7 #ifdef __SHARC__
8 #pragma nosharc
9 #endif
10
11 #include <arch/arch.h>
12 #include <atomic.h>
13 #include <smp.h>
14 #include <error.h>
15 #include <stdio.h>
16 #include <string.h>
17 #include <assert.h>
18 #include <pmap.h>
19 #include <process.h>
20 #include <schedule.h>
21 #include <trap.h>
22
23 struct per_cpu_info per_cpu_info[MAX_NUM_CPUS];
24
25 // tracks number of global waits on smp_calls, must be <= NUM_HANDLER_WRAPPERS
26 atomic_t outstanding_calls = 0;
27
28 /* Helper for running a proc (if we should).  Lots of repetition with
29  * proc_restartcore */
30 static void try_run_proc(void)
31 {
32         struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
33         /* There was a process running here, and we should return to it. */
34         if (pcpui->owning_proc) {
35                 assert(!pcpui->cur_sysc);
36                 assert(pcpui->cur_ctx);
37                 __proc_startcore(pcpui->owning_proc, pcpui->cur_ctx);
38                 assert(0);
39         } else {
40                 /* Make sure we have abandoned core.  It's possible to have an owner
41                  * without a current (smp_idle, __startcore, __death). */
42                 abandon_core();
43         }
44 }
45
46 /* All cores end up calling this whenever there is nothing left to do or they
47  * don't know explicitly what to do.  Non-zero cores call it when they are done
48  * booting.  Other cases include after getting a DEATH IPI.
49  *
50  * All cores attempt to run the context of any owning proc.  Barring that, they
51  * halt and wake up when interrupted, do any work on their work queue, then halt
52  * again.  In between, the ksched gets a chance to tell it to do something else,
53  * or perhaps to halt in another manner. */
54 static void __attribute__((noinline, noreturn)) __smp_idle(void)
55 {
56         struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
57         clear_rkmsg(pcpui);
58         enable_irq();   /* one-shot change to get any IRQs before we halt later */
59         while (1) {
60                 disable_irq();
61                 process_routine_kmsg();
62                 try_run_proc();
63                 cpu_bored();            /* call out to the ksched */
64                 /* cpu_halt() atomically turns on interrupts and halts the core.
65                  * Important to do this, since we could have a RKM come in via an
66                  * interrupt right while PRKM is returning, and we wouldn't catch
67                  * it. */
68                 cpu_halt();
69                 /* interrupts are back on now (given our current semantics) */
70         }
71         assert(0);
72 }
73
74 void smp_idle(void)
75 {
76         #ifdef CONFIG_RESET_STACKS
77         set_stack_pointer(get_stack_top());
78         #endif /* CONFIG_RESET_STACKS */
79         __smp_idle();
80         assert(0);
81 }
82
83 /* Arch-independent per-cpu initialization.  This will call the arch dependent
84  * init first. */
85 void smp_percpu_init(void)
86 {
87         uint32_t coreid = core_id();
88         /* Don't initialize __ctx_depth here, since it is already 1 (at least on
89          * x86), since this runs in irq context. */
90         /* Do this first */
91         __arch_pcpu_init(coreid);
92         per_cpu_info[coreid].spare = 0;
93         /* Init relevant lists */
94         spinlock_init_irqsave(&per_cpu_info[coreid].immed_amsg_lock);
95         STAILQ_INIT(&per_cpu_info[coreid].immed_amsgs);
96         spinlock_init_irqsave(&per_cpu_info[coreid].routine_amsg_lock);
97         STAILQ_INIT(&per_cpu_info[coreid].routine_amsgs);
98         /* Initialize the per-core timer chain */
99         init_timer_chain(&per_cpu_info[coreid].tchain, set_pcpu_alarm_interrupt);
100 #ifdef CONFIG_KTHREAD_POISON
101         /* TODO: KTHR-STACK */
102         uintptr_t *poison = (uintptr_t*)ROUNDDOWN(get_stack_top() - 1, PGSIZE);
103         *poison = 0xdeadbeef;
104 #endif /* CONFIG_KTHREAD_POISON */
105 }