Fixes race where we'd ignore a kmsg when halting
[akaros.git] / kern / src / smp.c
1 /*
2  * Copyright (c) 2009 The Regents of the University of California
3  * Barret Rhoden <brho@cs.berkeley.edu>
4  * See LICENSE for details.
5  */
6
7 #ifdef __SHARC__
8 #pragma nosharc
9 #endif
10
11 #include <arch/arch.h>
12 #include <atomic.h>
13 #include <smp.h>
14 #include <error.h>
15 #include <stdio.h>
16 #include <string.h>
17 #include <assert.h>
18 #include <pmap.h>
19 #include <process.h>
20 #include <manager.h>
21 #include <trap.h>
22
23 struct per_cpu_info per_cpu_info[MAX_NUM_CPUS];
24
25 // tracks number of global waits on smp_calls, must be <= NUM_HANDLER_WRAPPERS
26 atomic_t outstanding_calls = 0;
27
28 /* All cores end up calling this whenever there is nothing left to do.  Non-zero
29  * cores call it when they are done booting.  Other cases include after getting
30  * a DEATH IPI.
31  * - Management cores (core 0 for now) call manager, which should never return.
32  * - Worker cores halt and wake up when interrupted, do any work on their work
33  *   queue, then halt again.
34  * TODO: think about unifying the manager into a workqueue function, so we don't
35  * need to check mgmt_core in here.  it gets a little ugly, since there are
36  * other places where we check for mgmt and might not smp_idle / call manager.
37  */
38 static void __smp_idle(void)
39 {
40         int8_t state = 0;
41         struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
42
43         /* There was a process running here, and we should return to it */
44         if (pcpui->cur_tf) {                    /* aka, current_tf */
45                 assert(pcpui->cur_proc);        /* aka, current */
46                 proc_restartcore();
47                 assert(0);
48         }
49         /* if we made it here, we truly want to idle */
50         /* in the future, we may need to proactively leave process context here.
51          * for now, it is possible to have a current loaded, even if we are idle
52          * (and presumably about to execute a kmsg or fire up a vcore). */
53         if (!management_core()) {
54                 while (1) {
55                         disable_irq();
56                         process_routine_kmsg(0);
57                         /* cpu_halt() atomically turns on interrupts and halts the core.
58                          * Important to do this, since we could have a RKM come in via an
59                          * interrupt right while PRKM is returning, and we wouldn't catch
60                          * it. */
61                         cpu_halt();
62                         /* interrupts are back on now (given our current semantics) */
63                 }
64         } else {
65                 enable_irqsave(&state);
66                 /* this makes us wait to enter the manager til any IO is done (totally
67                  * arbitrary 10ms), so we can handle the routine message that we
68                  * currently use to do the completion.  Note this also causes us to wait
69                  * 10ms regardless of how long the IO takes.  This all needs work. */
70                 //udelay(10000); /* done in the manager for now */
71                 process_routine_kmsg(0);
72                 disable_irqsave(&state);
73                 manager();
74         }
75         assert(0);
76 }
77
78 void smp_idle(void)
79 {
80         #ifdef __CONFIG_RESET_STACKS__
81         set_stack_pointer(get_stack_top());
82         #endif /* __CONFIG_RESET_STACKS__ */
83         __smp_idle();
84         assert(0);
85 }
86
87 /* Arch-independent per-cpu initialization.  This will call the arch dependent
88  * init first. */
89 void smp_percpu_init(void)
90 {
91         uint32_t coreid = core_id();
92         /* Do this first */
93         __arch_pcpu_init(coreid);
94         per_cpu_info[coreid].spare = 0;
95         /* Init relevant lists */
96         spinlock_init(&per_cpu_info[coreid].immed_amsg_lock);
97         STAILQ_INIT(&per_cpu_info[coreid].immed_amsgs);
98         spinlock_init(&per_cpu_info[coreid].routine_amsg_lock);
99         STAILQ_INIT(&per_cpu_info[coreid].routine_amsgs);
100         /* Initialize the per-core timer chain */
101         init_timer_chain(&per_cpu_info[coreid].tchain, set_pcpu_alarm_interrupt);
102
103 #ifdef __CONFIG_KTHREAD_POISON__
104 /* TODO: KTHR-STACK */
105 uintptr_t *poison = (uintptr_t*)ROUNDDOWN(get_stack_top() - 1, PGSIZE);
106 *poison = 0xdeadbeef;
107 #endif /* __CONFIG_KTHREAD_POISON__ */
108
109 }