Migrated Akaros code to use pragma once (XCC)
[akaros.git] / kern / include / smp.h
1 /*
2  * Copyright (c) 2009 The Regents of the University of California
3  * Barret Rhoden <brho@cs.berkeley.edu>
4  * See LICENSE for details.
5  */
6
7 #pragma once
8
9 /* SMP related functions */
10
11 #include <arch/smp.h>
12 #include <ros/common.h>
13 #include <sys/queue.h>
14 #include <trap.h>
15 #include <atomic.h>
16 #include <process.h>
17 #include <syscall.h>
18 #include <alarm.h>
19 #include <trace.h>
20
21 #define CPU_STATE_IRQ                   0
22 #define CPU_STATE_KERNEL                1
23 #define CPU_STATE_USER                  2
24 #define CPU_STATE_IDLE                  3
25 #define NR_CPU_STATES                   4
26
27 static char *cpu_state_names[NR_CPU_STATES] =
28 {
29         "irq",
30         "kern",
31         "user",
32         "idle",
33 };
34
35 struct per_cpu_info {
36 #ifdef CONFIG_X86
37         uintptr_t stacktop;                     /* must be first */
38         int coreid;                                     /* must be second */
39         struct vmcs *vmxarea;
40         pseudodesc_t host_gdt;
41         int vmx_enabled;
42         void *local_vcpu;
43 #endif
44         spinlock_t lock;
45         /* Process management */
46         // cur_proc should be valid on all cores that are not management cores.
47         struct proc *cur_proc;          /* which process context is loaded */
48         struct proc *owning_proc;       /* proc owning the core / cur_ctx */
49         uint32_t owning_vcoreid;        /* vcoreid of owning proc (if applicable */
50         struct user_context *cur_ctx;   /* user ctx we came in on (can be 0) */
51         struct user_context actual_ctx; /* storage for cur_ctx */
52         uint32_t __ctx_depth;           /* don't access directly.  see trap.h. */
53         int __lock_checking_enabled;/* == 1, enables spinlock depth checking */
54         struct kthread *cur_kthread;/* tracks the running kernel context */
55         struct kthread *spare;          /* useful when restarting */
56         struct timer_chain tchain;      /* for the per-core alarm */
57         unsigned int lock_depth;
58         struct trace_ring traces;
59         int cpu_state;
60         uint64_t last_tick_cnt;
61         uint64_t state_ticks[NR_CPU_STATES];
62         /* TODO: 64b (not sure if we'll need these at all */
63 #ifdef CONFIG_X86
64         taskstate_t *tss;
65         segdesc_t *gdt;
66 #endif
67         /* KMSGs */
68         spinlock_t immed_amsg_lock;
69         struct kernel_msg_list immed_amsgs;
70         spinlock_t routine_amsg_lock;
71         struct kernel_msg_list routine_amsgs;
72         /* profiling -- opaque to all but the profiling code. */
73         void *profiling;
74 }__attribute__((aligned(ARCH_CL_SIZE)));
75
76 /* Allows the kernel to figure out what process is running on this core.  Can be
77  * used just like a pointer to a struct proc. */
78 #define current per_cpu_info[core_id()].cur_proc
79 /* Allows the kernel to figure out what *user* ctx is on this core's stack.  Can
80  * be used just like a pointer to a struct user_context.  Note the distinction
81  * between kernel and user contexts.  The kernel always returns to its nested,
82  * interrupted contexts via iret/etc.  We never do that for user contexts. */
83 #define current_ctx per_cpu_info[core_id()].cur_ctx
84
85 typedef struct per_cpu_info  per_cpu_info_t;
86 extern per_cpu_info_t per_cpu_info[MAX_NUM_CORES];
87
88 /* SMP bootup functions */
89 void smp_boot(void);
90 void smp_idle(void) __attribute__((noreturn));
91 void smp_percpu_init(void); // this must be called by each core individually
92 void __arch_pcpu_init(uint32_t coreid); /* each arch has one of these */
93
94 void __set_cpu_state(struct per_cpu_info *pcpui, int state);
95 void reset_cpu_state_ticks(int coreid);
96
97 /* SMP utility functions */
98 int smp_call_function_self(isr_t handler, void *data,
99                            handler_wrapper_t **wait_wrapper);
100 int smp_call_function_all(isr_t handler, void *data,
101                           handler_wrapper_t **wait_wrapper);
102 int smp_call_function_single(uint32_t dest, isr_t handler, void *data,
103                              handler_wrapper_t **wait_wrapper);
104 int smp_call_wait(handler_wrapper_t *wrapper);
105
106 /* PCPUI Trace Rings: */
107 struct pcpu_trace_event {
108         int                                                     type;
109         int                                                     arg0;
110         uint64_t                                        arg1;
111 };
112
113 /* If you want to add a type, use the next available number, increment NR_TYPES,
114  * use your own macro, and provide a handler.  Add your handler to
115  * pcpui_tr_handlers in smp.c. */
116 #define PCPUI_TR_TYPE_NULL              0
117 #define PCPUI_TR_TYPE_KMSG              1
118 #define PCPUI_TR_TYPE_LOCKS             2
119 #define PCPUI_NR_TYPES                  3
120
121 #ifdef CONFIG_TRACE_KMSGS
122
123 # define pcpui_trace_kmsg(pcpui, pc)                                           \
124 {                                                                              \
125         struct pcpu_trace_event *e = get_trace_slot_racy(&pcpui->traces);          \
126         if (e) {                                                                   \
127                 e->type = PCPUI_TR_TYPE_KMSG;                                          \
128                 e->arg1 = pc;                                                          \
129         }                                                                          \
130 }
131
132 #else
133
134 # define pcpui_trace_kmsg(pcpui, pc)
135
136 #endif /* CONFIG_TRACE_KMSGS */
137
138
139 #ifdef CONFIG_TRACE_LOCKS
140
141 # define pcpui_trace_locks(pcpui, lock)                                        \
142 {                                                                              \
143         struct pcpu_trace_event *e = get_trace_slot_overwrite(&pcpui->traces);     \
144         if (e) {                                                                   \
145                 e->type = PCPUI_TR_TYPE_LOCKS;                                         \
146                 e->arg0 = (int)tsc2usec(read_tsc());                                   \
147                 e->arg1 = (uintptr_t)lock;                                             \
148         }                                                                          \
149 }
150
151 #else
152
153 # define pcpui_trace_locks(pcpui, lock)
154
155 #endif /* CONFIG_TRACE_LOCKS */
156
157 /* Run the handlers for all events in a pcpui ring.  Can run on all cores, or
158  * just one core.  'type' selects which event type is handled (0 for all). */
159 void pcpui_tr_foreach(int coreid, int type);
160 void pcpui_tr_foreach_all(int type);
161 void pcpui_tr_reset_all(void);
162 void pcpui_tr_reset_and_clear_all(void);