Kthreads track running kernel contexts
[akaros.git] / kern / include / smp.h
1 /*
2  * Copyright (c) 2009 The Regents of the University of California
3  * Barret Rhoden <brho@cs.berkeley.edu>
4  * See LICENSE for details.
5  */
6
7 #ifndef ROS_INC_SMP_H
8 #define ROS_INC_SMP_H
9
10 /* SMP related functions */
11
12 #include <arch/smp.h>
13 #include <ros/common.h>
14 #include <sys/queue.h>
15 #include <trap.h>
16 #include <atomic.h>
17 #include <process.h>
18 #include <syscall.h>
19 #include <alarm.h>
20 #include <trace.h>
21
22 #ifdef __SHARC__
23 typedef sharC_env_t;
24 #endif
25
26 struct per_cpu_info {
27 #ifdef CONFIG_X86_64
28         uintptr_t stacktop;
29 #endif
30         spinlock_t lock;
31         /* Process management */
32         // cur_proc should be valid on all cores that are not management cores.
33         struct proc *cur_proc;          /* which process context is loaded */
34         struct proc *owning_proc;       /* proc owning the core / cur_ctx */
35         uint32_t owning_vcoreid;        /* vcoreid of owning proc (if applicable */
36         struct user_context *cur_ctx;   /* user ctx we came in on (can be 0) */
37         struct user_context actual_ctx; /* storage for cur_ctx */
38         uint32_t __ctx_depth;           /* don't access directly.  see trap.h. */
39         int __lock_checking_enabled;/* == 1, enables spinlock depth checking */
40         struct syscall *cur_sysc;       /* ptr is into cur_proc's address space */
41         void *cur_errbuf;                       /* ptr to current err stack buffer */
42         struct kthread *cur_kthread;/* tracks the running kernel context */
43         struct kthread *spare;          /* useful when restarting */
44         struct timer_chain tchain;      /* for the per-core alarm */
45         unsigned int lock_depth;
46         struct trace_ring traces;
47
48 #ifdef __SHARC__
49         // held spin-locks. this will have to go elsewhere if multiple kernel
50         // threads can share a CPU.
51         // zra: Used by Ivy. Let me know if this should go elsewhere.
52         sharC_env_t sharC_env;
53 #endif
54         /* TODO: 64b (not sure if we'll need these at all */
55 #ifdef CONFIG_X86
56         taskstate_t *tss;
57         segdesc_t *gdt;
58 #endif
59         /* KMSGs */
60         spinlock_t immed_amsg_lock;
61         struct kernel_msg_list NTPTV(a0t) NTPTV(a1t) NTPTV(a2t) immed_amsgs;
62         spinlock_t routine_amsg_lock;
63         struct kernel_msg_list NTPTV(a0t) NTPTV(a1t) NTPTV(a2t) routine_amsgs;
64 }__attribute__((aligned(ARCH_CL_SIZE)));
65
66 /* Allows the kernel to figure out what process is running on this core.  Can be
67  * used just like a pointer to a struct proc. */
68 #define current per_cpu_info[core_id()].cur_proc
69 /* Allows the kernel to figure out what *user* ctx is on this core's stack.  Can
70  * be used just like a pointer to a struct user_context.  Note the distinction
71  * between kernel and user contexts.  The kernel always returns to its nested,
72  * interrupted contexts via iret/etc.  We never do that for user contexts. */
73 #define current_ctx per_cpu_info[core_id()].cur_ctx
74
75 typedef struct per_cpu_info NTPTV(t) NTPTV(a0t) NTPTV(a1t) NTPTV(a2t) per_cpu_info_t;
76
77 extern per_cpu_info_t (RO per_cpu_info)[MAX_NUM_CPUS];
78 extern volatile uint32_t RO num_cpus;
79
80 /* SMP bootup functions */
81 void smp_boot(void);
82 void smp_idle(void) __attribute__((noreturn));
83 void smp_percpu_init(void); // this must be called by each core individually
84 void __arch_pcpu_init(uint32_t coreid); /* each arch has one of these */
85
86 /* SMP utility functions */
87 int smp_call_function_self(poly_isr_t handler, TV(t) data,
88                            handler_wrapper_t** wait_wrapper);
89 int smp_call_function_all(poly_isr_t handler, TV(t) data,
90                           handler_wrapper_t** wait_wrapper);
91 int smp_call_function_single(uint32_t dest, poly_isr_t handler, TV(t) data,
92                              handler_wrapper_t** wait_wrapper);
93 int smp_call_wait(handler_wrapper_t*SAFE wrapper);
94
95 /* PCPUI Trace Rings: */
96 struct pcpu_trace_event {
97         int                                                     type;
98         int                                                     arg0;
99         uint64_t                                        arg1;
100 };
101
102 /* If you want to add a type, use the next available number, increment NR_TYPES,
103  * use your own macro, and provide a handler.  Add your handler to
104  * pcpui_tr_handlers in smp.c. */
105 #define PCPUI_TR_TYPE_NULL              0
106 #define PCPUI_TR_TYPE_KMSG              1
107 #define PCPUI_TR_TYPE_LOCKS             2
108 #define PCPUI_NR_TYPES                  3
109
110 #ifdef CONFIG_TRACE_KMSGS
111
112 # define pcpui_trace_kmsg(pcpui, pc)                                           \
113 {                                                                              \
114         struct pcpu_trace_event *e = get_trace_slot_racy(&pcpui->traces);          \
115         if (e) {                                                                   \
116                 e->type = PCPUI_TR_TYPE_KMSG;                                          \
117                 e->arg1 = pc;                                                          \
118         }                                                                          \
119 }
120
121 #else
122
123 # define pcpui_trace_kmsg(pcpui, pc)
124
125 #endif /* CONFIG_TRACE_KMSGS */
126
127
128 #ifdef CONFIG_TRACE_LOCKS
129
130 # define pcpui_trace_locks(pcpui, lock)                                        \
131 {                                                                              \
132         struct pcpu_trace_event *e = get_trace_slot_overwrite(&pcpui->traces);     \
133         if (e) {                                                                   \
134                 e->type = PCPUI_TR_TYPE_LOCKS;                                         \
135                 e->arg0 = (int)tsc2usec(read_tsc());                                   \
136                 e->arg1 = (uintptr_t)lock;                                             \
137         }                                                                          \
138 }
139
140 #else
141
142 # define pcpui_trace_locks(pcpui, lock)
143
144 #endif /* CONFIG_TRACE_LOCKS */
145
146 /* Run the handlers for all events in a pcpui ring.  Can run on all cores, or
147  * just one core.  'type' selects which event type is handled (0 for all). */
148 void pcpui_tr_foreach(int coreid, int type);
149 void pcpui_tr_foreach_all(int type);
150 void pcpui_tr_reset_all(void);
151 void pcpui_tr_reset_and_clear_all(void);
152
153 #endif /* ROS_INC_SMP_H */