Remove EVENT_NOMSG (XCC)
[akaros.git] / kern / src / event.c
1 /* Copyright (c) 2011 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Kernel utility functions for sending events and notifications (IPIs) to
6  * processes. */
7
8 #include <ucq.h>
9 #include <bitmask.h>
10 #include <event.h>
11 #include <atomic.h>
12 #include <process.h>
13 #include <smp.h>
14 #include <umem.h>
15 #include <stdio.h>
16 #include <assert.h>
17 #include <pmap.h>
18 #include <schedule.h>
19
20 /* Userspace could give us a vcoreid that causes us to compute a vcpd that is
21  * outside procdata.  If we hit UWLIM, then we've gone farther than we should.
22  * We check the vcoreid, instead of the resulting address, to avoid issues like
23  * address wrap-around. */
24 static bool vcoreid_is_safe(uint32_t vcoreid)
25 {
26         /* MAX_NUM_VCORES == MAX_NUM_CORES (check procinfo/procdata) */
27         return vcoreid < MAX_NUM_CORES;
28 }
29
30 /* Note these three helpers return the user address of the mbox, not the KVA.
31  * Load current to access this, and it will work for any process. */
32 static struct event_mbox *get_vcpd_mbox_priv(uint32_t vcoreid)
33 {
34         return &__procdata.vcore_preempt_data[vcoreid].ev_mbox_private;
35 }
36
37 static struct event_mbox *get_vcpd_mbox_pub(uint32_t vcoreid)
38 {
39         return &__procdata.vcore_preempt_data[vcoreid].ev_mbox_public;
40 }
41
42 static struct event_mbox *get_vcpd_mbox(uint32_t vcoreid, int ev_flags)
43 {
44         if (ev_flags & EVENT_VCORE_PRIVATE)
45                 return get_vcpd_mbox_priv(vcoreid);
46         else
47                 return get_vcpd_mbox_pub(vcoreid);
48 }
49
50 /* Can we message the vcore?  (Will it check its messages).  Note this checks
51  * procdata via the user pointer. */
52 static bool can_msg_vcore(uint32_t vcoreid)
53 {
54         struct preempt_data *vcpd = &__procdata.vcore_preempt_data[vcoreid];
55         return atomic_read(&vcpd->flags) & VC_CAN_RCV_MSG;
56 }
57
58 /* Says a vcore can be messaged.  Only call this once you are sure this is true
59  * (holding the proc_lock, etc). */
60 static void set_vcore_msgable(uint32_t vcoreid)
61 {
62         struct preempt_data *vcpd = &__procdata.vcore_preempt_data[vcoreid];
63         atomic_or(&vcpd->flags, VC_CAN_RCV_MSG);
64 }
65
66 static void send_evbitmap_msg(struct evbitmap *evbm, struct event_msg *msg)
67 {
68         SET_BITMASK_BIT_ATOMIC(evbm->bitmap, msg->ev_type);
69         wmb();
70         evbm->check_bits = TRUE;
71 }
72
73 /* Posts a message to the mbox.  Make sure that if mbox is a user
74  * pointer, that you've checked it *and* have that processes address space
75  * loaded.  This can get called with a KVA for mbox. */
76 static void post_ev_msg(struct proc *p, struct event_mbox *mbox,
77                         struct event_msg *msg, int ev_flags)
78 {
79         printd("[kernel] Sending event type %d to mbox %p\n", msg->ev_type, mbox);
80         /* Sanity check */
81         assert(p);
82         switch (mbox->type) {
83                 case (EV_MBOX_UCQ):
84                         send_ucq_msg(&mbox->ucq, p, msg);
85                         break;
86                 case (EV_MBOX_BITMAP):
87                         send_evbitmap_msg(&mbox->evbm, msg);
88                         break;
89                 default:
90                         printk("[kernel] Unknown mbox type %d!\n", mbox->type);
91         }
92 }
93
94 /* Helper: use this when sending a message to a VCPD mbox.  It just posts to the
95  * ev_mbox and sets notif pending.  Note this uses a userspace address for the
96  * VCPD (though not a user's pointer). */
97 static void post_vc_msg(struct proc *p, uint32_t vcoreid,
98                         struct event_mbox *ev_mbox, struct event_msg *ev_msg,
99                         int ev_flags)
100 {
101         struct preempt_data *vcpd = &__procdata.vcore_preempt_data[vcoreid];
102         post_ev_msg(p, ev_mbox, ev_msg, ev_flags);
103         /* Set notif pending so userspace doesn't miss the message while yielding */
104         wmb(); /* Ensure ev_msg write is before notif_pending */
105         /* proc_notify() also sets this, but the ev_q might not have requested an
106          * IPI, so we have to do it here too. */
107         vcpd->notif_pending = TRUE;
108 }
109
110 /* Helper: will IPI / proc_notify if the flags say so.  We also check to make
111  * sure it is mapped (slight optimization) */
112 static void try_notify(struct proc *p, uint32_t vcoreid, int ev_flags)
113 {
114         /* Note this is an unlocked-peek at the vcoremap */
115         if ((ev_flags & EVENT_IPI) && vcore_is_mapped(p, vcoreid))
116                 proc_notify(p, vcoreid);
117 }
118
119 /* Helper: sends the message and an optional IPI to the vcore.  Sends to the
120  * public mbox. */
121 static void spam_vcore(struct proc *p, uint32_t vcoreid,
122                        struct event_msg *ev_msg, int ev_flags)
123 {
124         post_vc_msg(p, vcoreid, get_vcpd_mbox_pub(vcoreid), ev_msg, ev_flags);
125         try_notify(p, vcoreid, ev_flags);
126 }
127
128 /* Attempts to message a vcore that may or may not have VC_CAN_RCV_MSG set.  If
129  * so, we'll post the message and the message will eventually get dealt with
130  * (when the vcore runs or when it is preempte-recovered). */
131 static bool try_spam_vcore(struct proc *p, uint32_t vcoreid,
132                            struct event_msg *ev_msg, int ev_flags)
133 {
134         /* Not sure if we can or not, so check before spamming.  Technically, the
135          * only critical part is that we __alert, then check can_alert. */
136         if (can_msg_vcore(vcoreid)) {
137                 spam_vcore(p, vcoreid, ev_msg, ev_flags);
138                 wrmb(); /* prev write (notif_pending) must come before following reads*/
139                 if (can_msg_vcore(vcoreid))
140                         return TRUE;
141         }
142         return FALSE;
143 }
144
145 /* Helper: will try to message (INDIR/IPI) a list member (lists of vcores).  We
146  * use this on the online and bulk_preempted vcore lists.  If this succeeds in
147  * alerting a vcore on the list, it'll return TRUE.  We need to be careful here,
148  * since we're reading a list that could be concurrently modified.  The
149  * important thing is that we can always fail if we're unsure (such as with
150  * lists being temporarily empty).  The caller will be able to deal with it via
151  * the ultimate fallback. */
152 static bool spam_list_member(struct vcore_tailq *list, struct proc *p,
153                              struct event_msg *ev_msg, int ev_flags)
154 {
155         struct vcore *vc, *vc_first;
156         uint32_t vcoreid;
157         int loops = 0;
158         vc = TAILQ_FIRST(list);
159         /* If the list appears empty, we'll bail out (failing) after the loop. */
160         while (vc) {
161                 vcoreid = vcore2vcoreid(p, vc);
162                 /* post the alert.  Not using the try_spam_vcore() helper since I want
163                  * something more customized for the lists. */
164                 spam_vcore(p, vcoreid, ev_msg, ev_flags);
165                 wrmb(); /* prev write (notif_pending) must come before following reads*/
166                 /* I used to check can_msg_vcore(vcoreid) here, but that would make
167                  * spamming list members unusable for MUST_RUN scenarios.
168                  *
169                  * Regardless, if they are still the first on the list, then they are
170                  * still going to get the message.  For the online list, proc_yield()
171                  * will return them to userspace (where they will get the message)
172                  * because __alert_vcore() set notif_pending.  For the BP list, they
173                  * will either be turned on later, or have a preempt message sent about
174                  * their demise.
175                  *
176                  * We race on list membership (and not exclusively VC_CAN_RCV_MSG, so
177                  * that when it fails we can get a new vcore to try (or know WHP there
178                  * are none). */
179                 vc_first = TAILQ_FIRST(list);
180                 if (vc == vc_first)
181                         return TRUE;
182                 /* At this point, the list has changed and the vcore we tried yielded,
183                  * so we try the *new* list head.  Track loops for sanity reasons. */
184                 if (loops++ > 10) {
185                         warn("Too many (%d) attempts to find a vcore, failing!", loops);
186                         return FALSE;   /* always safe to fail! */
187                 }
188                 /* Get set up for your attack run! */
189                 vc = vc_first;
190         }
191         return FALSE;
192 }
193
194 /* This makes sure ev_msg is sent to some vcore, preferring vcoreid.
195  *
196  * One of the goals of SPAM_INDIR (and this func) is to allow processes to yield
197  * cores without fear of losing messages.  Even when yielding and getting
198  * preempted, if your message is spammed, it will get to some vcore.  If
199  * MUST_RUN is set, it'll get to a running vcore.  Messages that you send like
200  * this must be able to handle spurious reads, since more than one vcore is
201  * likely to get the message and handle it.
202  *
203  * We try the desired vcore, using VC_CAN_RCV_MSG.  Failing that, we'll search
204  * the online and then the bulk_preempted lists.  These lists serve as a way to
205  * find likely messageable vcores.  spam_list_member() helps us with them,
206  * failing if anything seems to go wrong.  At which point we just lock and try
207  * to deal with things.  In that scenario, we most likely would need to lock
208  * anyway to wake up the process (was WAITING).
209  *
210  * One tricky thing with sending to the bulk_preempt list is that we may want to
211  * send a message about a (bulk) preemption to someone on that list.  This works
212  * since a given vcore that was preempted will be removed from that list before
213  * we try to send_event() (in theory, there isn't code that can send that event
214  * yet).  Someone else will get the event and wake up the preempted vcore. */
215 static void spam_public_msg(struct proc *p, struct event_msg *ev_msg,
216                                                         uint32_t vcoreid, int ev_flags)
217 {
218         struct vcore *vc;
219         if (!__proc_is_mcp(p)) {
220                 spam_vcore(p, 0, ev_msg, ev_flags);
221                 return;
222         }
223         if (ev_flags & EVENT_VCORE_MUST_RUN) {
224                 /* Could check for waiting and skip these spams, which will fail.  Could
225                  * also skip trying for vcoreid, and just spam any old online VC. */
226                 if (vcore_is_mapped(p, vcoreid)) {      /* check, signal, check again */
227                         spam_vcore(p, vcoreid, ev_msg, ev_flags);
228                         wrmb(); /* notif_pending write must come before following read */
229                         if (vcore_is_mapped(p, vcoreid))
230                                 return;
231                 }
232                 if (spam_list_member(&p->online_vcs, p, ev_msg, ev_flags))
233                         return;
234                 goto ultimate_fallback;
235         }
236         /* First, try posting to the desired vcore */
237         if (try_spam_vcore(p, vcoreid, ev_msg, ev_flags))
238                 return;
239         /* If the process is WAITING, let's just jump to the fallback */
240         if (p->state == PROC_WAITING)
241                 goto ultimate_fallback;
242         /* If we're here, the desired vcore is unreachable, but the process is
243          * probably RUNNING_M (online_vs) or RUNNABLE_M (bulk preempted or recently
244          * woken up), so we'll need to find another vcore. */
245         if (spam_list_member(&p->online_vcs, p, ev_msg, ev_flags))
246                 return;
247         if (spam_list_member(&p->bulk_preempted_vcs, p, ev_msg, ev_flags))
248                 return;
249         /* Last chance, let's check the head of the inactives.  It might be
250          * alertable (the kernel set it earlier due to an event, or it was a
251          * bulk_preempt that didn't restart), and we can avoid grabbing the
252          * proc_lock. */
253         vc = TAILQ_FIRST(&p->inactive_vcs);
254         if (vc) {       /* might be none in rare circumstances */
255                 if (try_spam_vcore(p, vcore2vcoreid(p, vc), ev_msg, ev_flags)) {
256                         /* It's possible that we're WAITING here.  EVENT_WAKEUP will handle
257                          * it.  One way for this to happen is if a normal vcore was
258                          * preempted right as another vcore was yielding, and the preempted
259                          * message was sent after the last vcore yielded (which caused us to
260                          * be WAITING). */
261                         return;
262                 }
263         }
264 ultimate_fallback:
265         /* At this point, we can't find one.  This could be due to a (hopefully
266          * rare) weird yield/request storm, or more commonly because the lists were
267          * empty and the process is simply WAITING (yielded all of its vcores and is
268          * waiting on an event).  Time for the ultimate fallback: locking.  Note
269          * that when we __alert_vcore(), there is a chance we need to mmap, which
270          * grabs the vmr_lock and pte_lock. */
271         spin_lock(&p->proc_lock);
272         if (p->state != PROC_WAITING) {
273                 /* We need to check the online and bulk_preempt lists again, now that we
274                  * are sure no one is messing with them.  If we're WAITING, we can skip
275                  * these (or assert they are empty!). */
276                 vc = TAILQ_FIRST(&p->online_vcs);
277                 if (vc) {
278                         /* there's an online vcore, so just alert it (we know it isn't going
279                          * anywhere), and return */
280                         spam_vcore(p, vcore2vcoreid(p, vc), ev_msg, ev_flags);
281                         spin_unlock(&p->proc_lock);
282                         return;
283                 }
284                 vc = TAILQ_FIRST(&p->bulk_preempted_vcs);
285                 if (vc) {
286                         /* the process is bulk preempted, similar deal to above */
287                         spam_vcore(p, vcore2vcoreid(p, vc), ev_msg, ev_flags);
288                         spin_unlock(&p->proc_lock);
289                         return;
290                 }
291         }
292         /* At this point, we're sure all vcores are yielded, though we might not be
293          * WAITING.  Post to the first on the inactive list (which is the one that
294          * will definitely be woken up) */
295         vc = TAILQ_FIRST(&p->inactive_vcs);
296         assert(vc);
297         spam_vcore(p, vcore2vcoreid(p, vc), ev_msg, ev_flags);
298         /* Set the vcore's alertable flag, to short circuit our last ditch effort
299          * above */
300         set_vcore_msgable(vcore2vcoreid(p, vc));
301         /* The first event to catch the process with no online/bp vcores will need
302          * to wake it up, which is handled elsewhere if they requested EVENT_WAKEUP.
303          * We could be RUNNABLE_M here if another event already woke us and we
304          * didn't get lucky with the penultimate fallback. */
305         spin_unlock(&p->proc_lock);
306 }
307
308 /* Helper: sends an indirection event for an ev_q, preferring vcoreid */
309 static void send_indir(struct proc *p, struct event_queue *ev_q,
310                        uint32_t vcoreid)
311 {
312         struct event_msg local_msg = {0};
313         /* If an alert is already pending and they don't want repeats, just return.
314          * One of the few uses of NOTHROTTLE will be for preempt_msg ev_qs.  Ex: an
315          * INDIR was already sent to the preempted vcore, then alert throttling
316          * would stop another vcore from getting the message about the original
317          * vcore. */
318         if (!(ev_q->ev_flags & EVENT_NOTHROTTLE) && (ev_q->ev_alert_pending))
319                 return;
320         /* We'll eventually get an INDIR through, so don't send any more til
321          * userspace toggles this.  Regardless of other writers to this flag, we
322          * eventually send an alert that causes userspace to turn throttling off
323          * again (before handling all of the ev_q's events).
324          *
325          * This will also squelch IPIs, since there's no reason to send the IPI if
326          * the INDIR is still un-acknowledged.  The vcore is either in vcore
327          * context, attempting to deal with the INDIR, or offline.  This statement
328          * is probably true. */
329         ev_q->ev_alert_pending = TRUE;
330         wmb();  /* force this write to happen before any event writes */
331         local_msg.ev_type = EV_EVENT;
332         local_msg.ev_arg3 = ev_q;
333         /* If we're not spamming indirs, just send and be done with it.
334          *
335          * It's possible that the user does not want to poll their evq and wants an
336          * INDIR, but also doesn't care about sleeping or otherwise not getting the
337          * message right away.  The INDIR could sit in the VCPD of a vcore that
338          * doesn't run for a while.  Perhaps if the app always made sure VC 0 was
339          * on when it was running at all, and sent the INDIR there.  Or there was a
340          * per-vc evq that only needed to be handled when the VC turned on.  This
341          * gets at another aspect of INDIRs, other than it's need for "only once"
342          * operation: maybe the mbox type isn't a UCQ (like the VCPD mboxes). */
343         if (!(ev_q->ev_flags & EVENT_SPAM_INDIR)) {
344                 spam_vcore(p, vcoreid, &local_msg, ev_q->ev_flags);
345                 return;
346         }
347         /* At this point, we actually want to send and spam an INDIR.
348          * This will guarantee the message makes it to some vcore. */
349         spam_public_msg(p, &local_msg, vcoreid, ev_q->ev_flags);
350 }
351
352 /* Send an event to ev_q, based on the parameters in ev_q's flag.  We don't
353  * accept null ev_qs, since the caller ought to be checking before bothering to
354  * make a msg and send it to the event_q.  Vcoreid is who the kernel thinks the
355  * message ought to go to (for IPIs).  Appropriate for things like
356  * EV_PREEMPT_PENDING, where we tell the affected vcore.  To have the message go
357  * where the kernel suggests, set EVENT_VCORE_APPRO(priate). */
358 void send_event(struct proc *p, struct event_queue *ev_q, struct event_msg *msg,
359                 uint32_t vcoreid)
360 {
361         struct proc *old_proc;
362         struct event_mbox *ev_mbox = 0;
363         assert(!in_irq_ctx(&per_cpu_info[core_id()]));
364         assert(p);
365         if (p->state == PROC_DYING)
366                 return;
367         printd("[kernel] sending msg to proc %p, ev_q %p\n", p, ev_q);
368         if (!ev_q) {
369                 warn("[kernel] Null ev_q - kernel code should check before sending!");
370                 return;
371         }
372         if (!is_user_rwaddr(ev_q, sizeof(struct event_queue))) {
373                 /* Ought to kill them, just warn for now */
374                 printk("[kernel] Illegal addr for ev_q\n");
375                 return;
376         }
377         /* This should be caught by "future technology" that can tell when the
378          * kernel PFs on the user's behalf.  For now, we catch common userspace bugs
379          * (had this happen a few times). */
380         if (!PTE_ADDR(ev_q)) {
381                 printk("[kernel] Bad addr %p for ev_q\n", ev_q);
382                 return;
383         }
384         /* ev_q is a user pointer, so we need to make sure we're in the right
385          * address space */
386         old_proc = switch_to(p);
387         /* Get the vcoreid that we'll message (if appropriate).  For INDIR and
388          * SPAMMING, this is the first choice of a vcore, but other vcores might get
389          * it.  Common case is !APPRO and !ROUNDROBIN.  Note we are clobbering the
390          * vcoreid parameter. */
391         if (!(ev_q->ev_flags & EVENT_VCORE_APPRO))
392                 vcoreid = ev_q->ev_vcore;       /* use the ev_q's vcoreid */
393         /* Note that RR overwrites APPRO */
394         if (ev_q->ev_flags & EVENT_ROUNDROBIN) {
395                 /* Pick a vcore, round-robin style.  Assuming ev_vcore was the previous
396                  * one used.  Note that round-robin overrides the passed-in vcoreid.
397                  * Also note this may be 'wrong' if num_vcores changes. */
398                 vcoreid = (ev_q->ev_vcore + 1) % p->procinfo->num_vcores;
399                 ev_q->ev_vcore = vcoreid;
400         }
401         if (!vcoreid_is_safe(vcoreid)) {
402                 /* Ought to kill them, just warn for now */
403                 printk("[kernel] Vcoreid %d unsafe! (too big?)\n", vcoreid);
404                 goto out;
405         }
406         /* If we're a SPAM_PUBLIC, they just want us to spam the message.  Note we
407          * don't care about the mbox, since it'll go to VCPD public mboxes, and
408          * we'll prefer to send it to whatever vcoreid we determined at this point
409          * (via APPRO or whatever). */
410         if (ev_q->ev_flags & EVENT_SPAM_PUBLIC) {
411                 spam_public_msg(p, msg, vcoreid, ev_q->ev_flags);
412                 goto wakeup;
413         }
414         /* We aren't spamming and we know the default vcore, and now we need to
415          * figure out which mbox to use.  If they provided an mbox, we'll use it.
416          * If not, we'll use a VCPD mbox (public or private, depending on the
417          * flags). */
418         ev_mbox = ev_q->ev_mbox;
419         if (!ev_mbox)
420                 ev_mbox = get_vcpd_mbox(vcoreid, ev_q->ev_flags);
421         /* At this point, we ought to have the right mbox to send the msg to, and
422          * which vcore to alert (IPI/INDIR) (if applicable).  The mbox could be the
423          * vcore's vcpd ev_mbox. */
424         if (!ev_mbox) {
425                 /* This shouldn't happen any more, this is more for sanity's sake */
426                 warn("[kernel] ought to have an mbox by now!");
427                 goto out;
428         }
429         /* Even if we're using an mbox in procdata (VCPD), we want a user pointer */
430         if (!is_user_rwaddr(ev_mbox, sizeof(struct event_mbox))) {
431                 /* Ought to kill them, just warn for now */
432                 printk("[kernel] Illegal addr for ev_mbox\n");
433                 goto out;
434         }
435         post_ev_msg(p, ev_mbox, msg, ev_q->ev_flags);
436         wmb();  /* ensure ev_msg write is before alerting the vcore */
437         /* Prod/alert a vcore with an IPI or INDIR, if desired.  INDIR will also
438          * call try_notify (IPI) later */
439         if (ev_q->ev_flags & EVENT_INDIR) {
440                 send_indir(p, ev_q, vcoreid);
441         } else {
442                 /* they may want an IPI despite not wanting an INDIR */
443                 try_notify(p, vcoreid, ev_q->ev_flags);
444         }
445 wakeup:
446         if ((ev_q->ev_flags & EVENT_WAKEUP) && (p->state == PROC_WAITING))
447                 proc_wakeup(p);
448         /* Fall through */
449 out:
450         /* Return to the old address space. */
451         switch_back(p, old_proc);
452 }
453
454 /* Send an event for the kernel event ev_num.  These are the "one sided" kernel
455  * initiated events, that require a lookup of the ev_q in procdata.  This is
456  * roughly equivalent to the old "proc_notify()" */
457 void send_kernel_event(struct proc *p, struct event_msg *msg, uint32_t vcoreid)
458 {
459         uint16_t ev_num = msg->ev_type;
460         assert(ev_num < MAX_NR_EVENT);          /* events start at 0 */
461         struct event_queue *ev_q = p->procdata->kernel_evts[ev_num];
462         /* linux would put a rmb_depends() here too, i think. */
463         if (ev_q)
464                 send_event(p, ev_q, msg, vcoreid);
465 }
466
467 /* Writes the msg to the vcpd mbox of the vcore.  If you want the private mbox,
468  * send in the ev_flag EVENT_VCORE_PRIVATE.  If not, the message could
469  * be received by other vcores if the given vcore is offline/preempted/etc.
470  * Whatever other flags you pass in will get sent to post_ev_msg.  Currently,
471  * the only one that will get looked at is NO_MSG (set a bit).
472  *
473  * This needs to load current (switch_to), but doesn't need to care about what
474  * the process wants.  Note this isn't commonly used - just the monitor and
475  * sys_self_notify(). */
476 void post_vcore_event(struct proc *p, struct event_msg *msg, uint32_t vcoreid,
477                       int ev_flags)
478 {
479         /* Need to set p as current to post the event */
480         struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
481         struct proc *old_proc = switch_to(p);
482         /* *ev_mbox is the user address of the vcpd mbox */
483         post_vc_msg(p, vcoreid, get_vcpd_mbox(vcoreid, ev_flags), msg, ev_flags);
484         switch_back(p, old_proc);
485 }
486
487 /* Attempts to send a posix signal to the process.  If they do not have an ev_q
488  * registered for EV_POSIX_SIGNAL, then nothing will happen. */
489 void send_posix_signal(struct proc *p, int sig_nr)
490 {
491         struct event_msg local_msg = {0};
492         local_msg.ev_type = EV_POSIX_SIGNAL;
493         local_msg.ev_arg1 = sig_nr;
494         send_kernel_event(p, &local_msg, 0);
495 }