Treat tabs as having eight spaces instead of four
[akaros.git] / kern / src / event.c
1 /* Copyright (c) 2011 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Kernel utility functions for sending events and notifications (IPIs) to
6  * processes. */
7
8 #include <ucq.h>
9 #include <ceq.h>
10 #include <bitmask.h>
11 #include <event.h>
12 #include <atomic.h>
13 #include <process.h>
14 #include <smp.h>
15 #include <umem.h>
16 #include <stdio.h>
17 #include <assert.h>
18 #include <pmap.h>
19 #include <schedule.h>
20
21 /* Userspace could give us a vcoreid that causes us to compute a vcpd that is
22  * outside procdata.  If we hit UWLIM, then we've gone farther than we should.
23  * We check the vcoreid, instead of the resulting address, to avoid issues like
24  * address wrap-around. */
25 static bool vcoreid_is_safe(uint32_t vcoreid)
26 {
27         /* MAX_NUM_VCORES == MAX_NUM_CORES (check procinfo/procdata) */
28         return vcoreid < MAX_NUM_CORES;
29 }
30
31 /* Note these three helpers return the user address of the mbox, not the KVA.
32  * Load current to access this, and it will work for any process. */
33 static struct event_mbox *get_vcpd_mbox_priv(uint32_t vcoreid)
34 {
35         return &__procdata.vcore_preempt_data[vcoreid].ev_mbox_private;
36 }
37
38 static struct event_mbox *get_vcpd_mbox_pub(uint32_t vcoreid)
39 {
40         return &__procdata.vcore_preempt_data[vcoreid].ev_mbox_public;
41 }
42
43 static struct event_mbox *get_vcpd_mbox(uint32_t vcoreid, int ev_flags)
44 {
45         if (ev_flags & EVENT_VCORE_PRIVATE)
46                 return get_vcpd_mbox_priv(vcoreid);
47         else
48                 return get_vcpd_mbox_pub(vcoreid);
49 }
50
51 /* Can we message the vcore?  (Will it check its messages).  Note this checks
52  * procdata via the user pointer. */
53 static bool can_msg_vcore(uint32_t vcoreid)
54 {
55         struct preempt_data *vcpd = &__procdata.vcore_preempt_data[vcoreid];
56         return atomic_read(&vcpd->flags) & VC_CAN_RCV_MSG;
57 }
58
59 /* Says a vcore can be messaged.  Only call this once you are sure this is true
60  * (holding the proc_lock, etc). */
61 static void set_vcore_msgable(uint32_t vcoreid)
62 {
63         struct preempt_data *vcpd = &__procdata.vcore_preempt_data[vcoreid];
64         atomic_or(&vcpd->flags, VC_CAN_RCV_MSG);
65 }
66
67 static void send_evbitmap_msg(struct evbitmap *evbm, struct event_msg *msg)
68 {
69         SET_BITMASK_BIT_ATOMIC(evbm->bitmap, msg->ev_type);
70         wmb();
71         evbm->check_bits = TRUE;
72 }
73
74 /* Posts a message to the mbox.  mbox is a pointer to user-accessible memory.
75  * If mbox is a user-provided pointer, make sure that you've checked it.
76  * Regardless make sure you have that process's address space loaded. */
77 static void post_ev_msg(struct proc *p, struct event_mbox *mbox,
78                         struct event_msg *msg, int ev_flags)
79 {
80         printd("[kernel] Sending event type %d to mbox %p\n",
81                msg->ev_type, mbox);
82         /* Sanity check */
83         assert(p);
84         switch (mbox->type) {
85         case (EV_MBOX_UCQ):
86                 send_ucq_msg(&mbox->ucq, p, msg);
87                 break;
88         case (EV_MBOX_BITMAP):
89                 send_evbitmap_msg(&mbox->evbm, msg);
90                 break;
91         case (EV_MBOX_CEQ):
92                 send_ceq_msg(&mbox->ceq, p, msg);
93                 break;
94         default:
95                 printk("[kernel] Unknown mbox type %d!\n", mbox->type);
96         }
97 }
98
99 /* Helper: use this when sending a message to a VCPD mbox.  It just posts to the
100  * ev_mbox and sets notif pending.  Note this uses a userspace address for the
101  * VCPD (though not a user's pointer). */
102 static void post_vc_msg(struct proc *p, uint32_t vcoreid,
103                         struct event_mbox *ev_mbox, struct event_msg *ev_msg,
104                         int ev_flags)
105 {
106         struct preempt_data *vcpd = &__procdata.vcore_preempt_data[vcoreid];
107         post_ev_msg(p, ev_mbox, ev_msg, ev_flags);
108         /* Set notif pending so userspace doesn't miss the message while
109          * yielding */
110         wmb(); /* Ensure ev_msg write is before notif_pending */
111         /* proc_notify() also sets this, but the ev_q might not have requested
112          * an IPI, so we have to do it here too. */
113         vcpd->notif_pending = TRUE;
114 }
115
116 /* Helper: will IPI / proc_notify if the flags say so.  We also check to make
117  * sure it is mapped (slight optimization) */
118 static void try_notify(struct proc *p, uint32_t vcoreid, int ev_flags)
119 {
120         /* Note this is an unlocked-peek at the vcoremap */
121         if ((ev_flags & EVENT_IPI) && vcore_is_mapped(p, vcoreid))
122                 proc_notify(p, vcoreid);
123 }
124
125 /* Helper: sends the message and an optional IPI to the vcore.  Sends to the
126  * public mbox. */
127 static void spam_vcore(struct proc *p, uint32_t vcoreid,
128                        struct event_msg *ev_msg, int ev_flags)
129 {
130         post_vc_msg(p, vcoreid, get_vcpd_mbox_pub(vcoreid), ev_msg, ev_flags);
131         try_notify(p, vcoreid, ev_flags);
132 }
133
134 /* Attempts to message a vcore that may or may not have VC_CAN_RCV_MSG set.  If
135  * so, we'll post the message and the message will eventually get dealt with
136  * (when the vcore runs or when it is preempte-recovered). */
137 static bool try_spam_vcore(struct proc *p, uint32_t vcoreid,
138                            struct event_msg *ev_msg, int ev_flags)
139 {
140         /* Not sure if we can or not, so check before spamming.  Technically,
141          * the only critical part is that we __alert, then check can_alert. */
142         if (can_msg_vcore(vcoreid)) {
143                 spam_vcore(p, vcoreid, ev_msg, ev_flags);
144                 /* prev write (notif_pending) must come before following reads*/
145                 wrmb();
146                 if (can_msg_vcore(vcoreid))
147                         return TRUE;
148         }
149         return FALSE;
150 }
151
152 /* Helper: will try to message (INDIR/IPI) a list member (lists of vcores).  We
153  * use this on the online and bulk_preempted vcore lists.  If this succeeds in
154  * alerting a vcore on the list, it'll return TRUE.  We need to be careful here,
155  * since we're reading a list that could be concurrently modified.  The
156  * important thing is that we can always fail if we're unsure (such as with
157  * lists being temporarily empty).  The caller will be able to deal with it via
158  * the ultimate fallback. */
159 static bool spam_list_member(struct vcore_tailq *list, struct proc *p,
160                              struct event_msg *ev_msg, int ev_flags)
161 {
162         struct vcore *vc, *vc_first;
163         uint32_t vcoreid;
164         int loops = 0;
165         vc = TAILQ_FIRST(list);
166         /* If the list appears empty, we'll bail out (failing) after the loop.
167          */
168         while (vc) {
169                 vcoreid = vcore2vcoreid(p, vc);
170                 /* post the alert.  Not using the try_spam_vcore() helper since
171                  * I want something more customized for the lists. */
172                 spam_vcore(p, vcoreid, ev_msg, ev_flags);
173                 /* prev write (notif_pending) must come before following reads*/
174                 wrmb();
175                 /* I used to check can_msg_vcore(vcoreid) here, but that would
176                  * make spamming list members unusable for MUST_RUN scenarios.
177                  *
178                  * Regardless, if they are still the first on the list, then
179                  * they are still going to get the message.  For the online
180                  * list, proc_yield() will return them to userspace (where they
181                  * will get the message) because __alert_vcore() set
182                  * notif_pending.  For the BP list, they will either be turned
183                  * on later, or have a preempt message sent about their demise.
184                  *
185                  * We race on list membership (and not exclusively
186                  * VC_CAN_RCV_MSG, so that when it fails we can get a new vcore
187                  * to try (or know WHP there are none). */
188                 vc_first = TAILQ_FIRST(list);
189                 if (vc == vc_first)
190                         return TRUE;
191                 /* At this point, the list has changed and the vcore we tried
192                  * yielded, so we try the *new* list head.  Track loops for
193                  * sanity reasons. */
194                 if (loops++ > 10) {
195                         warn("Too many (%d) attempts to find a vcore, failing!",
196                              loops);
197                         return FALSE;   /* always safe to fail! */
198                 }
199                 /* Get set up for your attack run! */
200                 vc = vc_first;
201         }
202         return FALSE;
203 }
204
205 /* This makes sure ev_msg is sent to some vcore, preferring vcoreid.
206  *
207  * One of the goals of SPAM_INDIR (and this func) is to allow processes to yield
208  * cores without fear of losing messages.  Even when yielding and getting
209  * preempted, if your message is spammed, it will get to some vcore.  If
210  * MUST_RUN is set, it'll get to a running vcore.  Messages that you send like
211  * this must be able to handle spurious reads, since more than one vcore is
212  * likely to get the message and handle it.
213  *
214  * We try the desired vcore, using VC_CAN_RCV_MSG.  Failing that, we'll search
215  * the online and then the bulk_preempted lists.  These lists serve as a way to
216  * find likely messageable vcores.  spam_list_member() helps us with them,
217  * failing if anything seems to go wrong.  At which point we just lock and try
218  * to deal with things.  In that scenario, we most likely would need to lock
219  * anyway to wake up the process (was WAITING).
220  *
221  * One tricky thing with sending to the bulk_preempt list is that we may want to
222  * send a message about a (bulk) preemption to someone on that list.  This works
223  * since a given vcore that was preempted will be removed from that list before
224  * we try to send_event() (in theory, there isn't code that can send that event
225  * yet).  Someone else will get the event and wake up the preempted vcore. */
226 static void spam_public_msg(struct proc *p, struct event_msg *ev_msg,
227                             uint32_t vcoreid, int ev_flags)
228 {
229         struct vcore *vc;
230         if (!__proc_is_mcp(p)) {
231                 spam_vcore(p, 0, ev_msg, ev_flags);
232                 return;
233         }
234         if (ev_flags & EVENT_VCORE_MUST_RUN) {
235                 /* Could check for waiting and skip these spams, which will
236                  * fail.  Could also skip trying for vcoreid, and just spam any
237                  * old online VC. */
238                 if (vcore_is_mapped(p, vcoreid)) {
239                         /* check, signal, check again */
240                         spam_vcore(p, vcoreid, ev_msg, ev_flags);
241                         /* notif_pending write must come before following read
242                          */
243                         wrmb();
244                         if (vcore_is_mapped(p, vcoreid))
245                                 return;
246                 }
247                 if (spam_list_member(&p->online_vcs, p, ev_msg, ev_flags))
248                         return;
249                 goto ultimate_fallback;
250         }
251         /* First, try posting to the desired vcore */
252         if (try_spam_vcore(p, vcoreid, ev_msg, ev_flags))
253                 return;
254         /* If the process is WAITING, let's just jump to the fallback */
255         if (p->state == PROC_WAITING)
256                 goto ultimate_fallback;
257         /* If we're here, the desired vcore is unreachable, but the process is
258          * probably RUNNING_M (online_vs) or RUNNABLE_M (bulk preempted or
259          * recently woken up), so we'll need to find another vcore. */
260         if (spam_list_member(&p->online_vcs, p, ev_msg, ev_flags))
261                 return;
262         if (spam_list_member(&p->bulk_preempted_vcs, p, ev_msg, ev_flags))
263                 return;
264         /* Last chance, let's check the head of the inactives.  It might be
265          * alertable (the kernel set it earlier due to an event, or it was a
266          * bulk_preempt that didn't restart), and we can avoid grabbing the
267          * proc_lock. */
268         vc = TAILQ_FIRST(&p->inactive_vcs);
269         if (vc) {       /* might be none in rare circumstances */
270                 if (try_spam_vcore(p, vcore2vcoreid(p, vc), ev_msg, ev_flags)) {
271                         /* It's possible that we're WAITING here.  EVENT_WAKEUP
272                          * will handle it.  One way for this to happen is if a
273                          * normal vcore was preempted right as another vcore was
274                          * yielding, and the preempted message was sent after
275                          * the last vcore yielded (which caused us to be
276                          * WAITING). */
277                         return;
278                 }
279         }
280 ultimate_fallback:
281         /* At this point, we can't find one.  This could be due to a (hopefully
282          * rare) weird yield/request storm, or more commonly because the lists
283          * were empty and the process is simply WAITING (yielded all of its
284          * vcores and is waiting on an event).  Time for the ultimate fallback:
285          * locking.  Note that when we __alert_vcore(), there is a chance we
286          * need to mmap, which grabs the vmr_lock and pte_lock. */
287         spin_lock(&p->proc_lock);
288         if (p->state != PROC_WAITING) {
289                 /* We need to check the online and bulk_preempt lists again, now
290                  * that we are sure no one is messing with them.  If we're
291                  * WAITING, we can skip these (or assert they are empty!). */
292                 vc = TAILQ_FIRST(&p->online_vcs);
293                 if (vc) {
294                         /* there's an online vcore, so just alert it (we know it
295                          * isn't going anywhere), and return */
296                         spam_vcore(p, vcore2vcoreid(p, vc), ev_msg, ev_flags);
297                         spin_unlock(&p->proc_lock);
298                         return;
299                 }
300                 vc = TAILQ_FIRST(&p->bulk_preempted_vcs);
301                 if (vc) {
302                         /* the process is bulk preempted, similar deal to above
303                          */
304                         spam_vcore(p, vcore2vcoreid(p, vc), ev_msg, ev_flags);
305                         spin_unlock(&p->proc_lock);
306                         return;
307                 }
308         }
309         /* At this point, we're sure all vcores are yielded, though we might not
310          * be WAITING.  Post to the first on the inactive list (which is the one
311          * that will definitely be woken up) */
312         vc = TAILQ_FIRST(&p->inactive_vcs);
313         assert(vc);
314         spam_vcore(p, vcore2vcoreid(p, vc), ev_msg, ev_flags);
315         /* Set the vcore's alertable flag, to short circuit our last ditch
316          * effort above */
317         set_vcore_msgable(vcore2vcoreid(p, vc));
318         /* The first event to catch the process with no online/bp vcores will
319          * need to wake it up, which is handled elsewhere if they requested
320          * EVENT_WAKEUP.  We could be RUNNABLE_M here if another event already
321          * woke us and we didn't get lucky with the penultimate fallback. */
322         spin_unlock(&p->proc_lock);
323 }
324
325 /* Helper: sends an indirection event for an ev_q, preferring vcoreid */
326 static void send_indir(struct proc *p, struct event_queue *ev_q,
327                        uint32_t vcoreid)
328 {
329         struct event_msg local_msg = {0};
330         /* If an alert is already pending and they don't want repeats, just
331          * return.  One of the few uses of NOTHROTTLE will be for preempt_msg
332          * ev_qs.  Ex: an INDIR was already sent to the preempted vcore, then
333          * alert throttling would stop another vcore from getting the message
334          * about the original vcore. */
335         if (!(ev_q->ev_flags & EVENT_NOTHROTTLE) && (ev_q->ev_alert_pending))
336                 return;
337         /* We'll eventually get an INDIR through, so don't send any more til
338          * userspace toggles this.  Regardless of other writers to this flag, we
339          * eventually send an alert that causes userspace to turn throttling off
340          * again (before handling all of the ev_q's events).
341          *
342          * This will also squelch IPIs, since there's no reason to send the IPI
343          * if the INDIR is still un-acknowledged.  The vcore is either in vcore
344          * context, attempting to deal with the INDIR, or offline.  This
345          * statement is probably true. */
346         ev_q->ev_alert_pending = TRUE;
347         wmb();  /* force this write to happen before any event writes */
348         local_msg.ev_type = EV_EVENT;
349         local_msg.ev_arg3 = ev_q;
350         /* If we're not spamming indirs, just send and be done with it.
351          *
352          * It's possible that the user does not want to poll their evq and wants
353          * an INDIR, but also doesn't care about sleeping or otherwise not
354          * getting the message right away.  The INDIR could sit in the VCPD of a
355          * vcore that doesn't run for a while.  Perhaps if the app always made
356          * sure VC 0 was on when it was running at all, and sent the INDIR
357          * there.  Or there was a per-vc evq that only needed to be handled when
358          * the VC turned on.  This gets at another aspect of INDIRs, other than
359          * it's need for "only once" operation: maybe the mbox type isn't a UCQ
360          * (like the VCPD mboxes). */
361         if (!(ev_q->ev_flags & EVENT_SPAM_INDIR)) {
362                 spam_vcore(p, vcoreid, &local_msg, ev_q->ev_flags);
363                 return;
364         }
365         /* At this point, we actually want to send and spam an INDIR.
366          * This will guarantee the message makes it to some vcore. */
367         spam_public_msg(p, &local_msg, vcoreid, ev_q->ev_flags);
368 }
369
370 /* Send an event to ev_q, based on the parameters in ev_q's flag.  We don't
371  * accept null ev_qs, since the caller ought to be checking before bothering to
372  * make a msg and send it to the event_q.  Vcoreid is who the kernel thinks the
373  * message ought to go to (for IPIs).  Appropriate for things like
374  * EV_PREEMPT_PENDING, where we tell the affected vcore.  To have the message go
375  * where the kernel suggests, set EVENT_VCORE_APPRO(priate). */
376 void send_event(struct proc *p, struct event_queue *ev_q, struct event_msg *msg,
377                 uint32_t vcoreid)
378 {
379         uintptr_t old_proc;
380         struct event_mbox *ev_mbox = 0;
381
382         assert(!in_irq_ctx(&per_cpu_info[core_id()]));
383         assert(p);
384         if (proc_is_dying(p))
385                 return;
386         printd("[kernel] sending msg to proc %p, ev_q %p\n", p, ev_q);
387         assert(is_user_rwaddr(ev_q, sizeof(struct event_queue)));
388         /* ev_q is a user pointer, so we need to make sure we're in the right
389          * address space */
390         old_proc = switch_to(p);
391         /* Get the vcoreid that we'll message (if appropriate).  For INDIR and
392          * SPAMMING, this is the first choice of a vcore, but other vcores might
393          * get it.  Common case is !APPRO and !ROUNDROBIN.  Note we are
394          * clobbering the vcoreid parameter. */
395         if (!(ev_q->ev_flags & EVENT_VCORE_APPRO))
396                 vcoreid = ev_q->ev_vcore;       /* use the ev_q's vcoreid */
397         /* Note that RR overwrites APPRO */
398         if (ev_q->ev_flags & EVENT_ROUNDROBIN) {
399                 /* Pick a vcore, round-robin style.  Assuming ev_vcore was the
400                  * previous one used.  Note that round-robin overrides the
401                  * passed-in vcoreid.  Also note this may be 'wrong' if
402                  * num_vcores changes. */
403                 vcoreid = (ev_q->ev_vcore + 1) % p->procinfo->num_vcores;
404                 ev_q->ev_vcore = vcoreid;
405         }
406         if (!vcoreid_is_safe(vcoreid)) {
407                 /* Ought to kill them, just warn for now */
408                 printk("[kernel] Vcoreid %d unsafe! (too big?)\n", vcoreid);
409                 goto out;
410         }
411         /* If we're a SPAM_PUBLIC, they just want us to spam the message.  Note
412          * we don't care about the mbox, since it'll go to VCPD public mboxes,
413          * and we'll prefer to send it to whatever vcoreid we determined at this
414          * point (via APPRO or whatever). */
415         if (ev_q->ev_flags & EVENT_SPAM_PUBLIC) {
416                 spam_public_msg(p, msg, vcoreid, ev_q->ev_flags);
417                 goto wakeup;
418         }
419         /* We aren't spamming and we know the default vcore, and now we need to
420          * figure out which mbox to use.  If they provided an mbox, we'll use
421          * it.  If not, we'll use a VCPD mbox (public or private, depending on
422          * the flags). */
423         ev_mbox = ev_q->ev_mbox;
424         if (!ev_mbox)
425                 ev_mbox = get_vcpd_mbox(vcoreid, ev_q->ev_flags);
426         /* At this point, we ought to have the right mbox to send the msg to,
427          * and which vcore to alert (IPI/INDIR) (if applicable).  The mbox could
428          * be the vcore's vcpd ev_mbox. */
429         if (!ev_mbox) {
430                 /* This shouldn't happen any more, this is more for sanity's
431                  * sake */
432                 warn("[kernel] ought to have an mbox by now!");
433                 goto out;
434         }
435         /* Even if we're using an mbox in procdata (VCPD), we want a user
436          * pointer */
437         if (!is_user_rwaddr(ev_mbox, sizeof(struct event_mbox))) {
438                 /* Ought to kill them, just warn for now */
439                 printk("[kernel] Illegal addr for ev_mbox\n");
440                 goto out;
441         }
442         post_ev_msg(p, ev_mbox, msg, ev_q->ev_flags);
443         wmb();  /* ensure ev_msg write is before alerting the vcore */
444         /* Prod/alert a vcore with an IPI or INDIR, if desired.  INDIR will also
445          * call try_notify (IPI) later */
446         if (ev_q->ev_flags & EVENT_INDIR) {
447                 send_indir(p, ev_q, vcoreid);
448         } else {
449                 /* they may want an IPI despite not wanting an INDIR */
450                 try_notify(p, vcoreid, ev_q->ev_flags);
451         }
452 wakeup:
453         if ((ev_q->ev_flags & EVENT_WAKEUP) && (p->state == PROC_WAITING))
454                 proc_wakeup(p);
455         /* Fall through */
456 out:
457         /* Return to the old address space. */
458         switch_back(p, old_proc);
459 }
460
461 /* Send an event for the kernel event ev_num.  These are the "one sided" kernel
462  * initiated events, that require a lookup of the ev_q in procdata.  This is
463  * roughly equivalent to the old "proc_notify()" */
464 void send_kernel_event(struct proc *p, struct event_msg *msg, uint32_t vcoreid)
465 {
466         uint16_t ev_num = msg->ev_type;
467         assert(ev_num < MAX_NR_EVENT);          /* events start at 0 */
468         struct event_queue *ev_q = p->procdata->kernel_evts[ev_num];
469         /* linux would put a rmb_depends() here too, i think. */
470         if (ev_q)
471                 send_event(p, ev_q, msg, vcoreid);
472 }
473
474 /* Writes the msg to the vcpd mbox of the vcore.  If you want the private mbox,
475  * send in the ev_flag EVENT_VCORE_PRIVATE.  If not, the message could
476  * be received by other vcores if the given vcore is offline/preempted/etc.
477  * Whatever other flags you pass in will get sent to post_ev_msg.  Currently,
478  * the only one that will get looked at is NO_MSG (set a bit).
479  *
480  * This needs to load current (switch_to), but doesn't need to care about what
481  * the process wants.  Note this isn't commonly used - just the monitor and
482  * sys_self_notify(). */
483 void post_vcore_event(struct proc *p, struct event_msg *msg, uint32_t vcoreid,
484                       int ev_flags)
485 {
486         /* Need to set p as current to post the event */
487         struct per_cpu_info *pcpui = &per_cpu_info[core_id()];
488         uintptr_t old_proc = switch_to(p);
489
490         /* *ev_mbox is the user address of the vcpd mbox */
491         post_vc_msg(p, vcoreid, get_vcpd_mbox(vcoreid, ev_flags), msg, ev_flags);
492         switch_back(p, old_proc);
493 }
494
495 /* Attempts to send a posix signal to the process.  If they do not have an ev_q
496  * registered for EV_POSIX_SIGNAL, then nothing will happen. */
497 void send_posix_signal(struct proc *p, int sig_nr)
498 {
499         struct event_msg local_msg = {0};
500         local_msg.ev_type = EV_POSIX_SIGNAL;
501         local_msg.ev_arg1 = sig_nr;
502         send_kernel_event(p, &local_msg, 0);
503 }