28c0522edbb6af2319edf7a46e180b4516e85ecb
[akaros.git] / kern / drivers / dev / proc.c
1 /*
2  * This file is part of the UCB release of Plan 9. It is subject to the license
3  * terms in the LICENSE file found in the top-level directory of this
4  * distribution and at http://akaros.cs.berkeley.edu/files/Plan9License. No
5  * part of the UCB release of Plan 9, including this file, may be copied,
6  * modified, propagated, or distributed except according to the terms contained
7  * in the LICENSE file.
8  */
9
10 //#define DEBUG
11 /* proc on plan 9 has lots of capabilities, some of which we might
12  * want for akaros:
13  * debug control
14  * event tracing
15  * process control (no need for signal system call, etc.)
16  * textual status
17  * rather than excise code that won't work, I'm bracketing it with
18  * #if 0 until we know we don't want it
19  */
20 #include <vfs.h>
21 #include <kfs.h>
22 #include <slab.h>
23 #include <kmalloc.h>
24 #include <kref.h>
25 #include <string.h>
26 #include <stdio.h>
27 #include <assert.h>
28 #include <error.h>
29 #include <cpio.h>
30 #include <pmap.h>
31 #include <smp.h>
32 #include <arch/vmm/vmm.h>
33 #include <ros/vmm.h>
34
35 struct dev procdevtab;
36
37 static char *devname(void)
38 {
39         return procdevtab.name;
40 }
41
42 enum {
43         Qdir,
44         Qtrace,
45         Qtracepids,
46         Qself,
47         Qns,
48         Qargs,
49         Qctl,
50         Qfd,
51         Qfpregs,
52         Qkregs,
53         Qmaps,
54         Qmem,
55         Qnote,
56         Qnoteid,
57         Qnotepg,
58         Qproc,
59         Qregs,
60         Qsegment,
61         Qstatus,
62         Qstrace,
63         Qvmstatus,
64         Qtext,
65         Qwait,
66         Qprofile,
67         Qsyscall,
68         Qcore,
69 };
70
71 enum {
72         CMclose,
73         CMclosefiles,
74         CMfixedpri,
75         CMhang,
76         CMkill,
77         CMnohang,
78         CMnoswap,
79         CMpri,
80         CMprivate,
81         CMprofile,
82         CMstart,
83         CMstartstop,
84         CMstartsyscall,
85         CMstop,
86         CMwaitstop,
87         CMwired,
88         CMcore,
89         CMvminit,
90         CMvmstart,
91         CMvmkill,
92         CMstraceme,
93         CMstraceall,
94         CMstraceoff,
95 };
96
97 enum {
98         Nevents = 0x4000,
99         Emask = Nevents - 1,
100         Ntracedpids = 1024,
101         STATSIZE = 8 + 1 + 10 + 1 + 6 + 2,
102 };
103
104 /*
105  * Status, fd, and ns are left fully readable (0444) because of their use in debugging,
106  * particularly on shared servers.
107  * Arguably, ns and fd shouldn't be readable; if you'd prefer, change them to 0000
108  */
109 struct dirtab procdir[] = {
110         {"args", {Qargs}, 0, 0660},
111         {"ctl", {Qctl}, 0, 0660},
112         {"fd", {Qfd}, 0, 0444},
113         {"fpregs", {Qfpregs}, 0, 0000},
114         //  {"kregs",   {Qkregs},   sizeof(Ureg),       0600},
115         {"maps", {Qmaps}, 0, 0000},
116         {"mem", {Qmem}, 0, 0000},
117         {"note", {Qnote}, 0, 0000},
118         {"noteid", {Qnoteid}, 0, 0664},
119         {"notepg", {Qnotepg}, 0, 0000},
120         {"ns", {Qns}, 0, 0444},
121         {"proc", {Qproc}, 0, 0400},
122         //  {"regs",        {Qregs},    sizeof(Ureg),       0000},
123         {"segment", {Qsegment}, 0, 0444},
124         {"status", {Qstatus}, STATSIZE, 0444},
125         {"strace", {Qstrace}, 0, 0666},
126         {"vmstatus", {Qvmstatus}, 0, 0444},
127         {"text", {Qtext}, 0, 0000},
128         {"wait", {Qwait}, 0, 0400},
129         {"profile", {Qprofile}, 0, 0400},
130         {"syscall", {Qsyscall}, 0, 0400},
131         {"core", {Qcore}, 0, 0444},
132 };
133
134 static
135 struct cmdtab proccmd[] = {
136         {CMclose, "close", 2},
137         {CMclosefiles, "closefiles", 1},
138         {CMfixedpri, "fixedpri", 2},
139         {CMhang, "hang", 1},
140         {CMnohang, "nohang", 1},
141         {CMnoswap, "noswap", 1},
142         {CMkill, "kill", 1},
143         {CMpri, "pri", 2},
144         {CMprivate, "private", 1},
145         {CMprofile, "profile", 1},
146         {CMstart, "start", 1},
147         {CMstartstop, "startstop", 1},
148         {CMstartsyscall, "startsyscall", 1},
149         {CMstop, "stop", 1},
150         {CMwaitstop, "waitstop", 1},
151         {CMwired, "wired", 2},
152         {CMcore, "core", 2},
153         {CMcore, "core", 2},
154         {CMcore, "core", 2},
155         {CMvminit, "vminit", 0},
156         {CMvmstart, "vmstart", 0},
157         {CMvmkill, "vmkill", 0},
158         {CMstraceme, "straceme", 0},
159         {CMstraceall, "straceall", 0},
160         {CMstraceoff, "straceoff", 0},
161 };
162
163 /*
164  * struct qids are, in path:
165  *       5 bits of file type (qids above) (old comment said 4 here)
166  *      23 bits of process slot number + 1 (pid + 1 is stored)
167  *           in vers,
168  *      32 bits of pid, for consistency checking
169  * If notepg, c->pgrpid.path is pgrp slot, .vers is noteid.
170  */
171 #define QSHIFT  5       /* location in qid of proc slot # */
172 #define SLOTBITS 23     /* number of bits in the slot */
173 #define QIDMASK ((1<<QSHIFT)-1)
174 #define SLOTMASK        (((1<<SLOTBITS)-1) << QSHIFT)
175
176 #define QID(q)          ((((uint32_t)(q).path)&QIDMASK)>>0)
177 #define SLOT(q)         (((((uint32_t)(q).path)&SLOTMASK)>>QSHIFT)-1)
178 #define PID(q)          ((q).vers)
179 #define NOTEID(q)       ((q).vers)
180
181 static void procctlreq(struct proc *, char *, int);
182 static int procctlmemio(struct proc *, uintptr_t, int, void *, int);
183 //static struct chan*   proctext(struct chan*, struct proc*);
184 //static Segment* txt2data(struct proc*, Segment*);
185 //static int    procstopped(void*);
186 static void mntscan(struct mntwalk *, struct proc *);
187
188 //static Traceevent *tevents;
189 static char *tpids, *tpidsc, *tpidse;
190 static spinlock_t tlock;
191 static int topens;
192 static int tproduced, tconsumed;
193 //static void notrace(struct proc*, int, int64_t);
194
195 //void (*proctrace)(struct proc*, int, int64_t) = notrace;
196
197 #if 0
198 static void profclock(Ureg * ur, Timer *)
199 {
200         Tos *tos;
201
202         if (up == NULL || current->state != Running)
203                 return;
204
205         /* user profiling clock */
206         if (userureg(ur)) {
207                 tos = (Tos *) (USTKTOP - sizeof(Tos));
208                 tos->clock += TK2MS(1);
209                 segclock(userpc(ur));
210         }
211 }
212 #endif
213 static int
214 procgen(struct chan *c, char *name, struct dirtab *tab, int unused, int s,
215                 struct dir *dp)
216 {
217         struct qid qid;
218         struct proc *p;
219         char *ename;
220
221         int pid;
222         uint32_t path, perm, len;
223         if (s == DEVDOTDOT) {
224                 mkqid(&qid, Qdir, 0, QTDIR);
225                 devdir(c, qid, devname(), 0, eve, 0555, dp);
226                 return 1;
227         }
228
229         if (c->qid.path == Qdir) {
230                 if (s == 0) {
231                         strlcpy(get_cur_genbuf(), "trace", GENBUF_SZ);
232                         mkqid(&qid, Qtrace, -1, QTFILE);
233                         devdir(c, qid, get_cur_genbuf(), 0, eve, 0444, dp);
234                         return 1;
235                 }
236                 if (s == 1) {
237                         strlcpy(get_cur_genbuf(), "tracepids", GENBUF_SZ);
238                         mkqid(&qid, Qtracepids, -1, QTFILE);
239                         devdir(c, qid, get_cur_genbuf(), 0, eve, 0444, dp);
240                         return 1;
241                 }
242                 if (s == 2) {
243                         p = current;
244                         strlcpy(get_cur_genbuf(), "self", GENBUF_SZ);
245                         mkqid(&qid, (p->pid + 1) << QSHIFT, p->pid, QTDIR);
246                         devdir(c, qid, get_cur_genbuf(), 0, p->user, DMDIR | 0555, dp);
247                         return 1;
248                 }
249                 s -= 3;
250                 if (name != NULL) {
251                         /* ignore s and use name to find pid */
252                         pid = strtol(name, &ename, 10);
253                         if (pid <= 0 || ename[0] != '\0')
254                                 return -1;
255                         p = pid2proc(pid);
256                         if (!p)
257                                 return -1;
258                         /* Need to update s, so that it's the correct 'index' for our proc
259                          * (aka, the pid).  We use s later when making the qid. */
260                         s = pid;
261                 } else {
262                         /* This is a shitty iterator, and the list isn't guaranteed to give
263                          * you the same ordering twice in a row. (procs come and go). */
264                         p = pid_nth(s);
265                         if (!p)
266                                 return -1;
267                         pid = p->pid;
268                 }
269
270                 snprintf(get_cur_genbuf(), GENBUF_SZ, "%u", pid);
271                 /*
272                  * String comparison is done in devwalk so
273                  * name must match its formatted pid.
274                  */
275                 if (name != NULL && strcmp(name, get_cur_genbuf()) != 0) {
276                         printk("pid-name mismatch, name: %s, pid %d\n", name, pid);
277                         proc_decref(p);
278                         return -1;
279                 }
280                 mkqid(&qid, (s + 1) << QSHIFT, pid, QTDIR);
281                 devdir(c, qid, get_cur_genbuf(), 0, p->user, DMDIR | 0555, dp);
282                 proc_decref(p);
283                 return 1;
284         }
285         if (c->qid.path == Qtrace) {
286                 strlcpy(get_cur_genbuf(), "trace", GENBUF_SZ);
287                 mkqid(&qid, Qtrace, -1, QTFILE);
288                 devdir(c, qid, get_cur_genbuf(), 0, eve, 0444, dp);
289                 return 1;
290         }
291         if (c->qid.path == Qtracepids) {
292                 strlcpy(get_cur_genbuf(), "tracepids", GENBUF_SZ);
293                 mkqid(&qid, Qtracepids, -1, QTFILE);
294                 devdir(c, qid, get_cur_genbuf(), 0, eve, 0444, dp);
295                 return 1;
296         }
297         if (s >= ARRAY_SIZE(procdir))
298                 return -1;
299         if (tab)
300                 panic("procgen");
301
302         tab = &procdir[s];
303         /* path is everything other than the QID part.  Not sure from the orig code
304          * if they wanted just the pid part (SLOTMASK) or everything above QID */
305         path = c->qid.path & ~QIDMASK;  /* slot component */
306         if ((p = pid2proc(SLOT(c->qid))) == NULL)
307                 return -1;
308         perm = 0444 | tab->perm;
309 #if 0
310         if (perm == 0)
311                 perm = p->procmode;
312         else    /* just copy read bits */
313                 perm |= p->procmode & 0444;
314 #endif
315
316         len = tab->length;
317 #if 0
318         switch (QID(c->qid)) {
319                 case Qwait:
320                         len = p->nwait; /* incorrect size, but >0 means there's something to read */
321                         break;
322                 case Qprofile:
323                         q = p->seg[TSEG];
324                         if (q && q->profile) {
325                                 len = (q->top - q->base) >> LRESPROF;
326                                 len *= sizeof(*q->profile);
327                         }
328                         break;
329         }
330 #endif
331
332         mkqid(&qid, path | tab->qid.path, c->qid.vers, QTFILE);
333         devdir(c, qid, tab->name, len, p->user, perm, dp);
334         proc_decref(p);
335         return 1;
336 }
337
338 #if 0
339 static void notrace(struct proc *, Tevent, int64_t)
340 {
341 }
342
343 static spinlock_t tlck = SPINLOCK_INITIALIZER_IRQSAVE;
344
345 static void _proctrace(struct proc *p, Tevent etype, int64_t ts)
346 {
347         Traceevent *te;
348         int tp;
349
350         ilock(&tlck);
351         if (p->trace == 0 || topens == 0 || tproduced - tconsumed >= Nevents) {
352                 iunlock(&tlck);
353                 return;
354         }
355         tp = tproduced++;
356         iunlock(&tlck);
357
358         te = &tevents[tp & Emask];
359         te->pid = p->pid;
360         te->etype = etype;
361         if (ts == 0)
362                 te->time = todget(NULL);
363         else
364                 te->time = ts;
365         te->core = m->machno;
366 }
367
368 void proctracepid(struct proc *p)
369 {
370         if (p->trace == 1 && proctrace != notrace) {
371                 p->trace = 2;
372                 ilock(&tlck);
373                 tpidsc = seprint(tpidsc, tpidse, "%d %s\n", p->pid, p->text);
374                 iunlock(&tlck);
375         }
376 }
377
378 #endif
379 static void procinit(void)
380 {
381 #if 0
382         if (conf.nproc >= (SLOTMASK >> QSHIFT) - 1)
383                 printd("warning: too many procs for devproc\n");
384         addclock0link((void (*)(void))profclock, 113);  /* Relative prime to HZ */
385 #endif
386 }
387
388 static struct chan *procattach(char *spec)
389 {
390         return devattach(devname(), spec);
391 }
392
393 static struct walkqid *procwalk(struct chan *c, struct chan *nc, char **name,
394                                                                 int nname)
395 {
396         return devwalk(c, nc, name, nname, 0, 0, procgen);
397 }
398
399 static int procstat(struct chan *c, uint8_t * db, int n)
400 {
401         return devstat(c, db, n, 0, 0, procgen);
402 }
403
404 /*
405  *  none can't read or write state on other
406  *  processes.  This is to contain access of
407  *  servers running as none should they be
408  *  subverted by, for example, a stack attack.
409  */
410 static void nonone(struct proc *p)
411 {
412         return;
413 #if 0
414         if (p == up)
415                 return;
416         if (strcmp(current->user, "none") != 0)
417                 return;
418         if (iseve())
419                 return;
420         error(EPERM, ERROR_FIXME);
421 #endif
422 }
423
424 struct bm_helper {
425         void                                            *buf;
426         size_t                                          buflen;
427         size_t                                          sofar;
428 };
429
430 static void get_needed_sz_cb(struct vm_region *vmr, void *arg)
431 {
432         struct bm_helper *bmh = (struct bm_helper*)arg;
433
434         /* ballpark estimate of a line */
435         bmh->buflen += 150;
436 }
437
438 static void build_maps_cb(struct vm_region *vmr, void *arg)
439 {
440         struct bm_helper *bmh = (struct bm_helper*)arg;
441         size_t old_sofar;
442         char path_buf[MAX_FILENAME_SZ];
443         char *path;
444         unsigned long inode_nr;
445
446         if (vmr->vm_file) {
447                 path = file_abs_path(vmr->vm_file, path_buf, sizeof(path_buf));
448                 inode_nr = vmr->vm_file->f_dentry->d_inode->i_ino;
449         } else {
450                 strlcpy(path_buf, "[heap]", sizeof(path_buf));
451                 path = path_buf;
452                 inode_nr = 0;
453         }
454
455         old_sofar = bmh->sofar;
456         bmh->sofar += snprintf(bmh->buf + bmh->sofar, bmh->buflen - bmh->sofar,
457                                "%08lx-%08lx %c%c%c%c %08x %02d:%02d %d ",
458                                vmr->vm_base, vmr->vm_end,
459                                vmr->vm_prot & PROT_READ    ? 'r' : '-',
460                                vmr->vm_prot & PROT_WRITE   ? 'w' : '-',
461                                vmr->vm_prot & PROT_EXEC    ? 'x' : '-',
462                                vmr->vm_flags & MAP_PRIVATE ? 'p' : '-',
463                                vmr->vm_file ? vmr->vm_foff : 0,
464                                vmr->vm_file ? 1 : 0,    /* VFS == 1 for major */
465                                0,
466                                inode_nr);
467         /* Align the filename to the 74th char, like Linux (73 chars so far) */
468         bmh->sofar += snprintf(bmh->buf + bmh->sofar, bmh->buflen - bmh->sofar,
469                                "%*s", 73 - (bmh->sofar - old_sofar), "");
470         bmh->sofar += snprintf(bmh->buf + bmh->sofar, bmh->buflen - bmh->sofar,
471                                "%s\n", path);
472 }
473
474 static struct sized_alloc *build_maps(struct proc *p)
475 {
476         struct bm_helper bmh[1];
477         struct sized_alloc *sza;
478
479         /* Try to figure out the size needed: start with extra space, then add a bit
480          * for each VMR */
481         bmh->buflen = 150;
482         enumerate_vmrs(p, get_needed_sz_cb, bmh);
483         sza = sized_kzmalloc(bmh->buflen, MEM_WAIT);
484         bmh->buf = sza->buf;
485         bmh->sofar = 0;
486         enumerate_vmrs(p, build_maps_cb, bmh);
487         return sza;
488 }
489
490 static struct chan *procopen(struct chan *c, int omode)
491 {
492         ERRSTACK(2);
493         struct proc *p;
494         struct pgrp *pg;
495         struct chan *tc;
496         int pid;
497
498         if (c->qid.type & QTDIR)
499                 return devopen(c, omode, 0, 0, procgen);
500
501         if (QID(c->qid) == Qtrace) {
502                 error(ENOSYS, ERROR_FIXME);
503 #if 0
504                 if (omode != OREAD)
505                         error(EPERM, ERROR_FIXME);
506                 lock(&tlock);
507                 if (waserror()) {
508                         unlock(&tlock);
509                         nexterror();
510                 }
511                 if (topens > 0)
512                         error(EFAIL, "already open");
513                 topens++;
514                 if (tevents == NULL) {
515                         tevents = (Traceevent *) kzmalloc(sizeof(Traceevent) * Nevents,
516                                                                                           MEM_WAIT);
517                         if (tevents == NULL)
518                                 error(ENOMEM, ERROR_FIXME);
519                         tpids = kzmalloc(Ntracedpids * 20, MEM_WAIT);
520                         if (tpids == NULL) {
521                                 kfree(tpids);
522                                 tpids = NULL;
523                                 error(ENOMEM, ERROR_FIXME);
524                         }
525                         tpidsc = tpids;
526                         tpidse = tpids + Ntracedpids * 20;
527                         *tpidsc = 0;
528                         tproduced = tconsumed = 0;
529                 }
530                 proctrace = _proctrace;
531                 poperror();
532                 unlock(&tlock);
533
534                 c->mode = openmode(omode);
535                 c->flag |= COPEN;
536                 c->offset = 0;
537                 return c;
538 #endif
539         }
540         if (QID(c->qid) == Qtracepids) {
541                 error(ENOSYS, ERROR_FIXME);
542 #if 0
543                 if (omode != OREAD)
544                         error(EPERM, ERROR_FIXME);
545                 c->mode = openmode(omode);
546                 c->flag |= COPEN;
547                 c->offset = 0;
548                 return c;
549 #endif
550         }
551         if ((p = pid2proc(SLOT(c->qid))) == NULL)
552                 error(ESRCH, ERROR_FIXME);
553         //qlock(&p->debug);
554         if (waserror()) {
555                 //qunlock(&p->debug);
556                 proc_decref(p);
557                 nexterror();
558         }
559         pid = PID(c->qid);
560         if (p->pid != pid)
561                 error(ESRCH, ERROR_FIXME);
562
563         omode = openmode(omode);
564
565         switch (QID(c->qid)) {
566                 case Qtext:
567                         error(ENOSYS, ERROR_FIXME);
568 /*
569                         if (omode != OREAD)
570                                 error(EPERM, ERROR_FIXME);
571                         tc = proctext(c, p);
572                         tc->offset = 0;
573                         poperror();
574                         qunlock(&p->debug);
575                         proc_decref(p);
576                         cclose(c);
577                         return tc;
578 */
579                 case Qproc:
580                 case Qsegment:
581                 case Qprofile:
582                 case Qfd:
583                         if (omode != O_READ)
584                                 error(EPERM, ERROR_FIXME);
585                         break;
586
587                 case Qnote:
588 //          if (p->privatemem)
589                         error(EPERM, ERROR_FIXME);
590                         break;
591
592                 case Qmem:
593 //          if (p->privatemem)
594                         error(EPERM, ERROR_FIXME);
595                         //nonone(p);
596                         break;
597
598                 case Qargs:
599                 case Qnoteid:
600                 case Qwait:
601                 case Qregs:
602                 case Qfpregs:
603                 case Qkregs:
604                 case Qsyscall:
605                 case Qcore:
606                         nonone(p);
607                         break;
608
609                 case Qns:
610                         if (omode != O_READ)
611                                 error(EPERM, ERROR_FIXME);
612                         c->aux = kzmalloc(sizeof(struct mntwalk), MEM_WAIT);
613                         break;
614                 case Qstatus:
615                 case Qvmstatus:
616                 case Qctl:
617                         break;
618
619                 case Qstrace:
620                         if (!p->strace)
621                                 error(ENOENT, "Process does not have tracing enabled");
622                         /* the ref we are upping is the one we put in __proc_free, which is
623                          * the one we got from CMstrace{on,me}.  We have a ref on p, so we
624                          * know we won't free until we decref the proc. */
625                         kref_get(&p->strace->users, 1);
626                         c->aux = p->strace;
627                         break;
628                 case Qmaps:
629                         c->aux = build_maps(p);
630                         break;
631                 case Qnotepg:
632                         error(ENOSYS, ERROR_FIXME);
633 #if 0
634                         nonone(p);
635                         pg = p->pgrp;
636                         if (pg == NULL)
637                                 error(ESRCH, ERROR_FIXME);
638                         if (omode != OWRITE || pg->pgrpid == 1)
639                                 error(EPERM, ERROR_FIXME);
640                         c->pgrpid.path = pg->pgrpid + 1;
641                         c->pgrpid.vers = p->noteid;
642 #endif
643                         break;
644
645                 default:
646                         printk("procopen %#llux\n", c->qid.path);
647                         error(EINVAL, ERROR_FIXME);
648         }
649
650         /* Affix pid to qid */
651 //  if (p->state != Dead)
652         c->qid.vers = p->pid;
653         /* make sure the process slot didn't get reallocated while we were playing */
654         //coherence();
655         /* TODO: think about what we really want here.  In akaros, we wouldn't have
656          * our pid changed like that. */
657         if (p->pid != pid)
658                 error(ESRCH, ERROR_FIXME);
659
660         tc = devopen(c, omode, 0, 0, procgen);
661         poperror();
662         //qunlock(&p->debug);
663         proc_decref(p);
664         return tc;
665 }
666
667 static int procwstat(struct chan *c, uint8_t * db, int n)
668 {
669         ERRSTACK(2);
670         error(ENOSYS, ERROR_FIXME);
671 #if 0
672         struct proc *p;
673         struct dir *d;
674
675         if (c->qid.type & QTDIR)
676                 error(EPERM, ERROR_FIXME);
677
678         if (QID(c->qid) == Qtrace)
679                 return devwstat(c, db, n);
680
681         if ((p = pid2proc(SLOT(c->qid))) == NULL)
682                 error(ESRCH, ERROR_FIXME);
683         nonone(p);
684         d = NULL;
685         qlock(&p->debug);
686         if (waserror()) {
687                 qunlock(&p->debug);
688                 proc_decref(p);
689                 kfree(d);
690                 nexterror();
691         }
692
693         if (p->pid != PID(c->qid))
694                 error(ESRCH, ERROR_FIXME);
695
696         if (strcmp(current->user, p->user) != 0 && strcmp(current->user, eve) != 0)
697                 error(EPERM, ERROR_FIXME);
698
699         d = kzmalloc(sizeof(struct dir) + n, MEM_WAIT);
700         n = convM2D(db, n, &d[0], (char *)&d[1]);
701         if (n == 0)
702                 error(ENOENT, ERROR_FIXME);
703         if (!emptystr(d->uid) && strcmp(d->uid, p->user) != 0) {
704                 if (strcmp(current->user, eve) != 0)
705                         error(EPERM, ERROR_FIXME);
706                 else
707                         kstrdup(&p->user, d->uid);
708         }
709         if (d->mode != ~0UL)
710                 p->procmode = d->mode & 0777;
711
712         poperror();
713         qunlock(&p->debug);
714         proc_decref(p);
715         kfree(d);
716
717         return n;
718 #endif
719 }
720
721 #if 0
722 static long procoffset(long offset, char *va, int *np)
723 {
724         if (offset > 0) {
725                 offset -= *np;
726                 if (offset < 0) {
727                         memmove(va, va + *np + offset, -offset);
728                         *np = -offset;
729                 } else
730                         *np = 0;
731         }
732         return offset;
733 }
734
735 static int procqidwidth(struct chan *c)
736 {
737         char buf[32];
738
739         return sprint(buf, "%lu", c->qid.vers);
740 }
741
742 int procfdprint(struct chan *c, int fd, int w, char *s, int ns)
743 {
744         int n;
745
746         if (w == 0)
747                 w = procqidwidth(c);
748         n = snprint(s, ns,
749                                 "%3d %.2s %C %4ud (%.16llux %*lud %.2ux) %5ld %8lld %s\n", fd,
750                                 &"r w rw"[(c->mode & 3) << 1], c->dev->dc, c->devno,
751                                 c->qid.path, w, c->qid.vers, c->qid.type, c->iounit, c->offset,
752                                 c->name->s);
753         return n;
754 }
755
756 static int procfds(struct proc *p, char *va, int count, long offset)
757 {
758         ERRSTACK(2);
759         struct fgrp *f;
760         struct chan *c;
761         char buf[256];
762         int n, i, w, ww;
763         char *a;
764
765         /* print to buf to avoid holding fgrp lock while writing to user space */
766         if (count > sizeof buf)
767                 count = sizeof buf;
768         a = buf;
769
770         qlock(&p->debug);
771         f = p->fgrp;
772         if (f == NULL) {
773                 qunlock(&p->debug);
774                 return 0;
775         }
776         lock(f);
777         if (waserror()) {
778                 unlock(f);
779                 qunlock(&p->debug);
780                 nexterror();
781         }
782
783         n = readstr(0, a, count, p->dot->name->s);
784         n += snprint(a + n, count - n, "\n");
785         offset = procoffset(offset, a, &n);
786         /* compute width of qid.path */
787         w = 0;
788         for (i = 0; i <= f->maxfd; i++) {
789                 c = f->fd[i];
790                 if (c == NULL)
791                         continue;
792                 ww = procqidwidth(c);
793                 if (ww > w)
794                         w = ww;
795         }
796         for (i = 0; i <= f->maxfd; i++) {
797                 c = f->fd[i];
798                 if (c == NULL)
799                         continue;
800                 n += procfdprint(c, i, w, a + n, count - n);
801                 offset = procoffset(offset, a, &n);
802         }
803         poperror();
804         unlock(f);
805         qunlock(&p->debug);
806
807         /* copy result to user space, now that locks are released */
808         memmove(va, buf, n);
809
810         return n;
811 }
812 #endif
813 static void procclose(struct chan *c)
814 {
815         if (QID(c->qid) == Qtrace) {
816                 spin_lock(&tlock);
817                 if (topens > 0)
818                         topens--;
819                 /* ??
820                    if(topens == 0)
821                    proctrace = notrace;
822                  */
823                 spin_unlock(&tlock);
824         }
825         if (QID(c->qid) == Qsyscall) {
826                 if (c->aux)
827                         qclose(c->aux);
828                 c->aux = NULL;
829         }
830         if (QID(c->qid) == Qns && c->aux != 0)
831                 kfree(c->aux);
832         if (QID(c->qid) == Qmaps && c->aux != 0)
833                 kfree(c->aux);
834         if (QID(c->qid) == Qstrace && c->aux != 0) {
835                 struct strace *s = c->aux;
836
837                 kref_put(&s->users);
838                 c->aux = NULL;
839         }
840 }
841
842 void int2flag(int flag, char *s)
843 {
844         if (flag == 0) {
845                 *s = '\0';
846                 return;
847         }
848         *s++ = '-';
849         if (flag & MAFTER)
850                 *s++ = 'a';
851         if (flag & MBEFORE)
852                 *s++ = 'b';
853         if (flag & MCREATE)
854                 *s++ = 'c';
855         if (flag & MCACHE)
856                 *s++ = 'C';
857         *s = '\0';
858 }
859
860 #if 0
861 static char *argcpy(char *s, char *p)
862 {
863         char *t, *tp, *te;
864         int n;
865
866         n = p - s;
867         if (n > 128)
868                 n = 128;
869         if (n <= 0) {
870                 t = kzmalloc(1, MEM_WAIT);
871                 *t = 0;
872                 return t;
873         }
874         t = kzmalloc(n, MEM_WAIT);
875         tp = t;
876         te = t + n;
877
878         while (tp + 1 < te) {
879                 for (p--; p > s && p[-1] != 0; p--) ;
880                 tp = seprint(tp, te, "%q ", p);
881                 if (p == s)
882                         break;
883         }
884         if (*tp == ' ')
885                 *tp = 0;
886         return t;
887 }
888
889 static int procargs(struct proc *p, char *buf, int nbuf)
890 {
891         char *s;
892
893         if (p->setargs == 0) {
894                 s = argcpy(p->args, p->args + p->nargs);
895                 kfree(p->args);
896                 p->nargs = strlen(s);
897                 p->args = s;
898                 p->setargs = 1;
899         }
900         return snprint(buf, nbuf, "%s", p->args);
901 }
902
903 static int eventsavailable(void *)
904 {
905         return tproduced > tconsumed;
906 }
907 #endif
908
909 static long procread(struct chan *c, void *va, long n, int64_t off)
910 {
911         ERRSTACK(1);
912         struct proc *p;
913         long l, r;
914         int i, j, navail, pid, rsize;
915         char flag[10], *sps, *srv;
916         uintptr_t offset, u;
917         int tesz;
918         uint8_t *rptr;
919         struct mntwalk *mw;
920         struct strace *s;
921         struct sized_alloc *sza;
922
923         if (c->qid.type & QTDIR) {
924                 int nn;
925                 printd("procread: dir\n");
926                 nn = devdirread(c, va, n, 0, 0, procgen);
927                 printd("procread: %d\n", nn);
928                 return nn;
929         }
930
931         offset = off;
932         /* Some shit in proc doesn't need to grab the reference.  For strace, we
933          * already have the chan open, and all we want to do is read the queue,
934          * which exists because of our kref on it. */
935         switch (QID(c->qid)) {
936                 case Qstrace:
937                         s = c->aux;
938                         n = qread(s->q, va, n);
939                         return n;
940         }
941
942         if ((p = pid2proc(SLOT(c->qid))) == NULL)
943                 error(ESRCH, "%d: no such process", SLOT(c->qid));
944         if (p->pid != PID(c->qid)) {
945                 proc_decref(p);
946                 error(ESRCH, "weird: p->pid is %d, PID(c->qid) is %d: mismatch",
947                       p->pid, PID(c->qid));
948         }
949         switch (QID(c->qid)) {
950                 default:
951                         proc_decref(p);
952                         break;
953                 case Qstatus:{
954                                 /* the old code grew the stack and was hideous.
955                                  * status is not a high frequency operation; just malloc. */
956                                 char *buf = kmalloc(4096, MEM_WAIT);
957                                 char *s = buf, *e = buf + 4096;
958                                 int i;
959
960                                 s = seprintf(s, e,
961                                          "%8d %-*s %-10s %6d", p->pid, PROC_PROGNAME_SZ,
962                                          p->progname, procstate2str(p->state),
963                                          p->ppid);
964                                 if (p->strace)
965                                         s = seprintf(s, e, " %d trace users %d traced procs",
966                                                      kref_refcnt(&p->strace->users),
967                                                      kref_refcnt(&p->strace->procs));
968                                 proc_decref(p);
969                                 i = readstr(off, va, n, buf);
970                                 kfree(buf);
971                                 return i;
972                         }
973
974                 case Qvmstatus:
975                         {
976                                 size_t buflen = 50 * 65 + 2;
977                                 char *buf = kmalloc(buflen, MEM_WAIT);
978                                 int i, offset;
979                                 offset = 0;
980                                 offset += snprintf(buf + offset, buflen - offset, "{\n");
981                                 for (i = 0; i < 65; i++) {
982                                         if (p->vmm.vmexits[i] != 0) {
983                                                 offset += snprintf(buf + offset, buflen - offset,
984                                                                    "\"%s\":\"%lld\",\n",
985                                                                    VMX_EXIT_REASON_NAMES[i],
986                                                                    p->vmm.vmexits[i]);
987                                         }
988                                 }
989                                 offset += snprintf(buf + offset, buflen - offset, "}\n");
990                                 proc_decref(p);
991                                 n = readstr(off, va, n, buf);
992                                 kfree(buf);
993                                 return n;
994                         }
995                 case Qns:
996                         //qlock(&p->debug);
997                         if (waserror()) {
998                                 //qunlock(&p->debug);
999                                 proc_decref(p);
1000                                 nexterror();
1001                         }
1002                         if (p->pgrp == NULL || p->pid != PID(c->qid))
1003                                 error(ESRCH, ERROR_FIXME);
1004                         mw = c->aux;
1005                         if (mw->cddone) {
1006                                 poperror();
1007                                 //qunlock(&p->debug);
1008                                 proc_decref(p);
1009                                 return 0;
1010                         }
1011                         mntscan(mw, p);
1012                         if (mw->mh == 0) {
1013                                 mw->cddone = 1;
1014                                 i = snprintf(va, n, "cd %s\n", p->dot->name->s);
1015                                 poperror();
1016                                 //qunlock(&p->debug);
1017                                 proc_decref(p);
1018                                 return i;
1019                         }
1020                         int2flag(mw->cm->mflag, flag);
1021                         if (strcmp(mw->cm->to->name->s, "#M") == 0) {
1022                                 srv = srvname(mw->cm->to->mchan);
1023                                 i = snprintf(va, n, "mount %s %s %s %s\n", flag,
1024                                                          srv == NULL ? mw->cm->to->mchan->name->s : srv,
1025                                                          mw->mh->from->name->s,
1026                                                          mw->cm->spec ? mw->cm->spec : "");
1027                                 kfree(srv);
1028                         } else
1029                                 i = snprintf(va, n, "bind %s %s %s\n", flag,
1030                                                          mw->cm->to->name->s, mw->mh->from->name->s);
1031                         poperror();
1032                         //qunlock(&p->debug);
1033                         proc_decref(p);
1034                         return i;
1035                 case Qmaps:
1036                         sza = c->aux;
1037                         i = readmem(off, va, n, sza->buf, sza->size);
1038                         proc_decref(p);
1039                         return i;
1040         }
1041         error(EINVAL, "QID %d did not match any QIDs for #proc", QID(c->qid));
1042         return 0;       /* not reached */
1043 }
1044
1045 static void mntscan(struct mntwalk *mw, struct proc *p)
1046 {
1047         struct pgrp *pg;
1048         struct mount *t;
1049         struct mhead *f;
1050         int best, i, last, nxt;
1051
1052         pg = p->pgrp;
1053         rlock(&pg->ns);
1054
1055         nxt = 0;
1056         best = (int)(~0U >> 1); /* largest 2's complement int */
1057
1058         last = 0;
1059         if (mw->mh)
1060                 last = mw->cm->mountid;
1061
1062         for (i = 0; i < MNTHASH; i++) {
1063                 for (f = pg->mnthash[i]; f; f = f->hash) {
1064                         for (t = f->mount; t; t = t->next) {
1065                                 if (mw->mh == 0 || (t->mountid > last && t->mountid < best)) {
1066                                         mw->cm = t;
1067                                         mw->mh = f;
1068                                         best = mw->cm->mountid;
1069                                         nxt = 1;
1070                                 }
1071                         }
1072                 }
1073         }
1074         if (nxt == 0)
1075                 mw->mh = 0;
1076
1077         runlock(&pg->ns);
1078 }
1079
1080 static long procwrite(struct chan *c, void *va, long n, int64_t off)
1081 {
1082         ERRSTACK(2);
1083
1084         struct proc *p, *t;
1085         int i, id, l;
1086         char *args;
1087         uintptr_t offset;
1088
1089         if (c->qid.type & QTDIR)
1090                 error(EISDIR, ERROR_FIXME);
1091
1092         if ((p = pid2proc(SLOT(c->qid))) == NULL)
1093                 error(ESRCH, ERROR_FIXME);
1094
1095         if (waserror()) {
1096                 proc_decref(p);
1097                 nexterror();
1098         }
1099         if (p->pid != PID(c->qid))
1100                 error(ESRCH, ERROR_FIXME);
1101
1102         offset = off;
1103
1104         switch (QID(c->qid)) {
1105 #if 0
1106                 case Qargs:
1107                         if (n == 0)
1108                                 error(EINVAL, ERROR_FIXME);
1109                         if (n >= sizeof buf - strlen(p->text) - 1)
1110                                 error(E2BIG, ERROR_FIXME);
1111                         l = snprintf(buf, sizeof buf, "%s [%s]", p->text, (char *)va);
1112                         args = kzmalloc(l + 1, MEM_WAIT);
1113                         if (args == NULL)
1114                                 error(ENOMEM, ERROR_FIXME);
1115                         memmove(args, buf, l);
1116                         args[l] = 0;
1117                         kfree(p->args);
1118                         p->nargs = l;
1119                         p->args = args;
1120                         p->setargs = 1;
1121                         break;
1122
1123                 case Qmem:
1124                         if (p->state != Stopped)
1125                                 error(EINVAL, ERROR_FIXME);
1126
1127                         n = procctlmemio(p, offset, n, va, 0);
1128                         break;
1129
1130                 case Qregs:
1131                         if (offset >= sizeof(Ureg))
1132                                 n = 0;
1133                         else if (offset + n > sizeof(Ureg))
1134                                 n = sizeof(Ureg) - offset;
1135                         if (p->dbgreg == 0)
1136                                 error(ENODATA, ERROR_FIXME);
1137                         setregisters(p->dbgreg, (char *)(p->dbgreg) + offset, va, n);
1138                         break;
1139
1140                 case Qfpregs:
1141                         n = fpudevprocio(p, va, n, offset, 1);
1142                         break;
1143 #endif
1144                 case Qctl:
1145                         procctlreq(p, va, n);
1146                         break;
1147
1148                 /* this lets your write a marker into the data stream,
1149                  * which is a very powerful tool. */
1150                 case Qstrace:
1151                         assert(c->aux);
1152                         /* it is possible that the q hungup and is closed.  that would be
1153                          * the case if all of the procs closed and decref'd.  if the q is
1154                          * closed, qwrite() will throw an error. */
1155                         n = qwrite(((struct strace*)c->aux)->q, va, n);
1156                         break;
1157                 default:
1158                         error(EFAIL, "unknown qid %#llux in procwrite\n", c->qid.path);
1159         }
1160         poperror();
1161         proc_decref(p);
1162         return n;
1163 }
1164
1165 struct dev procdevtab __devtab = {
1166         .name = "proc",
1167
1168         .reset = devreset,
1169         .init = procinit,
1170         .shutdown = devshutdown,
1171         .attach = procattach,
1172         .walk = procwalk,
1173         .stat = procstat,
1174         .open = procopen,
1175         .create = devcreate,
1176         .close = procclose,
1177         .read = procread,
1178         .bread = devbread,
1179         .write = procwrite,
1180         .bwrite = devbwrite,
1181         .remove = devremove,
1182         .wstat = procwstat,
1183         .power = devpower,
1184         .chaninfo = devchaninfo,
1185 };
1186
1187 #if 0
1188 static struct chan *proctext(struct chan *c, struct proc *p)
1189 {
1190         ERRSTACK(2);
1191         struct chan *tc;
1192         Image *i;
1193         Segment *s;
1194
1195         s = p->seg[TSEG];
1196         if (s == 0)
1197                 error(ENOENT, ERROR_FIXME);
1198         if (p->state == Dead)
1199                 error(ESRCH, ERROR_FIXME);
1200
1201         lock(s);
1202         i = s->image;
1203         if (i == 0) {
1204                 unlock(s);
1205                 error(ESRCH, ERROR_FIXME);
1206         }
1207         unlock(s);
1208
1209         lock(i);
1210         if (waserror()) {
1211                 unlock(i);
1212                 nexterror();
1213         }
1214
1215         tc = i->c;
1216         if (tc == 0)
1217                 error(ESRCH, ERROR_FIXME);
1218
1219         /* TODO: what do you want here?  you can't get a kref and have the new val
1220          * be 1.  Here is the old code: if (kref_get(&tc->ref, 1) == 1 || ... ) */
1221         if (kref_refcnt(&tc->ref, 1) == 1 || (tc->flag & COPEN) == 0
1222                 || tc->mode != OREAD) {
1223                 cclose(tc);
1224                 error(ESRCH, ERROR_FIXME);
1225         }
1226
1227         if (p->pid != PID(c->qid)) {
1228                 cclose(tc);
1229                 error(ESRCH, ERROR_FIXME);
1230         }
1231
1232         poperror();
1233         unlock(i);
1234
1235         return tc;
1236 }
1237
1238 /* TODO: this will fail at compile time, since we don't have a proc-wide rendez,
1239  * among other things, and we'll need to rewrite this for akaros */
1240 void procstopwait(struct proc *p, int ctl)
1241 {
1242         ERRSTACK(2);
1243         int pid;
1244
1245         if (p->pdbg)
1246                 error(EBUSY, ERROR_FIXME);
1247         if (procstopped(p) || p->state == Broken)
1248                 return;
1249
1250         if (ctl != 0)
1251                 p->procctl = ctl;
1252         p->pdbg = up;
1253         pid = p->pid;
1254         qunlock(&p->debug);
1255         current->psstate = "Stopwait";
1256         if (waserror()) {
1257                 p->pdbg = 0;
1258                 qlock(&p->debug);
1259                 nexterror();
1260         }
1261         rendez_sleep(&current->sleep, procstopped, p);
1262         poperror();
1263         qlock(&p->debug);
1264         if (p->pid != pid)
1265                 error(ESRCH, ERROR_FIXME);
1266 }
1267
1268 #endif
1269 static void procctlcloseone(struct proc *p, int fd)
1270 {
1271 // TODO: resolve this and sys_close
1272         struct file *file = get_file_from_fd(&p->open_files, fd);
1273         int retval = 0;
1274         printd("%s %d\n", __func__, fd);
1275         /* VFS */
1276         if (file) {
1277                 put_file_from_fd(&p->open_files, fd);
1278                 kref_put(&file->f_kref);        /* Drop the ref from get_file */
1279                 return;
1280         }
1281         /* 9ns, should also handle errors (bad FD, etc) */
1282         retval = sysclose(fd);
1283         return;
1284
1285         //sys_close(p, fd);
1286 }
1287
1288 void procctlclosefiles(struct proc *p, int all, int fd)
1289 {
1290         int i;
1291
1292         if (all)
1293                 for (i = 0; i < NR_FILE_DESC_MAX; i++)
1294                         procctlcloseone(p, i);
1295         else
1296                 procctlcloseone(p, fd);
1297 }
1298
1299 static void strace_shutdown(struct kref *a)
1300 {
1301         struct strace *strace = container_of(a, struct strace, procs);
1302         static const char base_msg[] = "Traced ~%lu syscs, Dropped %lu";
1303         size_t msg_len = NUMSIZE64 * 2 + sizeof(base_msg);
1304         char *msg = kmalloc(msg_len, 0);
1305
1306         if (msg)
1307                 snprintf(msg, msg_len, base_msg, strace->appx_nr_sysc,
1308                          atomic_read(&strace->nr_drops));
1309         qhangup(strace->q, msg);
1310         kfree(msg);
1311 }
1312
1313 static void strace_release(struct kref *a)
1314 {
1315         struct strace *strace = container_of(a, struct strace, users);
1316
1317         qfree(strace->q);
1318         kfree(strace);
1319 }
1320
1321 static void procctlreq(struct proc *p, char *va, int n)
1322 {
1323         ERRSTACK(1);
1324         int8_t irq_state = 0;
1325         int npc, pri, core;
1326         struct cmdbuf *cb;
1327         struct cmdtab *ct;
1328         int64_t time;
1329         char *e;
1330         struct strace *strace;
1331
1332         cb = parsecmd(va, n);
1333         if (waserror()) {
1334                 kfree(cb);
1335                 nexterror();
1336         }
1337
1338         ct = lookupcmd(cb, proccmd, ARRAY_SIZE(proccmd));
1339
1340         switch (ct->index) {
1341         case CMstraceall:
1342         case CMstraceme:
1343                 /* common allocation.  if we inherited, we might have one already */
1344                 if (!p->strace) {
1345                         strace = kzmalloc(sizeof(*p->strace), MEM_WAIT);
1346                         strace->q = qopen(65536, Qdropoverflow|Qcoalesce, NULL, NULL);
1347                         /* both of these refs are put when the proc is freed.  procs is for
1348                          * every process that has this p->strace.  users is procs + every
1349                          * user (e.g. from open()).
1350                          *
1351                          * it is possible to kref_put the procs kref in proc_destroy, which
1352                          * would make strace's job easier (no need to do an async wait on
1353                          * the child), and we wouldn't need to decref p in
1354                          * procread(Qstrace).  But the downside is that proc_destroy races
1355                          * with us here with the kref initialization. */
1356                         kref_init(&strace->procs, strace_shutdown, 1);
1357                         kref_init(&strace->users, strace_release, 1);
1358                         if (!atomic_cas_ptr((void**)&p->strace, 0, strace)) {
1359                                 /* someone else won the race and installed strace. */
1360                                 qfree(strace->q);
1361                                 kfree(strace);
1362                                 error(EAGAIN, "Concurrent strace init, try again");
1363                         }
1364                 }
1365                 break;
1366         }
1367
1368         /* actually do the command. */
1369         switch (ct->index) {
1370         case CMvmstart:
1371         case CMvmkill:
1372         default:
1373                 error(EFAIL, "Command not implemented");
1374                 break;
1375         case CMclose:
1376                 procctlclosefiles(p, 0, atoi(cb->f[1]));
1377                 break;
1378         case CMclosefiles:
1379                 procctlclosefiles(p, 1, 0);
1380                 break;
1381 #if 0
1382                 we may want this.Let us pause a proc.case CMhang:p->hang = 1;
1383                 break;
1384 #endif
1385         case CMkill:
1386                 p = pid2proc(strtol(cb->f[1], 0, 0));
1387                 if (!p)
1388                         error(EFAIL, "No such proc\n");
1389
1390                 enable_irqsave(&irq_state);
1391                 proc_destroy(p);
1392                 disable_irqsave(&irq_state);
1393                 proc_decref(p);
1394                 /* this is a little ghetto. it's not fully free yet, but we are also
1395                  * slowing it down by messing with it, esp with the busy waiting on a
1396                  * hyperthreaded core. */
1397                 spin_on(p->env_cr3);
1398                 break;
1399         case CMvminit:
1400                 break;
1401         case CMstraceme:
1402                 p->strace_on = TRUE;
1403                 p->strace_inherit = FALSE;
1404                 break;
1405         case CMstraceall:
1406                 p->strace_on = TRUE;
1407                 p->strace_inherit = TRUE;
1408                 break;
1409         case CMstraceoff:
1410                 p->strace_on = FALSE;
1411                 p->strace_inherit = FALSE;
1412                 break;
1413         }
1414         poperror();
1415         kfree(cb);
1416 }
1417
1418 #if 0
1419 static int procstopped(void *a)
1420 {
1421         struct proc *p = a;
1422         return p->state == Stopped;
1423 }
1424
1425 static int
1426 procctlmemio(struct proc *p, uintptr_t offset, int n, void *va, int read)
1427 {
1428         KMap *k;
1429         Pte *pte;
1430         Page *pg;
1431         Segment *s;
1432         uintptr_t soff, l;                      /* hmmmm */
1433         uint8_t *b;
1434         uintmem pgsz;
1435
1436         for (;;) {
1437                 s = seg(p, offset, 1);
1438                 if (s == 0)
1439                         error(EINVAL, ERROR_FIXME);
1440
1441                 if (offset + n >= s->top)
1442                         n = s->top - offset;
1443
1444                 if (!read && (s->type & SG_TYPE) == SG_TEXT)
1445                         s = txt2data(p, s);
1446
1447                 s->steal++;
1448                 soff = offset - s->base;
1449                 if (waserror()) {
1450                         s->steal--;
1451                         nexterror();
1452                 }
1453                 if (fixfault(s, offset, read, 0, s->color) == 0)
1454                         break;
1455                 poperror();
1456                 s->steal--;
1457         }
1458         poperror();
1459         pte = s->map[soff / PTEMAPMEM];
1460         if (pte == 0)
1461                 panic("procctlmemio");
1462         pgsz = m->pgsz[s->pgszi];
1463         pg = pte->pages[(soff & (PTEMAPMEM - 1)) / pgsz];
1464         if (pagedout(pg))
1465                 panic("procctlmemio1");
1466
1467         l = pgsz - (offset & (pgsz - 1));
1468         if (n > l)
1469                 n = l;
1470
1471         k = kmap(pg);
1472         if (waserror()) {
1473                 s->steal--;
1474                 kunmap(k);
1475                 nexterror();
1476         }
1477         b = (uint8_t *) VA(k);
1478         b += offset & (pgsz - 1);
1479         if (read == 1)
1480                 memmove(va, b, n);      /* This can fault */
1481         else
1482                 memmove(b, va, n);
1483         poperror();
1484         kunmap(k);
1485
1486         /* Ensure the process sees text page changes */
1487         if (s->flushme)
1488                 memset(pg->cachectl, PG_TXTFLUSH, sizeof(pg->cachectl));
1489
1490         s->steal--;
1491
1492         if (read == 0)
1493                 p->newtlb = 1;
1494
1495         return n;
1496 }
1497
1498 static Segment *txt2data(struct proc *p, Segment * s)
1499 {
1500         int i;
1501         Segment *ps;
1502
1503         ps = newseg(SG_DATA, s->base, s->size);
1504         ps->image = s->image;
1505         kref_get(&ps->image->ref, 1);
1506         ps->fstart = s->fstart;
1507         ps->flen = s->flen;
1508         ps->flushme = 1;
1509
1510         qlock(&p->seglock);
1511         for (i = 0; i < NSEG; i++)
1512                 if (p->seg[i] == s)
1513                         break;
1514         if (i == NSEG)
1515                 panic("segment gone");
1516
1517         qunlock(&s->lk);
1518         putseg(s);
1519         qlock(&ps->lk);
1520         p->seg[i] = ps;
1521         qunlock(&p->seglock);
1522
1523         return ps;
1524 }
1525
1526 Segment *data2txt(Segment * s)
1527 {
1528         Segment *ps;
1529
1530         ps = newseg(SG_TEXT, s->base, s->size);
1531         ps->image = s->image;
1532         kref_get(&ps->image->ref, 1);
1533         ps->fstart = s->fstart;
1534         ps->flen = s->flen;
1535         ps->flushme = 1;
1536
1537         return ps;
1538 }
1539 #endif