perf: Remove the xmem_arena allocator
[akaros.git] / tools / profile / perf / perfconv.c
1 /* Copyright (c) 2015-2016 Google Inc
2  * Davide Libenzi <dlibenzi@google.com>
3  * Barret Rhoden <brho@cs.berkeley.edu>
4  *
5  * See LICENSE for details.
6  *
7  * Converts kprof profiler files into Linux perf ones. The Linux Perf file
8  * format has bee illustrated here:
9  *
10  *       https://lwn.net/Articles/644919/
11  *       https://openlab-mu-internal.web.cern.ch/openlab-mu-internal/03_Documents/
12  *                       3_Technical_Documents/Technical_Reports/2011/Urs_Fassler_report.pdf
13  *
14  */
15
16 #include <ros/common.h>
17 #include <ros/memops.h>
18 #include <ros/profiler_records.h>
19 #include <sys/types.h>
20 #include <sys/stat.h>
21 #include <stdio.h>
22 #include <stdlib.h>
23 #include <stdint.h>
24 #include <unistd.h>
25 #include <string.h>
26 #include <errno.h>
27 #include <stdarg.h>
28 #include "perf_format.h"
29 #include "xlib.h"
30 #include "perf_core.h"
31 #include "perfconv.h"
32
33 #define MAX_PERF_RECORD_SIZE (32 * 1024 * 1024)
34 #define PERF_RECORD_BUFFER_SIZE 1024
35 #define OFFSET_NORELOC ((uint64_t) -1)
36 #define MEMFILE_BLOCK_SIZE (64 * 1024)
37
38 #define MBWR_SOLID (1 << 0)
39
40 struct perf_record {
41         uint64_t type;
42         uint64_t size;
43         char *data;
44         char buffer[PERF_RECORD_BUFFER_SIZE];
45 };
46
47 static void dbg_print(struct perfconv_context *cctx, int level, FILE *file,
48                                           const char *fmt, ...)
49 {
50         if (cctx->debug_level >= level) {
51                 va_list args;
52
53                 va_start(args, fmt);
54                 vfprintf(file, fmt, args);
55                 va_end(args);
56         }
57 }
58
59 void perfconv_set_dbglevel(int level, struct perfconv_context *cctx)
60 {
61         cctx->debug_level = level;
62 }
63
64 static void free_record(struct perf_record *pr)
65 {
66         if (pr->data != pr->buffer)
67                 free(pr->data);
68         pr->data = NULL;
69 }
70
71 static int read_record(FILE *file, struct perf_record *pr)
72 {
73         if (vb_fdecode_uint64(file, &pr->type) == EOF ||
74                 vb_fdecode_uint64(file, &pr->size) == EOF)
75                 return EOF;
76         if (pr->size > MAX_PERF_RECORD_SIZE) {
77                 fprintf(stderr, "Invalid record size: type=%lu size=%lu\n", pr->type,
78                                 pr->size);
79                 exit(1);
80         }
81         if (pr->size > sizeof(pr->buffer))
82                 pr->data = xmalloc((size_t) pr->size);
83         else
84                 pr->data = pr->buffer;
85         if (fread(pr->data, 1, (size_t) pr->size, file) != (size_t) pr->size) {
86                 fprintf(stderr, "Unable to read record memory: size=%lu\n",
87                                 pr->size);
88                 return EOF;
89         }
90
91         return 0;
92 }
93
94 static struct mem_block *mem_block_alloc(size_t size)
95 {
96         struct mem_block *mb = xmalloc(sizeof(struct mem_block) + size);
97
98         mb->next = NULL;
99         mb->base = mb->wptr = (char *) mb + sizeof(struct mem_block);
100         mb->top = mb->base + size;
101
102         return mb;
103 }
104
105 static char *mem_block_write(struct mem_block *mb, const void *data,
106                                                          size_t size)
107 {
108         char *wrbase = mb->wptr;
109
110         always_assert(size <= mb->top - mb->wptr);
111
112         memcpy(mb->wptr, data, size);
113         mb->wptr += size;
114
115         return wrbase;
116 }
117
118 static void mem_file_init(struct mem_file *mf)
119 {
120         ZERO_DATA(*mf);
121 }
122
123 static int mem_block_can_write(struct mem_block *mb, size_t size, int flags)
124 {
125         size_t space = mb->top - mb->wptr;
126
127         return (flags & MBWR_SOLID) ? (space >= size) : (space > 0);
128 }
129
130 static void *mem_file_write(struct mem_file *mf, const void *data, size_t size,
131                                                         int flags)
132 {
133         void *wrbase = NULL;
134
135         while (size > 0) {
136                 size_t space, csize;
137                 struct mem_block *mb = mf->tail;
138
139                 if (!mb || !mem_block_can_write(mb, size, flags)) {
140                         mb = mem_block_alloc(max(MEMFILE_BLOCK_SIZE, size));
141                         if (!mf->tail)
142                                 mf->head = mb;
143                         else
144                                 mf->tail->next = mb;
145                         mf->tail = mb;
146                 }
147                 space = mb->top - mb->wptr;
148                 csize = min(size, space);
149
150                 wrbase = mem_block_write(mb, data, csize);
151                 mf->size += csize;
152
153                 size -= csize;
154                 data = (const char *) data + csize;
155         }
156
157         return wrbase;
158 }
159
160 static void mem_file_sync(struct mem_file *mf, FILE *file, uint64_t rel_offset)
161 {
162         struct mem_block *mb;
163
164         if (rel_offset != 0) {
165                 struct mem_file_reloc *rel;
166
167                 always_assert(!mf->relocs || rel_offset != OFFSET_NORELOC);
168
169                 for (rel = mf->relocs; rel; rel = rel->next)
170                         *rel->ptr += rel_offset;
171         }
172
173         for (mb = mf->head; mb; mb = mb->next)
174                 xfwrite(mb->base, mb->wptr - mb->base, file);
175 }
176
177 static struct mem_file_reloc *mem_file_add_reloc(struct mem_file *mf,
178                                                                                                  uint64_t *ptr)
179 {
180         struct mem_file_reloc *rel = xzmalloc(sizeof(struct mem_file_reloc));
181
182         rel->ptr = ptr;
183         rel->next = mf->relocs;
184         mf->relocs = rel;
185
186         return rel;
187 }
188
189 void perfconv_add_kernel_mmap(struct perfconv_context *cctx)
190 {
191         char path[] = "[kernel.kallsyms]";
192         struct static_mmap64 *mm;
193
194         mm = xzmalloc(sizeof(struct static_mmap64));
195         mm->pid = -1;                           /* Linux HOST_KERNEL_ID == -1 */
196         mm->tid = 0;                            /* Default thread: swapper */
197         mm->header_misc = PERF_RECORD_MISC_KERNEL;
198         /* Linux sets addr = 0, size = 0xffffffff9fffffff, off = 0xffffffff81000000
199          * Their mmap record is also called [kernel.kallsyms]_text (I think).  They
200          * also have a _text symbol in kallsyms at ffffffff81000000 (equiv to our
201          * KERN_LOAD_ADDR (which is 0xffffffffc0000000)).  Either way, this seems to
202          * work for us; we'll see.  It's also arch-independent (for now). */
203         mm->addr = 0;
204         mm->size = 0xffffffffffffffff;
205         mm->offset = 0x0;
206         mm->path = xstrdup(path);
207
208         mm->next = cctx->static_mmaps;
209         cctx->static_mmaps = mm;
210 }
211
212 static void headers_init(struct perf_headers *hdrs)
213 {
214         ZERO_DATA(*hdrs);
215 }
216
217 static void headers_add_header(struct perf_header *ph,
218                                struct perf_headers *hdrs, size_t nhdr,
219                                                            struct mem_block *mb)
220 {
221         always_assert(nhdr < HEADER_FEAT_BITS);
222
223         hdrs->headers[nhdr] = mb;
224         set_bitno(ph->adds_features, nhdr);
225 }
226
227 static void headers_finalize(struct perf_headers *hdrs, struct mem_file *mf)
228 {
229         struct perf_file_section *header_file_secs, *file_sec;
230         struct perf_file_section *file_sec_reloc;
231         size_t nr_hdrs = 0;
232         size_t hdr_off;
233         struct mem_block *mb;
234         size_t mb_sz;
235
236         /* For each header, we need a perf_file_section.  These header file sections
237          * are right after the main perf header, and they point to actual header. */
238         for (int i = 0; i < HEADER_FEAT_BITS; i++)
239                 if (hdrs->headers[i])
240                         nr_hdrs++;
241         if (!nr_hdrs)
242                 return;
243         header_file_secs = xmalloc(sizeof(struct perf_file_section) * nr_hdrs);
244
245         hdr_off = sizeof(struct perf_file_section) * nr_hdrs;
246         file_sec = header_file_secs;
247
248         /* Spit out the perf_file_sections first and track relocations for all of
249          * the offsets. */
250         for (int i = 0; i < HEADER_FEAT_BITS; i++) {
251                 mb = hdrs->headers[i];
252                 if (!mb)
253                         continue;
254                 mb_sz = mb->wptr - mb->base;
255                 file_sec->size = mb_sz;
256                 file_sec->offset = hdr_off;             /* offset rel to this memfile */
257                 /* When we sync the memfile, we'll need to relocate each of the offsets
258                  * so that they are relative to the final file.   mem_file_write()
259                  * should be returning the location of where it wrote our file section
260                  * within the memfile.  that's the offset that we'll reloc later. */
261                 file_sec_reloc = mem_file_write(mf, file_sec,
262                                                 sizeof(struct perf_file_section), 0);
263                 assert(file_sec->size == file_sec_reloc->size);
264                 assert(file_sec->offset == file_sec_reloc->offset);
265                 mem_file_add_reloc(mf, &file_sec_reloc->offset);
266
267                 hdr_off += mb_sz;
268                 file_sec++;
269         }
270         free(header_file_secs);
271
272         /* Spit out the actual headers */
273         for (int i = 0; i < HEADER_FEAT_BITS; i++) {
274                 mb = hdrs->headers[i];
275                 if (!mb)
276                         continue;
277                 mem_file_write(mf, mb->base, mb->wptr - mb->base, 0);
278         }
279 }
280
281 static void perf_header_init(struct perf_header *ph)
282 {
283         ZERO_DATA(*ph);
284         ph->magic = PERF_MAGIC2;
285         ph->size = sizeof(*ph);
286         ph->attr_size = sizeof(struct perf_event_attr);
287 }
288
289 /* For each attr we emit, we push out the attr, then a perf_file_section for the
290  * id(s) for that attr.  This wasn't mentioned in
291  * https://lwn.net/Articles/644919/, but it's what Linux perf expects
292  * (util/header.c).  It looks like you can have multiple IDs per event attr.
293  * We'll only emit one.  The *contents* of the perf_file_section for the ids
294  * aren't in the attr perf_file_section, they are in a separate one
295  * (attr_id_mf).
296  *
297  * Note that *attr_mf*'s relocs are relative to the base of *attr_id_mf*, which
298  * we'll need to sort out later. */
299 static void emit_attr(struct mem_file *attr_mf, struct mem_file *attr_id_mf,
300                       const struct perf_event_attr *attr, uint64_t id)
301 {
302         struct perf_file_section *psids;
303         struct perf_file_section sids;
304
305         mem_file_write(attr_mf, attr, sizeof(*attr), 0);
306
307         sids.offset = attr_id_mf->size;
308         sids.size = sizeof(uint64_t);
309         mem_file_write(attr_id_mf, &id, sizeof(uint64_t), 0);
310
311         psids = mem_file_write(attr_mf, &sids, sizeof(sids), MBWR_SOLID);
312         mem_file_add_reloc(attr_mf, &psids->offset);
313 }
314
315 /* Given raw_info, which is what the kernel sends as user_data for a particular
316  * sample, look up the 'id' for the event/sample.  The 'id' identifies the event
317  * stream that the sample is a part of.  There are many samples per event
318  * stream, all identified by 'id.'  It doesn't matter what 'id', so long as it
319  * is unique.  We happen to use the pointer to the sample's eventsel.
320  *
321  * If this is the first time we've seen 'raw_info', we'll also add an attribute
322  * to the perf ctx.  There is one attr per 'id' / event stream. */
323 static uint64_t perfconv_get_event_id(struct perfconv_context *cctx,
324                                                                           uint64_t raw_info)
325 {
326         struct perf_eventsel *sel = (struct perf_eventsel*)raw_info;
327         struct perf_event_attr attr;
328         uint64_t raw_event;
329
330         assert(sel);
331         if (sel->attr_emitted)
332                 return raw_info;
333         raw_event = sel->ev.event;
334         ZERO_DATA(attr);
335         attr.size = sizeof(attr);
336         attr.mmap = 1;
337         attr.comm = 1;
338         attr.sample_period = sel->ev.trigger_count;
339         /* Closely coupled with struct perf_record_sample */
340         attr.sample_type = PERF_SAMPLE_IP | PERF_SAMPLE_TID | PERF_SAMPLE_TIME |
341                            PERF_SAMPLE_ADDR | PERF_SAMPLE_ID | PERF_SAMPLE_CPU |
342                            PERF_SAMPLE_CALLCHAIN;
343         attr.exclude_guest = 1; /* we can't trace VMs yet */
344         attr.exclude_hv = 1;    /* we aren't tracing our hypervisor, AFAIK */
345         attr.exclude_user = !PMEV_GET_USR(raw_event);
346         attr.exclude_kernel = !PMEV_GET_OS(raw_event);
347         attr.type = sel->type;
348         attr.config = sel->config;
349         emit_attr(&cctx->attrs, &cctx->attr_ids, &attr, raw_info);
350         sel->attr_emitted = TRUE;
351         return raw_info;
352 }
353
354 static void emit_static_mmaps(struct perfconv_context *cctx)
355 {
356         struct static_mmap64 *mm;
357
358         for (mm = cctx->static_mmaps; mm; mm = mm->next) {
359                 size_t size = sizeof(struct perf_record_mmap) + strlen(mm->path) + 1;
360                 struct perf_record_mmap *xrec = xzmalloc(size);
361
362                 xrec->header.type = PERF_RECORD_MMAP;
363                 xrec->header.misc = mm->header_misc;
364                 xrec->header.size = size;
365                 xrec->pid = mm->pid;
366                 xrec->tid = mm->tid;
367                 xrec->addr = mm->addr;
368                 xrec->len = mm->size;
369                 xrec->pgoff = mm->offset;
370                 strcpy(xrec->filename, mm->path);
371
372                 mem_file_write(&cctx->data, xrec, size, 0);
373
374                 free(xrec);
375         }
376 }
377
378 static void emit_comm(uint32_t pid, const char *comm,
379                                           struct perfconv_context *cctx)
380 {
381         size_t size = sizeof(struct perf_record_comm) + strlen(comm) + 1;
382         struct perf_record_comm *xrec = xzmalloc(size);
383
384         xrec->header.type = PERF_RECORD_COMM;
385         xrec->header.misc = PERF_RECORD_MISC_USER;
386         xrec->header.size = size;
387         xrec->pid = xrec->tid = pid;
388         strcpy(xrec->comm, comm);
389
390         mem_file_write(&cctx->data, xrec, size, 0);
391
392         free(xrec);
393 }
394
395 static void emit_pid_mmap64(struct perf_record *pr,
396                                                         struct perfconv_context *cctx)
397 {
398         struct proftype_pid_mmap64 *rec = (struct proftype_pid_mmap64 *) pr->data;
399         size_t size = sizeof(struct perf_record_mmap) +
400                       strlen((char*)rec->path) + 1;
401         struct perf_record_mmap *xrec = xzmalloc(size);
402
403         xrec->header.type = PERF_RECORD_MMAP;
404         xrec->header.misc = PERF_RECORD_MISC_USER;
405         xrec->header.size = size;
406         xrec->pid = xrec->tid = rec->pid;
407         xrec->addr = rec->addr;
408         xrec->len = rec->size;
409         xrec->pgoff = rec->offset;
410         strcpy(xrec->filename, (char*)rec->path);
411
412         mem_file_write(&cctx->data, xrec, size, 0);
413
414         free(xrec);
415 }
416
417 static void emit_kernel_trace64(struct perf_record *pr,
418                                                                 struct perfconv_context *cctx)
419 {
420         struct proftype_kern_trace64 *rec = (struct proftype_kern_trace64 *)
421                 pr->data;
422         size_t size = sizeof(struct perf_record_sample) +
423                 (rec->num_traces - 1) * sizeof(uint64_t);
424         struct perf_record_sample *xrec = xzmalloc(size);
425
426         xrec->header.type = PERF_RECORD_SAMPLE;
427         xrec->header.misc = PERF_RECORD_MISC_KERNEL;
428         xrec->header.size = size;
429         xrec->ip = rec->trace[0];
430         /* TODO: We could have pid/tid for kernel tasks during their lifetime.
431          * During syscalls, we could use the pid of the process.  For the kernel
432          * itself, -1 seems to be generic kernel stuff, and tid == 0 is 'swapper'.
433          *
434          * Right now, the kernel doesn't even tell us the pid, so we have no way of
435          * knowing from userspace. */
436         xrec->pid = -1;
437         xrec->tid = 0;
438         xrec->time = rec->tstamp;
439         xrec->addr = rec->trace[0];
440         xrec->id = perfconv_get_event_id(cctx, rec->info);
441         xrec->cpu = rec->cpu;
442         xrec->nr = rec->num_traces - 1;
443         memcpy(xrec->ips, rec->trace + 1, (rec->num_traces - 1) * sizeof(uint64_t));
444
445         mem_file_write(&cctx->data, xrec, size, 0);
446
447         free(xrec);
448 }
449
450 static void emit_user_trace64(struct perf_record *pr,
451                                                           struct perfconv_context *cctx)
452 {
453         struct proftype_user_trace64 *rec = (struct proftype_user_trace64 *)
454                 pr->data;
455         size_t size = sizeof(struct perf_record_sample) +
456                 (rec->num_traces - 1) * sizeof(uint64_t);
457         struct perf_record_sample *xrec = xzmalloc(size);
458
459         xrec->header.type = PERF_RECORD_SAMPLE;
460         xrec->header.misc = PERF_RECORD_MISC_USER;
461         xrec->header.size = size;
462         xrec->ip = rec->trace[0];
463         xrec->pid = xrec->tid = rec->pid;
464         xrec->time = rec->tstamp;
465         xrec->addr = rec->trace[0];
466         xrec->id = perfconv_get_event_id(cctx, rec->info);
467         xrec->cpu = rec->cpu;
468         xrec->nr = rec->num_traces - 1;
469         memcpy(xrec->ips, rec->trace + 1, (rec->num_traces - 1) * sizeof(uint64_t));
470
471         mem_file_write(&cctx->data, xrec, size, 0);
472
473         free(xrec);
474 }
475
476 static void emit_new_process(struct perf_record *pr,
477                                                          struct perfconv_context *cctx)
478 {
479         struct proftype_new_process *rec = (struct proftype_new_process *) pr->data;
480         const char *comm = strrchr((char*)rec->path, '/');
481
482         if (!comm)
483                 comm = (char*)rec->path;
484         else
485                 comm++;
486         emit_comm(rec->pid, comm, cctx);
487 }
488
489 struct perfconv_context *perfconv_create_context(struct perf_context *pctx)
490 {
491         struct perfconv_context *cctx = xzmalloc(sizeof(struct perfconv_context));
492
493         cctx->pctx = pctx;
494         perf_header_init(&cctx->ph);
495         headers_init(&cctx->hdrs);
496         mem_file_init(&cctx->fhdrs);
497         mem_file_init(&cctx->attr_ids);
498         mem_file_init(&cctx->attrs);
499         mem_file_init(&cctx->data);
500         /* event_types is ignored in newer versions of perf */
501         mem_file_init(&cctx->event_types);
502
503         return cctx;
504 }
505
506 void perfconv_free_context(struct perfconv_context *cctx)
507 {
508         if (cctx)
509                 free(cctx);
510 }
511
512 void perfconv_process_input(struct perfconv_context *cctx, FILE *input,
513                                                         FILE *output)
514 {
515         size_t processed_records = 0;
516         uint64_t offset;
517         uint64_t attr_ids_off = sizeof(cctx->ph);
518         struct perf_record pr;
519
520         emit_static_mmaps(cctx);
521
522         while (read_record(input, &pr) == 0) {
523                 dbg_print(cctx, 8, stderr, "Valid record: type=%lu size=%lu\n",
524                                   pr.type, pr.size);
525
526                 processed_records++;
527
528                 switch (pr.type) {
529                 case PROFTYPE_KERN_TRACE64:
530                         emit_kernel_trace64(&pr, cctx);
531                         break;
532                 case PROFTYPE_USER_TRACE64:
533                         emit_user_trace64(&pr, cctx);
534                         break;
535                 case PROFTYPE_PID_MMAP64:
536                         emit_pid_mmap64(&pr, cctx);
537                         break;
538                 case PROFTYPE_NEW_PROCESS:
539                         emit_new_process(&pr, cctx);
540                         break;
541                 default:
542                         fprintf(stderr, "Unknown record: type=%lu size=%lu\n", pr.type,
543                                         pr.size);
544                         processed_records--;
545                 }
546
547                 free_record(&pr);
548         }
549
550
551
552         /* Add all of the headers before outputting ph */
553
554         headers_finalize(&cctx->hdrs, &cctx->fhdrs);
555
556         /* attrs, events, and data will come after attr_ids. */
557         offset = sizeof(cctx->ph) + cctx->attr_ids.size;
558
559         /* These are the perf_file_sections in the main perf header.  We need this
560          * sorted out before we emit the PH. */
561         cctx->ph.event_types.offset = offset;
562         cctx->ph.event_types.size = cctx->event_types.size;
563         offset += cctx->event_types.size;
564
565         cctx->ph.attrs.offset = offset;
566         cctx->ph.attrs.size = cctx->attrs.size;
567         offset += cctx->attrs.size;
568
569         cctx->ph.data.offset = offset;
570         cctx->ph.data.size = cctx->data.size;
571         offset += cctx->data.size;
572
573         xfwrite(&cctx->ph, sizeof(cctx->ph), output);
574
575         /* attr_ids comes right after the cctx->ph.  We need to put it before
576          * attrs, since attrs needs to know the offset of the base of attrs_ids for
577          * its relocs. */
578         assert(ftell(output) == attr_ids_off);
579         mem_file_sync(&cctx->attr_ids, output, OFFSET_NORELOC);
580         mem_file_sync(&cctx->event_types, output, OFFSET_NORELOC);
581         /* reloc is based off *attr_ids* base */
582         mem_file_sync(&cctx->attrs, output, attr_ids_off);
583         /* Keep data last, so we can append the feature headers.*/
584         mem_file_sync(&cctx->data, output, OFFSET_NORELOC);
585         /* The feature headers must be right after the data section.  I didn't see
586          * anything in the ABI about this, but Linux's perf has this line:
587          *
588          *              ph->feat_offset  = header->data.offset + header->data.size;
589          */
590         mem_file_sync(&cctx->fhdrs, output,
591                       cctx->ph.data.offset + cctx->ph.data.size);
592
593         dbg_print(cctx, 2, stderr, "Conversion succeeded: %lu records converted\n",
594                           processed_records);
595 }