perf: Fix the perf.data file output
[akaros.git] / tools / profile / perf / perfconv.c
1 /* Copyright (c) 2015-2016 Google Inc
2  * Davide Libenzi <dlibenzi@google.com>
3  * Barret Rhoden <brho@cs.berkeley.edu>
4  *
5  * See LICENSE for details.
6  *
7  * Converts kprof profiler files into Linux perf ones. The Linux Perf file
8  * format has bee illustrated here:
9  *
10  *       https://lwn.net/Articles/644919/
11  *       https://openlab-mu-internal.web.cern.ch/openlab-mu-internal/03_Documents/
12  *                       3_Technical_Documents/Technical_Reports/2011/Urs_Fassler_report.pdf
13  *
14  */
15
16 #include <ros/common.h>
17 #include <ros/memops.h>
18 #include <ros/profiler_records.h>
19 #include <sys/types.h>
20 #include <sys/stat.h>
21 #include <stdio.h>
22 #include <stdlib.h>
23 #include <stdint.h>
24 #include <unistd.h>
25 #include <string.h>
26 #include <errno.h>
27 #include <stdarg.h>
28 #include "perf_format.h"
29 #include "xlib.h"
30 #include "perf_core.h"
31 #include "perfconv.h"
32
33 #define MAX_PERF_RECORD_SIZE (32 * 1024 * 1024)
34 #define PERF_RECORD_BUFFER_SIZE 1024
35 #define OFFSET_NORELOC ((uint64_t) -1)
36 #define MEMFILE_BLOCK_SIZE (64 * 1024)
37
38 #define MBWR_SOLID (1 << 0)
39
40 struct perf_record {
41         uint64_t type;
42         uint64_t size;
43         char *data;
44         char buffer[PERF_RECORD_BUFFER_SIZE];
45 };
46
47 static void dbg_print(struct perfconv_context *cctx, int level, FILE *file,
48                                           const char *fmt, ...)
49 {
50         if (cctx->debug_level >= level) {
51                 va_list args;
52
53                 va_start(args, fmt);
54                 vfprintf(file, fmt, args);
55                 va_end(args);
56         }
57 }
58
59 void perfconv_set_dbglevel(int level, struct perfconv_context *cctx)
60 {
61         cctx->debug_level = level;
62 }
63
64 static void free_record(struct perf_record *pr)
65 {
66         if (pr->data != pr->buffer)
67                 free(pr->data);
68         pr->data = NULL;
69 }
70
71 static int read_record(FILE *file, struct perf_record *pr)
72 {
73         if (vb_fdecode_uint64(file, &pr->type) == EOF ||
74                 vb_fdecode_uint64(file, &pr->size) == EOF)
75                 return EOF;
76         if (pr->size > MAX_PERF_RECORD_SIZE) {
77                 fprintf(stderr, "Invalid record size: type=%lu size=%lu\n", pr->type,
78                                 pr->size);
79                 exit(1);
80         }
81         if (pr->size > sizeof(pr->buffer))
82                 pr->data = xmalloc((size_t) pr->size);
83         else
84                 pr->data = pr->buffer;
85         if (fread(pr->data, 1, (size_t) pr->size, file) != (size_t) pr->size) {
86                 fprintf(stderr, "Unable to read record memory: size=%lu\n",
87                                 pr->size);
88                 return EOF;
89         }
90
91         return 0;
92 }
93
94 static struct mem_block *mem_block_alloc(struct mem_file *mf, size_t size)
95 {
96         struct mem_block *mb = xmem_arena_alloc(mf->ma,
97                                                                                         sizeof(struct mem_block) + size);
98
99         mb->next = NULL;
100         mb->base = mb->wptr = (char *) mb + sizeof(struct mem_block);
101         mb->top = mb->base + size;
102
103         return mb;
104 }
105
106 static char *mem_block_write(struct mem_block *mb, const void *data,
107                                                          size_t size)
108 {
109         char *wrbase = mb->wptr;
110
111         always_assert(size <= mb->top - mb->wptr);
112
113         memcpy(mb->wptr, data, size);
114         mb->wptr += size;
115
116         return wrbase;
117 }
118
119 static void mem_file_init(struct mem_file *mf, struct mem_arena *ma)
120 {
121         ZERO_DATA(*mf);
122         mf->ma = ma;
123 }
124
125 static int mem_block_can_write(struct mem_block *mb, size_t size, int flags)
126 {
127         size_t space = mb->top - mb->wptr;
128
129         return (flags & MBWR_SOLID) ? (space >= size) : (space > 0);
130 }
131
132 static void *mem_file_write(struct mem_file *mf, const void *data, size_t size,
133                                                         int flags)
134 {
135         void *wrbase = NULL;
136
137         while (size > 0) {
138                 size_t space, csize;
139                 struct mem_block *mb = mf->tail;
140
141                 if (!mb || !mem_block_can_write(mb, size, flags)) {
142                         mb = mem_block_alloc(mf, max(MEMFILE_BLOCK_SIZE, size));
143                         if (!mf->tail)
144                                 mf->head = mb;
145                         else
146                                 mf->tail->next = mb;
147                         mf->tail = mb;
148                 }
149                 space = mb->top - mb->wptr;
150                 csize = min(size, space);
151
152                 wrbase = mem_block_write(mb, data, csize);
153                 mf->size += csize;
154
155                 size -= csize;
156                 data = (const char *) data + csize;
157         }
158
159         return wrbase;
160 }
161
162 static void mem_file_sync(struct mem_file *mf, FILE *file, uint64_t rel_offset)
163 {
164         struct mem_block *mb;
165
166         if (rel_offset != 0) {
167                 struct mem_file_reloc *rel;
168
169                 always_assert(!mf->relocs || rel_offset != OFFSET_NORELOC);
170
171                 for (rel = mf->relocs; rel; rel = rel->next)
172                         *rel->ptr += rel_offset;
173         }
174
175         for (mb = mf->head; mb; mb = mb->next)
176                 xfwrite(mb->base, mb->wptr - mb->base, file);
177 }
178
179 static struct mem_file_reloc *mem_file_add_reloc(struct mem_file *mf,
180                                                                                                  uint64_t *ptr)
181 {
182         struct mem_file_reloc *rel =
183                 xmem_arena_zalloc(mf->ma, sizeof(struct mem_file_reloc));
184
185         rel->ptr = ptr;
186         rel->next = mf->relocs;
187         mf->relocs = rel;
188
189         return rel;
190 }
191
192 void perfconv_add_kernel_mmap(struct perfconv_context *cctx)
193 {
194         char path[] = "[kernel.kallsyms]";
195         struct static_mmap64 *mm;
196
197         mm = xmem_arena_zalloc(&cctx->ma, sizeof(struct static_mmap64));
198         mm->pid = -1;                           /* Linux HOST_KERNEL_ID == -1 */
199         mm->tid = 0;                            /* Default thread: swapper */
200         mm->header_misc = PERF_RECORD_MISC_KERNEL;
201         /* Linux sets addr = 0, size = 0xffffffff9fffffff, off = 0xffffffff81000000
202          * Their mmap record is also called [kernel.kallsyms]_text (I think).  They
203          * also have a _text symbol in kallsyms at ffffffff81000000 (equiv to our
204          * KERN_LOAD_ADDR (which is 0xffffffffc0000000)).  Either way, this seems to
205          * work for us; we'll see.  It's also arch-independent (for now). */
206         mm->addr = 0;
207         mm->size = 0xffffffffffffffff;
208         mm->offset = 0x0;
209         mm->path = xmem_arena_strdup(&cctx->ma, path);
210
211         mm->next = cctx->static_mmaps;
212         cctx->static_mmaps = mm;
213 }
214
215 static void headers_init(struct perf_headers *hdrs)
216 {
217         ZERO_DATA(*hdrs);
218 }
219
220 static void headers_add_header(struct perf_header *ph,
221                                struct perf_headers *hdrs, size_t nhdr,
222                                                            struct mem_block *mb)
223 {
224         always_assert(nhdr < HEADER_FEAT_BITS);
225
226         hdrs->headers[nhdr] = mb;
227         set_bitno(ph->adds_features, nhdr);
228 }
229
230 static void headers_finalize(struct perf_headers *hdrs, struct mem_file *mf)
231 {
232         struct perf_file_section *header_file_secs, *file_sec;
233         struct perf_file_section *file_sec_reloc;
234         size_t nr_hdrs = 0;
235         size_t hdr_off;
236         struct mem_block *mb;
237         size_t mb_sz;
238
239         /* For each header, we need a perf_file_section.  These header file sections
240          * are right after the main perf header, and they point to actual header. */
241         for (int i = 0; i < HEADER_FEAT_BITS; i++)
242                 if (hdrs->headers[i])
243                         nr_hdrs++;
244         if (!nr_hdrs)
245                 return;
246         header_file_secs = xmalloc(sizeof(struct perf_file_section) * nr_hdrs);
247
248         hdr_off = sizeof(struct perf_file_section) * nr_hdrs;
249         file_sec = header_file_secs;
250
251         /* Spit out the perf_file_sections first and track relocations for all of
252          * the offsets. */
253         for (int i = 0; i < HEADER_FEAT_BITS; i++) {
254                 mb = hdrs->headers[i];
255                 if (!mb)
256                         continue;
257                 mb_sz = mb->wptr - mb->base;
258                 file_sec->size = mb_sz;
259                 file_sec->offset = hdr_off;             /* offset rel to this memfile */
260                 /* When we sync the memfile, we'll need to relocate each of the offsets
261                  * so that they are relative to the final file.   mem_file_write()
262                  * should be returning the location of where it wrote our file section
263                  * within the memfile.  that's the offset that we'll reloc later. */
264                 file_sec_reloc = mem_file_write(mf, file_sec,
265                                                 sizeof(struct perf_file_section), 0);
266                 assert(file_sec->size == file_sec_reloc->size);
267                 assert(file_sec->offset == file_sec_reloc->offset);
268                 mem_file_add_reloc(mf, &file_sec_reloc->offset);
269
270                 hdr_off += mb_sz;
271                 file_sec++;
272         }
273         free(header_file_secs);
274
275         /* Spit out the actual headers */
276         for (int i = 0; i < HEADER_FEAT_BITS; i++) {
277                 mb = hdrs->headers[i];
278                 if (!mb)
279                         continue;
280                 mem_file_write(mf, mb->base, mb->wptr - mb->base, 0);
281         }
282 }
283
284 static void perf_header_init(struct perf_header *ph)
285 {
286         ZERO_DATA(*ph);
287         ph->magic = PERF_MAGIC2;
288         ph->size = sizeof(*ph);
289         ph->attr_size = sizeof(struct perf_event_attr);
290 }
291
292 /* For each attr we emit, we push out the attr, then a perf_file_section for the
293  * id(s) for that attr.  This wasn't mentioned in
294  * https://lwn.net/Articles/644919/, but it's what Linux perf expects
295  * (util/header.c).  It looks like you can have multiple IDs per event attr.
296  * We'll only emit one.  The *contents* of the perf_file_section for the ids
297  * aren't in the attr perf_file_section, they are in a separate one
298  * (attr_id_mf).
299  *
300  * Note that *attr_mf*'s relocs are relative to the base of *attr_id_mf*, which
301  * we'll need to sort out later. */
302 static void emit_attr(struct mem_file *attr_mf, struct mem_file *attr_id_mf,
303                       const struct perf_event_attr *attr, uint64_t id)
304 {
305         struct perf_file_section *psids;
306         struct perf_file_section sids;
307
308         mem_file_write(attr_mf, attr, sizeof(*attr), 0);
309
310         sids.offset = attr_id_mf->size;
311         sids.size = sizeof(uint64_t);
312         mem_file_write(attr_id_mf, &id, sizeof(uint64_t), 0);
313
314         psids = mem_file_write(attr_mf, &sids, sizeof(sids), MBWR_SOLID);
315         mem_file_add_reloc(attr_mf, &psids->offset);
316 }
317
318 /* Given raw_info, which is what the kernel sends as user_data for a particular
319  * sample, look up the 'id' for the event/sample.  The 'id' identifies the event
320  * stream that the sample is a part of.  There are many samples per event
321  * stream, all identified by 'id.'  It doesn't matter what 'id', so long as it
322  * is unique.  We happen to use the pointer to the sample's eventsel.
323  *
324  * If this is the first time we've seen 'raw_info', we'll also add an attribute
325  * to the perf ctx.  There is one attr per 'id' / event stream. */
326 static uint64_t perfconv_get_event_id(struct perfconv_context *cctx,
327                                                                           uint64_t raw_info)
328 {
329         struct perf_eventsel *sel = (struct perf_eventsel*)raw_info;
330         struct perf_event_attr attr;
331         uint64_t raw_event;
332
333         assert(sel);
334         if (sel->attr_emitted)
335                 return raw_info;
336         raw_event = sel->ev.event;
337         ZERO_DATA(attr);
338         attr.size = sizeof(attr);
339         attr.mmap = 1;
340         attr.comm = 1;
341         attr.sample_period = sel->ev.trigger_count;
342         /* Closely coupled with struct perf_record_sample */
343         attr.sample_type = PERF_SAMPLE_IP | PERF_SAMPLE_TID | PERF_SAMPLE_TIME |
344                            PERF_SAMPLE_ADDR | PERF_SAMPLE_ID | PERF_SAMPLE_CPU |
345                            PERF_SAMPLE_CALLCHAIN;
346         attr.exclude_guest = 1; /* we can't trace VMs yet */
347         attr.exclude_hv = 1;    /* we aren't tracing our hypervisor, AFAIK */
348         attr.exclude_user = !PMEV_GET_USR(raw_event);
349         attr.exclude_kernel = !PMEV_GET_OS(raw_event);
350         attr.type = sel->type;
351         attr.config = sel->config;
352         emit_attr(&cctx->attrs, &cctx->attr_ids, &attr, raw_info);
353         sel->attr_emitted = TRUE;
354         return raw_info;
355 }
356
357 static void emit_static_mmaps(struct perfconv_context *cctx)
358 {
359         struct static_mmap64 *mm;
360
361         for (mm = cctx->static_mmaps; mm; mm = mm->next) {
362                 size_t size = sizeof(struct perf_record_mmap) + strlen(mm->path) + 1;
363                 struct perf_record_mmap *xrec = xzmalloc(size);
364
365                 xrec->header.type = PERF_RECORD_MMAP;
366                 xrec->header.misc = mm->header_misc;
367                 xrec->header.size = size;
368                 xrec->pid = mm->pid;
369                 xrec->tid = mm->tid;
370                 xrec->addr = mm->addr;
371                 xrec->len = mm->size;
372                 xrec->pgoff = mm->offset;
373                 strcpy(xrec->filename, mm->path);
374
375                 mem_file_write(&cctx->data, xrec, size, 0);
376
377                 free(xrec);
378         }
379 }
380
381 static void emit_comm(uint32_t pid, const char *comm,
382                                           struct perfconv_context *cctx)
383 {
384         size_t size = sizeof(struct perf_record_comm) + strlen(comm) + 1;
385         struct perf_record_comm *xrec = xzmalloc(size);
386
387         xrec->header.type = PERF_RECORD_COMM;
388         xrec->header.misc = PERF_RECORD_MISC_USER;
389         xrec->header.size = size;
390         xrec->pid = xrec->tid = pid;
391         strcpy(xrec->comm, comm);
392
393         mem_file_write(&cctx->data, xrec, size, 0);
394
395         free(xrec);
396 }
397
398 static void emit_pid_mmap64(struct perf_record *pr,
399                                                         struct perfconv_context *cctx)
400 {
401         struct proftype_pid_mmap64 *rec = (struct proftype_pid_mmap64 *) pr->data;
402         size_t size = sizeof(struct perf_record_mmap) +
403                       strlen((char*)rec->path) + 1;
404         struct perf_record_mmap *xrec = xzmalloc(size);
405
406         xrec->header.type = PERF_RECORD_MMAP;
407         xrec->header.misc = PERF_RECORD_MISC_USER;
408         xrec->header.size = size;
409         xrec->pid = xrec->tid = rec->pid;
410         xrec->addr = rec->addr;
411         xrec->len = rec->size;
412         xrec->pgoff = rec->offset;
413         strcpy(xrec->filename, (char*)rec->path);
414
415         mem_file_write(&cctx->data, xrec, size, 0);
416
417         free(xrec);
418 }
419
420 static void emit_kernel_trace64(struct perf_record *pr,
421                                                                 struct perfconv_context *cctx)
422 {
423         struct proftype_kern_trace64 *rec = (struct proftype_kern_trace64 *)
424                 pr->data;
425         size_t size = sizeof(struct perf_record_sample) +
426                 (rec->num_traces - 1) * sizeof(uint64_t);
427         struct perf_record_sample *xrec = xzmalloc(size);
428
429         xrec->header.type = PERF_RECORD_SAMPLE;
430         xrec->header.misc = PERF_RECORD_MISC_KERNEL;
431         xrec->header.size = size;
432         xrec->ip = rec->trace[0];
433         /* TODO: We could have pid/tid for kernel tasks during their lifetime.
434          * During syscalls, we could use the pid of the process.  For the kernel
435          * itself, -1 seems to be generic kernel stuff, and tid == 0 is 'swapper'.
436          *
437          * Right now, the kernel doesn't even tell us the pid, so we have no way of
438          * knowing from userspace. */
439         xrec->pid = -1;
440         xrec->tid = 0;
441         xrec->time = rec->tstamp;
442         xrec->addr = rec->trace[0];
443         xrec->id = perfconv_get_event_id(cctx, rec->info);
444         xrec->cpu = rec->cpu;
445         xrec->nr = rec->num_traces - 1;
446         memcpy(xrec->ips, rec->trace + 1, (rec->num_traces - 1) * sizeof(uint64_t));
447
448         mem_file_write(&cctx->data, xrec, size, 0);
449
450         free(xrec);
451 }
452
453 static void emit_user_trace64(struct perf_record *pr,
454                                                           struct perfconv_context *cctx)
455 {
456         struct proftype_user_trace64 *rec = (struct proftype_user_trace64 *)
457                 pr->data;
458         size_t size = sizeof(struct perf_record_sample) +
459                 (rec->num_traces - 1) * sizeof(uint64_t);
460         struct perf_record_sample *xrec = xzmalloc(size);
461
462         xrec->header.type = PERF_RECORD_SAMPLE;
463         xrec->header.misc = PERF_RECORD_MISC_USER;
464         xrec->header.size = size;
465         xrec->ip = rec->trace[0];
466         xrec->pid = xrec->tid = rec->pid;
467         xrec->time = rec->tstamp;
468         xrec->addr = rec->trace[0];
469         xrec->id = perfconv_get_event_id(cctx, rec->info);
470         xrec->cpu = rec->cpu;
471         xrec->nr = rec->num_traces - 1;
472         memcpy(xrec->ips, rec->trace + 1, (rec->num_traces - 1) * sizeof(uint64_t));
473
474         mem_file_write(&cctx->data, xrec, size, 0);
475
476         free(xrec);
477 }
478
479 static void emit_new_process(struct perf_record *pr,
480                                                          struct perfconv_context *cctx)
481 {
482         struct proftype_new_process *rec = (struct proftype_new_process *) pr->data;
483         const char *comm = strrchr((char*)rec->path, '/');
484
485         if (!comm)
486                 comm = (char*)rec->path;
487         else
488                 comm++;
489         emit_comm(rec->pid, comm, cctx);
490 }
491
492 struct perfconv_context *perfconv_create_context(struct perf_context *pctx)
493 {
494         struct perfconv_context *cctx = xzmalloc(sizeof(struct perfconv_context));
495
496         cctx->pctx = pctx;
497         xmem_arena_init(&cctx->ma, 0);
498         perf_header_init(&cctx->ph);
499         headers_init(&cctx->hdrs);
500         mem_file_init(&cctx->fhdrs, &cctx->ma);
501         mem_file_init(&cctx->attr_ids, &cctx->ma);
502         mem_file_init(&cctx->attrs, &cctx->ma);
503         mem_file_init(&cctx->data, &cctx->ma);
504         /* event_types is ignored in newer versions of perf */
505         mem_file_init(&cctx->event_types, &cctx->ma);
506
507         return cctx;
508 }
509
510 void perfconv_free_context(struct perfconv_context *cctx)
511 {
512         if (cctx) {
513                 xmem_arena_destroy(&cctx->ma);
514                 free(cctx);
515         }
516 }
517
518 void perfconv_process_input(struct perfconv_context *cctx, FILE *input,
519                                                         FILE *output)
520 {
521         size_t processed_records = 0;
522         uint64_t offset;
523         uint64_t attr_ids_off = sizeof(cctx->ph);
524         struct perf_record pr;
525
526         emit_static_mmaps(cctx);
527
528         while (read_record(input, &pr) == 0) {
529                 dbg_print(cctx, 8, stderr, "Valid record: type=%lu size=%lu\n",
530                                   pr.type, pr.size);
531
532                 processed_records++;
533
534                 switch (pr.type) {
535                 case PROFTYPE_KERN_TRACE64:
536                         emit_kernel_trace64(&pr, cctx);
537                         break;
538                 case PROFTYPE_USER_TRACE64:
539                         emit_user_trace64(&pr, cctx);
540                         break;
541                 case PROFTYPE_PID_MMAP64:
542                         emit_pid_mmap64(&pr, cctx);
543                         break;
544                 case PROFTYPE_NEW_PROCESS:
545                         emit_new_process(&pr, cctx);
546                         break;
547                 default:
548                         fprintf(stderr, "Unknown record: type=%lu size=%lu\n", pr.type,
549                                         pr.size);
550                         processed_records--;
551                 }
552
553                 free_record(&pr);
554         }
555
556
557
558         /* Add all of the headers before outputting ph */
559
560         headers_finalize(&cctx->hdrs, &cctx->fhdrs);
561
562         /* attrs, events, and data will come after attr_ids. */
563         offset = sizeof(cctx->ph) + cctx->attr_ids.size;
564
565         /* These are the perf_file_sections in the main perf header.  We need this
566          * sorted out before we emit the PH. */
567         cctx->ph.event_types.offset = offset;
568         cctx->ph.event_types.size = cctx->event_types.size;
569         offset += cctx->event_types.size;
570
571         cctx->ph.attrs.offset = offset;
572         cctx->ph.attrs.size = cctx->attrs.size;
573         offset += cctx->attrs.size;
574
575         cctx->ph.data.offset = offset;
576         cctx->ph.data.size = cctx->data.size;
577         offset += cctx->data.size;
578
579         xfwrite(&cctx->ph, sizeof(cctx->ph), output);
580
581         /* attr_ids comes right after the cctx->ph.  We need to put it before
582          * attrs, since attrs needs to know the offset of the base of attrs_ids for
583          * its relocs. */
584         assert(ftell(output) == attr_ids_off);
585         mem_file_sync(&cctx->attr_ids, output, OFFSET_NORELOC);
586         mem_file_sync(&cctx->event_types, output, OFFSET_NORELOC);
587         /* reloc is based off *attr_ids* base */
588         mem_file_sync(&cctx->attrs, output, attr_ids_off);
589         /* Keep data last, so we can append the feature headers.*/
590         mem_file_sync(&cctx->data, output, OFFSET_NORELOC);
591         /* The feature headers must be right after the data section.  I didn't see
592          * anything in the ABI about this, but Linux's perf has this line:
593          *
594          *              ph->feat_offset  = header->data.offset + header->data.size;
595          */
596         mem_file_sync(&cctx->fhdrs, output,
597                       cctx->ph.data.offset + cctx->ph.data.size);
598
599         dbg_print(cctx, 2, stderr, "Conversion succeeded: %lu records converted\n",
600                           processed_records);
601 }