perf: Use PERF_SAMPLE_IDENTIFIER
[akaros.git] / tools / profile / perf / perfconv.c
index 7bed726..fdcd2f5 100644 (file)
@@ -29,6 +29,7 @@
 #include "xlib.h"
 #include "perf_core.h"
 #include "perfconv.h"
 #include "xlib.h"
 #include "perf_core.h"
 #include "perfconv.h"
+#include "elf.h"
 
 #define MAX_PERF_RECORD_SIZE (32 * 1024 * 1024)
 #define PERF_RECORD_BUFFER_SIZE 1024
 
 #define MAX_PERF_RECORD_SIZE (32 * 1024 * 1024)
 #define PERF_RECORD_BUFFER_SIZE 1024
@@ -37,6 +38,8 @@
 
 #define MBWR_SOLID (1 << 0)
 
 
 #define MBWR_SOLID (1 << 0)
 
+char *cmd_line_save;
+
 struct perf_record {
        uint64_t type;
        uint64_t size;
 struct perf_record {
        uint64_t type;
        uint64_t size;
@@ -91,10 +94,9 @@ static int read_record(FILE *file, struct perf_record *pr)
        return 0;
 }
 
        return 0;
 }
 
-static struct mem_block *mem_block_alloc(struct mem_file *mf, size_t size)
+static struct mem_block *mem_block_alloc(size_t size)
 {
 {
-       struct mem_block *mb = xmem_arena_alloc(mf->ma,
-                                                                                       sizeof(struct mem_block) + size);
+       struct mem_block *mb = xmalloc(sizeof(struct mem_block) + size);
 
        mb->next = NULL;
        mb->base = mb->wptr = (char *) mb + sizeof(struct mem_block);
 
        mb->next = NULL;
        mb->base = mb->wptr = (char *) mb + sizeof(struct mem_block);
@@ -116,10 +118,9 @@ static char *mem_block_write(struct mem_block *mb, const void *data,
        return wrbase;
 }
 
        return wrbase;
 }
 
-static void mem_file_init(struct mem_file *mf, struct mem_arena *ma)
+static void mem_file_init(struct mem_file *mf)
 {
        ZERO_DATA(*mf);
 {
        ZERO_DATA(*mf);
-       mf->ma = ma;
 }
 
 static int mem_block_can_write(struct mem_block *mb, size_t size, int flags)
 }
 
 static int mem_block_can_write(struct mem_block *mb, size_t size, int flags)
@@ -139,7 +140,7 @@ static void *mem_file_write(struct mem_file *mf, const void *data, size_t size,
                struct mem_block *mb = mf->tail;
 
                if (!mb || !mem_block_can_write(mb, size, flags)) {
                struct mem_block *mb = mf->tail;
 
                if (!mb || !mem_block_can_write(mb, size, flags)) {
-                       mb = mem_block_alloc(mf, max(MEMFILE_BLOCK_SIZE, size));
+                       mb = mem_block_alloc(max(MEMFILE_BLOCK_SIZE, size));
                        if (!mf->tail)
                                mf->head = mb;
                        else
                        if (!mf->tail)
                                mf->head = mb;
                        else
@@ -179,8 +180,7 @@ static void mem_file_sync(struct mem_file *mf, FILE *file, uint64_t rel_offset)
 static struct mem_file_reloc *mem_file_add_reloc(struct mem_file *mf,
                                                                                                 uint64_t *ptr)
 {
 static struct mem_file_reloc *mem_file_add_reloc(struct mem_file *mf,
                                                                                                 uint64_t *ptr)
 {
-       struct mem_file_reloc *rel =
-               xmem_arena_zalloc(mf->ma, sizeof(struct mem_file_reloc));
+       struct mem_file_reloc *rel = xzmalloc(sizeof(struct mem_file_reloc));
 
        rel->ptr = ptr;
        rel->next = mf->relocs;
 
        rel->ptr = ptr;
        rel->next = mf->relocs;
@@ -194,7 +194,7 @@ void perfconv_add_kernel_mmap(struct perfconv_context *cctx)
        char path[] = "[kernel.kallsyms]";
        struct static_mmap64 *mm;
 
        char path[] = "[kernel.kallsyms]";
        struct static_mmap64 *mm;
 
-       mm = xmem_arena_zalloc(&cctx->ma, sizeof(struct static_mmap64));
+       mm = xzmalloc(sizeof(struct static_mmap64));
        mm->pid = -1;                           /* Linux HOST_KERNEL_ID == -1 */
        mm->tid = 0;                            /* Default thread: swapper */
        mm->header_misc = PERF_RECORD_MISC_KERNEL;
        mm->pid = -1;                           /* Linux HOST_KERNEL_ID == -1 */
        mm->tid = 0;                            /* Default thread: swapper */
        mm->header_misc = PERF_RECORD_MISC_KERNEL;
@@ -206,7 +206,7 @@ void perfconv_add_kernel_mmap(struct perfconv_context *cctx)
        mm->addr = 0;
        mm->size = 0xffffffffffffffff;
        mm->offset = 0x0;
        mm->addr = 0;
        mm->size = 0xffffffffffffffff;
        mm->offset = 0x0;
-       mm->path = xmem_arena_strdup(&cctx->ma, path);
+       mm->path = xstrdup(path);
 
        mm->next = cctx->static_mmaps;
        cctx->static_mmaps = mm;
 
        mm->next = cctx->static_mmaps;
        cctx->static_mmaps = mm;
@@ -217,16 +217,20 @@ static void headers_init(struct perf_headers *hdrs)
        ZERO_DATA(*hdrs);
 }
 
        ZERO_DATA(*hdrs);
 }
 
+/* Prepends a header (the mem_block) to the list of memblocks for the given
+ * HEADER type.  They will all be concatted together during finalization. */
 static void headers_add_header(struct perf_header *ph,
                                struct perf_headers *hdrs, size_t nhdr,
                                                           struct mem_block *mb)
 {
        always_assert(nhdr < HEADER_FEAT_BITS);
 
 static void headers_add_header(struct perf_header *ph,
                                struct perf_headers *hdrs, size_t nhdr,
                                                           struct mem_block *mb)
 {
        always_assert(nhdr < HEADER_FEAT_BITS);
 
+       mb->next = hdrs->headers[nhdr];
        hdrs->headers[nhdr] = mb;
        set_bitno(ph->adds_features, nhdr);
 }
 
        hdrs->headers[nhdr] = mb;
        set_bitno(ph->adds_features, nhdr);
 }
 
+/* Emits the headers contents to the mem_file */
 static void headers_finalize(struct perf_headers *hdrs, struct mem_file *mf)
 {
        struct perf_file_section *header_file_secs, *file_sec;
 static void headers_finalize(struct perf_headers *hdrs, struct mem_file *mf)
 {
        struct perf_file_section *header_file_secs, *file_sec;
@@ -255,6 +259,11 @@ static void headers_finalize(struct perf_headers *hdrs, struct mem_file *mf)
                if (!mb)
                        continue;
                mb_sz = mb->wptr - mb->base;
                if (!mb)
                        continue;
                mb_sz = mb->wptr - mb->base;
+               /* headers[i] is a chain of memblocks */
+               while (mb->next) {
+                       mb = mb->next;
+                       mb_sz += mb->wptr - mb->base;
+               }
                file_sec->size = mb_sz;
                file_sec->offset = hdr_off;             /* offset rel to this memfile */
                /* When we sync the memfile, we'll need to relocate each of the offsets
                file_sec->size = mb_sz;
                file_sec->offset = hdr_off;             /* offset rel to this memfile */
                /* When we sync the memfile, we'll need to relocate each of the offsets
@@ -275,10 +284,232 @@ static void headers_finalize(struct perf_headers *hdrs, struct mem_file *mf)
        /* Spit out the actual headers */
        for (int i = 0; i < HEADER_FEAT_BITS; i++) {
                mb = hdrs->headers[i];
        /* Spit out the actual headers */
        for (int i = 0; i < HEADER_FEAT_BITS; i++) {
                mb = hdrs->headers[i];
-               if (!mb)
-                       continue;
-               mem_file_write(mf, mb->base, mb->wptr - mb->base, 0);
+               while (mb) {
+                       mem_file_write(mf, mb->base, mb->wptr - mb->base, 0);
+                       mb = mb->next;
+               }
+       }
+}
+
+/* Builds a struct perf_header_string from str and returns it in a mem_block */
+static struct mem_block *header_make_string(const char *str)
+{
+       struct perf_header_string *hdr;
+       struct mem_block *mb;
+       size_t str_sz = strlen(str) + 1;
+       size_t hdr_sz = ROUNDUP(str_sz + sizeof(struct perf_header_string),
+                               PERF_STRING_ALIGN);
+
+       mb = mem_block_alloc(hdr_sz);
+       /* Manually writing to the block to avoid another alloc.  I guess I could do
+        * two writes (len and string) and try to not screw it up, but that'd be a
+        * mess. */
+       hdr = (struct perf_header_string*)mb->wptr;
+       mb->wptr += hdr_sz;
+       hdr->len = str_sz;
+       memcpy(hdr->string, str, str_sz);
+       return mb;
+}
+
+/* Opens and reads filename, returning the contents.  Free the ret. */
+static char *get_str_from_os(const char *filename)
+{
+       int fd, ret;
+       struct stat fd_stat;
+       char *buf;
+       size_t buf_sz;
+
+       fd = open(filename, O_RDONLY);
+       if (fd < 0)
+               return 0;
+       ret = fstat(fd, &fd_stat);
+       if (ret) {
+               close(fd);
+               return 0;
+       }
+       buf_sz = fd_stat.st_size + 1;
+       buf = xmalloc(buf_sz);
+       ret = read(fd, buf, buf_sz - 1);
+       if (ret <= 0) {
+               free(buf);
+               close(fd);
+               return 0;
+       }
+       close(fd);
+       /* OS strings should be null terminated, but let's be defensive */
+       buf[ret] = 0;
+       return buf;
+}
+
+static void hdr_do_osrelease(struct perf_header *ph, struct perf_headers *hdrs)
+{
+       char *str;
+
+       str = get_str_from_os("#version/version_name");
+       if (!str)
+               return;
+       headers_add_header(ph, hdrs, HEADER_OSRELEASE, header_make_string(str));
+       free(str);
+}
+
+static void hdr_do_nrcpus(struct perf_header *ph, struct perf_headers *hdrs)
+{
+       char *str;
+       uint32_t nr_cores;
+       struct mem_block *mb;
+       struct nr_cpus *hdr;
+
+       str = get_str_from_os("#vars/num_cores!dw");
+       if (!str)
+               return;
+       nr_cores = atoi(str);
+       free(str);
+
+       mb = mem_block_alloc(sizeof(struct nr_cpus));
+       hdr = (struct nr_cpus*)mb->wptr;
+       mb->wptr += sizeof(struct nr_cpus);
+
+       hdr->nr_cpus_online = nr_cores;
+       hdr->nr_cpus_available = nr_cores;
+
+       headers_add_header(ph, hdrs, HEADER_NRCPUS, mb);
+}
+
+/* Unfortunately, HEADER_CMDLINE doesn't just take a string.  It takes a list of
+ * null-terminated perf_header_strings (i.e. argv), with the a u32 for the
+ * number of strings.  We can just send one string for the entire cmd line. */
+static void hdr_do_cmdline(struct perf_header *ph, struct perf_headers *hdrs)
+{
+       struct perf_header_string *hdr;
+       struct mem_block *mb;
+       size_t str_sz = strlen(cmd_line_save) + 1;
+       size_t hdr_sz = sizeof(uint32_t) +
+                       ROUNDUP(str_sz + sizeof(struct perf_header_string),
+                               PERF_STRING_ALIGN);
+
+       mb = mem_block_alloc(hdr_sz);
+       /* emit the nr strings (1) */
+       *(uint32_t*)mb->wptr = 1;
+       mb->wptr += sizeof(uint32_t);
+       /* emit the perf_header_string, as usual */
+       hdr = (struct perf_header_string*)mb->wptr;
+       mb->wptr += hdr_sz - sizeof(uint32_t);
+       hdr->len = str_sz;
+       memcpy(hdr->string, cmd_line_save, str_sz);
+
+       headers_add_header(ph, hdrs, HEADER_CMDLINE, mb);
+}
+
+/* Returns TRUE if we already emitted a build-id for path.  If this gets too
+ * slow (which we'll know because of perf!) we can use a hash table (don't hash
+ * on the first few bytes btw - they are usually either /bin or /lib). */
+static bool lookup_buildid(struct perfconv_context *cctx, const char *path)
+{
+       struct build_id_event *b_evt;
+       struct mem_block *mb;
+       size_t b_evt_path_sz;
+
+       mb = cctx->hdrs.headers[HEADER_BUILD_ID];
+       while (mb) {
+               b_evt = (struct build_id_event*)mb->base;
+               b_evt_path_sz = b_evt->header.size -
+                               offsetof(struct build_id_event, filename);
+               /* ignoring the last byte since we forced it to be \0 earlier. */
+               if (!strncmp(b_evt->filename, path, b_evt_path_sz - 1))
+                       return TRUE;
+               mb = mb->next;
        }
        }
+       return FALSE;
+}
+
+/* Helper: given a path, allocs and inits a build_id_event within a mem_block,
+ * returning both via parameters.  Caller needs to set header.misc and fill in
+ * the actual build_id. */
+static void build_id_alloc(const char *path, struct build_id_event **b_evt_p,
+                           struct mem_block **mb_p)
+{
+       struct build_id_event *b_evt;
+       struct mem_block *mb;
+       size_t path_sz, b_evt_sz;
+
+       path_sz = strlen(path) + 1;
+       b_evt_sz = path_sz + sizeof(struct build_id_event);
+
+       mb = mem_block_alloc(b_evt_sz);
+       b_evt = (struct build_id_event*)mb->wptr;
+       mb->wptr += b_evt_sz;
+
+       b_evt->header.type = 0; /* if this fails, try 67 (synthetic build id) */
+       /* header.size filled in by the caller, depending on the type */
+       b_evt->header.size = b_evt_sz;
+       strlcpy(b_evt->filename, path, path_sz);
+
+       *b_evt_p = b_evt;
+       *mb_p = mb;
+}
+
+/* Add a build-id header.  Unlike many of the other headers, this one is built
+ * on the fly as we emit other records. */
+static void hdr_add_buildid(struct perfconv_context *cctx, const char *path,
+                            int pid)
+{
+       struct build_id_event *b_evt;
+       struct mem_block *mb;
+       int ret;
+
+       if (lookup_buildid(cctx, path))
+               return;
+
+       build_id_alloc(path, &b_evt, &mb);
+       b_evt->header.misc = PERF_RECORD_MISC_USER;
+       b_evt->pid = pid;
+       ret = filename__read_build_id(path, b_evt->build_id, BUILD_ID_SIZE);
+       if (ret <= 0)
+               free(mb);
+       else
+               headers_add_header(&cctx->ph, &cctx->hdrs, HEADER_BUILD_ID, mb);
+}
+
+static void convert_str_to_binary(char *b_id_str, uint8_t *b_id_raw)
+{
+       char *c = b_id_str;
+
+       for (int i = 0; i < BUILD_ID_SIZE; i++) {
+               b_id_raw[i] = nibble_to_num(*c) << 4 | nibble_to_num(*(c + 1));
+               c += 2;
+       }
+}
+
+void perfconv_add_kernel_buildid(struct perfconv_context *cctx)
+{
+       struct build_id_event *b_evt;
+       struct mem_block *mb;
+       int ret, fd;
+       char build_id[BUILD_ID_SIZE * 2 + 1] = {0};
+
+       build_id_alloc("[kernel.kallsyms]", &b_evt, &mb);
+       b_evt->header.misc = PERF_RECORD_MISC_KERNEL;
+       b_evt->pid = -1;
+       fd = xopen("#version/build_id", O_RDONLY, 0);
+       ret = read(fd, build_id, sizeof(build_id));
+       if (ret <= 0) {
+               free(mb);
+       } else {
+               convert_str_to_binary(build_id, b_evt->build_id);
+               headers_add_header(&cctx->ph, &cctx->hdrs, HEADER_BUILD_ID, mb);
+       }
+}
+
+/* Helper: adds all the headers, marking them in PH and storing them in
+ * feat_hdrs. */
+static void headers_build(struct perf_header *ph, struct perf_headers *hdrs,
+                          struct mem_file *feat_hdrs)
+{
+       hdr_do_osrelease(ph, hdrs);
+       hdr_do_nrcpus(ph, hdrs);
+       hdr_do_cmdline(ph, hdrs);
+
+       headers_finalize(hdrs, feat_hdrs);
 }
 
 static void perf_header_init(struct perf_header *ph)
 }
 
 static void perf_header_init(struct perf_header *ph)
@@ -341,8 +572,8 @@ static uint64_t perfconv_get_event_id(struct perfconv_context *cctx,
        attr.sample_period = sel->ev.trigger_count;
        /* Closely coupled with struct perf_record_sample */
        attr.sample_type = PERF_SAMPLE_IP | PERF_SAMPLE_TID | PERF_SAMPLE_TIME |
        attr.sample_period = sel->ev.trigger_count;
        /* Closely coupled with struct perf_record_sample */
        attr.sample_type = PERF_SAMPLE_IP | PERF_SAMPLE_TID | PERF_SAMPLE_TIME |
-                          PERF_SAMPLE_ADDR | PERF_SAMPLE_ID | PERF_SAMPLE_CPU |
-                          PERF_SAMPLE_CALLCHAIN;
+                          PERF_SAMPLE_ADDR | PERF_SAMPLE_IDENTIFIER |
+                          PERF_SAMPLE_CPU | PERF_SAMPLE_CALLCHAIN;
        attr.exclude_guest = 1; /* we can't trace VMs yet */
        attr.exclude_hv = 1;    /* we aren't tracing our hypervisor, AFAIK */
        attr.exclude_user = !PMEV_GET_USR(raw_event);
        attr.exclude_guest = 1; /* we can't trace VMs yet */
        attr.exclude_hv = 1;    /* we aren't tracing our hypervisor, AFAIK */
        attr.exclude_user = !PMEV_GET_USR(raw_event);
@@ -403,6 +634,8 @@ static void emit_pid_mmap64(struct perf_record *pr,
                      strlen((char*)rec->path) + 1;
        struct perf_record_mmap *xrec = xzmalloc(size);
 
                      strlen((char*)rec->path) + 1;
        struct perf_record_mmap *xrec = xzmalloc(size);
 
+       hdr_add_buildid(cctx, (char*)rec->path, rec->pid);
+
        xrec->header.type = PERF_RECORD_MMAP;
        xrec->header.misc = PERF_RECORD_MISC_USER;
        xrec->header.size = size;
        xrec->header.type = PERF_RECORD_MMAP;
        xrec->header.misc = PERF_RECORD_MISC_USER;
        xrec->header.size = size;
@@ -440,7 +673,7 @@ static void emit_kernel_trace64(struct perf_record *pr,
        xrec->tid = 0;
        xrec->time = rec->tstamp;
        xrec->addr = rec->trace[0];
        xrec->tid = 0;
        xrec->time = rec->tstamp;
        xrec->addr = rec->trace[0];
-       xrec->id = perfconv_get_event_id(cctx, rec->info);
+       xrec->identifier = perfconv_get_event_id(cctx, rec->info);
        xrec->cpu = rec->cpu;
        xrec->nr = rec->num_traces - 1;
        memcpy(xrec->ips, rec->trace + 1, (rec->num_traces - 1) * sizeof(uint64_t));
        xrec->cpu = rec->cpu;
        xrec->nr = rec->num_traces - 1;
        memcpy(xrec->ips, rec->trace + 1, (rec->num_traces - 1) * sizeof(uint64_t));
@@ -466,7 +699,7 @@ static void emit_user_trace64(struct perf_record *pr,
        xrec->pid = xrec->tid = rec->pid;
        xrec->time = rec->tstamp;
        xrec->addr = rec->trace[0];
        xrec->pid = xrec->tid = rec->pid;
        xrec->time = rec->tstamp;
        xrec->addr = rec->trace[0];
-       xrec->id = perfconv_get_event_id(cctx, rec->info);
+       xrec->identifier = perfconv_get_event_id(cctx, rec->info);
        xrec->cpu = rec->cpu;
        xrec->nr = rec->num_traces - 1;
        memcpy(xrec->ips, rec->trace + 1, (rec->num_traces - 1) * sizeof(uint64_t));
        xrec->cpu = rec->cpu;
        xrec->nr = rec->num_traces - 1;
        memcpy(xrec->ips, rec->trace + 1, (rec->num_traces - 1) * sizeof(uint64_t));
@@ -480,8 +713,11 @@ static void emit_new_process(struct perf_record *pr,
                                                         struct perfconv_context *cctx)
 {
        struct proftype_new_process *rec = (struct proftype_new_process *) pr->data;
                                                         struct perfconv_context *cctx)
 {
        struct proftype_new_process *rec = (struct proftype_new_process *) pr->data;
-       const char *comm = strrchr((char*)rec->path, '/');
+       const char *comm;
+
+       hdr_add_buildid(cctx, (char*)rec->path, rec->pid);
 
 
+       comm = strrchr((char*)rec->path, '/');
        if (!comm)
                comm = (char*)rec->path;
        else
        if (!comm)
                comm = (char*)rec->path;
        else
@@ -494,25 +730,22 @@ struct perfconv_context *perfconv_create_context(struct perf_context *pctx)
        struct perfconv_context *cctx = xzmalloc(sizeof(struct perfconv_context));
 
        cctx->pctx = pctx;
        struct perfconv_context *cctx = xzmalloc(sizeof(struct perfconv_context));
 
        cctx->pctx = pctx;
-       xmem_arena_init(&cctx->ma, 0);
        perf_header_init(&cctx->ph);
        headers_init(&cctx->hdrs);
        perf_header_init(&cctx->ph);
        headers_init(&cctx->hdrs);
-       mem_file_init(&cctx->fhdrs, &cctx->ma);
-       mem_file_init(&cctx->attr_ids, &cctx->ma);
-       mem_file_init(&cctx->attrs, &cctx->ma);
-       mem_file_init(&cctx->data, &cctx->ma);
+       mem_file_init(&cctx->fhdrs);
+       mem_file_init(&cctx->attr_ids);
+       mem_file_init(&cctx->attrs);
+       mem_file_init(&cctx->data);
        /* event_types is ignored in newer versions of perf */
        /* event_types is ignored in newer versions of perf */
-       mem_file_init(&cctx->event_types, &cctx->ma);
+       mem_file_init(&cctx->event_types);
 
        return cctx;
 }
 
 void perfconv_free_context(struct perfconv_context *cctx)
 {
 
        return cctx;
 }
 
 void perfconv_free_context(struct perfconv_context *cctx)
 {
-       if (cctx) {
-               xmem_arena_destroy(&cctx->ma);
+       if (cctx)
                free(cctx);
                free(cctx);
-       }
 }
 
 void perfconv_process_input(struct perfconv_context *cctx, FILE *input,
 }
 
 void perfconv_process_input(struct perfconv_context *cctx, FILE *input,
@@ -553,11 +786,8 @@ void perfconv_process_input(struct perfconv_context *cctx, FILE *input,
                free_record(&pr);
        }
 
                free_record(&pr);
        }
 
-
-
        /* Add all of the headers before outputting ph */
        /* Add all of the headers before outputting ph */
-
-       headers_finalize(&cctx->hdrs, &cctx->fhdrs);
+       headers_build(&cctx->ph, &cctx->hdrs, &cctx->fhdrs);
 
        /* attrs, events, and data will come after attr_ids. */
        offset = sizeof(cctx->ph) + cctx->attr_ids.size;
 
        /* attrs, events, and data will come after attr_ids. */
        offset = sizeof(cctx->ph) + cctx->attr_ids.size;