Spinlock debugging infrastructure
[akaros.git] / kern / src / kmalloc.c
1 /* Copyright (c) 2009 The Regents of the University of California. 
2  * See the COPYRIGHT files at the top of this source tree for full 
3  * license information.
4  * 
5  * Kevin Klues <klueska@cs.berkeley.edu>    
6  */
7
8 #ifdef __SHARC__
9 #pragma nosharc
10 #define SINIT(x) x
11 #endif
12
13 #include <ros/common.h>
14 #include <ros/error.h>
15 #include <pmap.h>
16 #include <kmalloc.h>
17 #include <stdio.h>
18 #include <slab.h>
19 #include <assert.h>
20
21 #define kmallocdebug(args...)  //printk(args)
22
23 char *RO BND(end, maxaddrpa_ptr + IVY_KERNBASE) boot_freemem;
24
25 //List of physical pages used by kmalloc
26 static spinlock_t pages_list_lock = SPINLOCK_INITIALIZER;
27 static page_list_t LCKD(&pages_list_lock)pages_list;
28
29 /*
30  * Allocate n bytes of physical memory aligned on an 
31  * align-byte boundary.  Align must be a power of two.
32  * Return kernel virtual address.  Returned memory is uninitialized.
33  *
34  * If we're out of memory, boot_alloc should panic.
35  * This function may ONLY be used during initialization,
36  * before the page_free_list has been set up.
37  */
38 void* boot_alloc(uint32_t n, uint32_t align)
39 {
40         extern char (SNT RO end)[];
41         void *v;
42
43         // Initialize boot_freemem if this is the first time.
44         // 'end' is a magic symbol automatically generated by the linker,
45         // which points to the end of the kernel's bss segment -
46         // i.e., the first virtual address that the linker
47         // did _not_ assign to any kernel code or global variables.
48         if (boot_freemem == 0) {
49                 boot_freemem = SINIT(TC(end));
50         }
51
52         //      Step 1: round boot_freemem up to be aligned properly
53         char RO*tmp = PTRROUNDUP(boot_freemem, align);
54         boot_freemem = SINIT(tmp);
55
56         //      Step 2: save current value of boot_freemem as allocated chunk
57         v = boot_freemem;
58         //  Step 2.5: check if we can alloc
59         if (PADDR(boot_freemem + n) > maxaddrpa)
60                 panic("Out of memory in boot alloc, you fool!\n");
61         //      Step 3: increase boot_freemem to record allocation
62         boot_freemem = SINIT(boot_freemem + n);
63         //      Step 4: return allocated chunk
64         return v;
65 }
66
67 void *boot_calloc(uint32_t n, size_t sz, uint32_t align)
68 {
69         void *v = boot_alloc(n * sz, align);    
70         memset(v, 0, n * sz);
71         return v;
72 }
73
74 struct kmem_cache *kmalloc_caches[NUM_KMALLOC_CACHES];
75 void kmalloc_init(void)
76 {
77         // build caches of common sizes
78         size_t ksize = KMALLOC_SMALLEST;
79         for (int i = 0; i < NUM_KMALLOC_CACHES; i++) {
80                 kmalloc_caches[i] = kmem_cache_create("kmalloc_cache", ksize,
81                                                       KMALLOC_ALIGNMENT, 0, 0, 0);
82                 ksize <<= 1;
83         }
84 }
85
86 void *kmalloc(size_t size, int flags) 
87 {
88         // reserve space for bookkeeping and preserve alignment
89         size_t ksize = size + KMALLOC_OFFSET;
90         void *buf;
91         int cache_id;
92         // determine cache to pull from
93         if (ksize <= KMALLOC_SMALLEST)
94                 cache_id = 0;
95         else
96                 cache_id = LOG2_UP(ksize) - LOG2_UP(KMALLOC_SMALLEST);
97         // if we don't have a cache to handle it, alloc cont pages
98         if (cache_id >= NUM_KMALLOC_CACHES) {
99                 size_t num_pgs = ROUNDUP(size + sizeof(struct kmalloc_tag), PGSIZE) /
100                                            PGSIZE;
101                 buf = get_cont_pages(LOG2_UP(num_pgs), flags);
102                 if (!buf)
103                         panic("Kmalloc failed!  Handle me!");
104                 // fill in the kmalloc tag
105                 struct kmalloc_tag *tag = buf;
106                 tag->flags = KMALLOC_TAG_PAGES;
107                 tag->num_pages = num_pgs;
108                 return buf + KMALLOC_OFFSET;
109         }
110         // else, alloc from the appropriate cache
111         buf = kmem_cache_alloc(kmalloc_caches[cache_id], flags);
112         if (!buf)
113                 panic("Kmalloc failed!  Handle me!");
114         // store a pointer to the buffers kmem_cache in it's bookkeeping space
115         struct kmalloc_tag *tag = buf;
116         tag->flags = KMALLOC_TAG_CACHE;
117         tag->my_cache = kmalloc_caches[cache_id];
118         return buf + KMALLOC_OFFSET;
119 }
120
121 void *krealloc(void* buf, size_t size, int flags) {
122         struct kmalloc_tag *tag = (struct kmalloc_tag*)(buf - KMALLOC_OFFSET);
123         if (tag->my_cache->obj_size >= size)
124                 return buf;
125         kfree(buf);
126         return kmalloc(size, flags);
127 }
128
129 void kfree(void *addr)
130 {
131         assert(addr);
132         struct kmalloc_tag *tag = (struct kmalloc_tag*)(addr - KMALLOC_OFFSET);
133         if (tag->flags & KMALLOC_TAG_CACHE)
134                 kmem_cache_free(tag->my_cache, addr - KMALLOC_OFFSET);
135         else if (tag->flags & KMALLOC_TAG_PAGES) {
136                 free_cont_pages(addr - KMALLOC_OFFSET, LOG2_UP(tag->num_pages));
137         } else 
138                 panic("[Italian Accent]: Che Cazzo! BO! Flag in kmalloc!!!");
139 }
140