Stops using boot_alloc during vm_init
[akaros.git] / kern / src / pmap.c
1 /* Copyright (c) 2009,13 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details. 
4  *
5  * Arch independent physical memory and page table management.
6  *
7  * For page allocation, check out the family of page_alloc files. */
8
9 #include <arch/arch.h>
10 #include <arch/mmu.h>
11
12 #include <error.h>
13
14 #include <kmalloc.h>
15 #include <atomic.h>
16 #include <string.h>
17 #include <assert.h>
18 #include <pmap.h>
19 #include <kclock.h>
20 #include <process.h>
21 #include <stdio.h>
22 #include <mm.h>
23 #include <multiboot.h>
24
25 physaddr_t max_pmem = 0;        /* Total amount of physical memory (bytes) */
26 physaddr_t max_paddr = 0;       /* Maximum addressable physical address */
27 size_t max_nr_pages = 0;        /* Number of addressable physical memory pages */
28 size_t nr_free_pages = 0;       /* TODO: actually track this, after init */
29 struct page *pages = 0;
30 struct multiboot_info *multiboot_kaddr = 0;
31 uintptr_t boot_freemem = 0;
32 uintptr_t boot_freelimit = 0;
33
34 static size_t sizeof_mboot_mmentry(struct multiboot_mmap_entry *entry)
35 {
36         /* Careful - addr + len is a uint64 (need to cast down for 32 bit) */
37         return (size_t)(entry->addr + entry->len);
38 }
39
40 static void adjust_max_pmem(struct multiboot_mmap_entry *entry, void *data)
41 {
42         if (entry->type != MULTIBOOT_MEMORY_AVAILABLE)
43                 return;
44         max_pmem = MAX(max_pmem, sizeof_mboot_mmentry(entry));
45 }
46
47 /**
48  * @brief Initializes physical memory.  Determines the pmem layout, sets up the
49  * array of physical pages and memory free list, and turns on virtual
50  * memory/page tables.
51  *
52  * Regarding max_pmem vs max_paddr and max_nr_pages: max_pmem is the largest
53  * physical address that is in a FREE region.  It includes RESERVED regions that
54  * are below this point.  max_paddr is the largest physical address, <=
55  * max_pmem, that the KERNBASE mapping can map.  It too may include reserved
56  * ranges.  The 'pages' array will track all physical pages up to max_paddr.
57  * There are max_nr_pages of them.  On 64 bit systems, max_pmem == max_paddr. */
58 void pmem_init(struct multiboot_info *mbi)
59 {
60         mboot_detect_memory(mbi);
61         mboot_print_mmap(mbi);
62         /* adjust the max memory based on the mmaps, since the old detection doesn't
63          * help much on 64 bit systems */
64         mboot_foreach_mmap(mbi, adjust_max_pmem, 0);
65         /* KERN_VMAP_TOP - KERNBASE is the max amount of virtual addresses we can
66          * use for the physical memory mapping (aka - the KERNBASE mapping).
67          * Should't be an issue on 64b, but is usually for 32 bit. */
68         max_paddr = MIN(max_pmem, KERN_VMAP_TOP - KERNBASE);
69         /* Note not all of this memory is free. */
70         max_nr_pages = max_paddr / PGSIZE;
71         printk("Max physical RAM (appx, bytes): %lu\n", max_pmem);
72         printk("Max addressable physical RAM (appx): %lu\n", max_paddr);
73         printk("Highest page number (including reserved): %lu\n", max_nr_pages);
74         pages = (struct page*)boot_zalloc(max_nr_pages * sizeof(struct page),
75                                           PGSIZE);
76         page_alloc_init(mbi);
77         vm_init();
78
79         static_assert(PROCINFO_NUM_PAGES*PGSIZE <= PTSIZE);
80         static_assert(PROCDATA_NUM_PAGES*PGSIZE <= PTSIZE);
81 }
82
83 static void set_largest_freezone(struct multiboot_mmap_entry *entry, void *data)
84 {
85         struct multiboot_mmap_entry **boot_zone =
86                (struct multiboot_mmap_entry**)data;
87
88         if (entry->type != MULTIBOOT_MEMORY_AVAILABLE)
89                 return;
90         if (!*boot_zone || (sizeof_mboot_mmentry(entry) >
91                            sizeof_mboot_mmentry(*boot_zone)))
92                 *boot_zone = entry;
93 }
94
95 /* Initialize boot freemem and its limit.
96  *
97  * "end" is a symbol marking the end of the kernel.  This covers anything linked
98  * in with the kernel (KFS, etc).  However, 'end' is a kernel load address,
99  * which differs from kernbase addrs in 64 bit.  We need to use the kernbase
100  * mapping for anything dynamic (because it could go beyond 1 GB). 
101  *
102  * Ideally, we'll use the largest mmap zone, as reported by multiboot.  If we
103  * don't have one (riscv), we'll just use the memory after the kernel.
104  *
105  * If we do have a zone, there is a chance we've already used some of it (for
106  * the kernel, etc).  We'll use the lowest address in the zone that is
107  * greater than "end" (and adjust the limit accordingly).  */
108 static void boot_alloc_init(void)
109 {
110         extern char end[];
111         uintptr_t boot_zone_start, boot_zone_end;
112         uintptr_t end_kva = (uintptr_t)KBASEADDR(end);
113         struct multiboot_mmap_entry *boot_zone = 0;
114
115         /* Find our largest mmap_entry; that will set bootzone */
116         mboot_foreach_mmap(multiboot_kaddr, set_largest_freezone, &boot_zone);
117         if (boot_zone) {
118                 boot_zone_start = (uintptr_t)KADDR(boot_zone->addr);
119                 /* one issue for 32b is that the boot_zone_end could be beyond max_paddr
120                  * and even wrap-around.  Do the min check as a uint64_t.  The result
121                  * should be a safe, unwrapped 32/64b when cast to physaddr_t. */
122                 boot_zone_end = (uintptr_t)KADDR(MIN(boot_zone->addr + boot_zone->len,
123                                                  (uint64_t)max_paddr));
124                 /* using KERNBASE (kva, btw) which covers the kernel and anything before
125                  * it (like the stuff below EXTPHYSMEM on x86) */
126                 if (regions_collide_unsafe(KERNBASE, end_kva,
127                                            boot_zone_start, boot_zone_end))
128                         boot_freemem = end_kva;
129                 else
130                         boot_freemem = boot_zone_start;
131                 boot_freelimit = boot_zone_end;
132         } else {
133                 boot_freemem = end_kva;
134                 boot_freelimit = max_paddr;
135         }
136         printd("boot_zone: %p, paddr base: 0x%llx, paddr len: 0x%llx\n", boot_zone,
137                boot_zone ? boot_zone->addr : 0,
138                boot_zone ? boot_zone->len : 0);
139         printd("boot_freemem: %p, boot_freelimit %p\n", boot_freemem,
140                boot_freelimit);
141 }
142
143 /* Low-level allocator, used before page_alloc is on.  Returns size bytes,
144  * aligned to align (should be a power of 2).  Retval is a kernbase addr.  Will
145  * panic on failure. */
146 void *boot_alloc(size_t amt, size_t align)
147 {
148         uintptr_t retval;
149
150         if (!boot_freemem)
151                 boot_alloc_init();
152         boot_freemem = ROUNDUP(boot_freemem, align);
153         retval = boot_freemem;
154         if (boot_freemem + amt > boot_freelimit)
155                 panic("Out of memory in boot alloc, you fool!\n");
156         boot_freemem += amt;
157         printd("boot alloc from %p to %p\n", retval, boot_freemem);
158         /* multiboot info probably won't ever conflict with our boot alloc */
159         if (mboot_region_collides(multiboot_kaddr, retval, boot_freemem))
160                 panic("boot allocation could clobber multiboot info!  Get help!");
161         return (void*)retval;
162 }
163
164 void *boot_zalloc(size_t amt, size_t align)
165 {
166         /* boot_alloc panics on failure */
167         void *v = boot_alloc(amt, align);
168         memset(v, 0, amt);
169         return v;
170 }
171
172 /** 
173  * @brief Map the physical page 'pp' into the virtual address 'va' in page
174  *        directory 'pgdir'
175  *
176  * Map the physical page 'pp' at virtual address 'va'.
177  * The permissions (the low 12 bits) of the page table
178  * entry should be set to 'perm|PTE_P'.
179  * 
180  * Details:
181  *   - If there is already a page mapped at 'va', it is page_remove()d.
182  *   - If necessary, on demand, allocates a page table and inserts it into 
183  *     'pgdir'.
184  *   - page_incref() should be called if the insertion succeeds. 
185  *   - The TLB must be invalidated if a page was formerly present at 'va'.
186  *     (this is handled in page_remove)
187  *
188  * No support for jumbos here.  We will need to be careful when trying to
189  * insert regular pages into something that was already jumbo.  We will
190  * also need to be careful with our overloading of the PTE_PS and 
191  * PTE_PAT flags...
192  *
193  * @param[in] pgdir the page directory to insert the page into
194  * @param[in] pp    a pointr to the page struct representing the
195  *                  physical page that should be inserted.
196  * @param[in] va    the virtual address where the page should be
197  *                  inserted.
198  * @param[in] perm  the permition bits with which to set up the 
199  *                  virtual mapping.
200  *
201  * @return ESUCCESS  on success
202  * @return -ENOMEM   if a page table could not be allocated
203  *                   into which the page should be inserted
204  *
205  */
206 int page_insert(pde_t *pgdir, struct page *page, void *va, int perm) 
207 {
208         pte_t* pte = pgdir_walk(pgdir, va, 1);
209         if (!pte)
210                 return -ENOMEM;
211         /* Two things here:  First, we need to up the ref count of the page we want
212          * to insert in case it is already mapped at va.  In that case we don't want
213          * page_remove to ultimately free it, and then for us to continue as if pp
214          * wasn't freed. (moral = up the ref asap) */
215         kref_get(&page->pg_kref, 1);
216         /* Careful, page remove handles the cases where the page is PAGED_OUT. */
217         if (!PAGE_UNMAPPED(*pte))
218                 page_remove(pgdir, va);
219         *pte = PTE(page2ppn(page), PTE_P | perm);
220         return 0;
221 }
222
223 /**
224  * @brief Return the page mapped at virtual address 'va' in 
225  * page directory 'pgdir'.
226  *
227  * If pte_store is not NULL, then we store in it the address
228  * of the pte for this page.  This is used by page_remove
229  * but should not be used by other callers.
230  *
231  * For jumbos, right now this returns the first Page* in the 4MB range
232  *
233  * @param[in]  pgdir     the page directory from which we should do the lookup
234  * @param[in]  va        the virtual address of the page we are looking up
235  * @param[out] pte_store the address of the page table entry for the returned page
236  *
237  * @return PAGE the page mapped at virtual address 'va'
238  * @return NULL No mapping exists at virtual address 'va', or it's paged out
239  */
240 page_t *page_lookup(pde_t *pgdir, void *va, pte_t **pte_store)
241 {
242         pte_t* pte = pgdir_walk(pgdir, va, 0);
243         if (!pte || !PAGE_PRESENT(*pte))
244                 return 0;
245         if (pte_store)
246                 *pte_store = pte;
247         return pa2page(PTE_ADDR(*pte));
248 }
249
250 /**
251  * @brief Unmaps the physical page at virtual address 'va' in page directory
252  * 'pgdir'.
253  *
254  * If there is no physical page at that address, this function silently 
255  * does nothing.
256  *
257  * Details:
258  *   - The ref count on the physical page is decrement when the page is removed
259  *   - The physical page is freed if the refcount reaches 0.
260  *   - The pg table entry corresponding to 'va' is set to 0.
261  *     (if such a PTE exists)
262  *   - The TLB is invalidated if an entry is removes from the pg dir/pg table.
263  *
264  * This may be wonky wrt Jumbo pages and decref.  
265  *
266  * @param pgdir the page directory from with the page sholuld be removed
267  * @param va    the virtual address at which the page we are trying to 
268  *              remove is mapped
269  * TODO: consider deprecating this, or at least changing how it works with TLBs.
270  * Might want to have the caller need to manage the TLB.  Also note it is used
271  * in env_user_mem_free, minus the walk. */
272 void page_remove(pde_t *pgdir, void *va)
273 {
274         pte_t *pte;
275         page_t *page;
276
277         pte = pgdir_walk(pgdir,va,0);
278         if (!pte || PAGE_UNMAPPED(*pte))
279                 return;
280
281         if (PAGE_PRESENT(*pte)) {
282                 /* TODO: (TLB) need to do a shootdown, inval sucks.  And might want to
283                  * manage the TLB / free pages differently. (like by the caller).
284                  * Careful about the proc/memory lock here. */
285                 page = ppn2page(PTE2PPN(*pte));
286                 *pte = 0;
287                 tlb_invalidate(pgdir, va);
288                 page_decref(page);
289         } else if (PAGE_PAGED_OUT(*pte)) {
290                 /* TODO: (SWAP) need to free this from the swap */
291                 panic("Swapping not supported!");
292                 *pte = 0;
293         }
294 }
295
296 /**
297  * @brief Invalidate a TLB entry, but only if the page tables being
298  * edited are the ones currently in use by the processor.
299  *
300  * TODO: (TLB) Need to sort this for cross core lovin'
301  *
302  * @param pgdir the page directory assocaited with the tlb entry 
303  *              we are trying to invalidate
304  * @param va    the virtual address associated with the tlb entry
305  *              we are trying to invalidate
306  */
307 void tlb_invalidate(pde_t *pgdir, void *va)
308 {
309         // Flush the entry only if we're modifying the current address space.
310         // For now, there is only one address space, so always invalidate.
311         invlpg(va);
312 }
313
314 /* Helper, returns true if any part of (start1, end1) is within (start2, end2).
315  * Equality of endpoints (like end1 == start2) is okay.
316  * Assumes no wrap-around. */
317 bool regions_collide_unsafe(uintptr_t start1, uintptr_t end1, 
318                             uintptr_t start2, uintptr_t end2)
319 {
320         if (start1 <= start2) {
321                 if (end1 <= start2)
322                         return FALSE;
323                 return TRUE;
324         } else {
325                 if (end2 <= start1)
326                         return FALSE;
327                 return TRUE;
328         }
329 }