Syscall debugging helper
[akaros.git] / kern / src / page_alloc.c
index 5262bae..a9f1aa1 100644 (file)
 #endif
 
 #include <sys/queue.h>
 #endif
 
 #include <sys/queue.h>
-#include <arch/bitmask.h>
+#include <bitmask.h>
 #include <page_alloc.h>
 #include <pmap.h>
 #include <string.h>
 #include <kmalloc.h>
 #include <page_alloc.h>
 #include <pmap.h>
 #include <string.h>
 #include <kmalloc.h>
+#include <blockdev.h>
 
 #define l1 (available_caches.l1)
 #define l2 (available_caches.l2)
 #define l3 (available_caches.l3)
 
 static void __page_decref(page_t *CT(1) page);
 
 #define l1 (available_caches.l1)
 #define l2 (available_caches.l2)
 #define l3 (available_caches.l3)
 
 static void __page_decref(page_t *CT(1) page);
-static void __page_incref(page_t *CT(1) page);
 static error_t __page_alloc_specific(page_t** page, size_t ppn);
 
 static error_t __page_alloc_specific(page_t** page, size_t ppn);
 
-#ifdef __CONFIG_PAGE_COLORING__
+#ifdef CONFIG_PAGE_COLORING
 #define NUM_KERNEL_COLORS 8
 #else
 #define NUM_KERNEL_COLORS 1
 #define NUM_KERNEL_COLORS 8
 #else
 #define NUM_KERNEL_COLORS 1
@@ -44,15 +44,13 @@ void colored_page_alloc_init()
                cache_color_alloc(llc_cache, global_cache_colors_map);
 }
 
                cache_color_alloc(llc_cache, global_cache_colors_map);
 }
 
-/**
- * @brief Clear a Page structure.
- *
- * The result has null links and 0 refcount.
- * Note that the corresponding physical page is NOT initialized!
- */
-static void __page_clear(page_t *SAFE page)
+/* Initializes a page.  We can optimize this a bit since 0 usually works to init
+ * most structures, but we'll hold off on that til it is a problem. */
+static void __page_init(struct page *page)
 {
        memset(page, 0, sizeof(page_t));
 {
        memset(page, 0, sizeof(page_t));
+       page_setref(page, 1);
+       sem_init(&page->pg_sem, 0);
 }
 
 #define __PAGE_ALLOC_FROM_RANGE_GENERIC(page, base_color, range, predicate) \
 }
 
 #define __PAGE_ALLOC_FROM_RANGE_GENERIC(page, base_color, range, predicate) \
@@ -67,9 +65,7 @@ static void __page_clear(page_t *SAFE page)
        if(i < (base_color+range)) {                                            \
                *page = LIST_FIRST(&colored_page_free_list[i]);                     \
                LIST_REMOVE(*page, pg_link);                                        \
        if(i < (base_color+range)) {                                            \
                *page = LIST_FIRST(&colored_page_free_list[i]);                     \
                LIST_REMOVE(*page, pg_link);                                        \
-               __page_clear(*page);                                                \
-               /* Note the 0 initial value, due to how user pages are refcnt'd */  \
-               page_setref((*page), 0);                                            \
+               __page_init(*page);                                                 \
                return i;                                                           \
        }                                                                       \
        return -ENOMEM;
                return i;                                                           \
        }                                                                       \
        return -ENOMEM;
@@ -107,15 +103,13 @@ static error_t __page_alloc_specific(page_t** page, size_t ppn)
                return -ENOMEM;
        *page = sp_page;
        LIST_REMOVE(*page, pg_link);
                return -ENOMEM;
        *page = sp_page;
        LIST_REMOVE(*page, pg_link);
-       __page_clear(*page);
-       /* Note the 0 initial value, due to how user pages are refcnt'd.  If you
-        * have a page, you need to kref_get it before you *use* it. */
-       page_setref(*page, 0);
+       __page_init(*page);
        return 0;
 }
 
 /**
  * @brief Allocates a physical page from a pool of unused physical memory.
        return 0;
 }
 
 /**
  * @brief Allocates a physical page from a pool of unused physical memory.
+ * Note, the page IS reference counted.
  *
  * Zeroes the page.
  *
  *
  * Zeroes the page.
  *
@@ -141,6 +135,7 @@ error_t upage_alloc(struct proc* p, page_t** page, int zero)
        return ret;
 }
 
        return ret;
 }
 
+/* Allocates a refcounted page of memory for the kernel's use */
 error_t kpage_alloc(page_t** page) 
 {
        ssize_t ret;
 error_t kpage_alloc(page_t** page) 
 {
        ssize_t ret;
@@ -151,8 +146,6 @@ error_t kpage_alloc(page_t** page)
 
        if (ret >= 0) {
                global_next_color = ret;        
 
        if (ret >= 0) {
                global_next_color = ret;        
-               /* this is the "it's okay if it was 0" kref */
-               __kref_get(&(*page)->pg_kref, 1);
                ret = ESUCCESS;
        }
        spin_unlock_irqsave(&colored_page_free_list_lock);
                ret = ESUCCESS;
        }
        spin_unlock_irqsave(&colored_page_free_list_lock);
@@ -160,6 +153,24 @@ error_t kpage_alloc(page_t** page)
        return ret;
 }
 
        return ret;
 }
 
+/* Helper: allocates a refcounted page of memory for the kernel's use and
+ * returns the kernel address (kernbase), or 0 on error. */
+void *kpage_alloc_addr(void)
+{
+       struct page *a_page;
+       if (kpage_alloc(&a_page))
+               return 0;
+       return page2kva(a_page);
+}
+
+void *kpage_zalloc_addr(void)
+{
+       void *retval = kpage_alloc_addr();
+       if (retval)
+               memset(retval, 0, PGSIZE);
+       return retval;
+}
+
 /**
  * @brief Allocated 2^order contiguous physical pages.  Will increment the
  * reference count for the pages.
 /**
  * @brief Allocated 2^order contiguous physical pages.  Will increment the
  * reference count for the pages.
@@ -173,6 +184,7 @@ void *get_cont_pages(size_t order, int flags)
 {
        size_t npages = 1 << order;     
 
 {
        size_t npages = 1 << order;     
 
+       size_t naddrpages = max_paddr / PGSIZE;
        // Find 'npages' free consecutive pages
        int first = -1;
        spin_lock_irqsave(&colored_page_free_list_lock);
        // Find 'npages' free consecutive pages
        int first = -1;
        spin_lock_irqsave(&colored_page_free_list_lock);
@@ -198,17 +210,32 @@ void *get_cont_pages(size_t order, int flags)
        for(int i=0; i<npages; i++) {
                page_t* page;
                __page_alloc_specific(&page, first+i);
        for(int i=0; i<npages; i++) {
                page_t* page;
                __page_alloc_specific(&page, first+i);
-               __kref_get(&page->pg_kref, 1);
        }
        spin_unlock_irqsave(&colored_page_free_list_lock);
        return ppn2kva(first);
 }
 
        }
        spin_unlock_irqsave(&colored_page_free_list_lock);
        return ppn2kva(first);
 }
 
+/**
+ * @brief Allocated 2^order contiguous physical pages.  Will increment the
+ * reference count for the pages. Get them from NUMA node node.
+ *
+ * @param[in] node which node to allocate from. Unimplemented.
+ * @param[in] order order of the allocation
+ * @param[in] flags memory allocation flags
+ *
+ * @return The KVA of the first page, NULL otherwise.
+ */
+void *get_cont_pages_node(int node, size_t order, int flags)
+{
+       return get_cont_pages(order, flags);
+}
+
 void free_cont_pages(void *buf, size_t order)
 {
        size_t npages = 1 << order;     
        spin_lock_irqsave(&colored_page_free_list_lock);
 void free_cont_pages(void *buf, size_t order)
 {
        size_t npages = 1 << order;     
        spin_lock_irqsave(&colored_page_free_list_lock);
-       for (int i = kva2ppn(buf); i < kva2ppn(buf) + npages; i++) {
+       for (size_t i = kva2ppn(buf); i < kva2ppn(buf) + npages; i++) {
+               page_t* page = ppn2page(i);
                __page_decref(ppn2page(i));
                assert(page_is_free(i));
        }
                __page_decref(ppn2page(i));
                assert(page_is_free(i));
        }
@@ -241,7 +268,6 @@ error_t kpage_alloc_specific(page_t** page, size_t ppn)
 {
        spin_lock_irqsave(&colored_page_free_list_lock);
        __page_alloc_specific(page, ppn);
 {
        spin_lock_irqsave(&colored_page_free_list_lock);
        __page_alloc_specific(page, ppn);
-       page_incref(*page);
        spin_unlock_irqsave(&colored_page_free_list_lock);
        return 0;
 }
        spin_unlock_irqsave(&colored_page_free_list_lock);
        return 0;
 }
@@ -259,11 +285,6 @@ int page_is_free(size_t ppn) {
  */
 void page_incref(page_t *page)
 {
  */
 void page_incref(page_t *page)
 {
-       __page_incref(page);
-}
-
-void __page_incref(page_t *page)
-{
        kref_get(&page->pg_kref, 1);
 }
 
        kref_get(&page->pg_kref, 1);
 }
 
@@ -288,8 +309,8 @@ static void page_release(struct kref *kref)
 {
        struct page *page = container_of(kref, struct page, pg_kref);
 
 {
        struct page *page = container_of(kref, struct page, pg_kref);
 
-       /* Probably issues with this, get rid of it on a future review */
-       __page_clear(page);
+       if (atomic_read(&page->pg_flags) & PG_BUFFER)
+               free_bhs(page);
        /* Give our page back to the free list.  The protections for this are that
         * the list lock is grabbed by page_decref. */
        LIST_INSERT_HEAD(
        /* Give our page back to the free list.  The protections for this are that
         * the list lock is grabbed by page_decref. */
        LIST_INSERT_HEAD(
@@ -308,21 +329,52 @@ void page_setref(page_t *page, size_t val)
 }
 
 /* Attempts to get a lock on the page for IO operations.  If it is already
 }
 
 /* Attempts to get a lock on the page for IO operations.  If it is already
- * locked, it will block the thread until it is unlocked. */
+ * locked, it will block the kthread until it is unlocked.  Note that this is
+ * really a "sleep on some event", not necessarily the IO, but it is "the page
+ * is ready". */
 void lock_page(struct page *page)
 {
 void lock_page(struct page *page)
 {
-       /* TODO: (BLK) actually do something!  And this has a race!  Not a big deal
-        * right now, since the only users of this are serialized, but once we have
-        * any sort of real IO, this will be an issue. */
-       assert(!(page->pg_flags & PG_LOCKED));
-       page->pg_flags |= PG_LOCKED;
+       /* when this returns, we have are the ones to have locked the page */
+       sem_down(&page->pg_sem);
+       assert(!(atomic_read(&page->pg_flags) & PG_LOCKED));
+       atomic_or(&page->pg_flags, PG_LOCKED);
 }
 
 /* Unlocks the page, and wakes up whoever is waiting on the lock */
 void unlock_page(struct page *page)
 {
 }
 
 /* Unlocks the page, and wakes up whoever is waiting on the lock */
 void unlock_page(struct page *page)
 {
-       /* TODO: (BLK) actually do something!  However this unlock works, it will
-        * need to know who to unlock, and it will have to be called in response to
-        * a basic interrupt...  */
-       page->pg_flags &= ~PG_LOCKED;
+       atomic_and(&page->pg_flags, ~PG_LOCKED);
+       sem_up(&page->pg_sem);
+}
+
+void print_pageinfo(struct page *page)
+{
+       int i;
+       if (!page) {
+               printk("Null page\n");
+               return;
+       }
+       printk("Page %d (%p), Flags: 0x%08x Refcnt: %d\n", page2ppn(page),
+              page2kva(page), atomic_read(&page->pg_flags),
+              kref_refcnt(&page->pg_kref));
+       if (page->pg_mapping) {
+               printk("\tMapped into object %p at index %d\n",
+                      page->pg_mapping->pm_host, page->pg_index);
+       }
+       if (atomic_read(&page->pg_flags) & PG_BUFFER) {
+               struct buffer_head *bh = (struct buffer_head*)page->pg_private;
+               i = 0;
+               while (bh) {
+                       printk("\tBH %d: buffer: %p, sector: %d, nr_sector: %d\n", i,
+                              bh->bh_buffer, bh->bh_sector, bh->bh_nr_sector);
+                       i++;
+                       bh = bh->bh_next;
+               }
+               printk("\tPage is %sup to date\n",
+                      atomic_read(&page->pg_flags) & PG_UPTODATE ? "" : "not ");
+       }
+       printk("\tPage is %slocked\n",
+              atomic_read(&page->pg_flags) & PG_LOCKED ? "" : "un");
+       printk("\tPage is %s\n",
+              atomic_read(&page->pg_flags) & PG_DIRTY ? "dirty" : "clean");
 }
 }