Ensures IRQs are enabled when proc_destroy()ing
[akaros.git] / kern / src / vfs.c
index 96f9417..2ff72da 100644 (file)
@@ -99,7 +99,9 @@ void vfs_init(void)
        /* build list of all FS's in the system.  put yours here.  if this is ever
         * done on the fly, we'll need to lock. */
        TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
+#ifdef __CONFIG_EXT2FS__
        TAILQ_INSERT_TAIL(&file_systems, &ext2_fs_type, list);
+#endif
        TAILQ_FOREACH(fs, &file_systems, list)
                printk("Supports the %s Filesystem\n", fs->name);
 
@@ -150,6 +152,9 @@ static struct dentry *do_lookup(struct dentry *parent, char *name)
        /* not in the dcache at all, need to consult the FS */
        result = parent->d_inode->i_op->lookup(parent->d_inode, query, 0);
        if (!result) {
+               /* Note the USED flag will get turned off when this gets added to the
+                * LRU in dentry_release().  There's a slight race here that we'll panic
+                * on, but I want to catch it (in dcache_put()) for now. */
                query->d_flags |= DENTRY_NEGATIVE;
                dcache_put(parent->d_sb, query);
                kref_put(&query->d_kref);
@@ -580,6 +585,7 @@ void init_sb(struct super_block *sb, struct vfsmount *vmnt,
        /* TODO: do we need to read in the inode?  can we do this on demand? */
        /* if this FS is already mounted, we'll need to do something different. */
        sb->s_op->read_inode(inode);
+       icache_put(sb, inode);
        /* Link the dentry and SB to the VFS mount */
        vmnt->mnt_root = d_root;                                /* ref comes from get_dentry */
        vmnt->mnt_sb = sb;
@@ -674,14 +680,15 @@ void dentry_release(struct kref *kref)
        /* While locked, we need to double check the kref, in case someone already
         * reup'd it.  Re-up? you're crazy!  Reee-up, you're outta yo mind! */
        if (!kref_refcnt(&dentry->d_kref)) {
-               /* and make sure it wasn't USED, then UNUSED again */
-               /* TODO: think about issues with this */
+               /* Note this is where negative dentries get set UNUSED */
                if (dentry->d_flags & DENTRY_USED) {
                        dentry->d_flags &= ~DENTRY_USED;
                        spin_lock(&dentry->d_sb->s_lru_lock);
                        TAILQ_INSERT_TAIL(&dentry->d_sb->s_lru_d, dentry, d_lru);
                        spin_unlock(&dentry->d_sb->s_lru_lock);
                } else {
+                       /* and make sure it wasn't USED, then UNUSED again */
+                       /* TODO: think about issues with this */
                        warn("This should be rare.  Tell brho this happened.");
                }
        }
@@ -799,6 +806,7 @@ void dcache_put(struct super_block *sb, struct dentry *key_val)
        old = hashtable_remove(sb->s_dcache, key_val);
        if (old) {
                assert(old->d_flags & DENTRY_NEGATIVE);
+               /* This is possible, but rare for now (about to be put on the LRU) */
                assert(!(old->d_flags & DENTRY_USED));
                assert(!kref_refcnt(&old->d_kref));
                spin_lock(&sb->s_lru_lock);
@@ -826,6 +834,43 @@ struct dentry *dcache_remove(struct super_block *sb, struct dentry *key)
        return retval;
 }
 
+/* This will clean out the LRU list, which are the unused dentries of the dentry
+ * cache.  This will optionally only free the negative ones.  Note that we grab
+ * the hash lock for the time we traverse the LRU list - this prevents someone
+ * from getting a kref from the dcache, which could cause us trouble (we rip
+ * someone off the list, who isn't unused, and they try to rip them off the
+ * list). */
+void dcache_prune(struct super_block *sb, bool negative_only)
+{
+       struct dentry *d_i, *temp;
+       struct dentry_tailq victims = TAILQ_HEAD_INITIALIZER(victims);
+
+       spin_lock(&sb->s_dcache_lock);
+       spin_lock(&sb->s_lru_lock);
+       TAILQ_FOREACH_SAFE(d_i, &sb->s_lru_d, d_lru, temp) {
+               if (!(d_i->d_flags & DENTRY_USED)) {
+                       if (negative_only && !(d_i->d_flags & DENTRY_NEGATIVE))
+                               continue;
+                       /* another place where we'd be better off with tools, not sol'ns */
+                       hashtable_remove(sb->s_dcache, d_i);
+                       TAILQ_REMOVE(&sb->s_lru_d, d_i, d_lru);
+                       TAILQ_INSERT_HEAD(&victims, d_i, d_lru);
+               }
+       }
+       spin_unlock(&sb->s_lru_lock);
+       spin_unlock(&sb->s_dcache_lock);
+       /* Now do the actual freeing, outside of the hash/LRU list locks.  This is
+        * necessary since __dentry_free() will decref its parent, which may get
+        * released and try to add itself to the LRU. */
+       TAILQ_FOREACH_SAFE(d_i, &victims, d_lru, temp) {
+               TAILQ_REMOVE(&victims, d_i, d_lru);
+               assert(!kref_refcnt(&d_i->d_kref));
+               __dentry_free(d_i);
+       }
+       /* It is possible at this point that there are new items on the LRU.  We
+        * could loop back until that list is empty, if we care about this. */
+}
+
 /* Inode Functions */
 
 /* Creates and initializes a new inode.  Generic fields are filled in.
@@ -864,22 +909,33 @@ struct inode *get_inode(struct dentry *dentry)
        atomic_set(&inode->i_writecount, 0);
        /* Set up the page_map structures.  Default is to use the embedded one.
         * Might push some of this back into specific FSs.  For now, the FS tells us
-        * what pm_op they want via i_pm.pm_op, which we use when we point i_mapping
-        * to i_pm. */
+        * what pm_op they want via i_pm.pm_op, which we set again in pm_init() */
        inode->i_mapping = &inode->i_pm;
-       inode->i_mapping->pm_host = inode;
-       radix_tree_init(&inode->i_mapping->pm_tree);
-       spinlock_init(&inode->i_mapping->pm_tree_lock);
-       inode->i_mapping->pm_flags = 0;
+       pm_init(inode->i_mapping, inode->i_pm.pm_op, inode);
        return inode;
 }
 
 /* Helper: loads/ reads in the inode numbered ino and attaches it to dentry */
-void load_inode(struct dentry *dentry, unsigned int ino)
+void load_inode(struct dentry *dentry, unsigned long ino)
 {
-       struct inode *inode = get_inode(dentry);
+       struct inode *inode;
+
+       /* look it up in the inode cache first */
+       inode = icache_get(dentry->d_sb, ino);
+       if (inode) {
+               /* connect the dentry to its inode */
+               TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);
+               dentry->d_inode = inode;        /* storing the ref we got from icache_get */
+               return;
+       }
+       /* otherwise, we need to do it manually */
+       inode = get_inode(dentry);
        inode->i_ino = ino;
        dentry->d_sb->s_op->read_inode(inode);
+       /* TODO: race here, two creators could miss in the cache, and then get here.
+        * need a way to sync across a blocking call.  needs to be either at this
+        * point in the code or per the ino (dentries could be different) */
+       icache_put(dentry->d_sb, inode);
        kref_put(&inode->i_kref);
 }
 
@@ -926,6 +982,7 @@ int create_file(struct inode *dir, struct dentry *dentry, int mode)
        if (!new_file)
                return -1;
        dir->i_op->create(dir, dentry, mode, 0);
+       icache_put(new_file->i_sb, new_file);
        kref_put(&new_file->i_kref);
        return 0;
 }
@@ -945,6 +1002,7 @@ int create_dir(struct inode *dir, struct dentry *dentry, int mode)
        assert(parent && parent == TAILQ_LAST(&dir->i_dentry, dentry_tailq));
        /* parent dentry tracks dentry as a subdir, weak reference */
        TAILQ_INSERT_TAIL(&parent->d_subdirs, dentry, d_subdirs_link);
+       icache_put(new_dir->i_sb, new_dir);
        kref_put(&new_dir->i_kref);
        return 0;
 }
@@ -958,6 +1016,7 @@ int create_symlink(struct inode *dir, struct dentry *dentry,
        if (!new_sym)
                return -1;
        dir->i_op->symlink(dir, dentry, symname);
+       icache_put(new_sym->i_sb, new_sym);
        kref_put(&new_sym->i_kref);
        return 0;
 }
@@ -977,6 +1036,7 @@ void inode_release(struct kref *kref)
 {
        struct inode *inode = container_of(kref, struct inode, i_kref);
        TAILQ_REMOVE(&inode->i_sb->s_inodes, inode, i_sb_list);
+       icache_remove(inode->i_sb, inode->i_ino);
        /* Might need to write back or delete the file/inode */
        if (inode->i_nlink) {
                if (inode->i_state & I_STATE_DIRTY)
@@ -987,6 +1047,7 @@ void inode_release(struct kref *kref)
        /* Either way, we dealloc the in-memory version */
        inode->i_sb->s_op->dealloc_inode(inode);        /* FS-specific clean-up */
        kref_put(&inode->i_sb->s_kref);
+       /* TODO: clean this up */
        assert(inode->i_mapping == &inode->i_pm);
        kmem_cache_free(inode_kcache, inode);
        /* TODO: (BDEV) */
@@ -1011,6 +1072,43 @@ void stat_inode(struct inode *inode, struct kstat *kstat)
        kstat->st_ctime = inode->i_ctime;
 }
 
+/* Inode Cache management.  In general, search on the ino, get a refcnt'd value
+ * back.  Remove does not give you a reference back - it should only be called
+ * in inode_release(). */
+struct inode *icache_get(struct super_block *sb, unsigned long ino)
+{
+       /* This is the same style as in pid2proc, it's the "safely create a strong
+        * reference from a weak one, so long as other strong ones exist" pattern */
+       spin_lock(&sb->s_icache_lock);
+       struct inode *inode = hashtable_search(sb->s_icache, (void*)ino);
+       if (inode)
+               if (!kref_get_not_zero(&inode->i_kref, 1))
+                       inode = 0;
+       spin_unlock(&sb->s_icache_lock);
+       return inode;
+}
+
+void icache_put(struct super_block *sb, struct inode *inode)
+{
+       spin_lock(&sb->s_icache_lock);
+       /* there's a race in load_ino() that could trigger this */
+       assert(!hashtable_search(sb->s_icache, (void*)inode->i_ino));
+       hashtable_insert(sb->s_icache, (void*)inode->i_ino, inode);
+       spin_unlock(&sb->s_icache_lock);
+}
+
+struct inode *icache_remove(struct super_block *sb, unsigned long ino)
+{
+       struct inode *inode;
+       /* Presumably these hashtable removals could be easier since callers
+        * actually know who they are (same with the pid2proc hash) */
+       spin_lock(&sb->s_icache_lock);
+       inode = hashtable_remove(sb->s_icache, (void*)ino);
+       spin_unlock(&sb->s_icache_lock);
+       assert(inode && !kref_refcnt(&inode->i_kref));
+       return inode;
+}
+
 /* File functions */
 
 /* Read count bytes from the file into buf, starting at *offset, which is increased
@@ -1043,7 +1141,7 @@ ssize_t generic_file_read(struct file *file, char *buf, size_t count,
        /* For each file page, make sure it's in the page cache, then copy it out.
         * TODO: will probably need to consider concurrently truncated files here.*/
        for (int i = first_idx; i <= last_idx; i++) {
-               error = file_load_page(file, i, &page);
+               error = pm_load_page(file->f_mapping, i, &page);
                assert(!error); /* TODO: handle ENOMEM and friends */
                copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
                /* TODO: (UMEM) think about this.  if it's a user buffer, we're relying
@@ -1093,7 +1191,7 @@ ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
        buf_end = buf + count;
        /* For each file page, make sure it's in the page cache, then write it.*/
        for (int i = first_idx; i <= last_idx; i++) {
-               error = file_load_page(file, i, &page);
+               error = pm_load_page(file->f_mapping, i, &page);
                assert(!error); /* TODO: handle ENOMEM and friends */
                copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
                /* TODO: (UMEM) (KFOP) think about this.  if it's a user buffer, we're
@@ -1502,6 +1600,10 @@ int do_rmdir(char *path)
                set_errno(ENOTDIR);
                goto out_dentry;
        }
+       if (dentry->d_mount_point) {
+               set_errno(EBUSY);
+               goto out_dentry;
+       }
        /* TODO: make sure we aren't a mount or processes root (EBUSY) */
        /* Now for the removal.  the FSs will check if they are empty */
        parent_i = nd->dentry->d_inode;
@@ -1606,125 +1708,6 @@ void file_release(struct kref *kref)
        kmem_cache_free(file_kcache, file);
 }
 
-/* Page cache functions */
-
-/* Looks up the index'th page in the page map, returning an incref'd reference,
- * or 0 if it was not in the map. */
-struct page *pm_find_page(struct page_map *pm, unsigned long index)
-{
-       spin_lock(&pm->pm_tree_lock);
-       struct page *page = (struct page*)radix_lookup(&pm->pm_tree, index);
-       if (page)
-               page_incref(page);
-       spin_unlock(&pm->pm_tree_lock);
-       return page;
-}
-
-/* Attempts to insert the page into the page_map, returns 0 for success, or an
- * error code if there was one already (EEXIST) or we ran out of memory
- * (ENOMEM).  On success, this will preemptively lock the page, and will also
- * store a reference to the page in the pm. */
-int pm_insert_page(struct page_map *pm, unsigned long index, struct page *page)
-{
-       int error = 0;
-       spin_lock(&pm->pm_tree_lock);
-       error = radix_insert(&pm->pm_tree, index, page);
-       if (!error) {
-               page_incref(page);
-               page->pg_flags |= PG_LOCKED;
-               page->pg_mapping = pm;
-               page->pg_index = index;
-               pm->pm_num_pages++;
-       }
-       spin_unlock(&pm->pm_tree_lock);
-       return error;
-}
-
-/* Removes the page, including its reference.  Not sure yet what interface we
- * want to this (pm and index or page), and this has never been used.  There are
- * also issues with when you want to call this, since a page in the cache may be
- * mmap'd by someone else. */
-int pm_remove_page(struct page_map *pm, struct page *page)
-{
-       void *retval;
-       warn("pm_remove_page() hasn't been thought through or tested.");
-       spin_lock(&pm->pm_tree_lock);
-       retval = radix_delete(&pm->pm_tree, page->pg_index);
-       spin_unlock(&pm->pm_tree_lock);
-       assert(retval == (void*)page);
-       page_decref(page);
-       page->pg_mapping = 0;
-       page->pg_index = 0;
-       pm->pm_num_pages--;
-       return 0;
-}
-
-/* Makes sure the index'th page from file is loaded in the page cache and
- * returns its location via **pp.  Note this will give you a refcnt'd reference.
- * This may block! TODO: (BLK) */
-int file_load_page(struct file *file, unsigned long index, struct page **pp)
-{
-       struct page_map *pm = file->f_mapping;
-       struct page *page;
-       int error;
-       bool page_was_mapped = TRUE;
-
-       page = pm_find_page(pm, index);
-       while (!page) {
-               /* kpage_alloc, since we want the page to persist after the proc
-                * dies (can be used by others, until the inode shuts down). */
-               if (kpage_alloc(&page))
-                       return -ENOMEM;
-               /* might want to initialize other things, perhaps in page_alloc() */
-               page->pg_flags = 0;
-               error = pm_insert_page(pm, index, page);
-               switch (error) {
-                       case 0:
-                               page_was_mapped = FALSE;
-                               break;
-                       case -EEXIST:
-                               /* the page was mapped already (benign race), just get rid of
-                                * our page and try again (the only case that uses the while) */
-                               page_decref(page);
-                               page = pm_find_page(pm, index);
-                               break;
-                       default:
-                               /* something is wrong, bail out! */
-                               page_decref(page);
-                               return error;
-               }
-       }
-       *pp = page;
-       /* if the page was in the map, we need to do some checks, and might have to
-        * read in the page later.  If the page was freshly inserted to the pm by
-        * us, we skip this since we are the one doing the readpage(). */
-       if (page_was_mapped) {
-               /* is it already here and up to date?  if so, we're done */
-               if (page->pg_flags & PG_UPTODATE)
-                       return 0;
-               /* if not, try to lock the page (could BLOCK) */
-               lock_page(page);
-               /* we got it, is our page still in the cache?  check the mapping.  if
-                * not, start over, perhaps with EAGAIN and outside support */
-               if (!page->pg_mapping)
-                       panic("Page is not in the mapping!  Haven't implemented this!");
-               /* double check, are we up to date?  if so, we're done */
-               if (page->pg_flags & PG_UPTODATE) {
-                       unlock_page(page);
-                       return 0;
-               }
-       }
-       /* if we're here, the page is locked by us, and it needs to be read in */
-       assert(page->pg_mapping == pm);
-       error = pm->pm_op->readpage(file, page);
-       assert(!error);
-       /* Try to sleep on the IO.  The page will be unlocked when the IO is done */
-       lock_page(page);
-       unlock_page(page);
-       assert(page->pg_flags & PG_UPTODATE);
-       return 0;
-}
-
 /* Process-related File management functions */
 
 /* Given any FD, get the appropriate file, 0 o/w */
@@ -1739,7 +1722,7 @@ struct file *get_file_from_fd(struct files_struct *open_files, int file_desc)
                        /* while max_files and max_fdset might not line up, we should never
                         * have a valid fdset higher than files */
                        assert(file_desc < open_files->max_files);
-                       retval = open_files->fd[file_desc];
+                       retval = open_files->fd[file_desc].fd_file;
                        assert(retval);
                        kref_get(&retval->f_kref, 1);
                }
@@ -1762,8 +1745,8 @@ struct file *put_file_from_fd(struct files_struct *open_files, int file_desc)
                        /* while max_files and max_fdset might not line up, we should never
                         * have a valid fdset higher than files */
                        assert(file_desc < open_files->max_files);
-                       file = open_files->fd[file_desc];
-                       open_files->fd[file_desc] = 0;
+                       file = open_files->fd[file_desc].fd_file;
+                       open_files->fd[file_desc].fd_file = 0;
                        assert(file);
                        kref_put(&file->f_kref);
                        CLR_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
@@ -1786,9 +1769,11 @@ int insert_file(struct files_struct *open_files, struct file *file, int low_fd)
                        continue;
                slot = i;
                SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
-               assert(slot < open_files->max_files && open_files->fd[slot] == 0);
+               assert(slot < open_files->max_files &&
+                      open_files->fd[slot].fd_file == 0);
                kref_get(&file->f_kref, 1);
-               open_files->fd[slot] = file;
+               open_files->fd[slot].fd_file = file;
+               open_files->fd[slot].fd_flags = 0;
                if (slot >= open_files->next_fd)
                        open_files->next_fd = slot + 1;
                break;
@@ -1810,11 +1795,11 @@ void close_all_files(struct files_struct *open_files, bool cloexec)
                        /* while max_files and max_fdset might not line up, we should never
                         * have a valid fdset higher than files */
                        assert(i < open_files->max_files);
-                       file = open_files->fd[i];
-                       if (cloexec && !(file->f_flags & O_CLOEXEC))
+                       file = open_files->fd[i].fd_file;
+                       if (cloexec && !(open_files->fd[i].fd_flags & O_CLOEXEC))
                                continue;
                        /* Actually close the file */
-                       open_files->fd[i] = 0;
+                       open_files->fd[i].fd_file = 0;
                        assert(file);
                        kref_put(&file->f_kref);
                        CLR_BITMASK_BIT(open_files->open_fds->fds_bits, i);
@@ -1834,10 +1819,10 @@ void clone_files(struct files_struct *src, struct files_struct *dst)
                        /* while max_files and max_fdset might not line up, we should never
                         * have a valid fdset higher than files */
                        assert(i < src->max_files);
-                       file = src->fd[i];
-                       assert(i < dst->max_files && dst->fd[i] == 0);
+                       file = src->fd[i].fd_file;
+                       assert(i < dst->max_files && dst->fd[i].fd_file == 0);
                        SET_BITMASK_BIT(dst->open_fds->fds_bits, i);
-                       dst->fd[i] = file;
+                       dst->fd[i].fd_file = file;
                        assert(file);
                        kref_get(&file->f_kref, 1);
                        if (i >= dst->next_fd)