Return bool from reset_alarm_* apis.
[akaros.git] / kern / src / vfs.c
index 5462a9d..cd330bc 100644 (file)
@@ -40,9 +40,9 @@ struct vfsmount *__mount_fs(struct fs_type *fs, char *dev_name,
 
        /* this first ref is stored in the NS tailq below */
        kref_init(&vmnt->mnt_kref, fake_release, 1);
-       /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for now).
-        * fields related to the actual FS, like the sb and the mnt_root are set in
-        * the fs-specific get_sb() call. */
+       /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for
+        * now).  fields related to the actual FS, like the sb and the mnt_root are
+        * set in the fs-specific get_sb() call. */
        if (!mnt_pt) {
                vmnt->mnt_parent = NULL;
                vmnt->mnt_mountpoint = NULL;
@@ -99,7 +99,9 @@ void vfs_init(void)
        /* build list of all FS's in the system.  put yours here.  if this is ever
         * done on the fly, we'll need to lock. */
        TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
+#ifdef CONFIG_EXT2FS
        TAILQ_INSERT_TAIL(&file_systems, &ext2_fs_type, list);
+#endif
        TAILQ_FOREACH(fs, &file_systems, list)
                printk("Supports the %s Filesystem\n", fs->name);
 
@@ -110,16 +112,26 @@ void vfs_init(void)
        printk("vfs_init() completed\n");
 }
 
+/* FS's can provide another, if they want */
+int generic_dentry_hash(struct dentry *dentry, struct qstr *qstr)
+{
+       unsigned long hash = 5381;
+
+       for (int i = 0; i < qstr->len; i++) {
+               /* hash * 33 + c, djb2's technique */
+               hash = ((hash << 5) + hash) + qstr->name[i];
+       }
+       return hash;
+}
+
 /* Builds / populates the qstr of a dentry based on its d_iname.  If there is an
  * l_name, (long), it will use that instead of the inline name.  This will
  * probably change a bit. */
 void qstr_builder(struct dentry *dentry, char *l_name)
 {
        dentry->d_name.name = l_name ? l_name : dentry->d_iname;
-       // TODO: pending what we actually do in d_hash
-       //dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name); 
-       dentry->d_name.hash = 0xcafebabe;
        dentry->d_name.len = strnlen(dentry->d_name.name, MAX_FILENAME_SZ);
+       dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name);
 }
 
 /* Useful little helper - return the string ptr for a given file */
@@ -137,6 +149,10 @@ static struct dentry *do_lookup(struct dentry *parent, char *name)
 {
        struct dentry *result, *query;
        query = get_dentry(parent->d_sb, parent, name);
+       if (!query) {
+               warn("OOM in do_lookup(), probably wasn't expected\n");
+               return 0;
+       }
        result = dcache_get(parent->d_sb, query); 
        if (result) {
                __dentry_free(query);
@@ -241,7 +257,7 @@ static int follow_symlink(struct nameidata *nd)
                return 0;
        if (nd->depth > MAX_SYMLINK_DEPTH)
                return -ELOOP;
-       printd("Following symlink for dentry %08p %s\n", nd->dentry,
+       printd("Following symlink for dentry %p %s\n", nd->dentry,
               nd->dentry->d_name.name);
        nd->depth++;
        symname = nd->dentry->d_inode->i_op->readlink(nd->dentry);
@@ -457,6 +473,8 @@ int path_lookup(char *path, int flags, struct nameidata *nd)
        int retval;
        printd("Path lookup for %s\n", path);
        /* we allow absolute lookups with no process context */
+       /* TODO: RCU read lock on pwd or kref_not_zero in a loop.  concurrent chdir
+        * could decref nd->dentry before we get to incref it below. */
        if (path[0] == '/') {                   /* absolute lookup */
                if (!current)
                        nd->dentry = default_ns.root->mnt_root;
@@ -567,8 +585,10 @@ void init_sb(struct super_block *sb, struct vfsmount *vmnt,
 {
        /* Build and init the first dentry / inode.  The dentry ref is stored later
         * by vfsmount's mnt_root.  The parent is dealt with later. */
-       struct dentry *d_root = get_dentry(sb, 0,  "/");        /* probably right */
+       struct dentry *d_root = get_dentry_with_ops(sb, 0,  "/", d_op);
 
+       if (!d_root)
+               panic("OOM!  init_sb() can't fail yet!");
        /* a lot of here on down is normally done in lookup() or create, since
         * get_dentry isn't a fully usable dentry.  The two FS-specific settings are
         * normally inherited from a parent within the same FS in get_dentry, but we
@@ -604,25 +624,36 @@ void init_sb(struct super_block *sb, struct vfsmount *vmnt,
 
 /* Dentry Functions */
 
-/* Helper to alloc and initialize a generic dentry.  The following needs to be
- * set still: d_op (if no parent), d_fs_info (opt), d_inode, connect the inode
- * to the dentry (and up the d_kref again), maybe dcache_put().  The inode
- * stitching is done in get_inode() or lookup (depending on the FS).
- * The setting of the d_op might be problematic when dealing with mounts.  Just
- * overwrite it.
- *
- * If the name is longer than the inline name, it will kmalloc a buffer, so
- * don't worry about the storage for *name after calling this. */
-struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
-                          char *name)
+static void dentry_set_name(struct dentry *dentry, char *name)
 {
-       assert(name);
        size_t name_len = strnlen(name, MAX_FILENAME_SZ);       /* not including \0! */
-       struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
        char *l_name = 0;
+       if (name_len < DNAME_INLINE_LEN) {
+               strncpy(dentry->d_iname, name, name_len);
+               dentry->d_iname[name_len] = '\0';
+               qstr_builder(dentry, 0);
+       } else {
+               l_name = kmalloc(name_len + 1, 0);
+               assert(l_name);
+               strncpy(l_name, name, name_len);
+               l_name[name_len] = '\0';
+               qstr_builder(dentry, l_name);
+       }
+}
 
-       if (!dentry)
+/* Gets a dentry.  If there is no parent, use d_op.  Only called directly by
+ * superblock init code. */
+struct dentry *get_dentry_with_ops(struct super_block *sb,
+                                   struct dentry *parent, char *name,
+                                   struct dentry_operations *d_op)
+{
+       assert(name);
+       struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
+
+       if (!dentry) {
+               set_errno(ENOMEM);
                return 0;
+       }
        //memset(dentry, 0, sizeof(struct dentry));
        kref_init(&dentry->d_kref, dentry_release, 1);  /* this ref is returned */
        spinlock_init(&dentry->d_lock);
@@ -635,26 +666,33 @@ struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
        if (parent)     {                                               /* no parent for rootfs mount */
                kref_get(&parent->d_kref, 1);
                dentry->d_op = parent->d_op;    /* d_op set in init_sb for parentless */
+       } else {
+               dentry->d_op = d_op;
        }
        dentry->d_parent = parent;
        dentry->d_flags = DENTRY_USED;
        dentry->d_fs_info = 0;
-       if (name_len < DNAME_INLINE_LEN) {
-               strncpy(dentry->d_iname, name, name_len);
-               dentry->d_iname[name_len] = '\0';
-               qstr_builder(dentry, 0);
-       } else {
-               l_name = kmalloc(name_len + 1, 0);
-               assert(l_name);
-               strncpy(l_name, name, name_len);
-               l_name[name_len] = '\0';
-               qstr_builder(dentry, l_name);
-       }
+       dentry_set_name(dentry, name);
        /* Catch bugs by aggressively zeroing this (o/w we use old stuff) */
        dentry->d_inode = 0;
        return dentry;
 }
 
+/* Helper to alloc and initialize a generic dentry.  The following needs to be
+ * set still: d_op (if no parent), d_fs_info (opt), d_inode, connect the inode
+ * to the dentry (and up the d_kref again), maybe dcache_put().  The inode
+ * stitching is done in get_inode() or lookup (depending on the FS).
+ * The setting of the d_op might be problematic when dealing with mounts.  Just
+ * overwrite it.
+ *
+ * If the name is longer than the inline name, it will kmalloc a buffer, so
+ * don't worry about the storage for *name after calling this. */
+struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
+                          char *name)
+{
+       return get_dentry_with_ops(sb, parent, name, 0);
+}
+
 /* Called when the dentry is unreferenced (after kref == 0).  This works closely
  * with the resurrection in dcache_get().
  *
@@ -666,7 +704,7 @@ void dentry_release(struct kref *kref)
 {
        struct dentry *dentry = container_of(kref, struct dentry, d_kref);
 
-       printd("'Releasing' dentry %08p: %s\n", dentry, dentry->d_name.name);
+       printd("'Releasing' dentry %p: %s\n", dentry, dentry->d_name.name);
        /* DYING dentries (recently unlinked / rmdir'd) just get freed */
        if (dentry->d_flags & DENTRY_DYING) {
                __dentry_free(dentry);
@@ -705,7 +743,7 @@ void dentry_release(struct kref *kref)
 void __dentry_free(struct dentry *dentry)
 {
        if (dentry->d_inode)
-               printk("Freeing dentry %08p: %s\n", dentry, dentry->d_name.name);
+               printd("Freeing dentry %p: %s\n", dentry, dentry->d_name.name);
        assert(dentry->d_op);   /* catch bugs.  a while back, some lacked d_op */
        dentry->d_op->d_release(dentry);
        /* TODO: check/test the boundaries on this. */
@@ -802,14 +840,19 @@ void dcache_put(struct super_block *sb, struct dentry *key_val)
        int retval;
        spin_lock(&sb->s_dcache_lock);
        old = hashtable_remove(sb->s_dcache, key_val);
-       if (old) {
-               assert(old->d_flags & DENTRY_NEGATIVE);
+       /* if it is old and non-negative, our caller lost a race with someone else
+        * adding the dentry.  but since we yanked it out, like a bunch of idiots,
+        * we still have to put it back.  should be fairly rare. */
+       if (old && (old->d_flags & DENTRY_NEGATIVE)) {
                /* This is possible, but rare for now (about to be put on the LRU) */
                assert(!(old->d_flags & DENTRY_USED));
                assert(!kref_refcnt(&old->d_kref));
                spin_lock(&sb->s_lru_lock);
                TAILQ_REMOVE(&sb->s_lru_d, old, d_lru);
                spin_unlock(&sb->s_lru_lock);
+               /* TODO: this seems suspect.  isn't this the same memory as key_val?
+                * in which case, we just adjust the flags (remove NEG) and reinsert? */
+               assert(old != key_val); // checking TODO comment
                __dentry_free(old);
        }
        /* this returns 0 on failure (TODO: Fix this ghetto shit) */
@@ -914,7 +957,7 @@ struct inode *get_inode(struct dentry *dentry)
 }
 
 /* Helper: loads/ reads in the inode numbered ino and attaches it to dentry */
-void load_inode(struct dentry *dentry, unsigned int ino)
+void load_inode(struct dentry *dentry, unsigned long ino)
 {
        struct inode *inode;
 
@@ -946,6 +989,7 @@ void load_inode(struct dentry *dentry, unsigned int ino)
  * note we don't pass this an nd, like Linux does... */
 static struct inode *create_inode(struct dentry *dentry, int mode)
 {
+       uint64_t now = epoch_seconds();
        /* note it is the i_ino that uniquely identifies a file in the specific
         * filesystem.  there's a diff between creating an inode (even for an in-use
         * ino) and then filling it in, and vs creating a brand new one.
@@ -958,10 +1002,10 @@ static struct inode *create_inode(struct dentry *dentry, int mode)
        inode->i_nlink = 1;
        inode->i_size = 0;
        inode->i_blocks = 0;
-       inode->i_atime.tv_sec = 0;              /* TODO: now! */
-       inode->i_ctime.tv_sec = 0;
-       inode->i_mtime.tv_sec = 0;
-       inode->i_atime.tv_nsec = 0;             /* are these supposed to be the extra ns? */
+       inode->i_atime.tv_sec = now;
+       inode->i_ctime.tv_sec = now;
+       inode->i_mtime.tv_sec = now;
+       inode->i_atime.tv_nsec = 0;
        inode->i_ctime.tv_nsec = 0;
        inode->i_mtime.tv_nsec = 0;
        inode->i_bdev = inode->i_sb->s_bdev;
@@ -1042,14 +1086,18 @@ void inode_release(struct kref *kref)
        } else {
                inode->i_sb->s_op->delete_inode(inode);
        }
+       if (S_ISFIFO(inode->i_mode)) {
+               page_decref(kva2page(inode->i_pipe->p_buf));
+               kfree(inode->i_pipe);
+       }
+       /* TODO: (BDEV) */
+       // kref_put(inode->i_bdev->kref); /* assuming it's a bdev, could be a pipe*/
        /* Either way, we dealloc the in-memory version */
        inode->i_sb->s_op->dealloc_inode(inode);        /* FS-specific clean-up */
        kref_put(&inode->i_sb->s_kref);
        /* TODO: clean this up */
        assert(inode->i_mapping == &inode->i_pm);
        kmem_cache_free(inode_kcache, inode);
-       /* TODO: (BDEV) */
-       // kref_put(inode->i_bdev->kref); /* assuming it's a bdev */
 }
 
 /* Fills in kstat with the stat information for the inode */
@@ -1070,10 +1118,28 @@ void stat_inode(struct inode *inode, struct kstat *kstat)
        kstat->st_ctime = inode->i_ctime;
 }
 
+void print_kstat(struct kstat *kstat)
+{
+       printk("kstat info for %p:\n", kstat);
+       printk("\tst_dev    : %p\n", kstat->st_dev);
+       printk("\tst_ino    : %p\n", kstat->st_ino);
+       printk("\tst_mode   : %p\n", kstat->st_mode);
+       printk("\tst_nlink  : %p\n", kstat->st_nlink);
+       printk("\tst_uid    : %p\n", kstat->st_uid);
+       printk("\tst_gid    : %p\n", kstat->st_gid);
+       printk("\tst_rdev   : %p\n", kstat->st_rdev);
+       printk("\tst_size   : %p\n", kstat->st_size);
+       printk("\tst_blksize: %p\n", kstat->st_blksize);
+       printk("\tst_blocks : %p\n", kstat->st_blocks);
+       printk("\tst_atime  : %p\n", kstat->st_atime);
+       printk("\tst_mtime  : %p\n", kstat->st_mtime);
+       printk("\tst_ctime  : %p\n", kstat->st_ctime);
+}
+
 /* Inode Cache management.  In general, search on the ino, get a refcnt'd value
  * back.  Remove does not give you a reference back - it should only be called
  * in inode_release(). */
-struct inode *icache_get(struct super_block *sb, unsigned int ino)
+struct inode *icache_get(struct super_block *sb, unsigned long ino)
 {
        /* This is the same style as in pid2proc, it's the "safely create a strong
         * reference from a weak one, so long as other strong ones exist" pattern */
@@ -1095,7 +1161,7 @@ void icache_put(struct super_block *sb, struct inode *inode)
        spin_unlock(&sb->s_icache_lock);
 }
 
-struct inode *icache_remove(struct super_block *sb, unsigned int ino)
+struct inode *icache_remove(struct super_block *sb, unsigned long ino)
 {
        struct inode *inode;
        /* Presumably these hashtable removals could be easier since callers
@@ -1109,32 +1175,36 @@ struct inode *icache_remove(struct super_block *sb, unsigned int ino)
 
 /* File functions */
 
-/* Read count bytes from the file into buf, starting at *offset, which is increased
- * accordingly, returning the number of bytes transfered.  Most filesystems will
- * use this function for their f_op->read.  Note, this uses the page cache.
- * Want to try out page remapping later on... */
+/* Read count bytes from the file into buf, starting at *offset, which is
+ * increased accordingly, returning the number of bytes transfered.  Most
+ * filesystems will use this function for their f_op->read.
+ * Note, this uses the page cache. */
 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
-                          off_t *offset)
+                          off64_t *offset)
 {
        struct page *page;
        int error;
-       off_t page_off;
+       off64_t page_off;
        unsigned long first_idx, last_idx;
        size_t copy_amt;
        char *buf_end;
+       /* read in offset, in case of a concurrent reader/writer, so we don't screw
+        * up our math for count, the idxs, etc. */
+       off64_t orig_off = ACCESS_ONCE(*offset);
 
        /* Consider pushing some error checking higher in the VFS */
        if (!count)
                return 0;
-       if (*offset == file->f_dentry->d_inode->i_size)
+       if (orig_off >= file->f_dentry->d_inode->i_size)
                return 0; /* EOF */
        /* Make sure we don't go past the end of the file */
-       if (*offset + count > file->f_dentry->d_inode->i_size) {
-               count = file->f_dentry->d_inode->i_size - *offset;
+       if (orig_off + count > file->f_dentry->d_inode->i_size) {
+               count = file->f_dentry->d_inode->i_size - orig_off;
        }
-       page_off = *offset & (PGSIZE - 1);
-       first_idx = *offset >> PGSHIFT;
-       last_idx = (*offset + count) >> PGSHIFT;
+       assert((long)count > 0);
+       page_off = orig_off & (PGSIZE - 1);
+       first_idx = orig_off >> PGSHIFT;
+       last_idx = (orig_off + count) >> PGSHIFT;
        buf_end = buf + count;
        /* For each file page, make sure it's in the page cache, then copy it out.
         * TODO: will probably need to consider concurrently truncated files here.*/
@@ -1154,38 +1224,57 @@ ssize_t generic_file_read(struct file *file, char *buf, size_t count,
                }
                buf += copy_amt;
                page_off = 0;
-               page_decref(page);      /* it's still in the cache, we just don't need it */
+               pm_put_page(page);      /* it's still in the cache, we just don't need it */
        }
        assert(buf == buf_end);
-       *offset += count;
+       /* could have concurrent file ops that screw with offset, so userspace isn't
+        * safe.  but at least it'll be a value that one of the concurrent ops could
+        * have produced (compared to *offset_changed_concurrently += count. */
+       *offset = orig_off + count;
        return count;
 }
 
-/* Write count bytes from buf to the file, starting at *offset, which is increased
- * accordingly, returning the number of bytes transfered.  Most filesystems will
- * use this function for their f_op->write.  Note, this uses the page cache.
+/* Write count bytes from buf to the file, starting at *offset, which is
+ * increased accordingly, returning the number of bytes transfered.  Most
+ * filesystems will use this function for their f_op->write.  Note, this uses
+ * the page cache.
+ *
  * Changes don't get flushed to disc til there is an fsync, page cache eviction,
  * or other means of trying to writeback the pages. */
 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
-                           off_t *offset)
+                           off64_t *offset)
 {
        struct page *page;
        int error;
-       off_t page_off;
+       off64_t page_off;
        unsigned long first_idx, last_idx;
        size_t copy_amt;
        const char *buf_end;
+       off64_t orig_off = ACCESS_ONCE(*offset);
 
        /* Consider pushing some error checking higher in the VFS */
        if (!count)
                return 0;
-       /* Extend the file.  Should put more checks in here, and maybe do this per
-        * page in the for loop below. */
-       if (*offset + count > file->f_dentry->d_inode->i_size)
-               file->f_dentry->d_inode->i_size = *offset + count;
-       page_off = *offset & (PGSIZE - 1);
-       first_idx = *offset >> PGSHIFT;
-       last_idx = (*offset + count) >> PGSHIFT;
+       if (file->f_flags & O_APPEND) {
+               spin_lock(&file->f_dentry->d_inode->i_lock);
+               orig_off = file->f_dentry->d_inode->i_size;
+               /* setting the filesize here, instead of during the extend-check, since
+                * we need to atomically reserve space and set our write position. */
+               file->f_dentry->d_inode->i_size += count;
+               spin_unlock(&file->f_dentry->d_inode->i_lock);
+       } else {
+               if (orig_off + count > file->f_dentry->d_inode->i_size) {
+                       /* lock for writes to i_size.  we allow lockless reads.  recheck
+                        * i_size in case of concurrent writers since our orig check.  */
+                       spin_lock(&file->f_dentry->d_inode->i_lock);
+                       if (orig_off + count > file->f_dentry->d_inode->i_size)
+                               file->f_dentry->d_inode->i_size = orig_off + count;
+                       spin_unlock(&file->f_dentry->d_inode->i_lock);
+               }
+       }
+       page_off = orig_off & (PGSIZE - 1);
+       first_idx = orig_off >> PGSHIFT;
+       last_idx = (orig_off + count) >> PGSHIFT;
        buf_end = buf + count;
        /* For each file page, make sure it's in the page cache, then write it.*/
        for (int i = first_idx; i <= last_idx; i++) {
@@ -1202,10 +1291,11 @@ ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
                }
                buf += copy_amt;
                page_off = 0;
-               page_decref(page);      /* it's still in the cache, we just don't need it */
+               atomic_or(&page->pg_flags, PG_DIRTY);
+               pm_put_page(page);      /* it's still in the cache, we just don't need it */
        }
        assert(buf == buf_end);
-       *offset += count;
+       *offset = orig_off + count;
        return count;
 }
 
@@ -1213,7 +1303,7 @@ ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
  * currently expects us to do a readdir (short of doing linux's getdents).  Will
  * probably need work, based on whatever real programs want. */
 ssize_t generic_dir_read(struct file *file, char *u_buf, size_t count,
-                         off_t *offset)
+                         off64_t *offset)
 {
        struct kdirent dir_r = {0}, *dirent = &dir_r;
        int retval = 1;
@@ -1228,7 +1318,9 @@ ssize_t generic_dir_read(struct file *file, char *u_buf, size_t count,
                return 0;
        /* start readdir from where it left off: */
        dirent->d_off = *offset;
-       for (; (u_buf < buf_end) && (retval == 1); u_buf += sizeof(struct kdirent)){
+       for (   ;
+               u_buf + sizeof(struct kdirent) <= buf_end;
+               u_buf += sizeof(struct kdirent)) {
                /* TODO: UMEM/KFOP (pin the u_buf in the syscall, ditch the local copy,
                 * get rid of this memcpy and reliance on current, etc).  Might be
                 * tricky with the dirent->d_off and trust issues */
@@ -1245,6 +1337,9 @@ ssize_t generic_dir_read(struct file *file, char *u_buf, size_t count,
                        memcpy(u_buf, dirent, sizeof(struct dirent));
                }
                amt_copied += sizeof(struct dirent);
+               /* 0 signals end of directory */
+               if (retval == 0)
+                       break;
        }
        /* Next time read is called, we pick up where we left off */
        *offset = dirent->d_off;        /* UMEM */
@@ -1272,12 +1367,22 @@ struct file *do_file_open(char *path, int flags, int mode)
        struct inode *parent_i;
        struct nameidata nd_r = {0}, *nd = &nd_r;
        int error;
+       unsigned long nr_pages;
 
        /* The file might exist, lets try to just open it right away */
        nd->intent = LOOKUP_OPEN;
        error = path_lookup(path, LOOKUP_FOLLOW, nd);
        if (!error) {
-               /* Still need to make sure we didn't want to O_EXCL create */
+               /* If this is a directory, make sure we are opening with O_RDONLY.
+                * Unfortunately we can't just check for O_RDONLY directly because its
+                * value is 0x0.  We instead have to make sure it's not O_WRONLY and
+                * not O_RDWR explicitly. */
+               if (S_ISDIR(nd->dentry->d_inode->i_mode) &&
+                   ((flags & O_WRONLY) || (flags & O_RDWR))) {
+                       set_errno(EISDIR);
+                       goto out_path_only;
+               }
+               /* Also need to make sure we didn't want to O_EXCL create */
                if ((flags & O_CREAT) && (flags & O_EXCL)) {
                        set_errno(EEXIST);
                        goto out_path_only;
@@ -1286,6 +1391,10 @@ struct file *do_file_open(char *path, int flags, int mode)
                kref_get(&file_d->d_kref, 1);
                goto open_the_file;
        }
+       if (!(flags & O_CREAT)) {
+               set_errno(-error);
+               goto out_path_only;
+       }
        /* So it didn't already exist, release the path from the previous lookup,
         * and then we try to create it. */
        path_release(nd);       
@@ -1301,11 +1410,14 @@ struct file *do_file_open(char *path, int flags, int mode)
        file_d = do_lookup(nd->dentry, nd->last.name); 
        if (!file_d) {
                if (!(flags & O_CREAT)) {
+                       warn("Extremely unlikely race, probably a bug");
                        set_errno(ENOENT);
                        goto out_path_only;
                }
                /* Create the inode/file.  get a fresh dentry too: */
                file_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
+               if (!file_d)
+                       goto out_path_only;
                parent_i = nd->dentry->d_inode;
                /* Note that the mode technically should only apply to future opens,
                 * but we apply it immediately. */
@@ -1325,8 +1437,13 @@ struct file *do_file_open(char *path, int flags, int mode)
 open_the_file:
        /* now open the file (freshly created or if it already existed).  At this
         * point, file_d is a refcnt'd dentry, regardless of which branch we took.*/
-       if (flags & O_TRUNC)
-               warn("File truncation not supported yet.");
+       if (flags & O_TRUNC) {
+               spin_lock(&file_d->d_inode->i_lock);
+               nr_pages = ROUNDUP(file_d->d_inode->i_size, PGSIZE) >> PGSHIFT;
+               file_d->d_inode->i_size = 0;
+               spin_unlock(&file_d->d_inode->i_lock);
+               pm_remove_contig(file_d->d_inode->i_mapping, 0, nr_pages);
+       }
        file = dentry_open(file_d, flags);                              /* sets errno */
        /* Note the fall through to the exit paths.  File is 0 by default and if
         * dentry_open fails. */
@@ -1362,10 +1479,8 @@ int do_symlink(char *path, const char *symname, int mode)
        }
        /* Doesn't already exist, let's try to make it: */
        sym_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
-       if (!sym_d) {
-               set_errno(ENOMEM);
+       if (!sym_d)
                goto out_path_only;
-       }
        parent_i = nd->dentry->d_inode;
        if (create_symlink(parent_i, sym_d, symname, mode))
                goto out_sym_d;
@@ -1404,10 +1519,8 @@ int do_link(char *old_path, char *new_path)
        /* Doesn't already exist, let's try to make it.  Still need to stitch it to
         * an inode and set its FS-specific stuff after this.*/
        link_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
-       if (!link_d) {
-               set_errno(ENOMEM);
+       if (!link_d)
                goto out_path_only;
-       }
        /* Now let's get the old_path target */
        old_d = lookup_dentry(old_path, LOOKUP_FOLLOW);
        if (!old_d)                                     /* errno set by lookup_dentry */
@@ -1512,22 +1625,17 @@ int do_access(char *path, int mode)
        return retval;
 }
 
-int do_chmod(char *path, int mode)
+int do_file_chmod(struct file *file, int mode)
 {
-       struct nameidata nd_r = {0}, *nd = &nd_r;
-       int retval = 0;
-       retval = path_lookup(path, 0, nd);
-       if (!retval) {
-               #if 0
-               /* TODO: when we have notions of uid, check for the proc's uid */
-               if (nd->dentry->d_inode->i_uid != UID_OF_ME)
-                       retval = -EPERM;
-               else
-               #endif
-                       nd->dentry->d_inode->i_mode |= mode & S_PMASK;
-       }
-       path_release(nd);       
-       return retval;
+       int old_mode_ftype = file->f_dentry->d_inode->i_mode & __S_IFMT;
+       #if 0
+       /* TODO: when we have notions of uid, check for the proc's uid */
+       if (file->f_dentry->d_inode->i_uid != UID_OF_ME)
+               retval = -EPERM;
+       else
+       #endif
+               file->f_dentry->d_inode->i_mode = (mode & S_PMASK) | old_mode_ftype;
+       return 0;
 }
 
 /* Make a directory at path with mode.  Returns -1 and sets errno on errors */
@@ -1554,10 +1662,8 @@ int do_mkdir(char *path, int mode)
        }
        /* Doesn't already exist, let's try to make it: */
        dentry = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
-       if (!dentry) {
-               set_errno(ENOMEM);
+       if (!dentry)
                goto out_path_only;
-       }
        parent_i = nd->dentry->d_inode;
        if (create_dir(parent_i, dentry, mode))
                goto out_dentry;
@@ -1629,16 +1735,498 @@ out_path_only:
        return retval;
 }
 
-/* Opens and returns the file specified by dentry */
-struct file *dentry_open(struct dentry *dentry, int flags)
+/* Pipes: Doing a simple buffer with reader and writer offsets.  Size is power
+ * of two, so we can easily compute its status and whatnot. */
+
+#define PIPE_SZ                                        (1 << PGSHIFT)
+
+static size_t pipe_get_rd_idx(struct pipe_inode_info *pii)
+{
+       return pii->p_rd_off & (PIPE_SZ - 1);
+}
+
+static size_t pipe_get_wr_idx(struct pipe_inode_info *pii)
+{
+
+       return pii->p_wr_off & (PIPE_SZ - 1);
+}
+
+static bool pipe_is_empty(struct pipe_inode_info *pii)
+{
+       return __ring_empty(pii->p_wr_off, pii->p_rd_off);
+}
+
+static bool pipe_is_full(struct pipe_inode_info *pii)
+{
+       return __ring_full(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
+}
+
+static size_t pipe_nr_full(struct pipe_inode_info *pii)
+{
+       return __ring_nr_full(pii->p_wr_off, pii->p_rd_off);
+}
+
+static size_t pipe_nr_empty(struct pipe_inode_info *pii)
+{
+       return __ring_nr_empty(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
+}
+
+ssize_t pipe_file_read(struct file *file, char *buf, size_t count,
+                       off64_t *offset)
+{
+       struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
+       size_t copy_amt, amt_copied = 0;
+
+       cv_lock(&pii->p_cv);
+       while (pipe_is_empty(pii)) {
+               /* We wait til the pipe is drained before sending EOF if there are no
+                * writers (instead of aborting immediately) */
+               if (!pii->p_nr_writers) {
+                       cv_unlock(&pii->p_cv);
+                       return 0;
+               }
+               if (file->f_flags & O_NONBLOCK) {
+                       cv_unlock(&pii->p_cv);
+                       set_errno(EAGAIN);
+                       return -1;
+               }
+               cv_wait(&pii->p_cv);
+               cpu_relax();
+       }
+       /* We might need to wrap-around with our copy, so we'll do the copy in two
+        * passes.  This will copy up to the end of the buffer, then on the next
+        * pass will copy the rest to the beginning of the buffer (if necessary) */
+       for (int i = 0; i < 2; i++) {
+               copy_amt = MIN(PIPE_SZ - pipe_get_rd_idx(pii),
+                              MIN(pipe_nr_full(pii), count));
+               assert(current);        /* shouldn't pipe from the kernel */
+               memcpy_to_user(current, buf, pii->p_buf + pipe_get_rd_idx(pii),
+                              copy_amt);
+               buf += copy_amt;
+               count -= copy_amt;
+               pii->p_rd_off += copy_amt;
+               amt_copied += copy_amt;
+       }
+       /* Just using one CV for both readers and writers.  We should rarely have
+        * multiple readers or writers. */
+       if (amt_copied)
+               __cv_broadcast(&pii->p_cv);
+       cv_unlock(&pii->p_cv);
+       return amt_copied;
+}
+
+/* Note: we're not dealing with PIPE_BUF and minimum atomic chunks, unless I
+ * have to later. */
+ssize_t pipe_file_write(struct file *file, const char *buf, size_t count,
+                        off64_t *offset)
+{
+       struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
+       size_t copy_amt, amt_copied = 0;
+
+       cv_lock(&pii->p_cv);
+       /* Write aborts right away if there are no readers, regardless of pipe
+        * status. */
+       if (!pii->p_nr_readers) {
+               cv_unlock(&pii->p_cv);
+               set_errno(EPIPE);
+               return -1;
+       }
+       while (pipe_is_full(pii)) {
+               if (file->f_flags & O_NONBLOCK) {
+                       cv_unlock(&pii->p_cv);
+                       set_errno(EAGAIN);
+                       return -1;
+               }
+               cv_wait(&pii->p_cv);
+               cpu_relax();
+               /* Still need to check in the loop, in case the last reader left while
+                * we slept. */
+               if (!pii->p_nr_readers) {
+                       cv_unlock(&pii->p_cv);
+                       set_errno(EPIPE);
+                       return -1;
+               }
+       }
+       /* We might need to wrap-around with our copy, so we'll do the copy in two
+        * passes.  This will copy up to the end of the buffer, then on the next
+        * pass will copy the rest to the beginning of the buffer (if necessary) */
+       for (int i = 0; i < 2; i++) {
+               copy_amt = MIN(PIPE_SZ - pipe_get_wr_idx(pii),
+                              MIN(pipe_nr_empty(pii), count));
+               assert(current);        /* shouldn't pipe from the kernel */
+               memcpy_from_user(current, pii->p_buf + pipe_get_wr_idx(pii), buf,
+                                copy_amt);
+               buf += copy_amt;
+               count -= copy_amt;
+               pii->p_wr_off += copy_amt;
+               amt_copied += copy_amt;
+       }
+       /* Just using one CV for both readers and writers.  We should rarely have
+        * multiple readers or writers. */
+       if (amt_copied)
+               __cv_broadcast(&pii->p_cv);
+       cv_unlock(&pii->p_cv);
+       return amt_copied;
+}
+
+/* In open and release, we need to track the number of readers and writers,
+ * which we can differentiate by the file flags. */
+int pipe_open(struct inode *inode, struct file *file)
+{
+       struct pipe_inode_info *pii = inode->i_pipe;
+       cv_lock(&pii->p_cv);
+       /* Ugliness due to not using flags for O_RDONLY and friends... */
+       if (file->f_mode == S_IRUSR) {
+               pii->p_nr_readers++;
+       } else if (file->f_mode == S_IWUSR) {
+               pii->p_nr_writers++;
+       } else {
+               warn("Bad pipe file flags 0x%x\n", file->f_flags);
+       }
+       cv_unlock(&pii->p_cv);
+       return 0;
+}
+
+int pipe_release(struct inode *inode, struct file *file)
+{
+       struct pipe_inode_info *pii = inode->i_pipe;
+       cv_lock(&pii->p_cv);
+       /* Ugliness due to not using flags for O_RDONLY and friends... */
+       if (file->f_mode == S_IRUSR) {
+               pii->p_nr_readers--;
+       } else if (file->f_mode == S_IWUSR) {
+               pii->p_nr_writers--;
+       } else {
+               warn("Bad pipe file flags 0x%x\n", file->f_flags);
+       }
+       /* need to wake up any sleeping readers/writers, since we might be done */
+       __cv_broadcast(&pii->p_cv);
+       cv_unlock(&pii->p_cv);
+       return 0;
+}
+
+struct file_operations pipe_f_op = {
+       .read = pipe_file_read,
+       .write = pipe_file_write,
+       .open = pipe_open,
+       .release = pipe_release,
+       0
+};
+
+void pipe_debug(struct file *f)
+{
+       struct pipe_inode_info *pii = f->f_dentry->d_inode->i_pipe;
+       assert(pii);
+       printk("PIPE %p\n", pii);
+       printk("\trdoff %p\n", pii->p_rd_off);
+       printk("\twroff %p\n", pii->p_wr_off);
+       printk("\tnr_rds %d\n", pii->p_nr_readers);
+       printk("\tnr_wrs %d\n", pii->p_nr_writers);
+       printk("\tcv waiters %d\n", pii->p_cv.nr_waiters);
+
+}
+
+/* General plan: get a dentry/inode to represent the pipe.  We'll alloc it from
+ * the default_ns SB, but won't actually link it anywhere.  It'll only be held
+ * alive by the krefs, til all the FDs are closed. */
+int do_pipe(struct file **pipe_files, int flags)
+{
+       struct dentry *pipe_d;
+       struct inode *pipe_i;
+       struct file *pipe_f_read, *pipe_f_write;
+       struct super_block *def_sb = default_ns.root->mnt_sb;
+       struct pipe_inode_info *pii;
+
+       pipe_d = get_dentry(def_sb, 0, "pipe");
+       if (!pipe_d)
+               return -1;
+       pipe_d->d_op = &dummy_d_op;
+       pipe_i = get_inode(pipe_d);
+       if (!pipe_i)
+               goto error_post_dentry;
+       /* preemptively mark the dentry for deletion.  we have an unlinked dentry
+        * right off the bat, held in only by the kref chain (pipe_d is the ref). */
+       pipe_d->d_flags |= DENTRY_DYING;
+       /* pipe_d->d_inode still has one ref to pipe_i, keeping the inode alive */
+       kref_put(&pipe_i->i_kref);
+       /* init inode fields.  note we're using the dummy ops for i_op and d_op */
+       pipe_i->i_mode = S_IRWXU | S_IRWXG | S_IRWXO;
+       SET_FTYPE(pipe_i->i_mode, __S_IFIFO);   /* using type == FIFO */
+       pipe_i->i_nlink = 1;                    /* one for the dentry */
+       pipe_i->i_uid = 0;
+       pipe_i->i_gid = 0;
+       pipe_i->i_size = PGSIZE;
+       pipe_i->i_blocks = 0;
+       pipe_i->i_atime.tv_sec = 0;
+       pipe_i->i_atime.tv_nsec = 0;
+       pipe_i->i_mtime.tv_sec = 0;
+       pipe_i->i_mtime.tv_nsec = 0;
+       pipe_i->i_ctime.tv_sec = 0;
+       pipe_i->i_ctime.tv_nsec = 0;
+       pipe_i->i_fs_info = 0;
+       pipe_i->i_op = &dummy_i_op;
+       pipe_i->i_fop = &pipe_f_op;
+       pipe_i->i_socket = FALSE;
+       /* Actually build the pipe.  We're using one page, hanging off the
+        * pipe_inode_info struct.  When we release the inode, we free the pipe
+        * memory too */
+       pipe_i->i_pipe = kmalloc(sizeof(struct pipe_inode_info), KMALLOC_WAIT);
+       pii = pipe_i->i_pipe;
+       if (!pii) {
+               set_errno(ENOMEM);
+               goto error_kmalloc;
+       }
+       pii->p_buf = kpage_zalloc_addr();
+       if (!pii->p_buf) {
+               set_errno(ENOMEM);
+               goto error_kpage;
+       }
+       pii->p_rd_off = 0;
+       pii->p_wr_off = 0;
+       pii->p_nr_readers = 0;
+       pii->p_nr_writers = 0;
+       cv_init(&pii->p_cv);    /* must do this before dentry_open / pipe_open */
+       /* Now we have an inode for the pipe.  We need two files for the read and
+        * write ends of the pipe. */
+       flags &= ~(O_ACCMODE);  /* avoid user bugs */
+       pipe_f_read = dentry_open(pipe_d, flags | O_RDONLY);
+       if (!pipe_f_read)
+               goto error_f_read;
+       pipe_f_write = dentry_open(pipe_d, flags | O_WRONLY);
+       if (!pipe_f_write)
+               goto error_f_write;
+       pipe_files[0] = pipe_f_read;
+       pipe_files[1] = pipe_f_write;
+       return 0;
+
+error_f_write:
+       kref_put(&pipe_f_read->f_kref);
+error_f_read:
+       page_decref(kva2page(pii->p_buf));
+error_kpage:
+       kfree(pipe_i->i_pipe);
+error_kmalloc:
+       /* We don't need to free the pipe_i; putting the dentry will free it */
+error_post_dentry:
+       /* Note we only free the dentry on failure. */
+       kref_put(&pipe_d->d_kref);
+       return -1;
+}
+
+int do_rename(char *old_path, char *new_path)
+{
+       struct nameidata nd_old = {0}, *nd_o = &nd_old;
+       struct nameidata nd_new = {0}, *nd_n = &nd_new;
+       struct dentry *old_dir_d, *new_dir_d;
+       struct inode *old_dir_i, *new_dir_i;
+       struct dentry *old_d, *new_d, *unlink_d;
+       int error;
+       int retval = 0;
+       uint64_t now;
+
+       nd_o->intent = LOOKUP_ACCESS; /* maybe, might need another type */
+
+       /* get the parent, but don't follow links */
+       error = path_lookup(old_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_o);
+       if (error) {
+               set_errno(-error);
+               retval = -1;
+               goto out_old_path;
+       }
+       old_dir_d = nd_o->dentry;
+       old_dir_i = old_dir_d->d_inode;
+
+       old_d = do_lookup(old_dir_d, nd_o->last.name);
+       if (!old_d) {
+               set_errno(ENOENT);
+               retval = -1;
+               goto out_old_path;
+       }
+
+       nd_n->intent = LOOKUP_CREATE;
+       error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_n);
+       if (error) {
+               set_errno(-error);
+               retval = -1;
+               goto out_paths_and_src;
+       }
+       new_dir_d = nd_n->dentry;
+       new_dir_i = new_dir_d->d_inode;
+       /* TODO if new_dir == old_dir, we might be able to simplify things */
+
+       if (new_dir_i->i_sb != old_dir_i->i_sb) {
+               set_errno(EXDEV);
+               retval = -1;
+               goto out_paths_and_src;
+       }
+       /* TODO: check_perms is lousy, want to just say "writable" here */
+       if (check_perms(old_dir_i, S_IWUSR) || check_perms(new_dir_i, S_IWUSR)) {
+               set_errno(EPERM);
+               retval = -1;
+               goto out_paths_and_src;
+       }
+       /* TODO: if we're doing a rename that moves a directory, we need to make
+        * sure the new_path doesn't include the old_path.  it's not as simple as
+        * just checking, since there could be a concurrent rename that breaks the
+        * check later.  e.g. what if new_dir's parent is being moved into a child
+        * of old_dir?
+        *
+        * linux has a per-fs rename mutex for these scenarios, so only one can
+        * proceed at a time.  i don't see another way to deal with it either.
+        * maybe something like flagging all dentries on the new_path with "do not
+        * move". */
+
+       /* TODO: this is all very racy.  right after we do a new_d lookup, someone
+        * else could create or unlink new_d.  need to lock here, or else push this
+        * into the sub-FS.
+        *
+        * For any locking scheme, we probably need to lock both the old and new
+        * dirs.  To prevent deadlock, we need a total ordering of all inodes (or
+        * dentries, if we locking them instead).  inode number or struct inode*
+        * will work for this. */
+       new_d = do_lookup(new_dir_d, nd_n->last.name);
+       if (new_d) {
+               if (new_d->d_inode == old_d->d_inode)
+                       goto out_paths_and_refs;        /* rename does nothing */
+               /* TODO: Here's a bunch of other racy checks we need to do, maybe in the
+                * sub-FS:
+                *
+                * if src is a dir, dst must be an empty dir if it exists (RACYx2)
+                *              racing on dst being created and it getting new entries
+                * if src is a file, dst must be a file if it exists (RACY)
+                *              racing on dst being created and still being a file
+                *              racing on dst being unlinked and a new one being added
+                */
+               /* TODO: we should allow empty dirs */
+               if (S_ISDIR(new_d->d_inode->i_mode)) {
+                       set_errno(EISDIR);
+                       retval = -1;
+                       goto out_paths_and_refs;
+               }
+               /* TODO: need this to be atomic with rename */
+               error = new_dir_i->i_op->unlink(new_dir_i, new_d);
+               if (error) {
+                       set_errno(-error);
+                       retval = -1;
+                       goto out_paths_and_refs;
+               }
+               new_d->d_flags |= DENTRY_DYING;
+               /* TODO: racy with other lookups on new_d */
+               dcache_remove(new_d->d_sb, new_d);
+               new_d->d_inode->i_nlink--;  /* TODO: race here, esp with a decref */
+               kref_put(&new_d->d_kref);
+       }
+       /* new_d is just a vessel for the name.  somewhat lousy. */
+       new_d = get_dentry(new_dir_d->d_sb, new_dir_d, nd_n->last.name);
+
+       /* TODO: more races.  need to remove old_d from the dcache, since we're
+        * about to change its parentage.  could be readded concurrently. */
+       dcache_remove(old_dir_d->d_sb, old_d);
+       error = new_dir_i->i_op->rename(old_dir_i, old_d, new_dir_i, new_d);
+       if (error) {
+               /* TODO: oh crap, we already unlinked!  now we're screwed, and violated
+                * our atomicity requirements. */
+               printk("[kernel] rename failed, you might have lost data\n");
+               set_errno(-error);
+               retval = -1;
+               goto out_paths_and_refs;
+       }
+
+       /* old_dir loses old_d, new_dir gains old_d, renamed to new_d.  this is
+        * particularly cumbersome since there are two levels here: the FS has its
+        * info about where things are, and the VFS has its dentry tree.  and it's
+        * all racy (TODO). */
+       dentry_set_name(old_d, new_d->d_name.name);
+       old_d->d_parent = new_d->d_parent;
+       if (S_ISDIR(old_d->d_inode->i_mode)) {
+               TAILQ_REMOVE(&old_dir_d->d_subdirs, old_d, d_subdirs_link);
+               old_dir_i->i_nlink--; /* TODO: racy, etc */
+               TAILQ_INSERT_TAIL(&new_dir_d->d_subdirs, old_d, d_subdirs_link);
+               new_dir_i->i_nlink--; /* TODO: racy, etc */
+       }
+
+       /* and then the third level: dcache stuff.  we could have old versions of
+        * old_d or negative versions of new_d sitting around.  dcache_put should
+        * replace a potentially negative dentry for new_d (now called old_d) */
+       dcache_put(old_dir_d->d_sb, old_d);
+
+       /* TODO could have a helper for this, but it's going away soon */
+       now = epoch_seconds();
+       old_dir_i->i_ctime.tv_sec = now;
+       old_dir_i->i_mtime.tv_sec = now;
+       old_dir_i->i_ctime.tv_nsec = 0;
+       old_dir_i->i_mtime.tv_nsec = 0;
+       new_dir_i->i_ctime.tv_sec = now;
+       new_dir_i->i_mtime.tv_sec = now;
+       new_dir_i->i_ctime.tv_nsec = 0;
+       new_dir_i->i_mtime.tv_nsec = 0;
+
+       /* fall-through */
+out_paths_and_refs:
+       kref_put(&new_d->d_kref);
+out_paths_and_src:
+       kref_put(&old_d->d_kref);
+out_paths:
+       path_release(nd_n);
+out_old_path:
+       path_release(nd_o);
+       return retval;
+}
+
+int do_truncate(struct inode *inode, off64_t len)
+{
+       off64_t old_len;
+       uint64_t now;
+       if (len < 0) {
+               set_errno(EINVAL);
+               return -1;
+       }
+       if (len > PiB) {
+               printk("[kernel] truncate for > petabyte, probably a bug\n");
+               /* continuing, not too concerned.  could set EINVAL or EFBIG */
+       }
+       spin_lock(&inode->i_lock);
+       old_len = inode->i_size;
+       if (old_len == len) {
+               spin_unlock(&inode->i_lock);
+               return 0;
+       }
+       inode->i_size = len;
+       /* truncate can't block, since we're holding the spinlock.  but it can rely
+        * on that lock being held */
+       inode->i_op->truncate(inode);
+       spin_unlock(&inode->i_lock);
+
+       if (old_len < len) {
+               pm_remove_contig(inode->i_mapping, old_len >> PGSHIFT,
+                                (len >> PGSHIFT) - (old_len >> PGSHIFT));
+       }
+       now = epoch_seconds();
+       inode->i_ctime.tv_sec = now;
+       inode->i_mtime.tv_sec = now;
+       inode->i_ctime.tv_nsec = 0;
+       inode->i_mtime.tv_nsec = 0;
+       return 0;
+}
+
+struct file *alloc_file(void)
 {
-       struct inode *inode;
-       int desired_mode;
        struct file *file = kmem_cache_alloc(file_kcache, 0);
        if (!file) {
                set_errno(ENOMEM);
                return 0;
        }
+       /* one for the ref passed out*/
+       kref_init(&file->f_kref, file_release, 1);
+       return file;
+}
+
+/* Opens and returns the file specified by dentry */
+struct file *dentry_open(struct dentry *dentry, int flags)
+{
+       struct inode *inode;
+       struct file *file;
+       int desired_mode;
        inode = dentry->d_inode;
        /* Do the mode first, since we can still error out.  f_mode stores how the
         * OS file is open, which can be more restrictive than the i_mode */
@@ -1657,9 +2245,10 @@ struct file *dentry_open(struct dentry *dentry, int flags)
        }
        if (check_perms(inode, desired_mode))
                goto error_access;
+       file = alloc_file();
+       if (!file)
+               return 0;
        file->f_mode = desired_mode;
-       /* one for the ref passed out, and *none* for the sb TAILQ */
-       kref_init(&file->f_kref, file_release, 1);
        /* Add to the list of all files of this SB */
        TAILQ_INSERT_TAIL(&inode->i_sb->s_files, file, f_list);
        kref_get(&dentry->d_kref, 1);
@@ -1667,21 +2256,20 @@ struct file *dentry_open(struct dentry *dentry, int flags)
        kref_get(&inode->i_sb->s_mount->mnt_kref, 1);
        file->f_vfsmnt = inode->i_sb->s_mount;          /* saving a ref to the vmnt...*/
        file->f_op = inode->i_fop;
-       /* Don't store open mode or creation flags */
-       file->f_flags = flags & ~(O_ACCMODE | O_CREAT_FLAGS);
+       /* Don't store creation flags */
+       file->f_flags = flags & ~O_CREAT_FLAGS;
        file->f_pos = 0;
        file->f_uid = inode->i_uid;
        file->f_gid = inode->i_gid;
        file->f_error = 0;
 //     struct event_poll_tailq         f_ep_links;
        spinlock_init(&file->f_ep_lock);
-       file->f_fs_info = 0;                                            /* prob overriden by the fs */
+       file->f_privdata = 0;                                           /* prob overriden by the fs */
        file->f_mapping = inode->i_mapping;
        file->f_op->open(inode, file);
        return file;
 error_access:
        set_errno(EACCES);
-       kmem_cache_free(file_kcache, file);
        return 0;
 }
 
@@ -1715,20 +2303,105 @@ struct file *get_file_from_fd(struct files_struct *open_files, int file_desc)
        if (file_desc < 0)
                return 0;
        spin_lock(&open_files->lock);
+       if (open_files->closed) {
+               spin_unlock(&open_files->lock);
+               return 0;
+       }
        if (file_desc < open_files->max_fdset) {
                if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
                        /* while max_files and max_fdset might not line up, we should never
                         * have a valid fdset higher than files */
                        assert(file_desc < open_files->max_files);
                        retval = open_files->fd[file_desc].fd_file;
-                       assert(retval);
-                       kref_get(&retval->f_kref, 1);
+                       /* 9ns might be using this one, in which case file == 0 */
+                       if (retval)
+                               kref_get(&retval->f_kref, 1);
                }
        }
        spin_unlock(&open_files->lock);
        return retval;
 }
 
+/* Grow the vfs fd set */
+static int grow_fd_set(struct files_struct *open_files)
+{
+       int n;
+       struct file_desc *nfd, *ofd;
+
+       /* Only update open_fds once. If currently pointing to open_fds_init, then
+        * update it to point to a newly allocated fd_set with space for
+        * NR_FILE_DESC_MAX */
+       if (open_files->open_fds == (struct fd_set*)&open_files->open_fds_init) {
+               open_files->open_fds = kzmalloc(sizeof(struct fd_set), 0);
+               memmove(open_files->open_fds, &open_files->open_fds_init,
+                       sizeof(struct small_fd_set));
+       }
+
+       /* Grow the open_files->fd array in increments of NR_OPEN_FILES_DEFAULT */
+       n = open_files->max_files + NR_OPEN_FILES_DEFAULT;
+       if (n > NR_FILE_DESC_MAX)
+               return -EMFILE;
+       nfd = kzmalloc(n * sizeof(struct file_desc), 0);
+       if (nfd == NULL)
+               return -ENOMEM;
+
+       /* Move the old array on top of the new one */
+       ofd = open_files->fd;
+       memmove(nfd, ofd, open_files->max_files * sizeof(struct file_desc));
+
+       /* Update the array and the maxes for both max_files and max_fdset */
+       open_files->fd = nfd;
+       open_files->max_files = n;
+       open_files->max_fdset = n;
+
+       /* Only free the old one if it wasn't pointing to open_files->fd_array */
+       if (ofd != open_files->fd_array)
+               kfree(ofd);
+       return 0;
+}
+
+/* Free the vfs fd set if necessary */
+static void free_fd_set(struct files_struct *open_files)
+{
+       void *free_me;
+       if (open_files->open_fds != (struct fd_set*)&open_files->open_fds_init) {
+               assert(open_files->fd != open_files->fd_array);
+               /* need to reset the pointers to the internal addrs, in case we take a
+                * look while debugging.  0 them out, since they have old data.  our
+                * current versions should all be closed. */
+               memset(&open_files->open_fds_init, 0, sizeof(struct small_fd_set));
+               memset(&open_files->fd_array, 0, sizeof(open_files->fd_array));
+
+               free_me = open_files->open_fds;
+               open_files->open_fds = (struct fd_set*)&open_files->open_fds_init;
+               kfree(free_me);
+
+               free_me = open_files->fd;
+               open_files->fd = open_files->fd_array;
+               kfree(free_me);
+       }
+}
+
+/* 9ns: puts back an FD from the VFS-FD-space. */
+int put_fd(struct files_struct *open_files, int file_desc)
+{
+       if (file_desc < 0) {
+               warn("Negative FD!\n");
+               return 0;
+       }
+       spin_lock(&open_files->lock);
+       if (file_desc < open_files->max_fdset) {
+               if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
+                       /* while max_files and max_fdset might not line up, we should never
+                        * have a valid fdset higher than files */
+                       assert(file_desc < open_files->max_files);
+                       CLR_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
+               }
+       }
+       spin_unlock(&open_files->lock);
+       return 0;
+}
+
 /* Remove FD from the open files, if it was there, and return f.  Currently,
  * this decref's f, so the return value is not consumable or even usable.  This
  * hasn't been thought through yet. */
@@ -1745,7 +2418,7 @@ struct file *put_file_from_fd(struct files_struct *open_files, int file_desc)
                        assert(file_desc < open_files->max_files);
                        file = open_files->fd[file_desc].fd_file;
                        open_files->fd[file_desc].fd_file = 0;
-                       assert(file);
+                       assert(file);   /* 9ns shouldn't call this put */
                        kref_put(&file->f_kref);
                        CLR_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
                }
@@ -1754,47 +2427,145 @@ struct file *put_file_from_fd(struct files_struct *open_files, int file_desc)
        return file;
 }
 
-/* Inserts the file in the files_struct, returning the corresponding new file
- * descriptor, or an error code.  We start looking for open fds from low_fd. */
-int insert_file(struct files_struct *open_files, struct file *file, int low_fd)
+static int __get_fd(struct files_struct *open_files, int low_fd)
 {
        int slot = -1;
+       int error;
        if ((low_fd < 0) || (low_fd > NR_FILE_DESC_MAX))
                return -EINVAL;
+       if (open_files->closed)
+               return -EINVAL; /* won't matter, they are dying */
+
+       /* Loop until we have a valid slot (we grow the fd_array at the bottom of
+        * the loop if we haven't found a slot in the current array */
+       while (slot == -1) {
+               for (low_fd; low_fd < open_files->max_fdset; low_fd++) {
+                       if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
+                               continue;
+                       slot = low_fd;
+                       SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
+                       assert(slot < open_files->max_files &&
+                              open_files->fd[slot].fd_file == 0);
+                       if (slot >= open_files->next_fd)
+                               open_files->next_fd = slot + 1;
+                       break;
+               }
+               if (slot == -1) {
+                       if ((error = grow_fd_set(open_files)))
+                               return error;
+               }
+       }
+       return slot;
+}
+
+/* Gets and claims a free FD, used by 9ns.  < 0 == error.  cloexec is tracked on
+ * the VFS FD.  It's value will be O_CLOEXEC (not 1) or 0. */
+int get_fd(struct files_struct *open_files, int low_fd, int cloexec)
+{
+       int slot;
        spin_lock(&open_files->lock);
-       for (int i = low_fd; i < open_files->max_fdset; i++) {
-               if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, i))
-                       continue;
-               slot = i;
-               SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
-               assert(slot < open_files->max_files &&
-                      open_files->fd[slot].fd_file == 0);
-               kref_get(&file->f_kref, 1);
-               open_files->fd[slot].fd_file = file;
-               open_files->fd[slot].fd_flags = 0;
-               if (slot >= open_files->next_fd)
-                       open_files->next_fd = slot + 1;
-               break;
-       }
-       if (slot == -1) /* should expand the FD array and fd_set */
-               warn("Ran out of file descriptors, deal with me!");
+       slot = __get_fd(open_files, low_fd);
+       if (cloexec && (slot >= 0))
+               open_files->fd[slot].fd_flags |= FD_CLOEXEC;
+       spin_unlock(&open_files->lock);
+       return slot;
+}
+
+static int __claim_fd(struct files_struct *open_files, int file_desc)
+{
+       int error;
+       if ((file_desc < 0) || (file_desc > NR_FILE_DESC_MAX))
+               return -EINVAL;
+       if (open_files->closed)
+               return -EINVAL; /* won't matter, they are dying */
+
+       /* Grow the open_files->fd_set until the file_desc can fit inside it */
+       while(file_desc >= open_files->max_files) {
+               if ((error = grow_fd_set(open_files)))
+                       return error;
+               cpu_relax();
+       }
+
+       /* If we haven't grown, this could be a problem, so check for it */
+       if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc))
+               return -ENFILE; /* Should never really happen. Here to catch bugs. */
+
+       SET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
+       assert(file_desc < open_files->max_files &&
+              open_files->fd[file_desc].fd_file == 0);
+       if (file_desc >= open_files->next_fd)
+               open_files->next_fd = file_desc + 1;
+       return 0;
+}
+
+/* Claims a specific FD when duping FDs. used by 9ns.  < 0 == error.  No need
+ * for cloexec here, since it's not used during dup. */
+int claim_fd(struct files_struct *open_files, int file_desc)
+{
+       int ret;
+       spin_lock(&open_files->lock);
+       ret = __claim_fd(open_files, file_desc);
+       spin_unlock(&open_files->lock);
+       return ret;
+}
+
+/* Inserts the file in the files_struct, returning the corresponding new file
+ * descriptor, or an error code.  We start looking for open fds from low_fd.
+ *
+ * Passing cloexec is a bit cheap, since we might want to expand it to support
+ * more FD options in the future. */
+int insert_file(struct files_struct *open_files, struct file *file, int low_fd,
+                bool must, bool cloexec)
+{
+       int slot, ret;
+       spin_lock(&open_files->lock);
+       if (must) {
+               ret = __claim_fd(open_files, low_fd);
+               if (ret < 0) {
+                       spin_unlock(&open_files->lock);
+                       return ret;
+               }
+               assert(!ret);   /* issues with claim_fd returning status, not the fd */
+               slot = low_fd;
+       } else {
+               slot = __get_fd(open_files, low_fd);
+       }
+
+       if (slot < 0) {
+               spin_unlock(&open_files->lock);
+               return slot;
+       }
+       assert(slot < open_files->max_files &&
+              open_files->fd[slot].fd_file == 0);
+       kref_get(&file->f_kref, 1);
+       open_files->fd[slot].fd_file = file;
+       open_files->fd[slot].fd_flags = 0;
+       if (cloexec)
+               open_files->fd[slot].fd_flags |= FD_CLOEXEC;
        spin_unlock(&open_files->lock);
        return slot;
 }
 
 /* Closes all open files.  Mostly just a "put" for all files.  If cloexec, it
- * will only close files that are opened with O_CLOEXEC. */
+ * will only close the FDs with FD_CLOEXEC (opened with O_CLOEXEC or fcntld). */
 void close_all_files(struct files_struct *open_files, bool cloexec)
 {
        struct file *file;
        spin_lock(&open_files->lock);
+       if (open_files->closed) {
+               spin_unlock(&open_files->lock);
+               return;
+       }
        for (int i = 0; i < open_files->max_fdset; i++) {
                if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, i)) {
                        /* while max_files and max_fdset might not line up, we should never
                         * have a valid fdset higher than files */
                        assert(i < open_files->max_files);
                        file = open_files->fd[i].fd_file;
-                       if (cloexec && !(open_files->fd[i].fd_flags & O_CLOEXEC))
+                       /* no file == 9ns uses the FD.  they will deal with it */
+                       if (!file)
+                               continue;
+                       if (cloexec && !(open_files->fd[i].fd_flags & FD_CLOEXEC))
                                continue;
                        /* Actually close the file */
                        open_files->fd[i].fd_file = 0;
@@ -1803,6 +2574,10 @@ void close_all_files(struct files_struct *open_files, bool cloexec)
                        CLR_BITMASK_BIT(open_files->open_fds->fds_bits, i);
                }
        }
+       if (!cloexec) {
+               free_fd_set(open_files);
+               open_files->closed = TRUE;
+       }
        spin_unlock(&open_files->lock);
 }
 
@@ -1811,7 +2586,17 @@ void clone_files(struct files_struct *src, struct files_struct *dst)
 {
        struct file *file;
        spin_lock(&src->lock);
+       if (src->closed) {
+               spin_unlock(&src->lock);
+               return;
+       }
        spin_lock(&dst->lock);
+       if (dst->closed) {
+               warn("Destination closed before it opened");
+               spin_unlock(&dst->lock);
+               spin_unlock(&src->lock);
+               return;
+       }
        for (int i = 0; i < src->max_fdset; i++) {
                if (GET_BITMASK_BIT(src->open_fds->fds_bits, i)) {
                        /* while max_files and max_fdset might not line up, we should never
@@ -1821,8 +2606,9 @@ void clone_files(struct files_struct *src, struct files_struct *dst)
                        assert(i < dst->max_files && dst->fd[i].fd_file == 0);
                        SET_BITMASK_BIT(dst->open_fds->fds_bits, i);
                        dst->fd[i].fd_file = file;
-                       assert(file);
-                       kref_get(&file->f_kref, 1);
+                       /* no file means 9ns is using it, they clone separately */
+                       if (file)
+                               kref_get(&file->f_kref, 1);
                        if (i >= dst->next_fd)
                                dst->next_fd = i + 1;
                }
@@ -1831,21 +2617,46 @@ void clone_files(struct files_struct *src, struct files_struct *dst)
        spin_unlock(&src->lock);
 }
 
+static void __chpwd(struct fs_struct *fs_env, struct dentry *new_pwd)
+{
+       struct dentry *old_pwd;
+       kref_get(&new_pwd->d_kref, 1);
+       /* writer lock, make sure we replace pwd with ours.  could also CAS.
+        * readers don't lock at all, so they need to either loop, or we need to
+        * delay releasing old_pwd til an RCU grace period. */
+       spin_lock(&fs_env->lock);
+       old_pwd = fs_env->pwd;
+       fs_env->pwd = new_pwd;
+       spin_unlock(&fs_env->lock);
+       kref_put(&old_pwd->d_kref);
+}
+
 /* Change the working directory of the given fs env (one per process, at this
- * point).  Returns 0 for success, -ERROR for whatever error. */
+ * point).  Returns 0 for success, sets errno and returns -1 otherwise. */
 int do_chdir(struct fs_struct *fs_env, char *path)
 {
        struct nameidata nd_r = {0}, *nd = &nd_r;
-       int retval;
-       retval = path_lookup(path, LOOKUP_DIRECTORY, nd);
-       if (!retval) {
-               /* nd->dentry is the place we want our PWD to be */
-               kref_get(&nd->dentry->d_kref, 1);
-               kref_put(&fs_env->pwd->d_kref);
-               fs_env->pwd = nd->dentry;
+       int error;
+       error = path_lookup(path, LOOKUP_DIRECTORY, nd);
+       if (error) {
+               set_errno(-error);
+               path_release(nd);
+               return -1;
        }
+       /* nd->dentry is the place we want our PWD to be */
+       __chpwd(fs_env, nd->dentry);
        path_release(nd);
-       return retval;
+       return 0;
+}
+
+int do_fchdir(struct fs_struct *fs_env, struct file *file)
+{
+       if ((file->f_dentry->d_inode->i_mode & __S_IFMT) != __S_IFDIR) {
+               set_errno(ENOTDIR);
+               return -1;
+       }
+       __chpwd(fs_env, file->f_dentry);
+       return 0;
 }
 
 /* Returns a null-terminated string of up to length cwd_l containing the
@@ -1883,7 +2694,7 @@ char *do_getcwd(struct fs_struct *fs_env, char **kfree_this, size_t cwd_l)
                        set_errno(ERANGE);
                        return 0;
                }
-               path_start -= link_len + 1;     /* the 1 is for the \0 */
+               path_start -= link_len;
                strncpy(path_start, dentry->d_name.name, link_len);
                path_start--;
                *path_start = '/';
@@ -1979,3 +2790,138 @@ int ls_dash_r(char *path)
        path_release(nd);
        return 0;
 }
+
+/* Dummy ops, to catch weird operations we weren't expecting */
+int dummy_create(struct inode *dir, struct dentry *dentry, int mode,
+                 struct nameidata *nd)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+struct dentry *dummy_lookup(struct inode *dir, struct dentry *dentry,
+                          struct nameidata *nd)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return 0;
+}
+
+int dummy_link(struct dentry *old_dentry, struct inode *dir,
+             struct dentry *new_dentry)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_unlink(struct inode *dir, struct dentry *dentry)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_symlink(struct inode *dir, struct dentry *dentry, const char *symname)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_mkdir(struct inode *dir, struct dentry *dentry, int mode)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_rmdir(struct inode *dir, struct dentry *dentry)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_mknod(struct inode *dir, struct dentry *dentry, int mode, dev_t rdev)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_rename(struct inode *old_dir, struct dentry *old_dentry,
+               struct inode *new_dir, struct dentry *new_dentry)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+char *dummy_readlink(struct dentry *dentry)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return 0;
+}
+
+void dummy_truncate(struct inode *inode)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+}
+
+int dummy_permission(struct inode *inode, int mode, struct nameidata *nd)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_d_revalidate(struct dentry *dir, struct nameidata *nd)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_d_hash(struct dentry *dentry, struct qstr *name)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_d_compare(struct dentry *dir, struct qstr *name1, struct qstr *name2)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_d_delete(struct dentry *dentry)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+int dummy_d_release(struct dentry *dentry)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+       return -1;
+}
+
+void dummy_d_iput(struct dentry *dentry, struct inode *inode)
+{
+       printk("Dummy VFS function %s called!\n", __FUNCTION__);
+}
+
+struct inode_operations dummy_i_op = {
+       dummy_create,
+       dummy_lookup,
+       dummy_link,
+       dummy_unlink,
+       dummy_symlink,
+       dummy_mkdir,
+       dummy_rmdir,
+       dummy_mknod,
+       dummy_rename,
+       dummy_readlink,
+       dummy_truncate,
+       dummy_permission,
+};
+
+struct dentry_operations dummy_d_op = {
+       dummy_d_revalidate,
+       dummy_d_hash,
+       dummy_d_compare,
+       dummy_d_delete,
+       dummy_d_release,
+       dummy_d_iput,
+};