Decref file/chan outside of the fd_table lock
[akaros.git] / kern / src / vfs.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Default implementations and global values for the VFS. */
6
7 #include <vfs.h> // keep this first
8 #include <sys/queue.h>
9 #include <assert.h>
10 #include <stdio.h>
11 #include <atomic.h>
12 #include <slab.h>
13 #include <kmalloc.h>
14 #include <kfs.h>
15 #include <ext2fs.h>
16 #include <pmap.h>
17 #include <umem.h>
18 #include <smp.h>
19 #include <ns.h>
20
21 struct sb_tailq super_blocks = TAILQ_HEAD_INITIALIZER(super_blocks);
22 spinlock_t super_blocks_lock = SPINLOCK_INITIALIZER;
23 struct fs_type_tailq file_systems = TAILQ_HEAD_INITIALIZER(file_systems);
24 struct namespace default_ns;
25
26 struct kmem_cache *dentry_kcache; // not to be confused with the dcache
27 struct kmem_cache *inode_kcache;
28 struct kmem_cache *file_kcache;
29
30 /* Mounts fs from dev_name at mnt_pt in namespace ns.  There could be no mnt_pt,
31  * such as with the root of (the default) namespace.  Not sure how it would work
32  * with multiple namespaces on the same FS yet.  Note if you mount the same FS
33  * multiple times, you only have one FS still (and one SB).  If we ever support
34  * that... */
35 struct vfsmount *__mount_fs(struct fs_type *fs, char *dev_name,
36                             struct dentry *mnt_pt, int flags,
37                             struct namespace *ns)
38 {
39         struct super_block *sb;
40         struct vfsmount *vmnt = kmalloc(sizeof(struct vfsmount), 0);
41
42         /* this first ref is stored in the NS tailq below */
43         kref_init(&vmnt->mnt_kref, fake_release, 1);
44         /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for
45          * now).  fields related to the actual FS, like the sb and the mnt_root are
46          * set in the fs-specific get_sb() call. */
47         if (!mnt_pt) {
48                 vmnt->mnt_parent = NULL;
49                 vmnt->mnt_mountpoint = NULL;
50         } else { /* common case, but won't be tested til we try to mount another FS */
51                 mnt_pt->d_mount_point = TRUE;
52                 mnt_pt->d_mounted_fs = vmnt;
53                 kref_get(&vmnt->mnt_kref, 1); /* held by mnt_pt */
54                 vmnt->mnt_parent = mnt_pt->d_sb->s_mount;
55                 vmnt->mnt_mountpoint = mnt_pt;
56         }
57         TAILQ_INIT(&vmnt->mnt_child_mounts);
58         vmnt->mnt_flags = flags;
59         vmnt->mnt_devname = dev_name;
60         vmnt->mnt_namespace = ns;
61         kref_get(&ns->kref, 1); /* held by vmnt */
62
63         /* Read in / create the SB */
64         sb = fs->get_sb(fs, flags, dev_name, vmnt);
65         if (!sb)
66                 panic("You're FS sucks");
67
68         /* TODO: consider moving this into get_sb or something, in case the SB
69          * already exists (mounting again) (if we support that) */
70         spin_lock(&super_blocks_lock);
71         TAILQ_INSERT_TAIL(&super_blocks, sb, s_list); /* storing a ref here... */
72         spin_unlock(&super_blocks_lock);
73
74         /* Update holding NS */
75         spin_lock(&ns->lock);
76         TAILQ_INSERT_TAIL(&ns->vfsmounts, vmnt, mnt_list);
77         spin_unlock(&ns->lock);
78         /* note to self: so, right after this point, the NS points to the root FS
79          * mount (we return the mnt, which gets assigned), the root mnt has a dentry
80          * for /, backed by an inode, with a SB prepped and in memory. */
81         return vmnt;
82 }
83
84 void vfs_init(void)
85 {
86         struct fs_type *fs;
87
88         dentry_kcache = kmem_cache_create("dentry", sizeof(struct dentry),
89                                           __alignof__(struct dentry), 0, 0, 0);
90         inode_kcache = kmem_cache_create("inode", sizeof(struct inode),
91                                          __alignof__(struct inode), 0, 0, 0);
92         file_kcache = kmem_cache_create("file", sizeof(struct file),
93                                         __alignof__(struct file), 0, 0, 0);
94         /* default NS never dies, +1 to exist */
95         kref_init(&default_ns.kref, fake_release, 1);
96         spinlock_init(&default_ns.lock);
97         default_ns.root = NULL;
98         TAILQ_INIT(&default_ns.vfsmounts);
99
100         /* build list of all FS's in the system.  put yours here.  if this is ever
101          * done on the fly, we'll need to lock. */
102         TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
103 #ifdef CONFIG_EXT2FS
104         TAILQ_INSERT_TAIL(&file_systems, &ext2_fs_type, list);
105 #endif
106         TAILQ_FOREACH(fs, &file_systems, list)
107                 printk("Supports the %s Filesystem\n", fs->name);
108
109         /* mounting KFS at the root (/), pending root= parameters */
110         // TODO: linux creates a temp root_fs, then mounts the real root onto that
111         default_ns.root = __mount_fs(&kfs_fs_type, "RAM", NULL, 0, &default_ns);
112
113         printk("vfs_init() completed\n");
114 }
115
116 /* FS's can provide another, if they want */
117 int generic_dentry_hash(struct dentry *dentry, struct qstr *qstr)
118 {
119         unsigned long hash = 5381;
120
121         for (int i = 0; i < qstr->len; i++) {
122                 /* hash * 33 + c, djb2's technique */
123                 hash = ((hash << 5) + hash) + qstr->name[i];
124         }
125         return hash;
126 }
127
128 /* Builds / populates the qstr of a dentry based on its d_iname.  If there is an
129  * l_name, (long), it will use that instead of the inline name.  This will
130  * probably change a bit. */
131 void qstr_builder(struct dentry *dentry, char *l_name)
132 {
133         dentry->d_name.name = l_name ? l_name : dentry->d_iname;
134         dentry->d_name.len = strnlen(dentry->d_name.name, MAX_FILENAME_SZ);
135         dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name);
136 }
137
138 /* Useful little helper - return the string ptr for a given file */
139 char *file_name(struct file *file)
140 {
141         return file->f_dentry->d_name.name;
142 }
143
144 /* Some issues with this, coupled closely to fs_lookup.
145  *
146  * Note the use of __dentry_free, instead of kref_put.  In those cases, we don't
147  * want to treat it like a kref and we have the only reference to it, so it is
148  * okay to do this.  It makes dentry_release() easier too. */
149 static struct dentry *do_lookup(struct dentry *parent, char *name)
150 {
151         struct dentry *result, *query;
152         query = get_dentry(parent->d_sb, parent, name);
153         if (!query) {
154                 warn("OOM in do_lookup(), probably wasn't expected\n");
155                 return 0;
156         }
157         result = dcache_get(parent->d_sb, query); 
158         if (result) {
159                 __dentry_free(query);
160                 return result;
161         }
162         /* No result, check for negative */
163         if (query->d_flags & DENTRY_NEGATIVE) {
164                 __dentry_free(query);
165                 return 0;
166         }
167         /* not in the dcache at all, need to consult the FS */
168         result = parent->d_inode->i_op->lookup(parent->d_inode, query, 0);
169         if (!result) {
170                 /* Note the USED flag will get turned off when this gets added to the
171                  * LRU in dentry_release().  There's a slight race here that we'll panic
172                  * on, but I want to catch it (in dcache_put()) for now. */
173                 query->d_flags |= DENTRY_NEGATIVE;
174                 dcache_put(parent->d_sb, query);
175                 kref_put(&query->d_kref);
176                 return 0;
177         }
178         dcache_put(parent->d_sb, result);
179         /* This is because KFS doesn't return the same dentry, but ext2 does.  this
180          * is ugly and needs to be fixed. (TODO) */
181         if (result != query)
182                 __dentry_free(query);
183
184         /* TODO: if the following are done by us, how do we know the i_ino?
185          * also need to handle inodes that are already read in!  For now, we're
186          * going to have the FS handle it in it's lookup() method: 
187          * - get a new inode
188          * - read in the inode
189          * - put in the inode cache */
190         return result;
191 }
192
193 /* Update ND such that it represents having followed dentry.  IAW the nd
194  * refcnting rules, we need to decref any references that were in there before
195  * they get clobbered. */
196 static int next_link(struct dentry *dentry, struct nameidata *nd)
197 {
198         assert(nd->dentry && nd->mnt);
199         /* update the dentry */
200         kref_get(&dentry->d_kref, 1);
201         kref_put(&nd->dentry->d_kref);
202         nd->dentry = dentry;
203         /* update the mount, if we need to */
204         if (dentry->d_sb->s_mount != nd->mnt) {
205                 kref_get(&dentry->d_sb->s_mount->mnt_kref, 1);
206                 kref_put(&nd->mnt->mnt_kref);
207                 nd->mnt = dentry->d_sb->s_mount;
208         }
209         return 0;
210 }
211
212 /* Walk up one directory, being careful of mountpoints, namespaces, and the top
213  * of the FS */
214 static int climb_up(struct nameidata *nd)
215 {
216         printd("CLIMB_UP, from %s\n", nd->dentry->d_name.name);
217         /* Top of the world, just return.  Should also check for being at the top of
218          * the current process's namespace (TODO) */
219         if (!nd->dentry->d_parent || (nd->dentry->d_parent == nd->dentry))
220                 return -1;
221         /* Check if we are at the top of a mount, if so, we need to follow
222          * backwards, and then climb_up from that one.  We might need to climb
223          * multiple times if we mount multiple FSs at the same spot (highly
224          * unlikely).  This is completely untested.  Might recurse instead. */
225         while (nd->mnt->mnt_root == nd->dentry) {
226                 if (!nd->mnt->mnt_parent) {
227                         warn("Might have expected a parent vfsmount (dentry had a parent)");
228                         return -1;
229                 }
230                 next_link(nd->mnt->mnt_mountpoint, nd);
231         }
232         /* Backwards walk (no mounts or any other issues now). */
233         next_link(nd->dentry->d_parent, nd);
234         printd("CLIMB_UP, to   %s\n", nd->dentry->d_name.name);
235         return 0;
236 }
237
238 /* nd->dentry might be on a mount point, so we need to move on to the child
239  * mount's root. */
240 static int follow_mount(struct nameidata *nd)
241 {
242         if (!nd->dentry->d_mount_point)
243                 return 0;
244         next_link(nd->dentry->d_mounted_fs->mnt_root, nd);
245         return 0;
246 }
247
248 static int link_path_walk(char *path, struct nameidata *nd);
249
250 /* When nd->dentry is for a symlink, this will recurse and follow that symlink,
251  * so that nd contains the results of following the symlink (dentry and mnt).
252  * Returns when it isn't a symlink, 1 on following a link, and < 0 on error. */
253 static int follow_symlink(struct nameidata *nd)
254 {
255         int retval;
256         char *symname;
257         if (!S_ISLNK(nd->dentry->d_inode->i_mode))
258                 return 0;
259         if (nd->depth > MAX_SYMLINK_DEPTH)
260                 return -ELOOP;
261         printd("Following symlink for dentry %p %s\n", nd->dentry,
262                nd->dentry->d_name.name);
263         nd->depth++;
264         symname = nd->dentry->d_inode->i_op->readlink(nd->dentry);
265         /* We need to pin in nd->dentry (the dentry of the symlink), since we need
266          * it's symname's storage to stay in memory throughout the upcoming
267          * link_path_walk().  The last_sym gets decreffed when we path_release() or
268          * follow another symlink. */
269         if (nd->last_sym)
270                 kref_put(&nd->last_sym->d_kref);
271         kref_get(&nd->dentry->d_kref, 1);
272         nd->last_sym = nd->dentry;
273         /* If this an absolute path in the symlink, we need to free the old path and
274          * start over, otherwise, we continue from the PARENT of nd (the symlink) */
275         if (symname[0] == '/') {
276                 path_release(nd);
277                 if (!current)
278                         nd->dentry = default_ns.root->mnt_root;
279                 else
280                         nd->dentry = current->fs_env.root;      
281                 nd->mnt = nd->dentry->d_sb->s_mount;
282                 kref_get(&nd->mnt->mnt_kref, 1);
283                 kref_get(&nd->dentry->d_kref, 1);
284         } else {
285                 climb_up(nd);
286         }
287         /* either way, keep on walking in the free world! */
288         retval = link_path_walk(symname, nd);
289         return (retval == 0 ? 1 : retval);
290 }
291
292 /* Little helper, to make it easier to break out of the nested loops.  Will also
293  * '\0' out the first slash if it's slashes all the way down.  Or turtles. */
294 static bool packed_trailing_slashes(char *first_slash)
295 {
296         for (char *i = first_slash; *i == '/'; i++) {
297                 if (*(i + 1) == '\0') {
298                         *first_slash = '\0';
299                         return TRUE;
300                 }
301         }
302         return FALSE;
303 }
304
305 /* Simple helper to set nd to track it's last name to be Name.  Also be careful
306  * with the storage of name.  Don't use and nd's name past the lifetime of the
307  * string used in the path_lookup()/link_path_walk/whatever.  Consider replacing
308  * parts of this with a qstr builder.  Note this uses the dentry's d_op, which
309  * might not be the dentry we care about. */
310 static void stash_nd_name(struct nameidata *nd, char *name)
311 {
312         nd->last.name = name;
313         nd->last.len = strlen(name);
314         nd->last.hash = nd->dentry->d_op->d_hash(nd->dentry, &nd->last);
315 }
316
317 /* Resolves the links in a basic path walk.  0 for success, -EWHATEVER
318  * otherwise.  The final lookup is returned via nd. */
319 static int link_path_walk(char *path, struct nameidata *nd)
320 {
321         struct dentry *link_dentry;
322         struct inode *link_inode, *nd_inode;
323         char *next_slash;
324         char *link = path;
325         int error;
326
327         /* Prevent crazy recursion */
328         if (nd->depth > MAX_SYMLINK_DEPTH)
329                 return -ELOOP;
330         /* skip all leading /'s */
331         while (*link == '/')
332                 link++;
333         /* if there's nothing left (null terminated), we're done.  This should only
334          * happen for "/", which if we wanted a PARENT, should fail (there is no
335          * parent). */
336         if (*link == '\0') {
337                 if (nd->flags & LOOKUP_PARENT) {
338                         set_errno(ENOENT);
339                         return -1;
340                 }
341                 /* o/w, we're good */
342                 return 0;
343         }
344         /* iterate through each intermediate link of the path.  in general, nd
345          * tracks where we are in the path, as far as dentries go.  once we have the
346          * next dentry, we try to update nd based on that dentry.  link is the part
347          * of the path string that we are looking up */
348         while (1) {
349                 nd_inode = nd->dentry->d_inode;
350                 if ((error = check_perms(nd_inode, nd->intent)))
351                         return error;
352                 /* find the next link, break out if it is the end */
353                 next_slash = strchr(link, '/');
354                 if (!next_slash) {
355                         break;
356                 } else {
357                         if (packed_trailing_slashes(next_slash)) {
358                                 nd->flags |= LOOKUP_DIRECTORY;
359                                 break;
360                         }
361                 }
362                 /* skip over any interim ./ */
363                 if (!strncmp("./", link, 2))
364                         goto next_loop;
365                 /* Check for "../", walk up */
366                 if (!strncmp("../", link, 3)) {
367                         climb_up(nd);
368                         goto next_loop;
369                 }
370                 *next_slash = '\0';
371                 link_dentry = do_lookup(nd->dentry, link);
372                 *next_slash = '/';
373                 if (!link_dentry)
374                         return -ENOENT;
375                 /* make link_dentry the current step/answer */
376                 next_link(link_dentry, nd);
377                 kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt dentry */
378                 /* we could be on a mountpoint or a symlink - need to follow them */
379                 follow_mount(nd);
380                 if ((error = follow_symlink(nd)) < 0)
381                         return error;
382                 /* Turn off a possible DIRECTORY lookup, which could have been set
383                  * during the follow_symlink (a symlink could have had a directory at
384                  * the end), though it was in the middle of the real path. */
385                 nd->flags &= ~LOOKUP_DIRECTORY;
386                 if (!S_ISDIR(nd->dentry->d_inode->i_mode))
387                         return -ENOTDIR;
388 next_loop:
389                 /* move through the path string to the next entry */
390                 link = next_slash + 1;
391                 /* advance past any other interim slashes.  we know we won't hit the end
392                  * due to the for loop check above */
393                 while (*link == '/')
394                         link++;
395         }
396         /* Now, we're on the last link of the path.  We need to deal with with . and
397          * .. .  This might be weird with PARENT lookups - not sure what semantics
398          * we want exactly.  This will give the parent of whatever the PATH was
399          * supposed to look like.  Note that ND currently points to the parent of
400          * the last item (link). */
401         if (!strcmp(".", link)) {
402                 if (nd->flags & LOOKUP_PARENT) {
403                         assert(nd->dentry->d_name.name);
404                         stash_nd_name(nd, nd->dentry->d_name.name);
405                         climb_up(nd);
406                 }
407                 return 0;
408         }
409         if (!strcmp("..", link)) {
410                 climb_up(nd);
411                 if (nd->flags & LOOKUP_PARENT) {
412                         assert(nd->dentry->d_name.name);
413                         stash_nd_name(nd, nd->dentry->d_name.name);
414                         climb_up(nd);
415                 }
416                 return 0;
417         }
418         /* need to attempt to look it up, in case it's a symlink */
419         link_dentry = do_lookup(nd->dentry, link);
420         if (!link_dentry) {
421                 /* if there's no dentry, we are okay if we are looking for the parent */
422                 if (nd->flags & LOOKUP_PARENT) {
423                         assert(strcmp(link, ""));
424                         stash_nd_name(nd, link);
425                         return 0;
426                 } else {
427                         return -ENOENT;
428                 }
429         }
430         next_link(link_dentry, nd);
431         kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt'd dentry */
432         /* at this point, nd is on the final link, but it might be a symlink */
433         if (nd->flags & LOOKUP_FOLLOW) {
434                 error = follow_symlink(nd);
435                 if (error < 0)
436                         return error;
437                 /* if we actually followed a symlink, then nd is set and we're done */
438                 if (error > 0)
439                         return 0;
440         }
441         /* One way or another, nd is on the last element of the path, symlinks and
442          * all.  Now we need to climb up to set nd back on the parent, if that's
443          * what we wanted */
444         if (nd->flags & LOOKUP_PARENT) {
445                 assert(nd->dentry->d_name.name);
446                 stash_nd_name(nd, link_dentry->d_name.name);
447                 climb_up(nd);
448                 return 0;
449         }
450         /* now, we have the dentry set, and don't want the parent, but might be on a
451          * mountpoint still.  FYI: this hasn't been thought through completely. */
452         follow_mount(nd);
453         /* If we wanted a directory, but didn't get one, error out */
454         if ((nd->flags & LOOKUP_DIRECTORY) && !S_ISDIR(nd->dentry->d_inode->i_mode))
455                 return -ENOTDIR;
456         return 0;
457 }
458
459 /* Given path, return the inode for the final dentry.  The ND should be
460  * initialized for the first call - specifically, we need the intent. 
461  * LOOKUP_PARENT and friends go in the flags var, which is not the intent.
462  *
463  * If path_lookup wants a PARENT, but hits the top of the FS (root or
464  * otherwise), we want it to error out.  It's still unclear how we want to
465  * handle processes with roots that aren't root, but at the very least, we don't
466  * want to think we have the parent of /, but have / itself.  Due to the way
467  * link_path_walk works, if that happened, we probably don't have a
468  * nd->last.name.  This needs more thought (TODO).
469  *
470  * Need to be careful too.  While the path has been copied-in to the kernel,
471  * it's still user input.  */
472 int path_lookup(char *path, int flags, struct nameidata *nd)
473 {
474         int retval;
475         printd("Path lookup for %s\n", path);
476         /* we allow absolute lookups with no process context */
477         /* TODO: RCU read lock on pwd or kref_not_zero in a loop.  concurrent chdir
478          * could decref nd->dentry before we get to incref it below. */
479         if (path[0] == '/') {                   /* absolute lookup */
480                 if (!current)
481                         nd->dentry = default_ns.root->mnt_root;
482                 else
483                         nd->dentry = current->fs_env.root;      
484         } else {                                                /* relative lookup */
485                 assert(current);
486                 /* Don't need to lock on the fs_env since we're reading one item */
487                 nd->dentry = current->fs_env.pwd;       
488         }
489         nd->mnt = nd->dentry->d_sb->s_mount;
490         /* Whenever references get put in the nd, incref them.  Whenever they are
491          * removed, decref them. */
492         kref_get(&nd->mnt->mnt_kref, 1);
493         kref_get(&nd->dentry->d_kref, 1);
494         nd->flags = flags;
495         nd->depth = 0;                                  /* used in symlink following */
496         retval =  link_path_walk(path, nd);     
497         /* make sure our PARENT lookup worked */
498         if (!retval && (flags & LOOKUP_PARENT))
499                 assert(nd->last.name);
500         return retval;
501 }
502
503 /* Call this after any use of path_lookup when you are done with its results,
504  * regardless of whether it succeeded or not.  It will free any references */
505 void path_release(struct nameidata *nd)
506 {
507         kref_put(&nd->dentry->d_kref);
508         kref_put(&nd->mnt->mnt_kref);
509         /* Free the last symlink dentry used, if there was one */
510         if (nd->last_sym) {
511                 kref_put(&nd->last_sym->d_kref);
512                 nd->last_sym = 0;                       /* catch reuse bugs */
513         }
514 }
515
516 /* External version of mount, only call this after having a / mount */
517 int mount_fs(struct fs_type *fs, char *dev_name, char *path, int flags)
518 {
519         struct nameidata nd_r = {0}, *nd = &nd_r;
520         int retval = 0;
521         retval = path_lookup(path, LOOKUP_DIRECTORY, nd);
522         if (retval)
523                 goto out;
524         /* taking the namespace of the vfsmount of path */ 
525         if (!__mount_fs(fs, dev_name, nd->dentry, flags, nd->mnt->mnt_namespace))
526                 retval = -EINVAL;
527 out:
528         path_release(nd);
529         return retval;
530 }
531
532 /* Superblock functions */
533
534 /* Dentry "hash" function for the hash table to use.  Since we already have the
535  * hash in the qstr, we don't need to rehash.  Also, note we'll be using the
536  * dentry in question as both the key and the value. */
537 static size_t __dcache_hash(void *k)
538 {
539         return (size_t)((struct dentry*)k)->d_name.hash;
540 }
541
542 /* Dentry cache hashtable equality function.  This means we need to pass in some
543  * minimal dentry when doing a lookup. */
544 static ssize_t __dcache_eq(void *k1, void *k2)
545 {
546         if (((struct dentry*)k1)->d_parent != ((struct dentry*)k2)->d_parent)
547                 return 0;
548         /* TODO: use the FS-specific string comparison */
549         return !strcmp(((struct dentry*)k1)->d_name.name,
550                        ((struct dentry*)k2)->d_name.name);
551 }
552
553 /* Helper to alloc and initialize a generic superblock.  This handles all the
554  * VFS related things, like lists.  Each FS will need to handle its own things
555  * in it's *_get_sb(), usually involving reading off the disc. */
556 struct super_block *get_sb(void)
557 {
558         struct super_block *sb = kmalloc(sizeof(struct super_block), 0);
559         sb->s_dirty = FALSE;
560         spinlock_init(&sb->s_lock);
561         kref_init(&sb->s_kref, fake_release, 1); /* for the ref passed out */
562         TAILQ_INIT(&sb->s_inodes);
563         TAILQ_INIT(&sb->s_dirty_i);
564         TAILQ_INIT(&sb->s_io_wb);
565         TAILQ_INIT(&sb->s_lru_d);
566         TAILQ_INIT(&sb->s_files);
567         sb->s_dcache = create_hashtable(100, __dcache_hash, __dcache_eq);
568         sb->s_icache = create_hashtable(100, __generic_hash, __generic_eq);
569         spinlock_init(&sb->s_lru_lock);
570         spinlock_init(&sb->s_dcache_lock);
571         spinlock_init(&sb->s_icache_lock);
572         sb->s_fs_info = 0; // can override somewhere else
573         return sb;
574 }
575
576 /* Final stages of initializing a super block, including creating and linking
577  * the root dentry, root inode, vmnt, and sb.  The d_op and root_ino are
578  * FS-specific, but otherwise it's FS-independent, tricky, and not worth having
579  * around multiple times.
580  *
581  * Not the world's best interface, so it's subject to change, esp since we're
582  * passing (now 3) FS-specific things. */
583 void init_sb(struct super_block *sb, struct vfsmount *vmnt,
584              struct dentry_operations *d_op, unsigned long root_ino,
585              void *d_fs_info)
586 {
587         /* Build and init the first dentry / inode.  The dentry ref is stored later
588          * by vfsmount's mnt_root.  The parent is dealt with later. */
589         struct dentry *d_root = get_dentry_with_ops(sb, 0,  "/", d_op);
590
591         if (!d_root)
592                 panic("OOM!  init_sb() can't fail yet!");
593         /* a lot of here on down is normally done in lookup() or create, since
594          * get_dentry isn't a fully usable dentry.  The two FS-specific settings are
595          * normally inherited from a parent within the same FS in get_dentry, but we
596          * have none here. */
597         d_root->d_op = d_op;
598         d_root->d_fs_info = d_fs_info;
599         struct inode *inode = get_inode(d_root);
600         if (!inode)
601                 panic("This FS sucks!");
602         inode->i_ino = root_ino;
603         /* TODO: add the inode to the appropriate list (off i_list) */
604         /* TODO: do we need to read in the inode?  can we do this on demand? */
605         /* if this FS is already mounted, we'll need to do something different. */
606         sb->s_op->read_inode(inode);
607         icache_put(sb, inode);
608         /* Link the dentry and SB to the VFS mount */
609         vmnt->mnt_root = d_root;                                /* ref comes from get_dentry */
610         vmnt->mnt_sb = sb;
611         /* If there is no mount point, there is no parent.  This is true only for
612          * the rootfs. */
613         if (vmnt->mnt_mountpoint) {
614                 kref_get(&vmnt->mnt_mountpoint->d_kref, 1);     /* held by d_root */
615                 d_root->d_parent = vmnt->mnt_mountpoint;        /* dentry of the root */
616         } else {
617                 d_root->d_parent = d_root;                      /* set root as its own parent */
618         }
619         /* insert the dentry into the dentry cache.  when's the earliest we can?
620          * when's the earliest we should?  what about concurrent accesses to the
621          * same dentry?  should be locking the dentry... */
622         dcache_put(sb, d_root);
623         kref_put(&inode->i_kref);               /* give up the ref from get_inode() */
624 }
625
626 /* Dentry Functions */
627
628 static void dentry_set_name(struct dentry *dentry, char *name)
629 {
630         size_t name_len = strnlen(name, MAX_FILENAME_SZ);       /* not including \0! */
631         char *l_name = 0;
632         if (name_len < DNAME_INLINE_LEN) {
633                 strncpy(dentry->d_iname, name, name_len);
634                 dentry->d_iname[name_len] = '\0';
635                 qstr_builder(dentry, 0);
636         } else {
637                 l_name = kmalloc(name_len + 1, 0);
638                 assert(l_name);
639                 strncpy(l_name, name, name_len);
640                 l_name[name_len] = '\0';
641                 qstr_builder(dentry, l_name);
642         }
643 }
644
645 /* Gets a dentry.  If there is no parent, use d_op.  Only called directly by
646  * superblock init code. */
647 struct dentry *get_dentry_with_ops(struct super_block *sb,
648                                    struct dentry *parent, char *name,
649                                    struct dentry_operations *d_op)
650 {
651         assert(name);
652         struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
653
654         if (!dentry) {
655                 set_errno(ENOMEM);
656                 return 0;
657         }
658         //memset(dentry, 0, sizeof(struct dentry));
659         kref_init(&dentry->d_kref, dentry_release, 1);  /* this ref is returned */
660         spinlock_init(&dentry->d_lock);
661         TAILQ_INIT(&dentry->d_subdirs);
662         dentry->d_time = 0;
663         kref_get(&sb->s_kref, 1);
664         dentry->d_sb = sb;                                      /* storing a ref here... */
665         dentry->d_mount_point = FALSE;
666         dentry->d_mounted_fs = 0;
667         if (parent)     {                                               /* no parent for rootfs mount */
668                 kref_get(&parent->d_kref, 1);
669                 dentry->d_op = parent->d_op;    /* d_op set in init_sb for parentless */
670         } else {
671                 dentry->d_op = d_op;
672         }
673         dentry->d_parent = parent;
674         dentry->d_flags = DENTRY_USED;
675         dentry->d_fs_info = 0;
676         dentry_set_name(dentry, name);
677         /* Catch bugs by aggressively zeroing this (o/w we use old stuff) */
678         dentry->d_inode = 0;
679         return dentry;
680 }
681
682 /* Helper to alloc and initialize a generic dentry.  The following needs to be
683  * set still: d_op (if no parent), d_fs_info (opt), d_inode, connect the inode
684  * to the dentry (and up the d_kref again), maybe dcache_put().  The inode
685  * stitching is done in get_inode() or lookup (depending on the FS).
686  * The setting of the d_op might be problematic when dealing with mounts.  Just
687  * overwrite it.
688  *
689  * If the name is longer than the inline name, it will kmalloc a buffer, so
690  * don't worry about the storage for *name after calling this. */
691 struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
692                           char *name)
693 {
694         return get_dentry_with_ops(sb, parent, name, 0);
695 }
696
697 /* Called when the dentry is unreferenced (after kref == 0).  This works closely
698  * with the resurrection in dcache_get().
699  *
700  * The dentry is still in the dcache, but needs to be un-USED and added to the
701  * LRU dentry list.  Even dentries that were used in a failed lookup need to be
702  * cached - they ought to be the negative dentries.  Note that all dentries have
703  * parents, even negative ones (it is needed to find it in the dcache). */
704 void dentry_release(struct kref *kref)
705 {
706         struct dentry *dentry = container_of(kref, struct dentry, d_kref);
707
708         printd("'Releasing' dentry %p: %s\n", dentry, dentry->d_name.name);
709         /* DYING dentries (recently unlinked / rmdir'd) just get freed */
710         if (dentry->d_flags & DENTRY_DYING) {
711                 __dentry_free(dentry);
712                 return;
713         }
714         /* This lock ensures the USED state and the TAILQ membership is in sync.
715          * Also used to check the refcnt, though that might not be necessary. */
716         spin_lock(&dentry->d_lock);
717         /* While locked, we need to double check the kref, in case someone already
718          * reup'd it.  Re-up? you're crazy!  Reee-up, you're outta yo mind! */
719         if (!kref_refcnt(&dentry->d_kref)) {
720                 /* Note this is where negative dentries get set UNUSED */
721                 if (dentry->d_flags & DENTRY_USED) {
722                         dentry->d_flags &= ~DENTRY_USED;
723                         spin_lock(&dentry->d_sb->s_lru_lock);
724                         TAILQ_INSERT_TAIL(&dentry->d_sb->s_lru_d, dentry, d_lru);
725                         spin_unlock(&dentry->d_sb->s_lru_lock);
726                 } else {
727                         /* and make sure it wasn't USED, then UNUSED again */
728                         /* TODO: think about issues with this */
729                         warn("This should be rare.  Tell brho this happened.");
730                 }
731         }
732         spin_unlock(&dentry->d_lock);
733 }
734
735 /* Called when we really dealloc and get rid of a dentry (like when it is
736  * removed from the dcache, either for memory or correctness reasons)
737  *
738  * This has to handle two types of dentries: full ones (ones that had been used)
739  * and ones that had been just for lookups - hence the check for d_inode.
740  *
741  * Note that dentries pin and kref their inodes.  When all the dentries are
742  * gone, we want the inode to be released via kref.  The inode has internal /
743  * weak references to the dentry, which are not refcounted. */
744 void __dentry_free(struct dentry *dentry)
745 {
746         if (dentry->d_inode)
747                 printd("Freeing dentry %p: %s\n", dentry, dentry->d_name.name);
748         assert(dentry->d_op);   /* catch bugs.  a while back, some lacked d_op */
749         dentry->d_op->d_release(dentry);
750         /* TODO: check/test the boundaries on this. */
751         if (dentry->d_name.len > DNAME_INLINE_LEN)
752                 kfree((void*)dentry->d_name.name);
753         kref_put(&dentry->d_sb->s_kref);
754         if (dentry->d_parent)
755                 kref_put(&dentry->d_parent->d_kref);
756         if (dentry->d_mounted_fs)
757                 kref_put(&dentry->d_mounted_fs->mnt_kref);
758         if (dentry->d_inode) {
759                 TAILQ_REMOVE(&dentry->d_inode->i_dentry, dentry, d_alias);
760                 kref_put(&dentry->d_inode->i_kref);     /* dentries kref inodes */
761         }
762         kmem_cache_free(dentry_kcache, dentry);
763 }
764
765 /* Looks up the dentry for the given path, returning a refcnt'd dentry (or 0).
766  * Permissions are applied for the current user, which is quite a broken system
767  * at the moment.  Flags are lookup flags. */
768 struct dentry *lookup_dentry(char *path, int flags)
769 {
770         struct dentry *dentry;
771         struct nameidata nd_r = {0}, *nd = &nd_r;
772         int error;
773
774         error = path_lookup(path, flags, nd);
775         if (error) {
776                 path_release(nd);
777                 set_errno(-error);
778                 return 0;
779         }
780         dentry = nd->dentry;
781         kref_get(&dentry->d_kref, 1);
782         path_release(nd);
783         return dentry;
784 }
785
786 /* Get a dentry from the dcache.  At a minimum, we need the name hash and parent
787  * in what_i_want, though most uses will probably be from a get_dentry() call.
788  * We pass in the SB in the off chance that we don't want to use a get'd dentry.
789  *
790  * The unusual variable name (instead of just "key" or something) is named after
791  * ex-SPC Castro's porn folder.  Caller deals with the memory for what_i_want.
792  *
793  * If the dentry is negative, we don't return the actual result - instead, we
794  * set the negative flag in 'what i want'.  The reason is we don't want to
795  * kref_get() and then immediately put (causing dentry_release()).  This also
796  * means that dentry_release() should never get someone who wasn't USED (barring
797  * the race, which it handles).  And we don't need to ever have a dentry set as
798  * USED and NEGATIVE (which is always wrong, but would be needed for a cleaner
799  * dentry_release()).
800  *
801  * This is where we do the "kref resurrection" - we are returning a kref'd
802  * object, even if it wasn't kref'd before.  This means the dcache does NOT hold
803  * krefs (it is a weak/internal ref), but it is a source of kref generation.  We
804  * sync up with the possible freeing of the dentry by locking the table.  See
805  * Doc/kref for more info. */
806 struct dentry *dcache_get(struct super_block *sb, struct dentry *what_i_want)
807 {
808         struct dentry *found;
809         /* This lock protects the hash, as well as ensures the returned object
810          * doesn't get deleted/freed out from under us */
811         spin_lock(&sb->s_dcache_lock);
812         found = hashtable_search(sb->s_dcache, what_i_want);
813         if (found) {
814                 if (found->d_flags & DENTRY_NEGATIVE) {
815                         what_i_want->d_flags |= DENTRY_NEGATIVE;
816                         spin_unlock(&sb->s_dcache_lock);
817                         return 0;
818                 }
819                 spin_lock(&found->d_lock);
820                 __kref_get(&found->d_kref, 1);  /* prob could be done outside the lock*/
821                 /* If we're here (after kreffing) and it is not USED, we are the one who
822                  * should resurrect */
823                 if (!(found->d_flags & DENTRY_USED)) {
824                         found->d_flags |= DENTRY_USED;
825                         spin_lock(&sb->s_lru_lock);
826                         TAILQ_REMOVE(&sb->s_lru_d, found, d_lru);
827                         spin_unlock(&sb->s_lru_lock);
828                 }
829                 spin_unlock(&found->d_lock);
830         }
831         spin_unlock(&sb->s_dcache_lock);
832         return found;
833 }
834
835 /* Adds a dentry to the dcache.  Note the *dentry is both the key and the value.
836  * If the value was already in there (which can happen iff it was negative), for
837  * now we'll remove it and put the new one in there. */
838 void dcache_put(struct super_block *sb, struct dentry *key_val)
839 {
840         struct dentry *old;
841         int retval;
842         spin_lock(&sb->s_dcache_lock);
843         old = hashtable_remove(sb->s_dcache, key_val);
844         /* if it is old and non-negative, our caller lost a race with someone else
845          * adding the dentry.  but since we yanked it out, like a bunch of idiots,
846          * we still have to put it back.  should be fairly rare. */
847         if (old && (old->d_flags & DENTRY_NEGATIVE)) {
848                 /* This is possible, but rare for now (about to be put on the LRU) */
849                 assert(!(old->d_flags & DENTRY_USED));
850                 assert(!kref_refcnt(&old->d_kref));
851                 spin_lock(&sb->s_lru_lock);
852                 TAILQ_REMOVE(&sb->s_lru_d, old, d_lru);
853                 spin_unlock(&sb->s_lru_lock);
854                 /* TODO: this seems suspect.  isn't this the same memory as key_val?
855                  * in which case, we just adjust the flags (remove NEG) and reinsert? */
856                 assert(old != key_val); // checking TODO comment
857                 __dentry_free(old);
858         }
859         /* this returns 0 on failure (TODO: Fix this ghetto shit) */
860         retval = hashtable_insert(sb->s_dcache, key_val, key_val);
861         assert(retval);
862         spin_unlock(&sb->s_dcache_lock);
863 }
864
865 /* Will remove and return the dentry.  Caller deallocs the key, but the retval
866  * won't have a reference.  * Returns 0 if it wasn't found.  Callers can't
867  * assume much - they should not use the reference they *get back*, (if they
868  * already had one for key, they can use that).  There may be other users out
869  * there. */
870 struct dentry *dcache_remove(struct super_block *sb, struct dentry *key)
871 {
872         struct dentry *retval;
873         spin_lock(&sb->s_dcache_lock);
874         retval = hashtable_remove(sb->s_dcache, key);
875         spin_unlock(&sb->s_dcache_lock);
876         return retval;
877 }
878
879 /* This will clean out the LRU list, which are the unused dentries of the dentry
880  * cache.  This will optionally only free the negative ones.  Note that we grab
881  * the hash lock for the time we traverse the LRU list - this prevents someone
882  * from getting a kref from the dcache, which could cause us trouble (we rip
883  * someone off the list, who isn't unused, and they try to rip them off the
884  * list). */
885 void dcache_prune(struct super_block *sb, bool negative_only)
886 {
887         struct dentry *d_i, *temp;
888         struct dentry_tailq victims = TAILQ_HEAD_INITIALIZER(victims);
889
890         spin_lock(&sb->s_dcache_lock);
891         spin_lock(&sb->s_lru_lock);
892         TAILQ_FOREACH_SAFE(d_i, &sb->s_lru_d, d_lru, temp) {
893                 if (!(d_i->d_flags & DENTRY_USED)) {
894                         if (negative_only && !(d_i->d_flags & DENTRY_NEGATIVE))
895                                 continue;
896                         /* another place where we'd be better off with tools, not sol'ns */
897                         hashtable_remove(sb->s_dcache, d_i);
898                         TAILQ_REMOVE(&sb->s_lru_d, d_i, d_lru);
899                         TAILQ_INSERT_HEAD(&victims, d_i, d_lru);
900                 }
901         }
902         spin_unlock(&sb->s_lru_lock);
903         spin_unlock(&sb->s_dcache_lock);
904         /* Now do the actual freeing, outside of the hash/LRU list locks.  This is
905          * necessary since __dentry_free() will decref its parent, which may get
906          * released and try to add itself to the LRU. */
907         TAILQ_FOREACH_SAFE(d_i, &victims, d_lru, temp) {
908                 TAILQ_REMOVE(&victims, d_i, d_lru);
909                 assert(!kref_refcnt(&d_i->d_kref));
910                 __dentry_free(d_i);
911         }
912         /* It is possible at this point that there are new items on the LRU.  We
913          * could loop back until that list is empty, if we care about this. */
914 }
915
916 /* Inode Functions */
917
918 /* Creates and initializes a new inode.  Generic fields are filled in.
919  * FS-specific fields are filled in by the callout.  Specific fields are filled
920  * in in read_inode() based on what's on the disk for a given i_no, or when the
921  * inode is created (for new objects).
922  *
923  * i_no is set by the caller.  Note that this means this inode can be for an
924  * inode that is already on disk, or it can be used when creating. */
925 struct inode *get_inode(struct dentry *dentry)
926 {
927         struct super_block *sb = dentry->d_sb;
928         /* FS allocs and sets the following: i_op, i_fop, i_pm.pm_op, and any FS
929          * specific stuff. */
930         struct inode *inode = sb->s_op->alloc_inode(sb);
931         if (!inode) {
932                 set_errno(ENOMEM);
933                 return 0;
934         }
935         TAILQ_INSERT_HEAD(&sb->s_inodes, inode, i_sb_list);             /* weak inode ref */
936         TAILQ_INIT(&inode->i_dentry);
937         TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);   /* weak dentry ref*/
938         /* one for the dentry->d_inode, one passed out */
939         kref_init(&inode->i_kref, inode_release, 2);
940         dentry->d_inode = inode;
941         inode->i_ino = 0;                                       /* set by caller later */
942         inode->i_blksize = sb->s_blocksize;
943         spinlock_init(&inode->i_lock);
944         kref_get(&sb->s_kref, 1);                       /* could allow the dentry to pin it */
945         inode->i_sb = sb;
946         inode->i_rdev = 0;                                      /* this has no real meaning yet */
947         inode->i_bdev = sb->s_bdev;                     /* storing an uncounted ref */
948         inode->i_state = 0;                                     /* need real states, like I_NEW */
949         inode->dirtied_when = 0;
950         inode->i_flags = 0;
951         atomic_set(&inode->i_writecount, 0);
952         /* Set up the page_map structures.  Default is to use the embedded one.
953          * Might push some of this back into specific FSs.  For now, the FS tells us
954          * what pm_op they want via i_pm.pm_op, which we set again in pm_init() */
955         inode->i_mapping = &inode->i_pm;
956         pm_init(inode->i_mapping, inode->i_pm.pm_op, inode);
957         return inode;
958 }
959
960 /* Helper: loads/ reads in the inode numbered ino and attaches it to dentry */
961 void load_inode(struct dentry *dentry, unsigned long ino)
962 {
963         struct inode *inode;
964
965         /* look it up in the inode cache first */
966         inode = icache_get(dentry->d_sb, ino);
967         if (inode) {
968                 /* connect the dentry to its inode */
969                 TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);
970                 dentry->d_inode = inode;        /* storing the ref we got from icache_get */
971                 return;
972         }
973         /* otherwise, we need to do it manually */
974         inode = get_inode(dentry);
975         inode->i_ino = ino;
976         dentry->d_sb->s_op->read_inode(inode);
977         /* TODO: race here, two creators could miss in the cache, and then get here.
978          * need a way to sync across a blocking call.  needs to be either at this
979          * point in the code or per the ino (dentries could be different) */
980         icache_put(dentry->d_sb, inode);
981         kref_put(&inode->i_kref);
982 }
983
984 /* Helper op, used when creating regular files, directories, symlinks, etc.
985  * Note we make a distinction between the mode and the file type (for now).
986  * After calling this, call the FS specific version (create or mkdir), which
987  * will set the i_ino, the filetype, and do any other FS-specific stuff.  Also
988  * note that a lot of inode stuff was initialized in get_inode/alloc_inode.  The
989  * stuff here is pertinent to the specific creator (user), mode, and time.  Also
990  * note we don't pass this an nd, like Linux does... */
991 static struct inode *create_inode(struct dentry *dentry, int mode)
992 {
993         uint64_t now = epoch_sec();
994         /* note it is the i_ino that uniquely identifies a file in the specific
995          * filesystem.  there's a diff between creating an inode (even for an in-use
996          * ino) and then filling it in, and vs creating a brand new one.
997          * get_inode() sets it to 0, and it should be filled in later in an
998          * FS-specific manner. */
999         struct inode *inode = get_inode(dentry);
1000         if (!inode)
1001                 return 0;
1002         inode->i_mode = mode & S_PMASK; /* note that after this, we have no type */
1003         inode->i_nlink = 1;
1004         inode->i_size = 0;
1005         inode->i_blocks = 0;
1006         inode->i_atime.tv_sec = now;
1007         inode->i_ctime.tv_sec = now;
1008         inode->i_mtime.tv_sec = now;
1009         inode->i_atime.tv_nsec = 0;
1010         inode->i_ctime.tv_nsec = 0;
1011         inode->i_mtime.tv_nsec = 0;
1012         inode->i_bdev = inode->i_sb->s_bdev;
1013         /* when we have notions of users, do something here: */
1014         inode->i_uid = 0;
1015         inode->i_gid = 0;
1016         return inode;
1017 }
1018
1019 /* Create a new disk inode in dir associated with dentry, with the given mode.
1020  * called when creating a regular file.  dir is the directory/parent.  dentry is
1021  * the dentry of the inode we are creating.  Note the lack of the nd... */
1022 int create_file(struct inode *dir, struct dentry *dentry, int mode)
1023 {
1024         struct inode *new_file = create_inode(dentry, mode);
1025         if (!new_file)
1026                 return -1;
1027         dir->i_op->create(dir, dentry, mode, 0);
1028         icache_put(new_file->i_sb, new_file);
1029         kref_put(&new_file->i_kref);
1030         return 0;
1031 }
1032
1033 /* Creates a new inode for a directory associated with dentry in dir with the
1034  * given mode. */
1035 int create_dir(struct inode *dir, struct dentry *dentry, int mode)
1036 {
1037         struct inode *new_dir = create_inode(dentry, mode);
1038         if (!new_dir)
1039                 return -1;
1040         dir->i_op->mkdir(dir, dentry, mode);
1041         dir->i_nlink++;         /* Directories get a hardlink for every child dir */
1042         /* Make sure my parent tracks me.  This is okay, since no directory (dir)
1043          * can have more than one dentry */
1044         struct dentry *parent = TAILQ_FIRST(&dir->i_dentry);
1045         assert(parent && parent == TAILQ_LAST(&dir->i_dentry, dentry_tailq));
1046         /* parent dentry tracks dentry as a subdir, weak reference */
1047         TAILQ_INSERT_TAIL(&parent->d_subdirs, dentry, d_subdirs_link);
1048         icache_put(new_dir->i_sb, new_dir);
1049         kref_put(&new_dir->i_kref);
1050         return 0;
1051 }
1052
1053 /* Creates a new inode for a symlink associated with dentry in dir, containing
1054  * the symlink symname */
1055 int create_symlink(struct inode *dir, struct dentry *dentry,
1056                    const char *symname, int mode)
1057 {
1058         struct inode *new_sym = create_inode(dentry, mode);
1059         if (!new_sym)
1060                 return -1;
1061         dir->i_op->symlink(dir, dentry, symname);
1062         icache_put(new_sym->i_sb, new_sym);
1063         kref_put(&new_sym->i_kref);
1064         return 0;
1065 }
1066
1067 /* Returns 0 if the given mode is acceptable for the inode, and an appropriate
1068  * error code if not.  Needs to be writen, based on some sensible rules, and
1069  * will also probably use 'current' */
1070 int check_perms(struct inode *inode, int access_mode)
1071 {
1072         return 0;       /* anything goes! */
1073 }
1074
1075 /* Called after all external refs are gone to clean up the inode.  Once this is
1076  * called, all dentries pointing here are already done (one of them triggered
1077  * this via kref_put(). */
1078 void inode_release(struct kref *kref)
1079 {
1080         struct inode *inode = container_of(kref, struct inode, i_kref);
1081         TAILQ_REMOVE(&inode->i_sb->s_inodes, inode, i_sb_list);
1082         icache_remove(inode->i_sb, inode->i_ino);
1083         /* Might need to write back or delete the file/inode */
1084         if (inode->i_nlink) {
1085                 if (inode->i_state & I_STATE_DIRTY)
1086                         inode->i_sb->s_op->write_inode(inode, TRUE);
1087         } else {
1088                 inode->i_sb->s_op->delete_inode(inode);
1089         }
1090         if (S_ISFIFO(inode->i_mode)) {
1091                 page_decref(kva2page(inode->i_pipe->p_buf));
1092                 kfree(inode->i_pipe);
1093         }
1094         /* TODO: (BDEV) */
1095         // kref_put(inode->i_bdev->kref); /* assuming it's a bdev, could be a pipe*/
1096         /* Either way, we dealloc the in-memory version */
1097         inode->i_sb->s_op->dealloc_inode(inode);        /* FS-specific clean-up */
1098         kref_put(&inode->i_sb->s_kref);
1099         /* TODO: clean this up */
1100         assert(inode->i_mapping == &inode->i_pm);
1101         kmem_cache_free(inode_kcache, inode);
1102 }
1103
1104 /* Fills in kstat with the stat information for the inode */
1105 void stat_inode(struct inode *inode, struct kstat *kstat)
1106 {
1107         kstat->st_dev = inode->i_sb->s_dev;
1108         kstat->st_ino = inode->i_ino;
1109         kstat->st_mode = inode->i_mode;
1110         kstat->st_nlink = inode->i_nlink;
1111         kstat->st_uid = inode->i_uid;
1112         kstat->st_gid = inode->i_gid;
1113         kstat->st_rdev = inode->i_rdev;
1114         kstat->st_size = inode->i_size;
1115         kstat->st_blksize = inode->i_blksize;
1116         kstat->st_blocks = inode->i_blocks;
1117         kstat->st_atim = inode->i_atime;
1118         kstat->st_mtim = inode->i_mtime;
1119         kstat->st_ctim = inode->i_ctime;
1120 }
1121
1122 void print_kstat(struct kstat *kstat)
1123 {
1124         printk("kstat info for %p:\n", kstat);
1125         printk("\tst_dev    : %p\n", kstat->st_dev);
1126         printk("\tst_ino    : %p\n", kstat->st_ino);
1127         printk("\tst_mode   : %p\n", kstat->st_mode);
1128         printk("\tst_nlink  : %p\n", kstat->st_nlink);
1129         printk("\tst_uid    : %p\n", kstat->st_uid);
1130         printk("\tst_gid    : %p\n", kstat->st_gid);
1131         printk("\tst_rdev   : %p\n", kstat->st_rdev);
1132         printk("\tst_size   : %p\n", kstat->st_size);
1133         printk("\tst_blksize: %p\n", kstat->st_blksize);
1134         printk("\tst_blocks : %p\n", kstat->st_blocks);
1135         printk("\tst_atime  : %p\n", kstat->st_atim);
1136         printk("\tst_mtime  : %p\n", kstat->st_mtim);
1137         printk("\tst_ctime  : %p\n", kstat->st_ctim);
1138 }
1139
1140 /* Inode Cache management.  In general, search on the ino, get a refcnt'd value
1141  * back.  Remove does not give you a reference back - it should only be called
1142  * in inode_release(). */
1143 struct inode *icache_get(struct super_block *sb, unsigned long ino)
1144 {
1145         /* This is the same style as in pid2proc, it's the "safely create a strong
1146          * reference from a weak one, so long as other strong ones exist" pattern */
1147         spin_lock(&sb->s_icache_lock);
1148         struct inode *inode = hashtable_search(sb->s_icache, (void*)ino);
1149         if (inode)
1150                 if (!kref_get_not_zero(&inode->i_kref, 1))
1151                         inode = 0;
1152         spin_unlock(&sb->s_icache_lock);
1153         return inode;
1154 }
1155
1156 void icache_put(struct super_block *sb, struct inode *inode)
1157 {
1158         spin_lock(&sb->s_icache_lock);
1159         /* there's a race in load_ino() that could trigger this */
1160         assert(!hashtable_search(sb->s_icache, (void*)inode->i_ino));
1161         hashtable_insert(sb->s_icache, (void*)inode->i_ino, inode);
1162         spin_unlock(&sb->s_icache_lock);
1163 }
1164
1165 struct inode *icache_remove(struct super_block *sb, unsigned long ino)
1166 {
1167         struct inode *inode;
1168         /* Presumably these hashtable removals could be easier since callers
1169          * actually know who they are (same with the pid2proc hash) */
1170         spin_lock(&sb->s_icache_lock);
1171         inode = hashtable_remove(sb->s_icache, (void*)ino);
1172         spin_unlock(&sb->s_icache_lock);
1173         assert(inode && !kref_refcnt(&inode->i_kref));
1174         return inode;
1175 }
1176
1177 /* File functions */
1178
1179 /* Read count bytes from the file into buf, starting at *offset, which is
1180  * increased accordingly, returning the number of bytes transfered.  Most
1181  * filesystems will use this function for their f_op->read.
1182  * Note, this uses the page cache. */
1183 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
1184                           off64_t *offset)
1185 {
1186         struct page *page;
1187         int error;
1188         off64_t page_off;
1189         unsigned long first_idx, last_idx;
1190         size_t copy_amt;
1191         char *buf_end;
1192         /* read in offset, in case of a concurrent reader/writer, so we don't screw
1193          * up our math for count, the idxs, etc. */
1194         off64_t orig_off = ACCESS_ONCE(*offset);
1195
1196         /* Consider pushing some error checking higher in the VFS */
1197         if (!count)
1198                 return 0;
1199         if (orig_off >= file->f_dentry->d_inode->i_size)
1200                 return 0; /* EOF */
1201         /* Make sure we don't go past the end of the file */
1202         if (orig_off + count > file->f_dentry->d_inode->i_size) {
1203                 count = file->f_dentry->d_inode->i_size - orig_off;
1204         }
1205         assert((long)count > 0);
1206         page_off = orig_off & (PGSIZE - 1);
1207         first_idx = orig_off >> PGSHIFT;
1208         last_idx = (orig_off + count) >> PGSHIFT;
1209         buf_end = buf + count;
1210         /* For each file page, make sure it's in the page cache, then copy it out.
1211          * TODO: will probably need to consider concurrently truncated files here.*/
1212         for (int i = first_idx; i <= last_idx; i++) {
1213                 error = pm_load_page(file->f_mapping, i, &page);
1214                 assert(!error); /* TODO: handle ENOMEM and friends */
1215                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1216                 /* TODO: (UMEM) think about this.  if it's a user buffer, we're relying
1217                  * on current to detect whose it is (which should work for async calls).
1218                  * Also, need to propagate errors properly...  Probably should do a
1219                  * user_mem_check, then free, and also to make a distinction between
1220                  * when the kernel wants a read/write (TODO: KFOP) */
1221                 if (current) {
1222                         memcpy_to_user(current, buf, page2kva(page) + page_off, copy_amt);
1223                 } else {
1224                         memcpy(buf, page2kva(page) + page_off, copy_amt);
1225                 }
1226                 buf += copy_amt;
1227                 page_off = 0;
1228                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1229         }
1230         assert(buf == buf_end);
1231         /* could have concurrent file ops that screw with offset, so userspace isn't
1232          * safe.  but at least it'll be a value that one of the concurrent ops could
1233          * have produced (compared to *offset_changed_concurrently += count. */
1234         *offset = orig_off + count;
1235         return count;
1236 }
1237
1238 /* Write count bytes from buf to the file, starting at *offset, which is
1239  * increased accordingly, returning the number of bytes transfered.  Most
1240  * filesystems will use this function for their f_op->write.  Note, this uses
1241  * the page cache.
1242  *
1243  * Changes don't get flushed to disc til there is an fsync, page cache eviction,
1244  * or other means of trying to writeback the pages. */
1245 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
1246                            off64_t *offset)
1247 {
1248         struct page *page;
1249         int error;
1250         off64_t page_off;
1251         unsigned long first_idx, last_idx;
1252         size_t copy_amt;
1253         const char *buf_end;
1254         off64_t orig_off = ACCESS_ONCE(*offset);
1255
1256         /* Consider pushing some error checking higher in the VFS */
1257         if (!count)
1258                 return 0;
1259         if (file->f_flags & O_APPEND) {
1260                 spin_lock(&file->f_dentry->d_inode->i_lock);
1261                 orig_off = file->f_dentry->d_inode->i_size;
1262                 /* setting the filesize here, instead of during the extend-check, since
1263                  * we need to atomically reserve space and set our write position. */
1264                 file->f_dentry->d_inode->i_size += count;
1265                 spin_unlock(&file->f_dentry->d_inode->i_lock);
1266         } else {
1267                 if (orig_off + count > file->f_dentry->d_inode->i_size) {
1268                         /* lock for writes to i_size.  we allow lockless reads.  recheck
1269                          * i_size in case of concurrent writers since our orig check.  */
1270                         spin_lock(&file->f_dentry->d_inode->i_lock);
1271                         if (orig_off + count > file->f_dentry->d_inode->i_size)
1272                                 file->f_dentry->d_inode->i_size = orig_off + count;
1273                         spin_unlock(&file->f_dentry->d_inode->i_lock);
1274                 }
1275         }
1276         page_off = orig_off & (PGSIZE - 1);
1277         first_idx = orig_off >> PGSHIFT;
1278         last_idx = (orig_off + count) >> PGSHIFT;
1279         buf_end = buf + count;
1280         /* For each file page, make sure it's in the page cache, then write it.*/
1281         for (int i = first_idx; i <= last_idx; i++) {
1282                 error = pm_load_page(file->f_mapping, i, &page);
1283                 assert(!error); /* TODO: handle ENOMEM and friends */
1284                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1285                 /* TODO: (UMEM) (KFOP) think about this.  if it's a user buffer, we're
1286                  * relying on current to detect whose it is (which should work for async
1287                  * calls). */
1288                 if (current) {
1289                         memcpy_from_user(current, page2kva(page) + page_off, buf, copy_amt);
1290                 } else {
1291                         memcpy(page2kva(page) + page_off, buf, copy_amt);
1292                 }
1293                 buf += copy_amt;
1294                 page_off = 0;
1295                 atomic_or(&page->pg_flags, PG_DIRTY);
1296                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1297         }
1298         assert(buf == buf_end);
1299         *offset = orig_off + count;
1300         return count;
1301 }
1302
1303 /* Directories usually use this for their read method, which is the way glibc
1304  * currently expects us to do a readdir (short of doing linux's getdents).  Will
1305  * probably need work, based on whatever real programs want. */
1306 ssize_t generic_dir_read(struct file *file, char *u_buf, size_t count,
1307                          off64_t *offset)
1308 {
1309         struct kdirent dir_r = {0}, *dirent = &dir_r;
1310         int retval = 1;
1311         size_t amt_copied = 0;
1312         char *buf_end = u_buf + count;
1313
1314         if (!S_ISDIR(file->f_dentry->d_inode->i_mode)) {
1315                 set_errno(ENOTDIR);
1316                 return -1;
1317         }
1318         if (!count)
1319                 return 0;
1320         /* start readdir from where it left off: */
1321         dirent->d_off = *offset;
1322         for (   ;
1323                 u_buf + sizeof(struct kdirent) <= buf_end;
1324                 u_buf += sizeof(struct kdirent)) {
1325                 /* TODO: UMEM/KFOP (pin the u_buf in the syscall, ditch the local copy,
1326                  * get rid of this memcpy and reliance on current, etc).  Might be
1327                  * tricky with the dirent->d_off and trust issues */
1328                 retval = file->f_op->readdir(file, dirent);
1329                 if (retval < 0) {
1330                         set_errno(-retval);
1331                         break;
1332                 }
1333                 /* Slight info exposure: could be extra crap after the name in the
1334                  * dirent (like the name of a deleted file) */
1335                 if (current) {
1336                         memcpy_to_user(current, u_buf, dirent, sizeof(struct dirent));
1337                 } else {
1338                         memcpy(u_buf, dirent, sizeof(struct dirent));
1339                 }
1340                 amt_copied += sizeof(struct dirent);
1341                 /* 0 signals end of directory */
1342                 if (retval == 0)
1343                         break;
1344         }
1345         /* Next time read is called, we pick up where we left off */
1346         *offset = dirent->d_off;        /* UMEM */
1347         /* important to tell them how much they got.  they often keep going til they
1348          * get 0 back (in the case of ls).  it's also how much has been read, but it
1349          * isn't how much the f_pos has moved (which is opaque to the VFS). */
1350         return amt_copied;
1351 }
1352
1353 /* Opens the file, using permissions from current for lack of a better option.
1354  * It will attempt to create the file if it does not exist and O_CREAT is
1355  * specified.  This will return 0 on failure, and set errno.  TODO: There's some
1356  * stuff that we don't do, esp related file truncating/creation.  flags are for
1357  * opening, the mode is for creating.  The flags related to how to create
1358  * (O_CREAT_FLAGS) are handled in this function, not in create_file().
1359  *
1360  * It's tempting to split this into a do_file_create and a do_file_open, based
1361  * on the O_CREAT flag, but the O_CREAT flag can be ignored if the file exists
1362  * already and O_EXCL isn't specified.  We could have open call create if it
1363  * fails, but for now we'll keep it as is. */
1364 struct file *do_file_open(char *path, int flags, int mode)
1365 {
1366         struct file *file = 0;
1367         struct dentry *file_d;
1368         struct inode *parent_i;
1369         struct nameidata nd_r = {0}, *nd = &nd_r;
1370         int error;
1371         unsigned long nr_pages;
1372
1373         /* The file might exist, lets try to just open it right away */
1374         nd->intent = LOOKUP_OPEN;
1375         error = path_lookup(path, LOOKUP_FOLLOW, nd);
1376         if (!error) {
1377                 /* If this is a directory, make sure we are opening with O_RDONLY.
1378                  * Unfortunately we can't just check for O_RDONLY directly because its
1379                  * value is 0x0.  We instead have to make sure it's not O_WRONLY and
1380                  * not O_RDWR explicitly. */
1381                 if (S_ISDIR(nd->dentry->d_inode->i_mode) &&
1382                     ((flags & O_WRONLY) || (flags & O_RDWR))) {
1383                         set_errno(EISDIR);
1384                         goto out_path_only;
1385                 }
1386                 /* Also need to make sure we didn't want to O_EXCL create */
1387                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1388                         set_errno(EEXIST);
1389                         goto out_path_only;
1390                 }
1391                 file_d = nd->dentry;
1392                 kref_get(&file_d->d_kref, 1);
1393                 goto open_the_file;
1394         }
1395         if (!(flags & O_CREAT)) {
1396                 set_errno(-error);
1397                 goto out_path_only;
1398         }
1399         /* So it didn't already exist, release the path from the previous lookup,
1400          * and then we try to create it. */
1401         path_release(nd);       
1402         /* get the parent, following links.  this means you get the parent of the
1403          * final link (which may not be in 'path' in the first place. */
1404         nd->intent = LOOKUP_CREATE;
1405         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1406         if (error) {
1407                 set_errno(-error);
1408                 goto out_path_only;
1409         }
1410         /* see if the target is there (shouldn't be), and handle accordingly */
1411         file_d = do_lookup(nd->dentry, nd->last.name); 
1412         if (!file_d) {
1413                 if (!(flags & O_CREAT)) {
1414                         warn("Extremely unlikely race, probably a bug");
1415                         set_errno(ENOENT);
1416                         goto out_path_only;
1417                 }
1418                 /* Create the inode/file.  get a fresh dentry too: */
1419                 file_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1420                 if (!file_d)
1421                         goto out_path_only;
1422                 parent_i = nd->dentry->d_inode;
1423                 /* Note that the mode technically should only apply to future opens,
1424                  * but we apply it immediately. */
1425                 if (create_file(parent_i, file_d, mode))        /* sets errno */
1426                         goto out_file_d;
1427                 dcache_put(file_d->d_sb, file_d);
1428         } else {        /* something already exists */
1429                 /* this can happen due to concurrent access, but needs to be thought
1430                  * through */
1431                 panic("File shouldn't be here!");
1432                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1433                         /* wanted to create, not open, bail out */
1434                         set_errno(EEXIST);
1435                         goto out_file_d;
1436                 }
1437         }
1438 open_the_file:
1439         /* now open the file (freshly created or if it already existed).  At this
1440          * point, file_d is a refcnt'd dentry, regardless of which branch we took.*/
1441         if (flags & O_TRUNC) {
1442                 spin_lock(&file_d->d_inode->i_lock);
1443                 nr_pages = ROUNDUP(file_d->d_inode->i_size, PGSIZE) >> PGSHIFT;
1444                 file_d->d_inode->i_size = 0;
1445                 spin_unlock(&file_d->d_inode->i_lock);
1446                 pm_remove_contig(file_d->d_inode->i_mapping, 0, nr_pages);
1447         }
1448         file = dentry_open(file_d, flags);                              /* sets errno */
1449         /* Note the fall through to the exit paths.  File is 0 by default and if
1450          * dentry_open fails. */
1451 out_file_d:
1452         kref_put(&file_d->d_kref);
1453 out_path_only:
1454         path_release(nd);
1455         return file;
1456 }
1457
1458 /* Path is the location of the symlink, sometimes called the "new path", and
1459  * symname is who we link to, sometimes called the "old path". */
1460 int do_symlink(char *path, const char *symname, int mode)
1461 {
1462         struct dentry *sym_d;
1463         struct inode *parent_i;
1464         struct nameidata nd_r = {0}, *nd = &nd_r;
1465         int error;
1466         int retval = -1;
1467
1468         nd->intent = LOOKUP_CREATE;
1469         /* get the parent, but don't follow links */
1470         error = path_lookup(path, LOOKUP_PARENT, nd);
1471         if (error) {
1472                 set_errno(-error);
1473                 goto out_path_only;
1474         }
1475         /* see if the target is already there, handle accordingly */
1476         sym_d = do_lookup(nd->dentry, nd->last.name); 
1477         if (sym_d) {
1478                 set_errno(EEXIST);
1479                 goto out_sym_d;
1480         }
1481         /* Doesn't already exist, let's try to make it: */
1482         sym_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1483         if (!sym_d)
1484                 goto out_path_only;
1485         parent_i = nd->dentry->d_inode;
1486         if (create_symlink(parent_i, sym_d, symname, mode))
1487                 goto out_sym_d;
1488         dcache_put(sym_d->d_sb, sym_d);
1489         retval = 0;                             /* Note the fall through to the exit paths */
1490 out_sym_d:
1491         kref_put(&sym_d->d_kref);
1492 out_path_only:
1493         path_release(nd);
1494         return retval;
1495 }
1496
1497 /* Makes a hard link for the file behind old_path to new_path */
1498 int do_link(char *old_path, char *new_path)
1499 {
1500         struct dentry *link_d, *old_d;
1501         struct inode *inode, *parent_dir;
1502         struct nameidata nd_r = {0}, *nd = &nd_r;
1503         int error;
1504         int retval = -1;
1505
1506         nd->intent = LOOKUP_CREATE;
1507         /* get the absolute parent of the new_path */
1508         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1509         if (error) {
1510                 set_errno(-error);
1511                 goto out_path_only;
1512         }
1513         parent_dir = nd->dentry->d_inode;
1514         /* see if the new target is already there, handle accordingly */
1515         link_d = do_lookup(nd->dentry, nd->last.name); 
1516         if (link_d) {
1517                 set_errno(EEXIST);
1518                 goto out_link_d;
1519         }
1520         /* Doesn't already exist, let's try to make it.  Still need to stitch it to
1521          * an inode and set its FS-specific stuff after this.*/
1522         link_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1523         if (!link_d)
1524                 goto out_path_only;
1525         /* Now let's get the old_path target */
1526         old_d = lookup_dentry(old_path, LOOKUP_FOLLOW);
1527         if (!old_d)                                     /* errno set by lookup_dentry */
1528                 goto out_link_d;
1529         /* For now, can only link to files */
1530         if (!S_ISREG(old_d->d_inode->i_mode)) {
1531                 set_errno(EPERM);
1532                 goto out_both_ds;
1533         }
1534         /* Must be on the same FS */
1535         if (old_d->d_sb != link_d->d_sb) {
1536                 set_errno(EXDEV);
1537                 goto out_both_ds;
1538         }
1539         /* Do whatever FS specific stuff there is first (which is also a chance to
1540          * bail out). */
1541         error = parent_dir->i_op->link(old_d, parent_dir, link_d);
1542         if (error) {
1543                 set_errno(-error);
1544                 goto out_both_ds;
1545         }
1546         /* Finally stitch it up */
1547         inode = old_d->d_inode;
1548         kref_get(&inode->i_kref, 1);
1549         link_d->d_inode = inode;
1550         inode->i_nlink++;
1551         TAILQ_INSERT_TAIL(&inode->i_dentry, link_d, d_alias);   /* weak ref */
1552         dcache_put(link_d->d_sb, link_d);
1553         retval = 0;                             /* Note the fall through to the exit paths */
1554 out_both_ds:
1555         kref_put(&old_d->d_kref);
1556 out_link_d:
1557         kref_put(&link_d->d_kref);
1558 out_path_only:
1559         path_release(nd);
1560         return retval;
1561 }
1562
1563 /* Unlinks path from the directory tree.  Read the Documentation for more info.
1564  */
1565 int do_unlink(char *path)
1566 {
1567         struct dentry *dentry;
1568         struct inode *parent_dir;
1569         struct nameidata nd_r = {0}, *nd = &nd_r;
1570         int error;
1571         int retval = -1;
1572
1573         /* get the parent of the target, and don't follow a final link */
1574         error = path_lookup(path, LOOKUP_PARENT, nd);
1575         if (error) {
1576                 set_errno(-error);
1577                 goto out_path_only;
1578         }
1579         parent_dir = nd->dentry->d_inode;
1580         /* make sure the target is there */
1581         dentry = do_lookup(nd->dentry, nd->last.name); 
1582         if (!dentry) {
1583                 set_errno(ENOENT);
1584                 goto out_path_only;
1585         }
1586         /* Make sure the target is not a directory */
1587         if (S_ISDIR(dentry->d_inode->i_mode)) {
1588                 set_errno(EISDIR);
1589                 goto out_dentry;
1590         }
1591         /* Remove the dentry from its parent */
1592         error = parent_dir->i_op->unlink(parent_dir, dentry);
1593         if (error) {
1594                 set_errno(-error);
1595                 goto out_dentry;
1596         }
1597         /* Now that our parent doesn't track us, we need to make sure we aren't
1598          * findable via the dentry cache.  DYING, so we will be freed in
1599          * dentry_release() */
1600         dentry->d_flags |= DENTRY_DYING;
1601         dcache_remove(dentry->d_sb, dentry);
1602         dentry->d_inode->i_nlink--;     /* TODO: race here, esp with a decref */
1603         /* At this point, the dentry is unlinked from the FS, and the inode has one
1604          * less link.  When the in-memory objects (dentry, inode) are going to be
1605          * released (after all open files are closed, and maybe after entries are
1606          * evicted from the cache), then nlinks will get checked and the FS-file
1607          * will get removed from the disk */
1608         retval = 0;                             /* Note the fall through to the exit paths */
1609 out_dentry:
1610         kref_put(&dentry->d_kref);
1611 out_path_only:
1612         path_release(nd);
1613         return retval;
1614 }
1615
1616 /* Checks to see if path can be accessed via mode.  Need to actually send the
1617  * mode along somehow, so this doesn't do much now.  This is an example of
1618  * decent error propagation from the lower levels via int retvals. */
1619 int do_access(char *path, int mode)
1620 {
1621         struct nameidata nd_r = {0}, *nd = &nd_r;
1622         int retval = 0;
1623         nd->intent = LOOKUP_ACCESS;
1624         retval = path_lookup(path, 0, nd);
1625         path_release(nd);       
1626         return retval;
1627 }
1628
1629 int do_file_chmod(struct file *file, int mode)
1630 {
1631         int old_mode_ftype = file->f_dentry->d_inode->i_mode & __S_IFMT;
1632         #if 0
1633         /* TODO: when we have notions of uid, check for the proc's uid */
1634         if (file->f_dentry->d_inode->i_uid != UID_OF_ME)
1635                 retval = -EPERM;
1636         else
1637         #endif
1638                 file->f_dentry->d_inode->i_mode = (mode & S_PMASK) | old_mode_ftype;
1639         return 0;
1640 }
1641
1642 /* Make a directory at path with mode.  Returns -1 and sets errno on errors */
1643 int do_mkdir(char *path, int mode)
1644 {
1645         struct dentry *dentry;
1646         struct inode *parent_i;
1647         struct nameidata nd_r = {0}, *nd = &nd_r;
1648         int error;
1649         int retval = -1;
1650
1651         nd->intent = LOOKUP_CREATE;
1652         /* get the parent, but don't follow links */
1653         error = path_lookup(path, LOOKUP_PARENT, nd);
1654         if (error) {
1655                 set_errno(-error);
1656                 goto out_path_only;
1657         }
1658         /* see if the target is already there, handle accordingly */
1659         dentry = do_lookup(nd->dentry, nd->last.name); 
1660         if (dentry) {
1661                 set_errno(EEXIST);
1662                 goto out_dentry;
1663         }
1664         /* Doesn't already exist, let's try to make it: */
1665         dentry = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1666         if (!dentry)
1667                 goto out_path_only;
1668         parent_i = nd->dentry->d_inode;
1669         if (create_dir(parent_i, dentry, mode))
1670                 goto out_dentry;
1671         dcache_put(dentry->d_sb, dentry);
1672         retval = 0;                             /* Note the fall through to the exit paths */
1673 out_dentry:
1674         kref_put(&dentry->d_kref);
1675 out_path_only:
1676         path_release(nd);
1677         return retval;
1678 }
1679
1680 int do_rmdir(char *path)
1681 {
1682         struct dentry *dentry;
1683         struct inode *parent_i;
1684         struct nameidata nd_r = {0}, *nd = &nd_r;
1685         int error;
1686         int retval = -1;
1687
1688         /* get the parent, following links (probably want this), and we must get a
1689          * directory.  Note, current versions of path_lookup can't handle both
1690          * PARENT and DIRECTORY, at least, it doesn't check that *path is a
1691          * directory. */
1692         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW | LOOKUP_DIRECTORY,
1693                             nd);
1694         if (error) {
1695                 set_errno(-error);
1696                 goto out_path_only;
1697         }
1698         /* make sure the target is already there, handle accordingly */
1699         dentry = do_lookup(nd->dentry, nd->last.name); 
1700         if (!dentry) {
1701                 set_errno(ENOENT);
1702                 goto out_path_only;
1703         }
1704         if (!S_ISDIR(dentry->d_inode->i_mode)) {
1705                 set_errno(ENOTDIR);
1706                 goto out_dentry;
1707         }
1708         if (dentry->d_mount_point) {
1709                 set_errno(EBUSY);
1710                 goto out_dentry;
1711         }
1712         /* TODO: make sure we aren't a mount or processes root (EBUSY) */
1713         /* Now for the removal.  the FSs will check if they are empty */
1714         parent_i = nd->dentry->d_inode;
1715         error = parent_i->i_op->rmdir(parent_i, dentry);
1716         if (error < 0) {
1717                 set_errno(-error);
1718                 goto out_dentry;
1719         }
1720         /* Now that our parent doesn't track us, we need to make sure we aren't
1721          * findable via the dentry cache.  DYING, so we will be freed in
1722          * dentry_release() */
1723         dentry->d_flags |= DENTRY_DYING;
1724         dcache_remove(dentry->d_sb, dentry);
1725         /* Decref ourselves, so inode_release() knows we are done */
1726         dentry->d_inode->i_nlink--;
1727         TAILQ_REMOVE(&nd->dentry->d_subdirs, dentry, d_subdirs_link);
1728         parent_i->i_nlink--;            /* TODO: race on this, esp since its a decref */
1729         /* we still have d_parent and a kref on our parent, which will go away when
1730          * the in-memory dentry object goes away. */
1731         retval = 0;                             /* Note the fall through to the exit paths */
1732 out_dentry:
1733         kref_put(&dentry->d_kref);
1734 out_path_only:
1735         path_release(nd);
1736         return retval;
1737 }
1738
1739 /* Pipes: Doing a simple buffer with reader and writer offsets.  Size is power
1740  * of two, so we can easily compute its status and whatnot. */
1741
1742 #define PIPE_SZ                                 (1 << PGSHIFT)
1743
1744 static size_t pipe_get_rd_idx(struct pipe_inode_info *pii)
1745 {
1746         return pii->p_rd_off & (PIPE_SZ - 1);
1747 }
1748
1749 static size_t pipe_get_wr_idx(struct pipe_inode_info *pii)
1750 {
1751
1752         return pii->p_wr_off & (PIPE_SZ - 1);
1753 }
1754
1755 static bool pipe_is_empty(struct pipe_inode_info *pii)
1756 {
1757         return __ring_empty(pii->p_wr_off, pii->p_rd_off);
1758 }
1759
1760 static bool pipe_is_full(struct pipe_inode_info *pii)
1761 {
1762         return __ring_full(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1763 }
1764
1765 static size_t pipe_nr_full(struct pipe_inode_info *pii)
1766 {
1767         return __ring_nr_full(pii->p_wr_off, pii->p_rd_off);
1768 }
1769
1770 static size_t pipe_nr_empty(struct pipe_inode_info *pii)
1771 {
1772         return __ring_nr_empty(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1773 }
1774
1775 ssize_t pipe_file_read(struct file *file, char *buf, size_t count,
1776                        off64_t *offset)
1777 {
1778         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1779         size_t copy_amt, amt_copied = 0;
1780
1781         cv_lock(&pii->p_cv);
1782         while (pipe_is_empty(pii)) {
1783                 /* We wait til the pipe is drained before sending EOF if there are no
1784                  * writers (instead of aborting immediately) */
1785                 if (!pii->p_nr_writers) {
1786                         cv_unlock(&pii->p_cv);
1787                         return 0;
1788                 }
1789                 if (file->f_flags & O_NONBLOCK) {
1790                         cv_unlock(&pii->p_cv);
1791                         set_errno(EAGAIN);
1792                         return -1;
1793                 }
1794                 cv_wait(&pii->p_cv);
1795                 cpu_relax();
1796         }
1797         /* We might need to wrap-around with our copy, so we'll do the copy in two
1798          * passes.  This will copy up to the end of the buffer, then on the next
1799          * pass will copy the rest to the beginning of the buffer (if necessary) */
1800         for (int i = 0; i < 2; i++) {
1801                 copy_amt = MIN(PIPE_SZ - pipe_get_rd_idx(pii),
1802                                MIN(pipe_nr_full(pii), count));
1803                 assert(current);        /* shouldn't pipe from the kernel */
1804                 memcpy_to_user(current, buf, pii->p_buf + pipe_get_rd_idx(pii),
1805                                copy_amt);
1806                 buf += copy_amt;
1807                 count -= copy_amt;
1808                 pii->p_rd_off += copy_amt;
1809                 amt_copied += copy_amt;
1810         }
1811         /* Just using one CV for both readers and writers.  We should rarely have
1812          * multiple readers or writers. */
1813         if (amt_copied)
1814                 __cv_broadcast(&pii->p_cv);
1815         cv_unlock(&pii->p_cv);
1816         return amt_copied;
1817 }
1818
1819 /* Note: we're not dealing with PIPE_BUF and minimum atomic chunks, unless I
1820  * have to later. */
1821 ssize_t pipe_file_write(struct file *file, const char *buf, size_t count,
1822                         off64_t *offset)
1823 {
1824         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1825         size_t copy_amt, amt_copied = 0;
1826
1827         cv_lock(&pii->p_cv);
1828         /* Write aborts right away if there are no readers, regardless of pipe
1829          * status. */
1830         if (!pii->p_nr_readers) {
1831                 cv_unlock(&pii->p_cv);
1832                 set_errno(EPIPE);
1833                 return -1;
1834         }
1835         while (pipe_is_full(pii)) {
1836                 if (file->f_flags & O_NONBLOCK) {
1837                         cv_unlock(&pii->p_cv);
1838                         set_errno(EAGAIN);
1839                         return -1;
1840                 }
1841                 cv_wait(&pii->p_cv);
1842                 cpu_relax();
1843                 /* Still need to check in the loop, in case the last reader left while
1844                  * we slept. */
1845                 if (!pii->p_nr_readers) {
1846                         cv_unlock(&pii->p_cv);
1847                         set_errno(EPIPE);
1848                         return -1;
1849                 }
1850         }
1851         /* We might need to wrap-around with our copy, so we'll do the copy in two
1852          * passes.  This will copy up to the end of the buffer, then on the next
1853          * pass will copy the rest to the beginning of the buffer (if necessary) */
1854         for (int i = 0; i < 2; i++) {
1855                 copy_amt = MIN(PIPE_SZ - pipe_get_wr_idx(pii),
1856                                MIN(pipe_nr_empty(pii), count));
1857                 assert(current);        /* shouldn't pipe from the kernel */
1858                 memcpy_from_user(current, pii->p_buf + pipe_get_wr_idx(pii), buf,
1859                                  copy_amt);
1860                 buf += copy_amt;
1861                 count -= copy_amt;
1862                 pii->p_wr_off += copy_amt;
1863                 amt_copied += copy_amt;
1864         }
1865         /* Just using one CV for both readers and writers.  We should rarely have
1866          * multiple readers or writers. */
1867         if (amt_copied)
1868                 __cv_broadcast(&pii->p_cv);
1869         cv_unlock(&pii->p_cv);
1870         return amt_copied;
1871 }
1872
1873 /* In open and release, we need to track the number of readers and writers,
1874  * which we can differentiate by the file flags. */
1875 int pipe_open(struct inode *inode, struct file *file)
1876 {
1877         struct pipe_inode_info *pii = inode->i_pipe;
1878         cv_lock(&pii->p_cv);
1879         /* Ugliness due to not using flags for O_RDONLY and friends... */
1880         if (file->f_mode == S_IRUSR) {
1881                 pii->p_nr_readers++;
1882         } else if (file->f_mode == S_IWUSR) {
1883                 pii->p_nr_writers++;
1884         } else {
1885                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1886         }
1887         cv_unlock(&pii->p_cv);
1888         return 0;
1889 }
1890
1891 int pipe_release(struct inode *inode, struct file *file)
1892 {
1893         struct pipe_inode_info *pii = inode->i_pipe;
1894         cv_lock(&pii->p_cv);
1895         /* Ugliness due to not using flags for O_RDONLY and friends... */
1896         if (file->f_mode == S_IRUSR) {
1897                 pii->p_nr_readers--;
1898         } else if (file->f_mode == S_IWUSR) {
1899                 pii->p_nr_writers--;
1900         } else {
1901                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1902         }
1903         /* need to wake up any sleeping readers/writers, since we might be done */
1904         __cv_broadcast(&pii->p_cv);
1905         cv_unlock(&pii->p_cv);
1906         return 0;
1907 }
1908
1909 struct file_operations pipe_f_op = {
1910         .read = pipe_file_read,
1911         .write = pipe_file_write,
1912         .open = pipe_open,
1913         .release = pipe_release,
1914         0
1915 };
1916
1917 void pipe_debug(struct file *f)
1918 {
1919         struct pipe_inode_info *pii = f->f_dentry->d_inode->i_pipe;
1920         assert(pii);
1921         printk("PIPE %p\n", pii);
1922         printk("\trdoff %p\n", pii->p_rd_off);
1923         printk("\twroff %p\n", pii->p_wr_off);
1924         printk("\tnr_rds %d\n", pii->p_nr_readers);
1925         printk("\tnr_wrs %d\n", pii->p_nr_writers);
1926         printk("\tcv waiters %d\n", pii->p_cv.nr_waiters);
1927
1928 }
1929
1930 /* General plan: get a dentry/inode to represent the pipe.  We'll alloc it from
1931  * the default_ns SB, but won't actually link it anywhere.  It'll only be held
1932  * alive by the krefs, til all the FDs are closed. */
1933 int do_pipe(struct file **pipe_files, int flags)
1934 {
1935         struct dentry *pipe_d;
1936         struct inode *pipe_i;
1937         struct file *pipe_f_read, *pipe_f_write;
1938         struct super_block *def_sb = default_ns.root->mnt_sb;
1939         struct pipe_inode_info *pii;
1940
1941         pipe_d = get_dentry(def_sb, 0, "pipe");
1942         if (!pipe_d)
1943                 return -1;
1944         pipe_d->d_op = &dummy_d_op;
1945         pipe_i = get_inode(pipe_d);
1946         if (!pipe_i)
1947                 goto error_post_dentry;
1948         /* preemptively mark the dentry for deletion.  we have an unlinked dentry
1949          * right off the bat, held in only by the kref chain (pipe_d is the ref). */
1950         pipe_d->d_flags |= DENTRY_DYING;
1951         /* pipe_d->d_inode still has one ref to pipe_i, keeping the inode alive */
1952         kref_put(&pipe_i->i_kref);
1953         /* init inode fields.  note we're using the dummy ops for i_op and d_op */
1954         pipe_i->i_mode = S_IRWXU | S_IRWXG | S_IRWXO;
1955         SET_FTYPE(pipe_i->i_mode, __S_IFIFO);   /* using type == FIFO */
1956         pipe_i->i_nlink = 1;                    /* one for the dentry */
1957         pipe_i->i_uid = 0;
1958         pipe_i->i_gid = 0;
1959         pipe_i->i_size = PGSIZE;
1960         pipe_i->i_blocks = 0;
1961         pipe_i->i_atime.tv_sec = 0;
1962         pipe_i->i_atime.tv_nsec = 0;
1963         pipe_i->i_mtime.tv_sec = 0;
1964         pipe_i->i_mtime.tv_nsec = 0;
1965         pipe_i->i_ctime.tv_sec = 0;
1966         pipe_i->i_ctime.tv_nsec = 0;
1967         pipe_i->i_fs_info = 0;
1968         pipe_i->i_op = &dummy_i_op;
1969         pipe_i->i_fop = &pipe_f_op;
1970         pipe_i->i_socket = FALSE;
1971         /* Actually build the pipe.  We're using one page, hanging off the
1972          * pipe_inode_info struct.  When we release the inode, we free the pipe
1973          * memory too */
1974         pipe_i->i_pipe = kmalloc(sizeof(struct pipe_inode_info), KMALLOC_WAIT);
1975         pii = pipe_i->i_pipe;
1976         if (!pii) {
1977                 set_errno(ENOMEM);
1978                 goto error_kmalloc;
1979         }
1980         pii->p_buf = kpage_zalloc_addr();
1981         if (!pii->p_buf) {
1982                 set_errno(ENOMEM);
1983                 goto error_kpage;
1984         }
1985         pii->p_rd_off = 0;
1986         pii->p_wr_off = 0;
1987         pii->p_nr_readers = 0;
1988         pii->p_nr_writers = 0;
1989         cv_init(&pii->p_cv);    /* must do this before dentry_open / pipe_open */
1990         /* Now we have an inode for the pipe.  We need two files for the read and
1991          * write ends of the pipe. */
1992         flags &= ~(O_ACCMODE);  /* avoid user bugs */
1993         pipe_f_read = dentry_open(pipe_d, flags | O_RDONLY);
1994         if (!pipe_f_read)
1995                 goto error_f_read;
1996         pipe_f_write = dentry_open(pipe_d, flags | O_WRONLY);
1997         if (!pipe_f_write)
1998                 goto error_f_write;
1999         pipe_files[0] = pipe_f_read;
2000         pipe_files[1] = pipe_f_write;
2001         return 0;
2002
2003 error_f_write:
2004         kref_put(&pipe_f_read->f_kref);
2005 error_f_read:
2006         page_decref(kva2page(pii->p_buf));
2007 error_kpage:
2008         kfree(pipe_i->i_pipe);
2009 error_kmalloc:
2010         /* We don't need to free the pipe_i; putting the dentry will free it */
2011 error_post_dentry:
2012         /* Note we only free the dentry on failure. */
2013         kref_put(&pipe_d->d_kref);
2014         return -1;
2015 }
2016
2017 int do_rename(char *old_path, char *new_path)
2018 {
2019         struct nameidata nd_old = {0}, *nd_o = &nd_old;
2020         struct nameidata nd_new = {0}, *nd_n = &nd_new;
2021         struct dentry *old_dir_d, *new_dir_d;
2022         struct inode *old_dir_i, *new_dir_i;
2023         struct dentry *old_d, *new_d, *unlink_d;
2024         int error;
2025         int retval = 0;
2026         uint64_t now;
2027
2028         nd_o->intent = LOOKUP_ACCESS; /* maybe, might need another type */
2029
2030         /* get the parent, but don't follow links */
2031         error = path_lookup(old_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_o);
2032         if (error) {
2033                 set_errno(-error);
2034                 retval = -1;
2035                 goto out_old_path;
2036         }
2037         old_dir_d = nd_o->dentry;
2038         old_dir_i = old_dir_d->d_inode;
2039
2040         old_d = do_lookup(old_dir_d, nd_o->last.name);
2041         if (!old_d) {
2042                 set_errno(ENOENT);
2043                 retval = -1;
2044                 goto out_old_path;
2045         }
2046
2047         nd_n->intent = LOOKUP_CREATE;
2048         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_n);
2049         if (error) {
2050                 set_errno(-error);
2051                 retval = -1;
2052                 goto out_paths_and_src;
2053         }
2054         new_dir_d = nd_n->dentry;
2055         new_dir_i = new_dir_d->d_inode;
2056         /* TODO if new_dir == old_dir, we might be able to simplify things */
2057
2058         if (new_dir_i->i_sb != old_dir_i->i_sb) {
2059                 set_errno(EXDEV);
2060                 retval = -1;
2061                 goto out_paths_and_src;
2062         }
2063         /* TODO: check_perms is lousy, want to just say "writable" here */
2064         if (check_perms(old_dir_i, S_IWUSR) || check_perms(new_dir_i, S_IWUSR)) {
2065                 set_errno(EPERM);
2066                 retval = -1;
2067                 goto out_paths_and_src;
2068         }
2069         /* TODO: if we're doing a rename that moves a directory, we need to make
2070          * sure the new_path doesn't include the old_path.  it's not as simple as
2071          * just checking, since there could be a concurrent rename that breaks the
2072          * check later.  e.g. what if new_dir's parent is being moved into a child
2073          * of old_dir?
2074          *
2075          * linux has a per-fs rename mutex for these scenarios, so only one can
2076          * proceed at a time.  i don't see another way to deal with it either.
2077          * maybe something like flagging all dentries on the new_path with "do not
2078          * move". */
2079
2080         /* TODO: this is all very racy.  right after we do a new_d lookup, someone
2081          * else could create or unlink new_d.  need to lock here, or else push this
2082          * into the sub-FS.
2083          *
2084          * For any locking scheme, we probably need to lock both the old and new
2085          * dirs.  To prevent deadlock, we need a total ordering of all inodes (or
2086          * dentries, if we locking them instead).  inode number or struct inode*
2087          * will work for this. */
2088         new_d = do_lookup(new_dir_d, nd_n->last.name);
2089         if (new_d) {
2090                 if (new_d->d_inode == old_d->d_inode)
2091                         goto out_paths_and_refs;        /* rename does nothing */
2092                 /* TODO: Here's a bunch of other racy checks we need to do, maybe in the
2093                  * sub-FS:
2094                  *
2095                  * if src is a dir, dst must be an empty dir if it exists (RACYx2)
2096                  *              racing on dst being created and it getting new entries
2097                  * if src is a file, dst must be a file if it exists (RACY)
2098                  *              racing on dst being created and still being a file
2099                  *              racing on dst being unlinked and a new one being added
2100                  */
2101                 /* TODO: we should allow empty dirs */
2102                 if (S_ISDIR(new_d->d_inode->i_mode)) {
2103                         set_errno(EISDIR);
2104                         retval = -1;
2105                         goto out_paths_and_refs;
2106                 }
2107                 /* TODO: need this to be atomic with rename */
2108                 error = new_dir_i->i_op->unlink(new_dir_i, new_d);
2109                 if (error) {
2110                         set_errno(-error);
2111                         retval = -1;
2112                         goto out_paths_and_refs;
2113                 }
2114                 new_d->d_flags |= DENTRY_DYING;
2115                 /* TODO: racy with other lookups on new_d */
2116                 dcache_remove(new_d->d_sb, new_d);
2117                 new_d->d_inode->i_nlink--;  /* TODO: race here, esp with a decref */
2118                 kref_put(&new_d->d_kref);
2119         }
2120         /* new_d is just a vessel for the name.  somewhat lousy. */
2121         new_d = get_dentry(new_dir_d->d_sb, new_dir_d, nd_n->last.name);
2122
2123         /* TODO: more races.  need to remove old_d from the dcache, since we're
2124          * about to change its parentage.  could be readded concurrently. */
2125         dcache_remove(old_dir_d->d_sb, old_d);
2126         error = new_dir_i->i_op->rename(old_dir_i, old_d, new_dir_i, new_d);
2127         if (error) {
2128                 /* TODO: oh crap, we already unlinked!  now we're screwed, and violated
2129                  * our atomicity requirements. */
2130                 printk("[kernel] rename failed, you might have lost data\n");
2131                 set_errno(-error);
2132                 retval = -1;
2133                 goto out_paths_and_refs;
2134         }
2135
2136         /* old_dir loses old_d, new_dir gains old_d, renamed to new_d.  this is
2137          * particularly cumbersome since there are two levels here: the FS has its
2138          * info about where things are, and the VFS has its dentry tree.  and it's
2139          * all racy (TODO). */
2140         dentry_set_name(old_d, new_d->d_name.name);
2141         old_d->d_parent = new_d->d_parent;
2142         if (S_ISDIR(old_d->d_inode->i_mode)) {
2143                 TAILQ_REMOVE(&old_dir_d->d_subdirs, old_d, d_subdirs_link);
2144                 old_dir_i->i_nlink--; /* TODO: racy, etc */
2145                 TAILQ_INSERT_TAIL(&new_dir_d->d_subdirs, old_d, d_subdirs_link);
2146                 new_dir_i->i_nlink--; /* TODO: racy, etc */
2147         }
2148
2149         /* and then the third level: dcache stuff.  we could have old versions of
2150          * old_d or negative versions of new_d sitting around.  dcache_put should
2151          * replace a potentially negative dentry for new_d (now called old_d) */
2152         dcache_put(old_dir_d->d_sb, old_d);
2153
2154         /* TODO could have a helper for this, but it's going away soon */
2155         now = epoch_sec();
2156         old_dir_i->i_ctime.tv_sec = now;
2157         old_dir_i->i_mtime.tv_sec = now;
2158         old_dir_i->i_ctime.tv_nsec = 0;
2159         old_dir_i->i_mtime.tv_nsec = 0;
2160         new_dir_i->i_ctime.tv_sec = now;
2161         new_dir_i->i_mtime.tv_sec = now;
2162         new_dir_i->i_ctime.tv_nsec = 0;
2163         new_dir_i->i_mtime.tv_nsec = 0;
2164
2165         /* fall-through */
2166 out_paths_and_refs:
2167         kref_put(&new_d->d_kref);
2168 out_paths_and_src:
2169         kref_put(&old_d->d_kref);
2170 out_paths:
2171         path_release(nd_n);
2172 out_old_path:
2173         path_release(nd_o);
2174         return retval;
2175 }
2176
2177 int do_truncate(struct inode *inode, off64_t len)
2178 {
2179         off64_t old_len;
2180         uint64_t now;
2181         if (len < 0) {
2182                 set_errno(EINVAL);
2183                 return -1;
2184         }
2185         if (len > PiB) {
2186                 printk("[kernel] truncate for > petabyte, probably a bug\n");
2187                 /* continuing, not too concerned.  could set EINVAL or EFBIG */
2188         }
2189         spin_lock(&inode->i_lock);
2190         old_len = inode->i_size;
2191         if (old_len == len) {
2192                 spin_unlock(&inode->i_lock);
2193                 return 0;
2194         }
2195         inode->i_size = len;
2196         /* truncate can't block, since we're holding the spinlock.  but it can rely
2197          * on that lock being held */
2198         inode->i_op->truncate(inode);
2199         spin_unlock(&inode->i_lock);
2200
2201         if (old_len < len) {
2202                 pm_remove_contig(inode->i_mapping, old_len >> PGSHIFT,
2203                                  (len >> PGSHIFT) - (old_len >> PGSHIFT));
2204         }
2205         now = epoch_sec();
2206         inode->i_ctime.tv_sec = now;
2207         inode->i_mtime.tv_sec = now;
2208         inode->i_ctime.tv_nsec = 0;
2209         inode->i_mtime.tv_nsec = 0;
2210         return 0;
2211 }
2212
2213 struct file *alloc_file(void)
2214 {
2215         struct file *file = kmem_cache_alloc(file_kcache, 0);
2216         if (!file) {
2217                 set_errno(ENOMEM);
2218                 return 0;
2219         }
2220         /* one for the ref passed out*/
2221         kref_init(&file->f_kref, file_release, 1);
2222         return file;
2223 }
2224
2225 /* Opens and returns the file specified by dentry */
2226 struct file *dentry_open(struct dentry *dentry, int flags)
2227 {
2228         struct inode *inode;
2229         struct file *file;
2230         int desired_mode;
2231         inode = dentry->d_inode;
2232         /* Do the mode first, since we can still error out.  f_mode stores how the
2233          * OS file is open, which can be more restrictive than the i_mode */
2234         switch (flags & (O_RDONLY | O_WRONLY | O_RDWR)) {
2235                 case O_RDONLY:
2236                         desired_mode = S_IRUSR;
2237                         break;
2238                 case O_WRONLY:
2239                         desired_mode = S_IWUSR;
2240                         break;
2241                 case O_RDWR:
2242                         desired_mode = S_IRUSR | S_IWUSR;
2243                         break;
2244                 default:
2245                         goto error_access;
2246         }
2247         if (check_perms(inode, desired_mode))
2248                 goto error_access;
2249         file = alloc_file();
2250         if (!file)
2251                 return 0;
2252         file->f_mode = desired_mode;
2253         /* Add to the list of all files of this SB */
2254         TAILQ_INSERT_TAIL(&inode->i_sb->s_files, file, f_list);
2255         kref_get(&dentry->d_kref, 1);
2256         file->f_dentry = dentry;
2257         kref_get(&inode->i_sb->s_mount->mnt_kref, 1);
2258         file->f_vfsmnt = inode->i_sb->s_mount;          /* saving a ref to the vmnt...*/
2259         file->f_op = inode->i_fop;
2260         /* Don't store creation flags */
2261         file->f_flags = flags & ~O_CREAT_FLAGS;
2262         file->f_pos = 0;
2263         file->f_uid = inode->i_uid;
2264         file->f_gid = inode->i_gid;
2265         file->f_error = 0;
2266 //      struct event_poll_tailq         f_ep_links;
2267         spinlock_init(&file->f_ep_lock);
2268         file->f_privdata = 0;                                           /* prob overriden by the fs */
2269         file->f_mapping = inode->i_mapping;
2270         file->f_op->open(inode, file);
2271         return file;
2272 error_access:
2273         set_errno(EACCES);
2274         return 0;
2275 }
2276
2277 /* Closes a file, fsync, whatever else is necessary.  Called when the kref hits
2278  * 0.  Note that the file is not refcounted on the s_files list, nor is the
2279  * f_mapping refcounted (it is pinned by the i_mapping). */
2280 void file_release(struct kref *kref)
2281 {
2282         struct file *file = container_of(kref, struct file, f_kref);
2283
2284         struct super_block *sb = file->f_dentry->d_sb;
2285         spin_lock(&sb->s_lock);
2286         TAILQ_REMOVE(&sb->s_files, file, f_list);
2287         spin_unlock(&sb->s_lock);
2288
2289         /* TODO: fsync (BLK).  also, we may want to parallelize the blocking that
2290          * could happen in here (spawn kernel threads)... */
2291         file->f_op->release(file->f_dentry->d_inode, file);
2292         /* Clean up the other refs we hold */
2293         kref_put(&file->f_dentry->d_kref);
2294         kref_put(&file->f_vfsmnt->mnt_kref);
2295         kmem_cache_free(file_kcache, file);
2296 }
2297
2298 ssize_t kread_file(struct file *file, void *buf, size_t sz)
2299 {
2300         /* TODO: (KFOP) (VFS kernel read/writes need to have no proc current) */
2301         struct proc *old_proc = switch_to(0);
2302         off64_t dummy = 0;
2303         ssize_t cpy_amt = file->f_op->read(file, buf, sz, &dummy);
2304         switch_back(0, old_proc);
2305         return cpy_amt;
2306 }
2307
2308 /* Reads the contents of an entire file into a buffer, returning that buffer.
2309  * On error, prints something useful and returns 0 */
2310 void *kread_whole_file(struct file *file)
2311 {
2312         size_t size;
2313         void *contents;
2314         ssize_t cpy_amt;
2315
2316         size = file->f_dentry->d_inode->i_size;
2317         contents = kmalloc(size, KMALLOC_WAIT);
2318         cpy_amt = kread_file(file, contents, size);
2319         if (cpy_amt < 0) {
2320                 printk("Error %d reading file %s\n", get_errno(), file_name(file));
2321                 kfree(contents);
2322                 return 0;
2323         }
2324         if (cpy_amt != size) {
2325                 printk("Read %d, needed %d for file %s\n", cpy_amt, size,
2326                        file_name(file));
2327                 kfree(contents);
2328                 return 0;
2329         }
2330         return contents;
2331 }
2332
2333 /* Process-related File management functions */
2334
2335 /* Given any FD, get the appropriate object, 0 o/w.  Set vfs if you're looking
2336  * for a file, o/w a chan.  Set incref if you want a reference count (which is a
2337  * 9ns thing, you can't use the pointer if you didn't incref). */
2338 void *lookup_fd(struct fd_table *fdt, int fd, bool incref, bool vfs)
2339 {
2340         void *retval = 0;
2341         if (fd < 0)
2342                 return 0;
2343         spin_lock(&fdt->lock);
2344         if (fdt->closed) {
2345                 spin_unlock(&fdt->lock);
2346                 return 0;
2347         }
2348         if (fd < fdt->max_fdset) {
2349                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, fd)) {
2350                         /* while max_files and max_fdset might not line up, we should never
2351                          * have a valid fdset higher than files */
2352                         assert(fd < fdt->max_files);
2353                         if (vfs)
2354                                 retval = fdt->fd[fd].fd_file;
2355                         else
2356                                 retval = fdt->fd[fd].fd_chan;
2357                         /* retval could be 0 if we asked for the wrong one (e.g. it's a
2358                          * file, but we asked for a chan) */
2359                         if (retval && incref) {
2360                                 if (vfs)
2361                                         kref_get(&((struct file*)retval)->f_kref, 1);
2362                                 else
2363                                         chan_incref((struct chan*)retval);
2364                         }
2365                 }
2366         }
2367         spin_unlock(&fdt->lock);
2368         return retval;
2369 }
2370
2371 /* Given any FD, get the appropriate file, 0 o/w */
2372 struct file *get_file_from_fd(struct fd_table *open_files, int file_desc)
2373 {
2374         return lookup_fd(open_files, file_desc, TRUE, TRUE);
2375 }
2376
2377 /* Grow the vfs fd set */
2378 static int grow_fd_set(struct fd_table *open_files)
2379 {
2380         int n;
2381         struct file_desc *nfd, *ofd;
2382
2383         /* Only update open_fds once. If currently pointing to open_fds_init, then
2384          * update it to point to a newly allocated fd_set with space for
2385          * NR_FILE_DESC_MAX */
2386         if (open_files->open_fds == (struct fd_set*)&open_files->open_fds_init) {
2387                 open_files->open_fds = kzmalloc(sizeof(struct fd_set), 0);
2388                 memmove(open_files->open_fds, &open_files->open_fds_init,
2389                         sizeof(struct small_fd_set));
2390         }
2391
2392         /* Grow the open_files->fd array in increments of NR_OPEN_FILES_DEFAULT */
2393         n = open_files->max_files + NR_OPEN_FILES_DEFAULT;
2394         if (n > NR_FILE_DESC_MAX)
2395                 return -EMFILE;
2396         nfd = kzmalloc(n * sizeof(struct file_desc), 0);
2397         if (nfd == NULL)
2398                 return -ENOMEM;
2399
2400         /* Move the old array on top of the new one */
2401         ofd = open_files->fd;
2402         memmove(nfd, ofd, open_files->max_files * sizeof(struct file_desc));
2403
2404         /* Update the array and the maxes for both max_files and max_fdset */
2405         open_files->fd = nfd;
2406         open_files->max_files = n;
2407         open_files->max_fdset = n;
2408
2409         /* Only free the old one if it wasn't pointing to open_files->fd_array */
2410         if (ofd != open_files->fd_array)
2411                 kfree(ofd);
2412         return 0;
2413 }
2414
2415 /* Free the vfs fd set if necessary */
2416 static void free_fd_set(struct fd_table *open_files)
2417 {
2418         void *free_me;
2419         if (open_files->open_fds != (struct fd_set*)&open_files->open_fds_init) {
2420                 assert(open_files->fd != open_files->fd_array);
2421                 /* need to reset the pointers to the internal addrs, in case we take a
2422                  * look while debugging.  0 them out, since they have old data.  our
2423                  * current versions should all be closed. */
2424                 memset(&open_files->open_fds_init, 0, sizeof(struct small_fd_set));
2425                 memset(&open_files->fd_array, 0, sizeof(open_files->fd_array));
2426
2427                 free_me = open_files->open_fds;
2428                 open_files->open_fds = (struct fd_set*)&open_files->open_fds_init;
2429                 kfree(free_me);
2430
2431                 free_me = open_files->fd;
2432                 open_files->fd = open_files->fd_array;
2433                 kfree(free_me);
2434         }
2435 }
2436
2437 /* 9ns: puts back an FD from the VFS-FD-space. */
2438 int put_fd(struct fd_table *open_files, int file_desc)
2439 {
2440         if (file_desc < 0) {
2441                 warn("Negative FD!\n");
2442                 return 0;
2443         }
2444         spin_lock(&open_files->lock);
2445         if (file_desc < open_files->max_fdset) {
2446                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
2447                         /* while max_files and max_fdset might not line up, we should never
2448                          * have a valid fdset higher than files */
2449                         assert(file_desc < open_files->max_files);
2450                         CLR_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
2451                 }
2452         }
2453         spin_unlock(&open_files->lock);
2454         return 0;
2455 }
2456
2457 /* If FD is in the group, remove it, decref it, and return TRUE. */
2458 bool close_fd(struct fd_table *fdt, int fd)
2459 {
2460         struct file *file = 0;
2461         struct chan *chan = 0;
2462         bool ret = FALSE;
2463         if (fd < 0)
2464                 return FALSE;
2465         spin_lock(&fdt->lock);
2466         if (fd < fdt->max_fdset) {
2467                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, fd)) {
2468                         /* while max_files and max_fdset might not line up, we should never
2469                          * have a valid fdset higher than files */
2470                         assert(fd < fdt->max_files);
2471                         file = fdt->fd[fd].fd_file;
2472                         chan = fdt->fd[fd].fd_chan;
2473                         fdt->fd[fd].fd_file = 0;
2474                         fdt->fd[fd].fd_chan = 0;
2475                         CLR_BITMASK_BIT(fdt->open_fds->fds_bits, fd);
2476                         ret = TRUE;
2477                 }
2478         }
2479         spin_unlock(&fdt->lock);
2480         /* Need to decref/cclose outside of the lock; they could sleep */
2481         if (file)
2482                 kref_put(&file->f_kref);
2483         else
2484                 cclose(chan);
2485         return ret;
2486 }
2487
2488 void put_file_from_fd(struct fd_table *open_files, int file_desc)
2489 {
2490         close_fd(open_files, file_desc);
2491 }
2492
2493 static int __get_fd(struct fd_table *open_files, int low_fd)
2494 {
2495         int slot = -1;
2496         int error;
2497         if ((low_fd < 0) || (low_fd > NR_FILE_DESC_MAX))
2498                 return -EINVAL;
2499         if (open_files->closed)
2500                 return -EINVAL; /* won't matter, they are dying */
2501
2502         /* Loop until we have a valid slot (we grow the fd_array at the bottom of
2503          * the loop if we haven't found a slot in the current array */
2504         while (slot == -1) {
2505                 for (low_fd; low_fd < open_files->max_fdset; low_fd++) {
2506                         if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
2507                                 continue;
2508                         slot = low_fd;
2509                         SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
2510                         assert(slot < open_files->max_files &&
2511                                open_files->fd[slot].fd_file == 0);
2512                         if (slot >= open_files->next_fd)
2513                                 open_files->next_fd = slot + 1;
2514                         break;
2515                 }
2516                 if (slot == -1) {
2517                         if ((error = grow_fd_set(open_files)))
2518                                 return error;
2519                 }
2520         }
2521         return slot;
2522 }
2523
2524 /* Gets and claims a free FD, used by 9ns.  < 0 == error.  cloexec is tracked on
2525  * the VFS FD.  It's value will be O_CLOEXEC (not 1) or 0. */
2526 int get_fd(struct fd_table *open_files, int low_fd, int cloexec)
2527 {
2528         int slot;
2529         spin_lock(&open_files->lock);
2530         slot = __get_fd(open_files, low_fd);
2531         if (cloexec && (slot >= 0))
2532                 open_files->fd[slot].fd_flags |= FD_CLOEXEC;
2533         spin_unlock(&open_files->lock);
2534         return slot;
2535 }
2536
2537 static int __claim_fd(struct fd_table *open_files, int file_desc)
2538 {
2539         int error;
2540         if ((file_desc < 0) || (file_desc > NR_FILE_DESC_MAX))
2541                 return -EINVAL;
2542         if (open_files->closed)
2543                 return -EINVAL; /* won't matter, they are dying */
2544
2545         /* Grow the open_files->fd_set until the file_desc can fit inside it */
2546         while(file_desc >= open_files->max_files) {
2547                 if ((error = grow_fd_set(open_files)))
2548                         return error;
2549                 cpu_relax();
2550         }
2551
2552         /* If we haven't grown, this could be a problem, so check for it */
2553         if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc))
2554                 return -ENFILE; /* Should never really happen. Here to catch bugs. */
2555
2556         SET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
2557         assert(file_desc < open_files->max_files &&
2558                open_files->fd[file_desc].fd_file == 0);
2559         if (file_desc >= open_files->next_fd)
2560                 open_files->next_fd = file_desc + 1;
2561         return 0;
2562 }
2563
2564 /* Claims a specific FD when duping FDs. used by 9ns.  < 0 == error.  No need
2565  * for cloexec here, since it's not used during dup. */
2566 int claim_fd(struct fd_table *open_files, int file_desc)
2567 {
2568         int ret;
2569         spin_lock(&open_files->lock);
2570         ret = __claim_fd(open_files, file_desc);
2571         spin_unlock(&open_files->lock);
2572         return ret;
2573 }
2574
2575 /* Insert a file or chan (obj, chosen by vfs) into the fd group with fd_flags.
2576  * If must_use_low, then we have to insert at FD = low_fd.  o/w we start looking
2577  * for empty slots at low_fd. */
2578 int insert_obj_fdt(struct fd_table *fdt, void *obj, int low_fd, int fd_flags,
2579                    bool must_use_low, bool vfs)
2580 {
2581         int slot, ret;
2582         spin_lock(&fdt->lock);
2583         if (must_use_low) {
2584                 ret = __claim_fd(fdt, low_fd);
2585                 if (ret < 0) {
2586                         spin_unlock(&fdt->lock);
2587                         return ret;
2588                 }
2589                 assert(!ret);   /* issues with claim_fd returning status, not the fd */
2590                 slot = low_fd;
2591         } else {
2592                 slot = __get_fd(fdt, low_fd);
2593         }
2594
2595         if (slot < 0) {
2596                 spin_unlock(&fdt->lock);
2597                 return slot;
2598         }
2599         assert(slot < fdt->max_files &&
2600                fdt->fd[slot].fd_file == 0);
2601         if (vfs) {
2602                 kref_get(&((struct file*)obj)->f_kref, 1);
2603                 fdt->fd[slot].fd_file = obj;
2604                 fdt->fd[slot].fd_chan = 0;
2605         } else {
2606                 chan_incref((struct chan*)obj);
2607                 fdt->fd[slot].fd_file = 0;
2608                 fdt->fd[slot].fd_chan = obj;
2609         }
2610         fdt->fd[slot].fd_flags = fd_flags;
2611         spin_unlock(&fdt->lock);
2612         return slot;
2613 }
2614
2615 /* Inserts the file in the fd_table, returning the corresponding new file
2616  * descriptor, or an error code.  We start looking for open fds from low_fd.
2617  *
2618  * Passing cloexec is a bit cheap, since we might want to expand it to support
2619  * more FD options in the future. */
2620 int insert_file(struct fd_table *open_files, struct file *file, int low_fd,
2621                 bool must, bool cloexec)
2622 {
2623         return insert_obj_fdt(open_files, file, low_fd, cloexec ? FD_CLOEXEC : 0,
2624                               must, TRUE);
2625 }
2626
2627 /* Closes all open files.  Mostly just a "put" for all files.  If cloexec, it
2628  * will only close the FDs with FD_CLOEXEC (opened with O_CLOEXEC or fcntld). */
2629 void close_fdt(struct fd_table *fdt, bool cloexec)
2630 {
2631         struct file *file;
2632         struct chan *chan;
2633         struct file_desc *to_close;
2634         int idx = 0;
2635
2636         to_close = kzmalloc(sizeof(struct file_desc) * fdt->max_files,
2637                             KMALLOC_WAIT);
2638         spin_lock(&fdt->lock);
2639         if (fdt->closed) {
2640                 spin_unlock(&fdt->lock);
2641                 kfree(to_close);
2642                 return;
2643         }
2644         for (int i = 0; i < fdt->max_fdset; i++) {
2645                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, i)) {
2646                         /* while max_files and max_fdset might not line up, we should never
2647                          * have a valid fdset higher than files */
2648                         assert(i < fdt->max_files);
2649                         if (cloexec && !(fdt->fd[i].fd_flags & FD_CLOEXEC))
2650                                 continue;
2651                         file = fdt->fd[i].fd_file;
2652                         chan = fdt->fd[i].fd_chan;
2653                         if (file) {
2654                                 fdt->fd[i].fd_file = 0;
2655                                 to_close[idx++].fd_file = file;
2656                         } else {
2657                                 fdt->fd[i].fd_chan = 0;
2658                                 to_close[idx++].fd_chan = chan;
2659                         }
2660                         CLR_BITMASK_BIT(fdt->open_fds->fds_bits, i);
2661                 }
2662         }
2663         if (!cloexec) {
2664                 free_fd_set(fdt);
2665                 fdt->closed = TRUE;
2666         }
2667         spin_unlock(&fdt->lock);
2668         /* We go through some hoops to close/decref outside the lock.  Nice for not
2669          * holding the lock for a while; critical in case the decref/cclose sleeps
2670          * (it can) */
2671         for (int i = 0; i < idx; i++) {
2672                 if (to_close[i].fd_file)
2673                         kref_put(&to_close[i].fd_file->f_kref);
2674                 else
2675                         cclose(to_close[i].fd_chan);
2676         }
2677         kfree(to_close);
2678 }
2679
2680 /* Inserts all of the files from src into dst, used by sys_fork(). */
2681 void clone_fdt(struct fd_table *src, struct fd_table *dst)
2682 {
2683         struct file *file;
2684         struct chan *chan;
2685         spin_lock(&src->lock);
2686         if (src->closed) {
2687                 spin_unlock(&src->lock);
2688                 return;
2689         }
2690         spin_lock(&dst->lock);
2691         if (dst->closed) {
2692                 warn("Destination closed before it opened");
2693                 spin_unlock(&dst->lock);
2694                 spin_unlock(&src->lock);
2695                 return;
2696         }
2697         for (int i = 0; i < src->max_fdset; i++) {
2698                 if (GET_BITMASK_BIT(src->open_fds->fds_bits, i)) {
2699                         /* while max_files and max_fdset might not line up, we should never
2700                          * have a valid fdset higher than files */
2701                         assert(i < src->max_files);
2702                         file = src->fd[i].fd_file;
2703                         chan = src->fd[i].fd_chan;
2704                         assert(i < dst->max_files && dst->fd[i].fd_file == 0);
2705                         SET_BITMASK_BIT(dst->open_fds->fds_bits, i);
2706                         dst->fd[i].fd_file = file;
2707                         dst->fd[i].fd_chan = chan;
2708                         /* no file means 9ns is using it, they clone separately (TODO) */
2709                         if (file)
2710                                 kref_get(&file->f_kref, 1);
2711                 //      else
2712                 //              chan_incref(chan);
2713                         if (i >= dst->next_fd)
2714                                 dst->next_fd = i + 1;
2715                 }
2716         }
2717         spin_unlock(&dst->lock);
2718         spin_unlock(&src->lock);
2719 }
2720
2721 static void __chpwd(struct fs_struct *fs_env, struct dentry *new_pwd)
2722 {
2723         struct dentry *old_pwd;
2724         kref_get(&new_pwd->d_kref, 1);
2725         /* writer lock, make sure we replace pwd with ours.  could also CAS.
2726          * readers don't lock at all, so they need to either loop, or we need to
2727          * delay releasing old_pwd til an RCU grace period. */
2728         spin_lock(&fs_env->lock);
2729         old_pwd = fs_env->pwd;
2730         fs_env->pwd = new_pwd;
2731         spin_unlock(&fs_env->lock);
2732         kref_put(&old_pwd->d_kref);
2733 }
2734
2735 /* Change the working directory of the given fs env (one per process, at this
2736  * point).  Returns 0 for success, sets errno and returns -1 otherwise. */
2737 int do_chdir(struct fs_struct *fs_env, char *path)
2738 {
2739         struct nameidata nd_r = {0}, *nd = &nd_r;
2740         int error;
2741         error = path_lookup(path, LOOKUP_DIRECTORY, nd);
2742         if (error) {
2743                 set_errno(-error);
2744                 path_release(nd);
2745                 return -1;
2746         }
2747         /* nd->dentry is the place we want our PWD to be */
2748         __chpwd(fs_env, nd->dentry);
2749         path_release(nd);
2750         return 0;
2751 }
2752
2753 int do_fchdir(struct fs_struct *fs_env, struct file *file)
2754 {
2755         if ((file->f_dentry->d_inode->i_mode & __S_IFMT) != __S_IFDIR) {
2756                 set_errno(ENOTDIR);
2757                 return -1;
2758         }
2759         __chpwd(fs_env, file->f_dentry);
2760         return 0;
2761 }
2762
2763 /* Returns a null-terminated string of up to length cwd_l containing the
2764  * absolute path of fs_env, (up to fs_env's root).  Be sure to kfree the char*
2765  * "kfree_this" when you are done with it.  We do this since it's easier to
2766  * build this string going backwards.  Note cwd_l is not a strlen, it's an
2767  * absolute size. */
2768 char *do_getcwd(struct fs_struct *fs_env, char **kfree_this, size_t cwd_l)
2769 {
2770         struct dentry *dentry = fs_env->pwd;
2771         size_t link_len;
2772         char *path_start, *kbuf;
2773
2774         if (cwd_l < 2) {
2775                 set_errno(ERANGE);
2776                 return 0;
2777         }
2778         kbuf = kmalloc(cwd_l, 0);
2779         if (!kbuf) {
2780                 set_errno(ENOMEM);
2781                 return 0;
2782         }
2783         *kfree_this = kbuf;
2784         kbuf[cwd_l - 1] = '\0';
2785         kbuf[cwd_l - 2] = '/';
2786         /* for each dentry in the path, all the way back to the root of fs_env, we
2787          * grab the dentry name, push path_start back enough, and write in the name,
2788          * using /'s to terminate.  We skip the root, since we don't want it's
2789          * actual name, just "/", which is set before each loop. */
2790         path_start = kbuf + cwd_l - 2;  /* the last byte written */
2791         while (dentry != fs_env->root) {
2792                 link_len = dentry->d_name.len;          /* this does not count the \0 */
2793                 if (path_start - (link_len + 2) < kbuf) {
2794                         kfree(kbuf);
2795                         set_errno(ERANGE);
2796                         return 0;
2797                 }
2798                 path_start -= link_len;
2799                 strncpy(path_start, dentry->d_name.name, link_len);
2800                 path_start--;
2801                 *path_start = '/';
2802                 dentry = dentry->d_parent;      
2803         }
2804         return path_start;
2805 }
2806
2807 static void print_dir(struct dentry *dentry, char *buf, int depth)
2808 {
2809         struct dentry *child_d;
2810         struct dirent next = {0};
2811         struct file *dir;
2812         int retval;
2813
2814         if (!S_ISDIR(dentry->d_inode->i_mode)) {
2815                 warn("Thought this was only directories!!");
2816                 return;
2817         }
2818         /* Print this dentry */
2819         printk("%s%s/ nlink: %d\n", buf, dentry->d_name.name,
2820                dentry->d_inode->i_nlink);
2821         if (dentry->d_mount_point) {
2822                 dentry = dentry->d_mounted_fs->mnt_root;
2823         }
2824         if (depth >= 32)
2825                 return;
2826         /* Set buffer for our kids */
2827         buf[depth] = '\t';
2828         dir = dentry_open(dentry, 0);
2829         if (!dir)
2830                 panic("Filesystem seems inconsistent - unable to open a dir!");
2831         /* Process every child, recursing on directories */
2832         while (1) {
2833                 retval = dir->f_op->readdir(dir, &next);
2834                 if (retval >= 0) {
2835                         /* Skip .., ., and empty entries */
2836                         if (!strcmp("..", next.d_name) || !strcmp(".", next.d_name) ||
2837                             next.d_ino == 0)
2838                                 goto loop_next;
2839                         /* there is an entry, now get its dentry */
2840                         child_d = do_lookup(dentry, next.d_name);
2841                         if (!child_d)
2842                                 panic("Inconsistent FS, dirent doesn't have a dentry!");
2843                         /* Recurse for directories, or just print the name for others */
2844                         switch (child_d->d_inode->i_mode & __S_IFMT) {
2845                                 case (__S_IFDIR):
2846                                         print_dir(child_d, buf, depth + 1);
2847                                         break;
2848                                 case (__S_IFREG):
2849                                         printk("%s%s size(B): %d nlink: %d\n", buf, next.d_name,
2850                                                child_d->d_inode->i_size, child_d->d_inode->i_nlink);
2851                                         break;
2852                                 case (__S_IFLNK):
2853                                         printk("%s%s -> %s\n", buf, next.d_name,
2854                                                child_d->d_inode->i_op->readlink(child_d));
2855                                         break;
2856                                 case (__S_IFCHR):
2857                                         printk("%s%s (char device) nlink: %d\n", buf, next.d_name,
2858                                                child_d->d_inode->i_nlink);
2859                                         break;
2860                                 case (__S_IFBLK):
2861                                         printk("%s%s (block device) nlink: %d\n", buf, next.d_name,
2862                                                child_d->d_inode->i_nlink);
2863                                         break;
2864                                 default:
2865                                         warn("Look around you!  Unknown filetype!");
2866                         }
2867                         kref_put(&child_d->d_kref);     
2868                 }
2869 loop_next:
2870                 if (retval <= 0)
2871                         break;
2872         }
2873         /* Reset buffer to the way it was */
2874         buf[depth] = '\0';
2875         kref_put(&dir->f_kref);
2876 }
2877
2878 /* Debugging */
2879 int ls_dash_r(char *path)
2880 {
2881         struct nameidata nd_r = {0}, *nd = &nd_r;
2882         int error;
2883         char buf[32] = {0};
2884
2885         error = path_lookup(path, LOOKUP_ACCESS | LOOKUP_DIRECTORY, nd);
2886         if (error) {
2887                 path_release(nd);
2888                 return error;
2889         }
2890         print_dir(nd->dentry, buf, 0);
2891         path_release(nd);
2892         return 0;
2893 }
2894
2895 /* Dummy ops, to catch weird operations we weren't expecting */
2896 int dummy_create(struct inode *dir, struct dentry *dentry, int mode,
2897                  struct nameidata *nd)
2898 {
2899         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2900         return -1;
2901 }
2902
2903 struct dentry *dummy_lookup(struct inode *dir, struct dentry *dentry,
2904                           struct nameidata *nd)
2905 {
2906         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2907         return 0;
2908 }
2909
2910 int dummy_link(struct dentry *old_dentry, struct inode *dir,
2911              struct dentry *new_dentry)
2912 {
2913         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2914         return -1;
2915 }
2916
2917 int dummy_unlink(struct inode *dir, struct dentry *dentry)
2918 {
2919         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2920         return -1;
2921 }
2922
2923 int dummy_symlink(struct inode *dir, struct dentry *dentry, const char *symname)
2924 {
2925         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2926         return -1;
2927 }
2928
2929 int dummy_mkdir(struct inode *dir, struct dentry *dentry, int mode)
2930 {
2931         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2932         return -1;
2933 }
2934
2935 int dummy_rmdir(struct inode *dir, struct dentry *dentry)
2936 {
2937         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2938         return -1;
2939 }
2940
2941 int dummy_mknod(struct inode *dir, struct dentry *dentry, int mode, dev_t rdev)
2942 {
2943         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2944         return -1;
2945 }
2946
2947 int dummy_rename(struct inode *old_dir, struct dentry *old_dentry,
2948                struct inode *new_dir, struct dentry *new_dentry)
2949 {
2950         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2951         return -1;
2952 }
2953
2954 char *dummy_readlink(struct dentry *dentry)
2955 {
2956         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2957         return 0;
2958 }
2959
2960 void dummy_truncate(struct inode *inode)
2961 {
2962         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2963 }
2964
2965 int dummy_permission(struct inode *inode, int mode, struct nameidata *nd)
2966 {
2967         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2968         return -1;
2969 }
2970
2971 int dummy_d_revalidate(struct dentry *dir, struct nameidata *nd)
2972 {
2973         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2974         return -1;
2975 }
2976
2977 int dummy_d_hash(struct dentry *dentry, struct qstr *name)
2978 {
2979         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2980         return -1;
2981 }
2982
2983 int dummy_d_compare(struct dentry *dir, struct qstr *name1, struct qstr *name2)
2984 {
2985         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2986         return -1;
2987 }
2988
2989 int dummy_d_delete(struct dentry *dentry)
2990 {
2991         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2992         return -1;
2993 }
2994
2995 int dummy_d_release(struct dentry *dentry)
2996 {
2997         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2998         return -1;
2999 }
3000
3001 void dummy_d_iput(struct dentry *dentry, struct inode *inode)
3002 {
3003         printk("Dummy VFS function %s called!\n", __FUNCTION__);
3004 }
3005
3006 struct inode_operations dummy_i_op = {
3007         dummy_create,
3008         dummy_lookup,
3009         dummy_link,
3010         dummy_unlink,
3011         dummy_symlink,
3012         dummy_mkdir,
3013         dummy_rmdir,
3014         dummy_mknod,
3015         dummy_rename,
3016         dummy_readlink,
3017         dummy_truncate,
3018         dummy_permission,
3019 };
3020
3021 struct dentry_operations dummy_d_op = {
3022         dummy_d_revalidate,
3023         dummy_d_hash,
3024         dummy_d_compare,
3025         dummy_d_delete,
3026         dummy_d_release,
3027         dummy_d_iput,
3028 };