Add FD tap infrastructure (XCC)
[akaros.git] / kern / src / vfs.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Default implementations and global values for the VFS. */
6
7 #include <vfs.h> // keep this first
8 #include <sys/queue.h>
9 #include <assert.h>
10 #include <stdio.h>
11 #include <atomic.h>
12 #include <slab.h>
13 #include <kmalloc.h>
14 #include <kfs.h>
15 #include <ext2fs.h>
16 #include <pmap.h>
17 #include <umem.h>
18 #include <smp.h>
19 #include <ns.h>
20 #include <fdtap.h>
21
22 struct sb_tailq super_blocks = TAILQ_HEAD_INITIALIZER(super_blocks);
23 spinlock_t super_blocks_lock = SPINLOCK_INITIALIZER;
24 struct fs_type_tailq file_systems = TAILQ_HEAD_INITIALIZER(file_systems);
25 struct namespace default_ns;
26
27 struct kmem_cache *dentry_kcache; // not to be confused with the dcache
28 struct kmem_cache *inode_kcache;
29 struct kmem_cache *file_kcache;
30
31 /* Mounts fs from dev_name at mnt_pt in namespace ns.  There could be no mnt_pt,
32  * such as with the root of (the default) namespace.  Not sure how it would work
33  * with multiple namespaces on the same FS yet.  Note if you mount the same FS
34  * multiple times, you only have one FS still (and one SB).  If we ever support
35  * that... */
36 struct vfsmount *__mount_fs(struct fs_type *fs, char *dev_name,
37                             struct dentry *mnt_pt, int flags,
38                             struct namespace *ns)
39 {
40         struct super_block *sb;
41         struct vfsmount *vmnt = kmalloc(sizeof(struct vfsmount), 0);
42
43         /* this first ref is stored in the NS tailq below */
44         kref_init(&vmnt->mnt_kref, fake_release, 1);
45         /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for
46          * now).  fields related to the actual FS, like the sb and the mnt_root are
47          * set in the fs-specific get_sb() call. */
48         if (!mnt_pt) {
49                 vmnt->mnt_parent = NULL;
50                 vmnt->mnt_mountpoint = NULL;
51         } else { /* common case, but won't be tested til we try to mount another FS */
52                 mnt_pt->d_mount_point = TRUE;
53                 mnt_pt->d_mounted_fs = vmnt;
54                 kref_get(&vmnt->mnt_kref, 1); /* held by mnt_pt */
55                 vmnt->mnt_parent = mnt_pt->d_sb->s_mount;
56                 vmnt->mnt_mountpoint = mnt_pt;
57         }
58         TAILQ_INIT(&vmnt->mnt_child_mounts);
59         vmnt->mnt_flags = flags;
60         vmnt->mnt_devname = dev_name;
61         vmnt->mnt_namespace = ns;
62         kref_get(&ns->kref, 1); /* held by vmnt */
63
64         /* Read in / create the SB */
65         sb = fs->get_sb(fs, flags, dev_name, vmnt);
66         if (!sb)
67                 panic("You're FS sucks");
68
69         /* TODO: consider moving this into get_sb or something, in case the SB
70          * already exists (mounting again) (if we support that) */
71         spin_lock(&super_blocks_lock);
72         TAILQ_INSERT_TAIL(&super_blocks, sb, s_list); /* storing a ref here... */
73         spin_unlock(&super_blocks_lock);
74
75         /* Update holding NS */
76         spin_lock(&ns->lock);
77         TAILQ_INSERT_TAIL(&ns->vfsmounts, vmnt, mnt_list);
78         spin_unlock(&ns->lock);
79         /* note to self: so, right after this point, the NS points to the root FS
80          * mount (we return the mnt, which gets assigned), the root mnt has a dentry
81          * for /, backed by an inode, with a SB prepped and in memory. */
82         return vmnt;
83 }
84
85 void vfs_init(void)
86 {
87         struct fs_type *fs;
88
89         dentry_kcache = kmem_cache_create("dentry", sizeof(struct dentry),
90                                           __alignof__(struct dentry), 0, 0, 0);
91         inode_kcache = kmem_cache_create("inode", sizeof(struct inode),
92                                          __alignof__(struct inode), 0, 0, 0);
93         file_kcache = kmem_cache_create("file", sizeof(struct file),
94                                         __alignof__(struct file), 0, 0, 0);
95         /* default NS never dies, +1 to exist */
96         kref_init(&default_ns.kref, fake_release, 1);
97         spinlock_init(&default_ns.lock);
98         default_ns.root = NULL;
99         TAILQ_INIT(&default_ns.vfsmounts);
100
101         /* build list of all FS's in the system.  put yours here.  if this is ever
102          * done on the fly, we'll need to lock. */
103         TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
104 #ifdef CONFIG_EXT2FS
105         TAILQ_INSERT_TAIL(&file_systems, &ext2_fs_type, list);
106 #endif
107         TAILQ_FOREACH(fs, &file_systems, list)
108                 printk("Supports the %s Filesystem\n", fs->name);
109
110         /* mounting KFS at the root (/), pending root= parameters */
111         // TODO: linux creates a temp root_fs, then mounts the real root onto that
112         default_ns.root = __mount_fs(&kfs_fs_type, "RAM", NULL, 0, &default_ns);
113
114         printk("vfs_init() completed\n");
115 }
116
117 /* FS's can provide another, if they want */
118 int generic_dentry_hash(struct dentry *dentry, struct qstr *qstr)
119 {
120         unsigned long hash = 5381;
121
122         for (int i = 0; i < qstr->len; i++) {
123                 /* hash * 33 + c, djb2's technique */
124                 hash = ((hash << 5) + hash) + qstr->name[i];
125         }
126         return hash;
127 }
128
129 /* Builds / populates the qstr of a dentry based on its d_iname.  If there is an
130  * l_name, (long), it will use that instead of the inline name.  This will
131  * probably change a bit. */
132 void qstr_builder(struct dentry *dentry, char *l_name)
133 {
134         dentry->d_name.name = l_name ? l_name : dentry->d_iname;
135         dentry->d_name.len = strnlen(dentry->d_name.name, MAX_FILENAME_SZ);
136         dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name);
137 }
138
139 /* Useful little helper - return the string ptr for a given file */
140 char *file_name(struct file *file)
141 {
142         return file->f_dentry->d_name.name;
143 }
144
145 /* Some issues with this, coupled closely to fs_lookup.
146  *
147  * Note the use of __dentry_free, instead of kref_put.  In those cases, we don't
148  * want to treat it like a kref and we have the only reference to it, so it is
149  * okay to do this.  It makes dentry_release() easier too. */
150 static struct dentry *do_lookup(struct dentry *parent, char *name)
151 {
152         struct dentry *result, *query;
153         query = get_dentry(parent->d_sb, parent, name);
154         if (!query) {
155                 warn("OOM in do_lookup(), probably wasn't expected\n");
156                 return 0;
157         }
158         result = dcache_get(parent->d_sb, query); 
159         if (result) {
160                 __dentry_free(query);
161                 return result;
162         }
163         /* No result, check for negative */
164         if (query->d_flags & DENTRY_NEGATIVE) {
165                 __dentry_free(query);
166                 return 0;
167         }
168         /* not in the dcache at all, need to consult the FS */
169         result = parent->d_inode->i_op->lookup(parent->d_inode, query, 0);
170         if (!result) {
171                 /* Note the USED flag will get turned off when this gets added to the
172                  * LRU in dentry_release().  There's a slight race here that we'll panic
173                  * on, but I want to catch it (in dcache_put()) for now. */
174                 query->d_flags |= DENTRY_NEGATIVE;
175                 dcache_put(parent->d_sb, query);
176                 kref_put(&query->d_kref);
177                 return 0;
178         }
179         dcache_put(parent->d_sb, result);
180         /* This is because KFS doesn't return the same dentry, but ext2 does.  this
181          * is ugly and needs to be fixed. (TODO) */
182         if (result != query)
183                 __dentry_free(query);
184
185         /* TODO: if the following are done by us, how do we know the i_ino?
186          * also need to handle inodes that are already read in!  For now, we're
187          * going to have the FS handle it in it's lookup() method: 
188          * - get a new inode
189          * - read in the inode
190          * - put in the inode cache */
191         return result;
192 }
193
194 /* Update ND such that it represents having followed dentry.  IAW the nd
195  * refcnting rules, we need to decref any references that were in there before
196  * they get clobbered. */
197 static int next_link(struct dentry *dentry, struct nameidata *nd)
198 {
199         assert(nd->dentry && nd->mnt);
200         /* update the dentry */
201         kref_get(&dentry->d_kref, 1);
202         kref_put(&nd->dentry->d_kref);
203         nd->dentry = dentry;
204         /* update the mount, if we need to */
205         if (dentry->d_sb->s_mount != nd->mnt) {
206                 kref_get(&dentry->d_sb->s_mount->mnt_kref, 1);
207                 kref_put(&nd->mnt->mnt_kref);
208                 nd->mnt = dentry->d_sb->s_mount;
209         }
210         return 0;
211 }
212
213 /* Walk up one directory, being careful of mountpoints, namespaces, and the top
214  * of the FS */
215 static int climb_up(struct nameidata *nd)
216 {
217         printd("CLIMB_UP, from %s\n", nd->dentry->d_name.name);
218         /* Top of the world, just return.  Should also check for being at the top of
219          * the current process's namespace (TODO) */
220         if (!nd->dentry->d_parent || (nd->dentry->d_parent == nd->dentry))
221                 return -1;
222         /* Check if we are at the top of a mount, if so, we need to follow
223          * backwards, and then climb_up from that one.  We might need to climb
224          * multiple times if we mount multiple FSs at the same spot (highly
225          * unlikely).  This is completely untested.  Might recurse instead. */
226         while (nd->mnt->mnt_root == nd->dentry) {
227                 if (!nd->mnt->mnt_parent) {
228                         warn("Might have expected a parent vfsmount (dentry had a parent)");
229                         return -1;
230                 }
231                 next_link(nd->mnt->mnt_mountpoint, nd);
232         }
233         /* Backwards walk (no mounts or any other issues now). */
234         next_link(nd->dentry->d_parent, nd);
235         printd("CLIMB_UP, to   %s\n", nd->dentry->d_name.name);
236         return 0;
237 }
238
239 /* nd->dentry might be on a mount point, so we need to move on to the child
240  * mount's root. */
241 static int follow_mount(struct nameidata *nd)
242 {
243         if (!nd->dentry->d_mount_point)
244                 return 0;
245         next_link(nd->dentry->d_mounted_fs->mnt_root, nd);
246         return 0;
247 }
248
249 static int link_path_walk(char *path, struct nameidata *nd);
250
251 /* When nd->dentry is for a symlink, this will recurse and follow that symlink,
252  * so that nd contains the results of following the symlink (dentry and mnt).
253  * Returns when it isn't a symlink, 1 on following a link, and < 0 on error. */
254 static int follow_symlink(struct nameidata *nd)
255 {
256         int retval;
257         char *symname;
258         if (!S_ISLNK(nd->dentry->d_inode->i_mode))
259                 return 0;
260         if (nd->depth > MAX_SYMLINK_DEPTH)
261                 return -ELOOP;
262         printd("Following symlink for dentry %p %s\n", nd->dentry,
263                nd->dentry->d_name.name);
264         nd->depth++;
265         symname = nd->dentry->d_inode->i_op->readlink(nd->dentry);
266         /* We need to pin in nd->dentry (the dentry of the symlink), since we need
267          * it's symname's storage to stay in memory throughout the upcoming
268          * link_path_walk().  The last_sym gets decreffed when we path_release() or
269          * follow another symlink. */
270         if (nd->last_sym)
271                 kref_put(&nd->last_sym->d_kref);
272         kref_get(&nd->dentry->d_kref, 1);
273         nd->last_sym = nd->dentry;
274         /* If this an absolute path in the symlink, we need to free the old path and
275          * start over, otherwise, we continue from the PARENT of nd (the symlink) */
276         if (symname[0] == '/') {
277                 path_release(nd);
278                 if (!current)
279                         nd->dentry = default_ns.root->mnt_root;
280                 else
281                         nd->dentry = current->fs_env.root;      
282                 nd->mnt = nd->dentry->d_sb->s_mount;
283                 kref_get(&nd->mnt->mnt_kref, 1);
284                 kref_get(&nd->dentry->d_kref, 1);
285         } else {
286                 climb_up(nd);
287         }
288         /* either way, keep on walking in the free world! */
289         retval = link_path_walk(symname, nd);
290         return (retval == 0 ? 1 : retval);
291 }
292
293 /* Little helper, to make it easier to break out of the nested loops.  Will also
294  * '\0' out the first slash if it's slashes all the way down.  Or turtles. */
295 static bool packed_trailing_slashes(char *first_slash)
296 {
297         for (char *i = first_slash; *i == '/'; i++) {
298                 if (*(i + 1) == '\0') {
299                         *first_slash = '\0';
300                         return TRUE;
301                 }
302         }
303         return FALSE;
304 }
305
306 /* Simple helper to set nd to track it's last name to be Name.  Also be careful
307  * with the storage of name.  Don't use and nd's name past the lifetime of the
308  * string used in the path_lookup()/link_path_walk/whatever.  Consider replacing
309  * parts of this with a qstr builder.  Note this uses the dentry's d_op, which
310  * might not be the dentry we care about. */
311 static void stash_nd_name(struct nameidata *nd, char *name)
312 {
313         nd->last.name = name;
314         nd->last.len = strlen(name);
315         nd->last.hash = nd->dentry->d_op->d_hash(nd->dentry, &nd->last);
316 }
317
318 /* Resolves the links in a basic path walk.  0 for success, -EWHATEVER
319  * otherwise.  The final lookup is returned via nd. */
320 static int link_path_walk(char *path, struct nameidata *nd)
321 {
322         struct dentry *link_dentry;
323         struct inode *link_inode, *nd_inode;
324         char *next_slash;
325         char *link = path;
326         int error;
327
328         /* Prevent crazy recursion */
329         if (nd->depth > MAX_SYMLINK_DEPTH)
330                 return -ELOOP;
331         /* skip all leading /'s */
332         while (*link == '/')
333                 link++;
334         /* if there's nothing left (null terminated), we're done.  This should only
335          * happen for "/", which if we wanted a PARENT, should fail (there is no
336          * parent). */
337         if (*link == '\0') {
338                 if (nd->flags & LOOKUP_PARENT) {
339                         set_errno(ENOENT);
340                         return -1;
341                 }
342                 /* o/w, we're good */
343                 return 0;
344         }
345         /* iterate through each intermediate link of the path.  in general, nd
346          * tracks where we are in the path, as far as dentries go.  once we have the
347          * next dentry, we try to update nd based on that dentry.  link is the part
348          * of the path string that we are looking up */
349         while (1) {
350                 nd_inode = nd->dentry->d_inode;
351                 if ((error = check_perms(nd_inode, nd->intent)))
352                         return error;
353                 /* find the next link, break out if it is the end */
354                 next_slash = strchr(link, '/');
355                 if (!next_slash) {
356                         break;
357                 } else {
358                         if (packed_trailing_slashes(next_slash)) {
359                                 nd->flags |= LOOKUP_DIRECTORY;
360                                 break;
361                         }
362                 }
363                 /* skip over any interim ./ */
364                 if (!strncmp("./", link, 2))
365                         goto next_loop;
366                 /* Check for "../", walk up */
367                 if (!strncmp("../", link, 3)) {
368                         climb_up(nd);
369                         goto next_loop;
370                 }
371                 *next_slash = '\0';
372                 link_dentry = do_lookup(nd->dentry, link);
373                 *next_slash = '/';
374                 if (!link_dentry)
375                         return -ENOENT;
376                 /* make link_dentry the current step/answer */
377                 next_link(link_dentry, nd);
378                 kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt dentry */
379                 /* we could be on a mountpoint or a symlink - need to follow them */
380                 follow_mount(nd);
381                 if ((error = follow_symlink(nd)) < 0)
382                         return error;
383                 /* Turn off a possible DIRECTORY lookup, which could have been set
384                  * during the follow_symlink (a symlink could have had a directory at
385                  * the end), though it was in the middle of the real path. */
386                 nd->flags &= ~LOOKUP_DIRECTORY;
387                 if (!S_ISDIR(nd->dentry->d_inode->i_mode))
388                         return -ENOTDIR;
389 next_loop:
390                 /* move through the path string to the next entry */
391                 link = next_slash + 1;
392                 /* advance past any other interim slashes.  we know we won't hit the end
393                  * due to the for loop check above */
394                 while (*link == '/')
395                         link++;
396         }
397         /* Now, we're on the last link of the path.  We need to deal with with . and
398          * .. .  This might be weird with PARENT lookups - not sure what semantics
399          * we want exactly.  This will give the parent of whatever the PATH was
400          * supposed to look like.  Note that ND currently points to the parent of
401          * the last item (link). */
402         if (!strcmp(".", link)) {
403                 if (nd->flags & LOOKUP_PARENT) {
404                         assert(nd->dentry->d_name.name);
405                         stash_nd_name(nd, nd->dentry->d_name.name);
406                         climb_up(nd);
407                 }
408                 return 0;
409         }
410         if (!strcmp("..", link)) {
411                 climb_up(nd);
412                 if (nd->flags & LOOKUP_PARENT) {
413                         assert(nd->dentry->d_name.name);
414                         stash_nd_name(nd, nd->dentry->d_name.name);
415                         climb_up(nd);
416                 }
417                 return 0;
418         }
419         /* need to attempt to look it up, in case it's a symlink */
420         link_dentry = do_lookup(nd->dentry, link);
421         if (!link_dentry) {
422                 /* if there's no dentry, we are okay if we are looking for the parent */
423                 if (nd->flags & LOOKUP_PARENT) {
424                         assert(strcmp(link, ""));
425                         stash_nd_name(nd, link);
426                         return 0;
427                 } else {
428                         return -ENOENT;
429                 }
430         }
431         next_link(link_dentry, nd);
432         kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt'd dentry */
433         /* at this point, nd is on the final link, but it might be a symlink */
434         if (nd->flags & LOOKUP_FOLLOW) {
435                 error = follow_symlink(nd);
436                 if (error < 0)
437                         return error;
438                 /* if we actually followed a symlink, then nd is set and we're done */
439                 if (error > 0)
440                         return 0;
441         }
442         /* One way or another, nd is on the last element of the path, symlinks and
443          * all.  Now we need to climb up to set nd back on the parent, if that's
444          * what we wanted */
445         if (nd->flags & LOOKUP_PARENT) {
446                 assert(nd->dentry->d_name.name);
447                 stash_nd_name(nd, link_dentry->d_name.name);
448                 climb_up(nd);
449                 return 0;
450         }
451         /* now, we have the dentry set, and don't want the parent, but might be on a
452          * mountpoint still.  FYI: this hasn't been thought through completely. */
453         follow_mount(nd);
454         /* If we wanted a directory, but didn't get one, error out */
455         if ((nd->flags & LOOKUP_DIRECTORY) && !S_ISDIR(nd->dentry->d_inode->i_mode))
456                 return -ENOTDIR;
457         return 0;
458 }
459
460 /* Given path, return the inode for the final dentry.  The ND should be
461  * initialized for the first call - specifically, we need the intent. 
462  * LOOKUP_PARENT and friends go in the flags var, which is not the intent.
463  *
464  * If path_lookup wants a PARENT, but hits the top of the FS (root or
465  * otherwise), we want it to error out.  It's still unclear how we want to
466  * handle processes with roots that aren't root, but at the very least, we don't
467  * want to think we have the parent of /, but have / itself.  Due to the way
468  * link_path_walk works, if that happened, we probably don't have a
469  * nd->last.name.  This needs more thought (TODO).
470  *
471  * Need to be careful too.  While the path has been copied-in to the kernel,
472  * it's still user input.  */
473 int path_lookup(char *path, int flags, struct nameidata *nd)
474 {
475         int retval;
476         printd("Path lookup for %s\n", path);
477         /* we allow absolute lookups with no process context */
478         /* TODO: RCU read lock on pwd or kref_not_zero in a loop.  concurrent chdir
479          * could decref nd->dentry before we get to incref it below. */
480         if (path[0] == '/') {                   /* absolute lookup */
481                 if (!current)
482                         nd->dentry = default_ns.root->mnt_root;
483                 else
484                         nd->dentry = current->fs_env.root;      
485         } else {                                                /* relative lookup */
486                 assert(current);
487                 /* Don't need to lock on the fs_env since we're reading one item */
488                 nd->dentry = current->fs_env.pwd;       
489         }
490         nd->mnt = nd->dentry->d_sb->s_mount;
491         /* Whenever references get put in the nd, incref them.  Whenever they are
492          * removed, decref them. */
493         kref_get(&nd->mnt->mnt_kref, 1);
494         kref_get(&nd->dentry->d_kref, 1);
495         nd->flags = flags;
496         nd->depth = 0;                                  /* used in symlink following */
497         retval =  link_path_walk(path, nd);     
498         /* make sure our PARENT lookup worked */
499         if (!retval && (flags & LOOKUP_PARENT))
500                 assert(nd->last.name);
501         return retval;
502 }
503
504 /* Call this after any use of path_lookup when you are done with its results,
505  * regardless of whether it succeeded or not.  It will free any references */
506 void path_release(struct nameidata *nd)
507 {
508         kref_put(&nd->dentry->d_kref);
509         kref_put(&nd->mnt->mnt_kref);
510         /* Free the last symlink dentry used, if there was one */
511         if (nd->last_sym) {
512                 kref_put(&nd->last_sym->d_kref);
513                 nd->last_sym = 0;                       /* catch reuse bugs */
514         }
515 }
516
517 /* External version of mount, only call this after having a / mount */
518 int mount_fs(struct fs_type *fs, char *dev_name, char *path, int flags)
519 {
520         struct nameidata nd_r = {0}, *nd = &nd_r;
521         int retval = 0;
522         retval = path_lookup(path, LOOKUP_DIRECTORY, nd);
523         if (retval)
524                 goto out;
525         /* taking the namespace of the vfsmount of path */ 
526         if (!__mount_fs(fs, dev_name, nd->dentry, flags, nd->mnt->mnt_namespace))
527                 retval = -EINVAL;
528 out:
529         path_release(nd);
530         return retval;
531 }
532
533 /* Superblock functions */
534
535 /* Dentry "hash" function for the hash table to use.  Since we already have the
536  * hash in the qstr, we don't need to rehash.  Also, note we'll be using the
537  * dentry in question as both the key and the value. */
538 static size_t __dcache_hash(void *k)
539 {
540         return (size_t)((struct dentry*)k)->d_name.hash;
541 }
542
543 /* Dentry cache hashtable equality function.  This means we need to pass in some
544  * minimal dentry when doing a lookup. */
545 static ssize_t __dcache_eq(void *k1, void *k2)
546 {
547         if (((struct dentry*)k1)->d_parent != ((struct dentry*)k2)->d_parent)
548                 return 0;
549         /* TODO: use the FS-specific string comparison */
550         return !strcmp(((struct dentry*)k1)->d_name.name,
551                        ((struct dentry*)k2)->d_name.name);
552 }
553
554 /* Helper to alloc and initialize a generic superblock.  This handles all the
555  * VFS related things, like lists.  Each FS will need to handle its own things
556  * in it's *_get_sb(), usually involving reading off the disc. */
557 struct super_block *get_sb(void)
558 {
559         struct super_block *sb = kmalloc(sizeof(struct super_block), 0);
560         sb->s_dirty = FALSE;
561         spinlock_init(&sb->s_lock);
562         kref_init(&sb->s_kref, fake_release, 1); /* for the ref passed out */
563         TAILQ_INIT(&sb->s_inodes);
564         TAILQ_INIT(&sb->s_dirty_i);
565         TAILQ_INIT(&sb->s_io_wb);
566         TAILQ_INIT(&sb->s_lru_d);
567         TAILQ_INIT(&sb->s_files);
568         sb->s_dcache = create_hashtable(100, __dcache_hash, __dcache_eq);
569         sb->s_icache = create_hashtable(100, __generic_hash, __generic_eq);
570         spinlock_init(&sb->s_lru_lock);
571         spinlock_init(&sb->s_dcache_lock);
572         spinlock_init(&sb->s_icache_lock);
573         sb->s_fs_info = 0; // can override somewhere else
574         return sb;
575 }
576
577 /* Final stages of initializing a super block, including creating and linking
578  * the root dentry, root inode, vmnt, and sb.  The d_op and root_ino are
579  * FS-specific, but otherwise it's FS-independent, tricky, and not worth having
580  * around multiple times.
581  *
582  * Not the world's best interface, so it's subject to change, esp since we're
583  * passing (now 3) FS-specific things. */
584 void init_sb(struct super_block *sb, struct vfsmount *vmnt,
585              struct dentry_operations *d_op, unsigned long root_ino,
586              void *d_fs_info)
587 {
588         /* Build and init the first dentry / inode.  The dentry ref is stored later
589          * by vfsmount's mnt_root.  The parent is dealt with later. */
590         struct dentry *d_root = get_dentry_with_ops(sb, 0,  "/", d_op);
591
592         if (!d_root)
593                 panic("OOM!  init_sb() can't fail yet!");
594         /* a lot of here on down is normally done in lookup() or create, since
595          * get_dentry isn't a fully usable dentry.  The two FS-specific settings are
596          * normally inherited from a parent within the same FS in get_dentry, but we
597          * have none here. */
598         d_root->d_op = d_op;
599         d_root->d_fs_info = d_fs_info;
600         struct inode *inode = get_inode(d_root);
601         if (!inode)
602                 panic("This FS sucks!");
603         inode->i_ino = root_ino;
604         /* TODO: add the inode to the appropriate list (off i_list) */
605         /* TODO: do we need to read in the inode?  can we do this on demand? */
606         /* if this FS is already mounted, we'll need to do something different. */
607         sb->s_op->read_inode(inode);
608         icache_put(sb, inode);
609         /* Link the dentry and SB to the VFS mount */
610         vmnt->mnt_root = d_root;                                /* ref comes from get_dentry */
611         vmnt->mnt_sb = sb;
612         /* If there is no mount point, there is no parent.  This is true only for
613          * the rootfs. */
614         if (vmnt->mnt_mountpoint) {
615                 kref_get(&vmnt->mnt_mountpoint->d_kref, 1);     /* held by d_root */
616                 d_root->d_parent = vmnt->mnt_mountpoint;        /* dentry of the root */
617         } else {
618                 d_root->d_parent = d_root;                      /* set root as its own parent */
619         }
620         /* insert the dentry into the dentry cache.  when's the earliest we can?
621          * when's the earliest we should?  what about concurrent accesses to the
622          * same dentry?  should be locking the dentry... */
623         dcache_put(sb, d_root);
624         kref_put(&inode->i_kref);               /* give up the ref from get_inode() */
625 }
626
627 /* Dentry Functions */
628
629 static void dentry_set_name(struct dentry *dentry, char *name)
630 {
631         size_t name_len = strnlen(name, MAX_FILENAME_SZ);       /* not including \0! */
632         char *l_name = 0;
633         if (name_len < DNAME_INLINE_LEN) {
634                 strncpy(dentry->d_iname, name, name_len);
635                 dentry->d_iname[name_len] = '\0';
636                 qstr_builder(dentry, 0);
637         } else {
638                 l_name = kmalloc(name_len + 1, 0);
639                 assert(l_name);
640                 strncpy(l_name, name, name_len);
641                 l_name[name_len] = '\0';
642                 qstr_builder(dentry, l_name);
643         }
644 }
645
646 /* Gets a dentry.  If there is no parent, use d_op.  Only called directly by
647  * superblock init code. */
648 struct dentry *get_dentry_with_ops(struct super_block *sb,
649                                    struct dentry *parent, char *name,
650                                    struct dentry_operations *d_op)
651 {
652         assert(name);
653         struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
654
655         if (!dentry) {
656                 set_errno(ENOMEM);
657                 return 0;
658         }
659         //memset(dentry, 0, sizeof(struct dentry));
660         kref_init(&dentry->d_kref, dentry_release, 1);  /* this ref is returned */
661         spinlock_init(&dentry->d_lock);
662         TAILQ_INIT(&dentry->d_subdirs);
663         dentry->d_time = 0;
664         kref_get(&sb->s_kref, 1);
665         dentry->d_sb = sb;                                      /* storing a ref here... */
666         dentry->d_mount_point = FALSE;
667         dentry->d_mounted_fs = 0;
668         if (parent)     {                                               /* no parent for rootfs mount */
669                 kref_get(&parent->d_kref, 1);
670                 dentry->d_op = parent->d_op;    /* d_op set in init_sb for parentless */
671         } else {
672                 dentry->d_op = d_op;
673         }
674         dentry->d_parent = parent;
675         dentry->d_flags = DENTRY_USED;
676         dentry->d_fs_info = 0;
677         dentry_set_name(dentry, name);
678         /* Catch bugs by aggressively zeroing this (o/w we use old stuff) */
679         dentry->d_inode = 0;
680         return dentry;
681 }
682
683 /* Helper to alloc and initialize a generic dentry.  The following needs to be
684  * set still: d_op (if no parent), d_fs_info (opt), d_inode, connect the inode
685  * to the dentry (and up the d_kref again), maybe dcache_put().  The inode
686  * stitching is done in get_inode() or lookup (depending on the FS).
687  * The setting of the d_op might be problematic when dealing with mounts.  Just
688  * overwrite it.
689  *
690  * If the name is longer than the inline name, it will kmalloc a buffer, so
691  * don't worry about the storage for *name after calling this. */
692 struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
693                           char *name)
694 {
695         return get_dentry_with_ops(sb, parent, name, 0);
696 }
697
698 /* Called when the dentry is unreferenced (after kref == 0).  This works closely
699  * with the resurrection in dcache_get().
700  *
701  * The dentry is still in the dcache, but needs to be un-USED and added to the
702  * LRU dentry list.  Even dentries that were used in a failed lookup need to be
703  * cached - they ought to be the negative dentries.  Note that all dentries have
704  * parents, even negative ones (it is needed to find it in the dcache). */
705 void dentry_release(struct kref *kref)
706 {
707         struct dentry *dentry = container_of(kref, struct dentry, d_kref);
708
709         printd("'Releasing' dentry %p: %s\n", dentry, dentry->d_name.name);
710         /* DYING dentries (recently unlinked / rmdir'd) just get freed */
711         if (dentry->d_flags & DENTRY_DYING) {
712                 __dentry_free(dentry);
713                 return;
714         }
715         /* This lock ensures the USED state and the TAILQ membership is in sync.
716          * Also used to check the refcnt, though that might not be necessary. */
717         spin_lock(&dentry->d_lock);
718         /* While locked, we need to double check the kref, in case someone already
719          * reup'd it.  Re-up? you're crazy!  Reee-up, you're outta yo mind! */
720         if (!kref_refcnt(&dentry->d_kref)) {
721                 /* Note this is where negative dentries get set UNUSED */
722                 if (dentry->d_flags & DENTRY_USED) {
723                         dentry->d_flags &= ~DENTRY_USED;
724                         spin_lock(&dentry->d_sb->s_lru_lock);
725                         TAILQ_INSERT_TAIL(&dentry->d_sb->s_lru_d, dentry, d_lru);
726                         spin_unlock(&dentry->d_sb->s_lru_lock);
727                 } else {
728                         /* and make sure it wasn't USED, then UNUSED again */
729                         /* TODO: think about issues with this */
730                         warn("This should be rare.  Tell brho this happened.");
731                 }
732         }
733         spin_unlock(&dentry->d_lock);
734 }
735
736 /* Called when we really dealloc and get rid of a dentry (like when it is
737  * removed from the dcache, either for memory or correctness reasons)
738  *
739  * This has to handle two types of dentries: full ones (ones that had been used)
740  * and ones that had been just for lookups - hence the check for d_inode.
741  *
742  * Note that dentries pin and kref their inodes.  When all the dentries are
743  * gone, we want the inode to be released via kref.  The inode has internal /
744  * weak references to the dentry, which are not refcounted. */
745 void __dentry_free(struct dentry *dentry)
746 {
747         if (dentry->d_inode)
748                 printd("Freeing dentry %p: %s\n", dentry, dentry->d_name.name);
749         assert(dentry->d_op);   /* catch bugs.  a while back, some lacked d_op */
750         dentry->d_op->d_release(dentry);
751         /* TODO: check/test the boundaries on this. */
752         if (dentry->d_name.len > DNAME_INLINE_LEN)
753                 kfree((void*)dentry->d_name.name);
754         kref_put(&dentry->d_sb->s_kref);
755         if (dentry->d_parent)
756                 kref_put(&dentry->d_parent->d_kref);
757         if (dentry->d_mounted_fs)
758                 kref_put(&dentry->d_mounted_fs->mnt_kref);
759         if (dentry->d_inode) {
760                 TAILQ_REMOVE(&dentry->d_inode->i_dentry, dentry, d_alias);
761                 kref_put(&dentry->d_inode->i_kref);     /* dentries kref inodes */
762         }
763         kmem_cache_free(dentry_kcache, dentry);
764 }
765
766 /* Looks up the dentry for the given path, returning a refcnt'd dentry (or 0).
767  * Permissions are applied for the current user, which is quite a broken system
768  * at the moment.  Flags are lookup flags. */
769 struct dentry *lookup_dentry(char *path, int flags)
770 {
771         struct dentry *dentry;
772         struct nameidata nd_r = {0}, *nd = &nd_r;
773         int error;
774
775         error = path_lookup(path, flags, nd);
776         if (error) {
777                 path_release(nd);
778                 set_errno(-error);
779                 return 0;
780         }
781         dentry = nd->dentry;
782         kref_get(&dentry->d_kref, 1);
783         path_release(nd);
784         return dentry;
785 }
786
787 /* Get a dentry from the dcache.  At a minimum, we need the name hash and parent
788  * in what_i_want, though most uses will probably be from a get_dentry() call.
789  * We pass in the SB in the off chance that we don't want to use a get'd dentry.
790  *
791  * The unusual variable name (instead of just "key" or something) is named after
792  * ex-SPC Castro's porn folder.  Caller deals with the memory for what_i_want.
793  *
794  * If the dentry is negative, we don't return the actual result - instead, we
795  * set the negative flag in 'what i want'.  The reason is we don't want to
796  * kref_get() and then immediately put (causing dentry_release()).  This also
797  * means that dentry_release() should never get someone who wasn't USED (barring
798  * the race, which it handles).  And we don't need to ever have a dentry set as
799  * USED and NEGATIVE (which is always wrong, but would be needed for a cleaner
800  * dentry_release()).
801  *
802  * This is where we do the "kref resurrection" - we are returning a kref'd
803  * object, even if it wasn't kref'd before.  This means the dcache does NOT hold
804  * krefs (it is a weak/internal ref), but it is a source of kref generation.  We
805  * sync up with the possible freeing of the dentry by locking the table.  See
806  * Doc/kref for more info. */
807 struct dentry *dcache_get(struct super_block *sb, struct dentry *what_i_want)
808 {
809         struct dentry *found;
810         /* This lock protects the hash, as well as ensures the returned object
811          * doesn't get deleted/freed out from under us */
812         spin_lock(&sb->s_dcache_lock);
813         found = hashtable_search(sb->s_dcache, what_i_want);
814         if (found) {
815                 if (found->d_flags & DENTRY_NEGATIVE) {
816                         what_i_want->d_flags |= DENTRY_NEGATIVE;
817                         spin_unlock(&sb->s_dcache_lock);
818                         return 0;
819                 }
820                 spin_lock(&found->d_lock);
821                 __kref_get(&found->d_kref, 1);  /* prob could be done outside the lock*/
822                 /* If we're here (after kreffing) and it is not USED, we are the one who
823                  * should resurrect */
824                 if (!(found->d_flags & DENTRY_USED)) {
825                         found->d_flags |= DENTRY_USED;
826                         spin_lock(&sb->s_lru_lock);
827                         TAILQ_REMOVE(&sb->s_lru_d, found, d_lru);
828                         spin_unlock(&sb->s_lru_lock);
829                 }
830                 spin_unlock(&found->d_lock);
831         }
832         spin_unlock(&sb->s_dcache_lock);
833         return found;
834 }
835
836 /* Adds a dentry to the dcache.  Note the *dentry is both the key and the value.
837  * If the value was already in there (which can happen iff it was negative), for
838  * now we'll remove it and put the new one in there. */
839 void dcache_put(struct super_block *sb, struct dentry *key_val)
840 {
841         struct dentry *old;
842         int retval;
843         spin_lock(&sb->s_dcache_lock);
844         old = hashtable_remove(sb->s_dcache, key_val);
845         /* if it is old and non-negative, our caller lost a race with someone else
846          * adding the dentry.  but since we yanked it out, like a bunch of idiots,
847          * we still have to put it back.  should be fairly rare. */
848         if (old && (old->d_flags & DENTRY_NEGATIVE)) {
849                 /* This is possible, but rare for now (about to be put on the LRU) */
850                 assert(!(old->d_flags & DENTRY_USED));
851                 assert(!kref_refcnt(&old->d_kref));
852                 spin_lock(&sb->s_lru_lock);
853                 TAILQ_REMOVE(&sb->s_lru_d, old, d_lru);
854                 spin_unlock(&sb->s_lru_lock);
855                 /* TODO: this seems suspect.  isn't this the same memory as key_val?
856                  * in which case, we just adjust the flags (remove NEG) and reinsert? */
857                 assert(old != key_val); // checking TODO comment
858                 __dentry_free(old);
859         }
860         /* this returns 0 on failure (TODO: Fix this ghetto shit) */
861         retval = hashtable_insert(sb->s_dcache, key_val, key_val);
862         assert(retval);
863         spin_unlock(&sb->s_dcache_lock);
864 }
865
866 /* Will remove and return the dentry.  Caller deallocs the key, but the retval
867  * won't have a reference.  * Returns 0 if it wasn't found.  Callers can't
868  * assume much - they should not use the reference they *get back*, (if they
869  * already had one for key, they can use that).  There may be other users out
870  * there. */
871 struct dentry *dcache_remove(struct super_block *sb, struct dentry *key)
872 {
873         struct dentry *retval;
874         spin_lock(&sb->s_dcache_lock);
875         retval = hashtable_remove(sb->s_dcache, key);
876         spin_unlock(&sb->s_dcache_lock);
877         return retval;
878 }
879
880 /* This will clean out the LRU list, which are the unused dentries of the dentry
881  * cache.  This will optionally only free the negative ones.  Note that we grab
882  * the hash lock for the time we traverse the LRU list - this prevents someone
883  * from getting a kref from the dcache, which could cause us trouble (we rip
884  * someone off the list, who isn't unused, and they try to rip them off the
885  * list). */
886 void dcache_prune(struct super_block *sb, bool negative_only)
887 {
888         struct dentry *d_i, *temp;
889         struct dentry_tailq victims = TAILQ_HEAD_INITIALIZER(victims);
890
891         spin_lock(&sb->s_dcache_lock);
892         spin_lock(&sb->s_lru_lock);
893         TAILQ_FOREACH_SAFE(d_i, &sb->s_lru_d, d_lru, temp) {
894                 if (!(d_i->d_flags & DENTRY_USED)) {
895                         if (negative_only && !(d_i->d_flags & DENTRY_NEGATIVE))
896                                 continue;
897                         /* another place where we'd be better off with tools, not sol'ns */
898                         hashtable_remove(sb->s_dcache, d_i);
899                         TAILQ_REMOVE(&sb->s_lru_d, d_i, d_lru);
900                         TAILQ_INSERT_HEAD(&victims, d_i, d_lru);
901                 }
902         }
903         spin_unlock(&sb->s_lru_lock);
904         spin_unlock(&sb->s_dcache_lock);
905         /* Now do the actual freeing, outside of the hash/LRU list locks.  This is
906          * necessary since __dentry_free() will decref its parent, which may get
907          * released and try to add itself to the LRU. */
908         TAILQ_FOREACH_SAFE(d_i, &victims, d_lru, temp) {
909                 TAILQ_REMOVE(&victims, d_i, d_lru);
910                 assert(!kref_refcnt(&d_i->d_kref));
911                 __dentry_free(d_i);
912         }
913         /* It is possible at this point that there are new items on the LRU.  We
914          * could loop back until that list is empty, if we care about this. */
915 }
916
917 /* Inode Functions */
918
919 /* Creates and initializes a new inode.  Generic fields are filled in.
920  * FS-specific fields are filled in by the callout.  Specific fields are filled
921  * in in read_inode() based on what's on the disk for a given i_no, or when the
922  * inode is created (for new objects).
923  *
924  * i_no is set by the caller.  Note that this means this inode can be for an
925  * inode that is already on disk, or it can be used when creating. */
926 struct inode *get_inode(struct dentry *dentry)
927 {
928         struct super_block *sb = dentry->d_sb;
929         /* FS allocs and sets the following: i_op, i_fop, i_pm.pm_op, and any FS
930          * specific stuff. */
931         struct inode *inode = sb->s_op->alloc_inode(sb);
932         if (!inode) {
933                 set_errno(ENOMEM);
934                 return 0;
935         }
936         TAILQ_INSERT_HEAD(&sb->s_inodes, inode, i_sb_list);             /* weak inode ref */
937         TAILQ_INIT(&inode->i_dentry);
938         TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);   /* weak dentry ref*/
939         /* one for the dentry->d_inode, one passed out */
940         kref_init(&inode->i_kref, inode_release, 2);
941         dentry->d_inode = inode;
942         inode->i_ino = 0;                                       /* set by caller later */
943         inode->i_blksize = sb->s_blocksize;
944         spinlock_init(&inode->i_lock);
945         kref_get(&sb->s_kref, 1);                       /* could allow the dentry to pin it */
946         inode->i_sb = sb;
947         inode->i_rdev = 0;                                      /* this has no real meaning yet */
948         inode->i_bdev = sb->s_bdev;                     /* storing an uncounted ref */
949         inode->i_state = 0;                                     /* need real states, like I_NEW */
950         inode->dirtied_when = 0;
951         inode->i_flags = 0;
952         atomic_set(&inode->i_writecount, 0);
953         /* Set up the page_map structures.  Default is to use the embedded one.
954          * Might push some of this back into specific FSs.  For now, the FS tells us
955          * what pm_op they want via i_pm.pm_op, which we set again in pm_init() */
956         inode->i_mapping = &inode->i_pm;
957         pm_init(inode->i_mapping, inode->i_pm.pm_op, inode);
958         return inode;
959 }
960
961 /* Helper: loads/ reads in the inode numbered ino and attaches it to dentry */
962 void load_inode(struct dentry *dentry, unsigned long ino)
963 {
964         struct inode *inode;
965
966         /* look it up in the inode cache first */
967         inode = icache_get(dentry->d_sb, ino);
968         if (inode) {
969                 /* connect the dentry to its inode */
970                 TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);
971                 dentry->d_inode = inode;        /* storing the ref we got from icache_get */
972                 return;
973         }
974         /* otherwise, we need to do it manually */
975         inode = get_inode(dentry);
976         inode->i_ino = ino;
977         dentry->d_sb->s_op->read_inode(inode);
978         /* TODO: race here, two creators could miss in the cache, and then get here.
979          * need a way to sync across a blocking call.  needs to be either at this
980          * point in the code or per the ino (dentries could be different) */
981         icache_put(dentry->d_sb, inode);
982         kref_put(&inode->i_kref);
983 }
984
985 /* Helper op, used when creating regular files, directories, symlinks, etc.
986  * Note we make a distinction between the mode and the file type (for now).
987  * After calling this, call the FS specific version (create or mkdir), which
988  * will set the i_ino, the filetype, and do any other FS-specific stuff.  Also
989  * note that a lot of inode stuff was initialized in get_inode/alloc_inode.  The
990  * stuff here is pertinent to the specific creator (user), mode, and time.  Also
991  * note we don't pass this an nd, like Linux does... */
992 static struct inode *create_inode(struct dentry *dentry, int mode)
993 {
994         uint64_t now = epoch_sec();
995         /* note it is the i_ino that uniquely identifies a file in the specific
996          * filesystem.  there's a diff between creating an inode (even for an in-use
997          * ino) and then filling it in, and vs creating a brand new one.
998          * get_inode() sets it to 0, and it should be filled in later in an
999          * FS-specific manner. */
1000         struct inode *inode = get_inode(dentry);
1001         if (!inode)
1002                 return 0;
1003         inode->i_mode = mode & S_PMASK; /* note that after this, we have no type */
1004         inode->i_nlink = 1;
1005         inode->i_size = 0;
1006         inode->i_blocks = 0;
1007         inode->i_atime.tv_sec = now;
1008         inode->i_ctime.tv_sec = now;
1009         inode->i_mtime.tv_sec = now;
1010         inode->i_atime.tv_nsec = 0;
1011         inode->i_ctime.tv_nsec = 0;
1012         inode->i_mtime.tv_nsec = 0;
1013         inode->i_bdev = inode->i_sb->s_bdev;
1014         /* when we have notions of users, do something here: */
1015         inode->i_uid = 0;
1016         inode->i_gid = 0;
1017         return inode;
1018 }
1019
1020 /* Create a new disk inode in dir associated with dentry, with the given mode.
1021  * called when creating a regular file.  dir is the directory/parent.  dentry is
1022  * the dentry of the inode we are creating.  Note the lack of the nd... */
1023 int create_file(struct inode *dir, struct dentry *dentry, int mode)
1024 {
1025         struct inode *new_file = create_inode(dentry, mode);
1026         if (!new_file)
1027                 return -1;
1028         dir->i_op->create(dir, dentry, mode, 0);
1029         icache_put(new_file->i_sb, new_file);
1030         kref_put(&new_file->i_kref);
1031         return 0;
1032 }
1033
1034 /* Creates a new inode for a directory associated with dentry in dir with the
1035  * given mode. */
1036 int create_dir(struct inode *dir, struct dentry *dentry, int mode)
1037 {
1038         struct inode *new_dir = create_inode(dentry, mode);
1039         if (!new_dir)
1040                 return -1;
1041         dir->i_op->mkdir(dir, dentry, mode);
1042         dir->i_nlink++;         /* Directories get a hardlink for every child dir */
1043         /* Make sure my parent tracks me.  This is okay, since no directory (dir)
1044          * can have more than one dentry */
1045         struct dentry *parent = TAILQ_FIRST(&dir->i_dentry);
1046         assert(parent && parent == TAILQ_LAST(&dir->i_dentry, dentry_tailq));
1047         /* parent dentry tracks dentry as a subdir, weak reference */
1048         TAILQ_INSERT_TAIL(&parent->d_subdirs, dentry, d_subdirs_link);
1049         icache_put(new_dir->i_sb, new_dir);
1050         kref_put(&new_dir->i_kref);
1051         return 0;
1052 }
1053
1054 /* Creates a new inode for a symlink associated with dentry in dir, containing
1055  * the symlink symname */
1056 int create_symlink(struct inode *dir, struct dentry *dentry,
1057                    const char *symname, int mode)
1058 {
1059         struct inode *new_sym = create_inode(dentry, mode);
1060         if (!new_sym)
1061                 return -1;
1062         dir->i_op->symlink(dir, dentry, symname);
1063         icache_put(new_sym->i_sb, new_sym);
1064         kref_put(&new_sym->i_kref);
1065         return 0;
1066 }
1067
1068 /* Returns 0 if the given mode is acceptable for the inode, and an appropriate
1069  * error code if not.  Needs to be writen, based on some sensible rules, and
1070  * will also probably use 'current' */
1071 int check_perms(struct inode *inode, int access_mode)
1072 {
1073         return 0;       /* anything goes! */
1074 }
1075
1076 /* Called after all external refs are gone to clean up the inode.  Once this is
1077  * called, all dentries pointing here are already done (one of them triggered
1078  * this via kref_put(). */
1079 void inode_release(struct kref *kref)
1080 {
1081         struct inode *inode = container_of(kref, struct inode, i_kref);
1082         TAILQ_REMOVE(&inode->i_sb->s_inodes, inode, i_sb_list);
1083         icache_remove(inode->i_sb, inode->i_ino);
1084         /* Might need to write back or delete the file/inode */
1085         if (inode->i_nlink) {
1086                 if (inode->i_state & I_STATE_DIRTY)
1087                         inode->i_sb->s_op->write_inode(inode, TRUE);
1088         } else {
1089                 inode->i_sb->s_op->delete_inode(inode);
1090         }
1091         if (S_ISFIFO(inode->i_mode)) {
1092                 page_decref(kva2page(inode->i_pipe->p_buf));
1093                 kfree(inode->i_pipe);
1094         }
1095         /* TODO: (BDEV) */
1096         // kref_put(inode->i_bdev->kref); /* assuming it's a bdev, could be a pipe*/
1097         /* Either way, we dealloc the in-memory version */
1098         inode->i_sb->s_op->dealloc_inode(inode);        /* FS-specific clean-up */
1099         kref_put(&inode->i_sb->s_kref);
1100         /* TODO: clean this up */
1101         assert(inode->i_mapping == &inode->i_pm);
1102         kmem_cache_free(inode_kcache, inode);
1103 }
1104
1105 /* Fills in kstat with the stat information for the inode */
1106 void stat_inode(struct inode *inode, struct kstat *kstat)
1107 {
1108         kstat->st_dev = inode->i_sb->s_dev;
1109         kstat->st_ino = inode->i_ino;
1110         kstat->st_mode = inode->i_mode;
1111         kstat->st_nlink = inode->i_nlink;
1112         kstat->st_uid = inode->i_uid;
1113         kstat->st_gid = inode->i_gid;
1114         kstat->st_rdev = inode->i_rdev;
1115         kstat->st_size = inode->i_size;
1116         kstat->st_blksize = inode->i_blksize;
1117         kstat->st_blocks = inode->i_blocks;
1118         kstat->st_atim = inode->i_atime;
1119         kstat->st_mtim = inode->i_mtime;
1120         kstat->st_ctim = inode->i_ctime;
1121 }
1122
1123 void print_kstat(struct kstat *kstat)
1124 {
1125         printk("kstat info for %p:\n", kstat);
1126         printk("\tst_dev    : %p\n", kstat->st_dev);
1127         printk("\tst_ino    : %p\n", kstat->st_ino);
1128         printk("\tst_mode   : %p\n", kstat->st_mode);
1129         printk("\tst_nlink  : %p\n", kstat->st_nlink);
1130         printk("\tst_uid    : %p\n", kstat->st_uid);
1131         printk("\tst_gid    : %p\n", kstat->st_gid);
1132         printk("\tst_rdev   : %p\n", kstat->st_rdev);
1133         printk("\tst_size   : %p\n", kstat->st_size);
1134         printk("\tst_blksize: %p\n", kstat->st_blksize);
1135         printk("\tst_blocks : %p\n", kstat->st_blocks);
1136         printk("\tst_atime  : %p\n", kstat->st_atim);
1137         printk("\tst_mtime  : %p\n", kstat->st_mtim);
1138         printk("\tst_ctime  : %p\n", kstat->st_ctim);
1139 }
1140
1141 /* Inode Cache management.  In general, search on the ino, get a refcnt'd value
1142  * back.  Remove does not give you a reference back - it should only be called
1143  * in inode_release(). */
1144 struct inode *icache_get(struct super_block *sb, unsigned long ino)
1145 {
1146         /* This is the same style as in pid2proc, it's the "safely create a strong
1147          * reference from a weak one, so long as other strong ones exist" pattern */
1148         spin_lock(&sb->s_icache_lock);
1149         struct inode *inode = hashtable_search(sb->s_icache, (void*)ino);
1150         if (inode)
1151                 if (!kref_get_not_zero(&inode->i_kref, 1))
1152                         inode = 0;
1153         spin_unlock(&sb->s_icache_lock);
1154         return inode;
1155 }
1156
1157 void icache_put(struct super_block *sb, struct inode *inode)
1158 {
1159         spin_lock(&sb->s_icache_lock);
1160         /* there's a race in load_ino() that could trigger this */
1161         assert(!hashtable_search(sb->s_icache, (void*)inode->i_ino));
1162         hashtable_insert(sb->s_icache, (void*)inode->i_ino, inode);
1163         spin_unlock(&sb->s_icache_lock);
1164 }
1165
1166 struct inode *icache_remove(struct super_block *sb, unsigned long ino)
1167 {
1168         struct inode *inode;
1169         /* Presumably these hashtable removals could be easier since callers
1170          * actually know who they are (same with the pid2proc hash) */
1171         spin_lock(&sb->s_icache_lock);
1172         inode = hashtable_remove(sb->s_icache, (void*)ino);
1173         spin_unlock(&sb->s_icache_lock);
1174         assert(inode && !kref_refcnt(&inode->i_kref));
1175         return inode;
1176 }
1177
1178 /* File functions */
1179
1180 /* Read count bytes from the file into buf, starting at *offset, which is
1181  * increased accordingly, returning the number of bytes transfered.  Most
1182  * filesystems will use this function for their f_op->read.
1183  * Note, this uses the page cache. */
1184 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
1185                           off64_t *offset)
1186 {
1187         struct page *page;
1188         int error;
1189         off64_t page_off;
1190         unsigned long first_idx, last_idx;
1191         size_t copy_amt;
1192         char *buf_end;
1193         /* read in offset, in case of a concurrent reader/writer, so we don't screw
1194          * up our math for count, the idxs, etc. */
1195         off64_t orig_off = ACCESS_ONCE(*offset);
1196
1197         /* Consider pushing some error checking higher in the VFS */
1198         if (!count)
1199                 return 0;
1200         if (orig_off >= file->f_dentry->d_inode->i_size)
1201                 return 0; /* EOF */
1202         /* Make sure we don't go past the end of the file */
1203         if (orig_off + count > file->f_dentry->d_inode->i_size) {
1204                 count = file->f_dentry->d_inode->i_size - orig_off;
1205         }
1206         assert((long)count > 0);
1207         page_off = orig_off & (PGSIZE - 1);
1208         first_idx = orig_off >> PGSHIFT;
1209         last_idx = (orig_off + count) >> PGSHIFT;
1210         buf_end = buf + count;
1211         /* For each file page, make sure it's in the page cache, then copy it out.
1212          * TODO: will probably need to consider concurrently truncated files here.*/
1213         for (int i = first_idx; i <= last_idx; i++) {
1214                 error = pm_load_page(file->f_mapping, i, &page);
1215                 assert(!error); /* TODO: handle ENOMEM and friends */
1216                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1217                 /* TODO: (UMEM) think about this.  if it's a user buffer, we're relying
1218                  * on current to detect whose it is (which should work for async calls).
1219                  * Also, need to propagate errors properly...  Probably should do a
1220                  * user_mem_check, then free, and also to make a distinction between
1221                  * when the kernel wants a read/write (TODO: KFOP) */
1222                 if (current) {
1223                         memcpy_to_user(current, buf, page2kva(page) + page_off, copy_amt);
1224                 } else {
1225                         memcpy(buf, page2kva(page) + page_off, copy_amt);
1226                 }
1227                 buf += copy_amt;
1228                 page_off = 0;
1229                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1230         }
1231         assert(buf == buf_end);
1232         /* could have concurrent file ops that screw with offset, so userspace isn't
1233          * safe.  but at least it'll be a value that one of the concurrent ops could
1234          * have produced (compared to *offset_changed_concurrently += count. */
1235         *offset = orig_off + count;
1236         return count;
1237 }
1238
1239 /* Write count bytes from buf to the file, starting at *offset, which is
1240  * increased accordingly, returning the number of bytes transfered.  Most
1241  * filesystems will use this function for their f_op->write.  Note, this uses
1242  * the page cache.
1243  *
1244  * Changes don't get flushed to disc til there is an fsync, page cache eviction,
1245  * or other means of trying to writeback the pages. */
1246 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
1247                            off64_t *offset)
1248 {
1249         struct page *page;
1250         int error;
1251         off64_t page_off;
1252         unsigned long first_idx, last_idx;
1253         size_t copy_amt;
1254         const char *buf_end;
1255         off64_t orig_off = ACCESS_ONCE(*offset);
1256
1257         /* Consider pushing some error checking higher in the VFS */
1258         if (!count)
1259                 return 0;
1260         if (file->f_flags & O_APPEND) {
1261                 spin_lock(&file->f_dentry->d_inode->i_lock);
1262                 orig_off = file->f_dentry->d_inode->i_size;
1263                 /* setting the filesize here, instead of during the extend-check, since
1264                  * we need to atomically reserve space and set our write position. */
1265                 file->f_dentry->d_inode->i_size += count;
1266                 spin_unlock(&file->f_dentry->d_inode->i_lock);
1267         } else {
1268                 if (orig_off + count > file->f_dentry->d_inode->i_size) {
1269                         /* lock for writes to i_size.  we allow lockless reads.  recheck
1270                          * i_size in case of concurrent writers since our orig check.  */
1271                         spin_lock(&file->f_dentry->d_inode->i_lock);
1272                         if (orig_off + count > file->f_dentry->d_inode->i_size)
1273                                 file->f_dentry->d_inode->i_size = orig_off + count;
1274                         spin_unlock(&file->f_dentry->d_inode->i_lock);
1275                 }
1276         }
1277         page_off = orig_off & (PGSIZE - 1);
1278         first_idx = orig_off >> PGSHIFT;
1279         last_idx = (orig_off + count) >> PGSHIFT;
1280         buf_end = buf + count;
1281         /* For each file page, make sure it's in the page cache, then write it.*/
1282         for (int i = first_idx; i <= last_idx; i++) {
1283                 error = pm_load_page(file->f_mapping, i, &page);
1284                 assert(!error); /* TODO: handle ENOMEM and friends */
1285                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1286                 /* TODO: (UMEM) (KFOP) think about this.  if it's a user buffer, we're
1287                  * relying on current to detect whose it is (which should work for async
1288                  * calls). */
1289                 if (current) {
1290                         memcpy_from_user(current, page2kva(page) + page_off, buf, copy_amt);
1291                 } else {
1292                         memcpy(page2kva(page) + page_off, buf, copy_amt);
1293                 }
1294                 buf += copy_amt;
1295                 page_off = 0;
1296                 atomic_or(&page->pg_flags, PG_DIRTY);
1297                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1298         }
1299         assert(buf == buf_end);
1300         *offset = orig_off + count;
1301         return count;
1302 }
1303
1304 /* Directories usually use this for their read method, which is the way glibc
1305  * currently expects us to do a readdir (short of doing linux's getdents).  Will
1306  * probably need work, based on whatever real programs want. */
1307 ssize_t generic_dir_read(struct file *file, char *u_buf, size_t count,
1308                          off64_t *offset)
1309 {
1310         struct kdirent dir_r = {0}, *dirent = &dir_r;
1311         int retval = 1;
1312         size_t amt_copied = 0;
1313         char *buf_end = u_buf + count;
1314
1315         if (!S_ISDIR(file->f_dentry->d_inode->i_mode)) {
1316                 set_errno(ENOTDIR);
1317                 return -1;
1318         }
1319         if (!count)
1320                 return 0;
1321         /* start readdir from where it left off: */
1322         dirent->d_off = *offset;
1323         for (   ;
1324                 u_buf + sizeof(struct kdirent) <= buf_end;
1325                 u_buf += sizeof(struct kdirent)) {
1326                 /* TODO: UMEM/KFOP (pin the u_buf in the syscall, ditch the local copy,
1327                  * get rid of this memcpy and reliance on current, etc).  Might be
1328                  * tricky with the dirent->d_off and trust issues */
1329                 retval = file->f_op->readdir(file, dirent);
1330                 if (retval < 0) {
1331                         set_errno(-retval);
1332                         break;
1333                 }
1334                 /* Slight info exposure: could be extra crap after the name in the
1335                  * dirent (like the name of a deleted file) */
1336                 if (current) {
1337                         memcpy_to_user(current, u_buf, dirent, sizeof(struct dirent));
1338                 } else {
1339                         memcpy(u_buf, dirent, sizeof(struct dirent));
1340                 }
1341                 amt_copied += sizeof(struct dirent);
1342                 /* 0 signals end of directory */
1343                 if (retval == 0)
1344                         break;
1345         }
1346         /* Next time read is called, we pick up where we left off */
1347         *offset = dirent->d_off;        /* UMEM */
1348         /* important to tell them how much they got.  they often keep going til they
1349          * get 0 back (in the case of ls).  it's also how much has been read, but it
1350          * isn't how much the f_pos has moved (which is opaque to the VFS). */
1351         return amt_copied;
1352 }
1353
1354 /* Opens the file, using permissions from current for lack of a better option.
1355  * It will attempt to create the file if it does not exist and O_CREAT is
1356  * specified.  This will return 0 on failure, and set errno.  TODO: There's some
1357  * stuff that we don't do, esp related file truncating/creation.  flags are for
1358  * opening, the mode is for creating.  The flags related to how to create
1359  * (O_CREAT_FLAGS) are handled in this function, not in create_file().
1360  *
1361  * It's tempting to split this into a do_file_create and a do_file_open, based
1362  * on the O_CREAT flag, but the O_CREAT flag can be ignored if the file exists
1363  * already and O_EXCL isn't specified.  We could have open call create if it
1364  * fails, but for now we'll keep it as is. */
1365 struct file *do_file_open(char *path, int flags, int mode)
1366 {
1367         struct file *file = 0;
1368         struct dentry *file_d;
1369         struct inode *parent_i;
1370         struct nameidata nd_r = {0}, *nd = &nd_r;
1371         int error;
1372         unsigned long nr_pages;
1373
1374         /* The file might exist, lets try to just open it right away */
1375         nd->intent = LOOKUP_OPEN;
1376         error = path_lookup(path, LOOKUP_FOLLOW, nd);
1377         if (!error) {
1378                 /* If this is a directory, make sure we are opening with O_RDONLY.
1379                  * Unfortunately we can't just check for O_RDONLY directly because its
1380                  * value is 0x0.  We instead have to make sure it's not O_WRONLY and
1381                  * not O_RDWR explicitly. */
1382                 if (S_ISDIR(nd->dentry->d_inode->i_mode) &&
1383                     ((flags & O_WRONLY) || (flags & O_RDWR))) {
1384                         set_errno(EISDIR);
1385                         goto out_path_only;
1386                 }
1387                 /* Also need to make sure we didn't want to O_EXCL create */
1388                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1389                         set_errno(EEXIST);
1390                         goto out_path_only;
1391                 }
1392                 file_d = nd->dentry;
1393                 kref_get(&file_d->d_kref, 1);
1394                 goto open_the_file;
1395         }
1396         if (!(flags & O_CREAT)) {
1397                 set_errno(-error);
1398                 goto out_path_only;
1399         }
1400         /* So it didn't already exist, release the path from the previous lookup,
1401          * and then we try to create it. */
1402         path_release(nd);       
1403         /* get the parent, following links.  this means you get the parent of the
1404          * final link (which may not be in 'path' in the first place. */
1405         nd->intent = LOOKUP_CREATE;
1406         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1407         if (error) {
1408                 set_errno(-error);
1409                 goto out_path_only;
1410         }
1411         /* see if the target is there (shouldn't be), and handle accordingly */
1412         file_d = do_lookup(nd->dentry, nd->last.name); 
1413         if (!file_d) {
1414                 if (!(flags & O_CREAT)) {
1415                         warn("Extremely unlikely race, probably a bug");
1416                         set_errno(ENOENT);
1417                         goto out_path_only;
1418                 }
1419                 /* Create the inode/file.  get a fresh dentry too: */
1420                 file_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1421                 if (!file_d)
1422                         goto out_path_only;
1423                 parent_i = nd->dentry->d_inode;
1424                 /* Note that the mode technically should only apply to future opens,
1425                  * but we apply it immediately. */
1426                 if (create_file(parent_i, file_d, mode))        /* sets errno */
1427                         goto out_file_d;
1428                 dcache_put(file_d->d_sb, file_d);
1429         } else {        /* something already exists */
1430                 /* this can happen due to concurrent access, but needs to be thought
1431                  * through */
1432                 panic("File shouldn't be here!");
1433                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1434                         /* wanted to create, not open, bail out */
1435                         set_errno(EEXIST);
1436                         goto out_file_d;
1437                 }
1438         }
1439 open_the_file:
1440         /* now open the file (freshly created or if it already existed).  At this
1441          * point, file_d is a refcnt'd dentry, regardless of which branch we took.*/
1442         if (flags & O_TRUNC) {
1443                 spin_lock(&file_d->d_inode->i_lock);
1444                 nr_pages = ROUNDUP(file_d->d_inode->i_size, PGSIZE) >> PGSHIFT;
1445                 file_d->d_inode->i_size = 0;
1446                 spin_unlock(&file_d->d_inode->i_lock);
1447                 pm_remove_contig(file_d->d_inode->i_mapping, 0, nr_pages);
1448         }
1449         file = dentry_open(file_d, flags);                              /* sets errno */
1450         /* Note the fall through to the exit paths.  File is 0 by default and if
1451          * dentry_open fails. */
1452 out_file_d:
1453         kref_put(&file_d->d_kref);
1454 out_path_only:
1455         path_release(nd);
1456         return file;
1457 }
1458
1459 /* Path is the location of the symlink, sometimes called the "new path", and
1460  * symname is who we link to, sometimes called the "old path". */
1461 int do_symlink(char *path, const char *symname, int mode)
1462 {
1463         struct dentry *sym_d;
1464         struct inode *parent_i;
1465         struct nameidata nd_r = {0}, *nd = &nd_r;
1466         int error;
1467         int retval = -1;
1468
1469         nd->intent = LOOKUP_CREATE;
1470         /* get the parent, but don't follow links */
1471         error = path_lookup(path, LOOKUP_PARENT, nd);
1472         if (error) {
1473                 set_errno(-error);
1474                 goto out_path_only;
1475         }
1476         /* see if the target is already there, handle accordingly */
1477         sym_d = do_lookup(nd->dentry, nd->last.name); 
1478         if (sym_d) {
1479                 set_errno(EEXIST);
1480                 goto out_sym_d;
1481         }
1482         /* Doesn't already exist, let's try to make it: */
1483         sym_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1484         if (!sym_d)
1485                 goto out_path_only;
1486         parent_i = nd->dentry->d_inode;
1487         if (create_symlink(parent_i, sym_d, symname, mode))
1488                 goto out_sym_d;
1489         dcache_put(sym_d->d_sb, sym_d);
1490         retval = 0;                             /* Note the fall through to the exit paths */
1491 out_sym_d:
1492         kref_put(&sym_d->d_kref);
1493 out_path_only:
1494         path_release(nd);
1495         return retval;
1496 }
1497
1498 /* Makes a hard link for the file behind old_path to new_path */
1499 int do_link(char *old_path, char *new_path)
1500 {
1501         struct dentry *link_d, *old_d;
1502         struct inode *inode, *parent_dir;
1503         struct nameidata nd_r = {0}, *nd = &nd_r;
1504         int error;
1505         int retval = -1;
1506
1507         nd->intent = LOOKUP_CREATE;
1508         /* get the absolute parent of the new_path */
1509         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1510         if (error) {
1511                 set_errno(-error);
1512                 goto out_path_only;
1513         }
1514         parent_dir = nd->dentry->d_inode;
1515         /* see if the new target is already there, handle accordingly */
1516         link_d = do_lookup(nd->dentry, nd->last.name); 
1517         if (link_d) {
1518                 set_errno(EEXIST);
1519                 goto out_link_d;
1520         }
1521         /* Doesn't already exist, let's try to make it.  Still need to stitch it to
1522          * an inode and set its FS-specific stuff after this.*/
1523         link_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1524         if (!link_d)
1525                 goto out_path_only;
1526         /* Now let's get the old_path target */
1527         old_d = lookup_dentry(old_path, LOOKUP_FOLLOW);
1528         if (!old_d)                                     /* errno set by lookup_dentry */
1529                 goto out_link_d;
1530         /* For now, can only link to files */
1531         if (!S_ISREG(old_d->d_inode->i_mode)) {
1532                 set_errno(EPERM);
1533                 goto out_both_ds;
1534         }
1535         /* Must be on the same FS */
1536         if (old_d->d_sb != link_d->d_sb) {
1537                 set_errno(EXDEV);
1538                 goto out_both_ds;
1539         }
1540         /* Do whatever FS specific stuff there is first (which is also a chance to
1541          * bail out). */
1542         error = parent_dir->i_op->link(old_d, parent_dir, link_d);
1543         if (error) {
1544                 set_errno(-error);
1545                 goto out_both_ds;
1546         }
1547         /* Finally stitch it up */
1548         inode = old_d->d_inode;
1549         kref_get(&inode->i_kref, 1);
1550         link_d->d_inode = inode;
1551         inode->i_nlink++;
1552         TAILQ_INSERT_TAIL(&inode->i_dentry, link_d, d_alias);   /* weak ref */
1553         dcache_put(link_d->d_sb, link_d);
1554         retval = 0;                             /* Note the fall through to the exit paths */
1555 out_both_ds:
1556         kref_put(&old_d->d_kref);
1557 out_link_d:
1558         kref_put(&link_d->d_kref);
1559 out_path_only:
1560         path_release(nd);
1561         return retval;
1562 }
1563
1564 /* Unlinks path from the directory tree.  Read the Documentation for more info.
1565  */
1566 int do_unlink(char *path)
1567 {
1568         struct dentry *dentry;
1569         struct inode *parent_dir;
1570         struct nameidata nd_r = {0}, *nd = &nd_r;
1571         int error;
1572         int retval = -1;
1573
1574         /* get the parent of the target, and don't follow a final link */
1575         error = path_lookup(path, LOOKUP_PARENT, nd);
1576         if (error) {
1577                 set_errno(-error);
1578                 goto out_path_only;
1579         }
1580         parent_dir = nd->dentry->d_inode;
1581         /* make sure the target is there */
1582         dentry = do_lookup(nd->dentry, nd->last.name); 
1583         if (!dentry) {
1584                 set_errno(ENOENT);
1585                 goto out_path_only;
1586         }
1587         /* Make sure the target is not a directory */
1588         if (S_ISDIR(dentry->d_inode->i_mode)) {
1589                 set_errno(EISDIR);
1590                 goto out_dentry;
1591         }
1592         /* Remove the dentry from its parent */
1593         error = parent_dir->i_op->unlink(parent_dir, dentry);
1594         if (error) {
1595                 set_errno(-error);
1596                 goto out_dentry;
1597         }
1598         /* Now that our parent doesn't track us, we need to make sure we aren't
1599          * findable via the dentry cache.  DYING, so we will be freed in
1600          * dentry_release() */
1601         dentry->d_flags |= DENTRY_DYING;
1602         dcache_remove(dentry->d_sb, dentry);
1603         dentry->d_inode->i_nlink--;     /* TODO: race here, esp with a decref */
1604         /* At this point, the dentry is unlinked from the FS, and the inode has one
1605          * less link.  When the in-memory objects (dentry, inode) are going to be
1606          * released (after all open files are closed, and maybe after entries are
1607          * evicted from the cache), then nlinks will get checked and the FS-file
1608          * will get removed from the disk */
1609         retval = 0;                             /* Note the fall through to the exit paths */
1610 out_dentry:
1611         kref_put(&dentry->d_kref);
1612 out_path_only:
1613         path_release(nd);
1614         return retval;
1615 }
1616
1617 /* Checks to see if path can be accessed via mode.  Need to actually send the
1618  * mode along somehow, so this doesn't do much now.  This is an example of
1619  * decent error propagation from the lower levels via int retvals. */
1620 int do_access(char *path, int mode)
1621 {
1622         struct nameidata nd_r = {0}, *nd = &nd_r;
1623         int retval = 0;
1624         nd->intent = LOOKUP_ACCESS;
1625         retval = path_lookup(path, 0, nd);
1626         path_release(nd);       
1627         return retval;
1628 }
1629
1630 int do_file_chmod(struct file *file, int mode)
1631 {
1632         int old_mode_ftype = file->f_dentry->d_inode->i_mode & __S_IFMT;
1633         #if 0
1634         /* TODO: when we have notions of uid, check for the proc's uid */
1635         if (file->f_dentry->d_inode->i_uid != UID_OF_ME)
1636                 retval = -EPERM;
1637         else
1638         #endif
1639                 file->f_dentry->d_inode->i_mode = (mode & S_PMASK) | old_mode_ftype;
1640         return 0;
1641 }
1642
1643 /* Make a directory at path with mode.  Returns -1 and sets errno on errors */
1644 int do_mkdir(char *path, int mode)
1645 {
1646         struct dentry *dentry;
1647         struct inode *parent_i;
1648         struct nameidata nd_r = {0}, *nd = &nd_r;
1649         int error;
1650         int retval = -1;
1651
1652         /* The dir might exist and might be /, so we can't look for the parent */
1653         nd->intent = LOOKUP_OPEN;
1654         error = path_lookup(path, LOOKUP_FOLLOW, nd);
1655         path_release(nd);
1656         if (!error) {
1657                 set_errno(EEXIST);
1658                 return -1;
1659         }
1660         nd->intent = LOOKUP_CREATE;
1661         /* get the parent, but don't follow links */
1662         error = path_lookup(path, LOOKUP_PARENT, nd);
1663         if (error) {
1664                 set_errno(-error);
1665                 goto out_path_only;
1666         }
1667         /* Doesn't already exist, let's try to make it: */
1668         dentry = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1669         if (!dentry)
1670                 goto out_path_only;
1671         parent_i = nd->dentry->d_inode;
1672         if (create_dir(parent_i, dentry, mode))
1673                 goto out_dentry;
1674         dcache_put(dentry->d_sb, dentry);
1675         retval = 0;                             /* Note the fall through to the exit paths */
1676 out_dentry:
1677         kref_put(&dentry->d_kref);
1678 out_path_only:
1679         path_release(nd);
1680         return retval;
1681 }
1682
1683 int do_rmdir(char *path)
1684 {
1685         struct dentry *dentry;
1686         struct inode *parent_i;
1687         struct nameidata nd_r = {0}, *nd = &nd_r;
1688         int error;
1689         int retval = -1;
1690
1691         /* get the parent, following links (probably want this), and we must get a
1692          * directory.  Note, current versions of path_lookup can't handle both
1693          * PARENT and DIRECTORY, at least, it doesn't check that *path is a
1694          * directory. */
1695         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW | LOOKUP_DIRECTORY,
1696                             nd);
1697         if (error) {
1698                 set_errno(-error);
1699                 goto out_path_only;
1700         }
1701         /* make sure the target is already there, handle accordingly */
1702         dentry = do_lookup(nd->dentry, nd->last.name); 
1703         if (!dentry) {
1704                 set_errno(ENOENT);
1705                 goto out_path_only;
1706         }
1707         if (!S_ISDIR(dentry->d_inode->i_mode)) {
1708                 set_errno(ENOTDIR);
1709                 goto out_dentry;
1710         }
1711         if (dentry->d_mount_point) {
1712                 set_errno(EBUSY);
1713                 goto out_dentry;
1714         }
1715         /* TODO: make sure we aren't a mount or processes root (EBUSY) */
1716         /* Now for the removal.  the FSs will check if they are empty */
1717         parent_i = nd->dentry->d_inode;
1718         error = parent_i->i_op->rmdir(parent_i, dentry);
1719         if (error < 0) {
1720                 set_errno(-error);
1721                 goto out_dentry;
1722         }
1723         /* Now that our parent doesn't track us, we need to make sure we aren't
1724          * findable via the dentry cache.  DYING, so we will be freed in
1725          * dentry_release() */
1726         dentry->d_flags |= DENTRY_DYING;
1727         dcache_remove(dentry->d_sb, dentry);
1728         /* Decref ourselves, so inode_release() knows we are done */
1729         dentry->d_inode->i_nlink--;
1730         TAILQ_REMOVE(&nd->dentry->d_subdirs, dentry, d_subdirs_link);
1731         parent_i->i_nlink--;            /* TODO: race on this, esp since its a decref */
1732         /* we still have d_parent and a kref on our parent, which will go away when
1733          * the in-memory dentry object goes away. */
1734         retval = 0;                             /* Note the fall through to the exit paths */
1735 out_dentry:
1736         kref_put(&dentry->d_kref);
1737 out_path_only:
1738         path_release(nd);
1739         return retval;
1740 }
1741
1742 /* Pipes: Doing a simple buffer with reader and writer offsets.  Size is power
1743  * of two, so we can easily compute its status and whatnot. */
1744
1745 #define PIPE_SZ                                 (1 << PGSHIFT)
1746
1747 static size_t pipe_get_rd_idx(struct pipe_inode_info *pii)
1748 {
1749         return pii->p_rd_off & (PIPE_SZ - 1);
1750 }
1751
1752 static size_t pipe_get_wr_idx(struct pipe_inode_info *pii)
1753 {
1754
1755         return pii->p_wr_off & (PIPE_SZ - 1);
1756 }
1757
1758 static bool pipe_is_empty(struct pipe_inode_info *pii)
1759 {
1760         return __ring_empty(pii->p_wr_off, pii->p_rd_off);
1761 }
1762
1763 static bool pipe_is_full(struct pipe_inode_info *pii)
1764 {
1765         return __ring_full(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1766 }
1767
1768 static size_t pipe_nr_full(struct pipe_inode_info *pii)
1769 {
1770         return __ring_nr_full(pii->p_wr_off, pii->p_rd_off);
1771 }
1772
1773 static size_t pipe_nr_empty(struct pipe_inode_info *pii)
1774 {
1775         return __ring_nr_empty(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1776 }
1777
1778 ssize_t pipe_file_read(struct file *file, char *buf, size_t count,
1779                        off64_t *offset)
1780 {
1781         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1782         size_t copy_amt, amt_copied = 0;
1783
1784         cv_lock(&pii->p_cv);
1785         while (pipe_is_empty(pii)) {
1786                 /* We wait til the pipe is drained before sending EOF if there are no
1787                  * writers (instead of aborting immediately) */
1788                 if (!pii->p_nr_writers) {
1789                         cv_unlock(&pii->p_cv);
1790                         return 0;
1791                 }
1792                 if (file->f_flags & O_NONBLOCK) {
1793                         cv_unlock(&pii->p_cv);
1794                         set_errno(EAGAIN);
1795                         return -1;
1796                 }
1797                 cv_wait(&pii->p_cv);
1798                 cpu_relax();
1799         }
1800         /* We might need to wrap-around with our copy, so we'll do the copy in two
1801          * passes.  This will copy up to the end of the buffer, then on the next
1802          * pass will copy the rest to the beginning of the buffer (if necessary) */
1803         for (int i = 0; i < 2; i++) {
1804                 copy_amt = MIN(PIPE_SZ - pipe_get_rd_idx(pii),
1805                                MIN(pipe_nr_full(pii), count));
1806                 assert(current);        /* shouldn't pipe from the kernel */
1807                 memcpy_to_user(current, buf, pii->p_buf + pipe_get_rd_idx(pii),
1808                                copy_amt);
1809                 buf += copy_amt;
1810                 count -= copy_amt;
1811                 pii->p_rd_off += copy_amt;
1812                 amt_copied += copy_amt;
1813         }
1814         /* Just using one CV for both readers and writers.  We should rarely have
1815          * multiple readers or writers. */
1816         if (amt_copied)
1817                 __cv_broadcast(&pii->p_cv);
1818         cv_unlock(&pii->p_cv);
1819         return amt_copied;
1820 }
1821
1822 /* Note: we're not dealing with PIPE_BUF and minimum atomic chunks, unless I
1823  * have to later. */
1824 ssize_t pipe_file_write(struct file *file, const char *buf, size_t count,
1825                         off64_t *offset)
1826 {
1827         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1828         size_t copy_amt, amt_copied = 0;
1829
1830         cv_lock(&pii->p_cv);
1831         /* Write aborts right away if there are no readers, regardless of pipe
1832          * status. */
1833         if (!pii->p_nr_readers) {
1834                 cv_unlock(&pii->p_cv);
1835                 set_errno(EPIPE);
1836                 return -1;
1837         }
1838         while (pipe_is_full(pii)) {
1839                 if (file->f_flags & O_NONBLOCK) {
1840                         cv_unlock(&pii->p_cv);
1841                         set_errno(EAGAIN);
1842                         return -1;
1843                 }
1844                 cv_wait(&pii->p_cv);
1845                 cpu_relax();
1846                 /* Still need to check in the loop, in case the last reader left while
1847                  * we slept. */
1848                 if (!pii->p_nr_readers) {
1849                         cv_unlock(&pii->p_cv);
1850                         set_errno(EPIPE);
1851                         return -1;
1852                 }
1853         }
1854         /* We might need to wrap-around with our copy, so we'll do the copy in two
1855          * passes.  This will copy up to the end of the buffer, then on the next
1856          * pass will copy the rest to the beginning of the buffer (if necessary) */
1857         for (int i = 0; i < 2; i++) {
1858                 copy_amt = MIN(PIPE_SZ - pipe_get_wr_idx(pii),
1859                                MIN(pipe_nr_empty(pii), count));
1860                 assert(current);        /* shouldn't pipe from the kernel */
1861                 memcpy_from_user(current, pii->p_buf + pipe_get_wr_idx(pii), buf,
1862                                  copy_amt);
1863                 buf += copy_amt;
1864                 count -= copy_amt;
1865                 pii->p_wr_off += copy_amt;
1866                 amt_copied += copy_amt;
1867         }
1868         /* Just using one CV for both readers and writers.  We should rarely have
1869          * multiple readers or writers. */
1870         if (amt_copied)
1871                 __cv_broadcast(&pii->p_cv);
1872         cv_unlock(&pii->p_cv);
1873         return amt_copied;
1874 }
1875
1876 /* In open and release, we need to track the number of readers and writers,
1877  * which we can differentiate by the file flags. */
1878 int pipe_open(struct inode *inode, struct file *file)
1879 {
1880         struct pipe_inode_info *pii = inode->i_pipe;
1881         cv_lock(&pii->p_cv);
1882         /* Ugliness due to not using flags for O_RDONLY and friends... */
1883         if (file->f_mode == S_IRUSR) {
1884                 pii->p_nr_readers++;
1885         } else if (file->f_mode == S_IWUSR) {
1886                 pii->p_nr_writers++;
1887         } else {
1888                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1889         }
1890         cv_unlock(&pii->p_cv);
1891         return 0;
1892 }
1893
1894 int pipe_release(struct inode *inode, struct file *file)
1895 {
1896         struct pipe_inode_info *pii = inode->i_pipe;
1897         cv_lock(&pii->p_cv);
1898         /* Ugliness due to not using flags for O_RDONLY and friends... */
1899         if (file->f_mode == S_IRUSR) {
1900                 pii->p_nr_readers--;
1901         } else if (file->f_mode == S_IWUSR) {
1902                 pii->p_nr_writers--;
1903         } else {
1904                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1905         }
1906         /* need to wake up any sleeping readers/writers, since we might be done */
1907         __cv_broadcast(&pii->p_cv);
1908         cv_unlock(&pii->p_cv);
1909         return 0;
1910 }
1911
1912 struct file_operations pipe_f_op = {
1913         .read = pipe_file_read,
1914         .write = pipe_file_write,
1915         .open = pipe_open,
1916         .release = pipe_release,
1917         0
1918 };
1919
1920 void pipe_debug(struct file *f)
1921 {
1922         struct pipe_inode_info *pii = f->f_dentry->d_inode->i_pipe;
1923         assert(pii);
1924         printk("PIPE %p\n", pii);
1925         printk("\trdoff %p\n", pii->p_rd_off);
1926         printk("\twroff %p\n", pii->p_wr_off);
1927         printk("\tnr_rds %d\n", pii->p_nr_readers);
1928         printk("\tnr_wrs %d\n", pii->p_nr_writers);
1929         printk("\tcv waiters %d\n", pii->p_cv.nr_waiters);
1930
1931 }
1932
1933 /* General plan: get a dentry/inode to represent the pipe.  We'll alloc it from
1934  * the default_ns SB, but won't actually link it anywhere.  It'll only be held
1935  * alive by the krefs, til all the FDs are closed. */
1936 int do_pipe(struct file **pipe_files, int flags)
1937 {
1938         struct dentry *pipe_d;
1939         struct inode *pipe_i;
1940         struct file *pipe_f_read, *pipe_f_write;
1941         struct super_block *def_sb = default_ns.root->mnt_sb;
1942         struct pipe_inode_info *pii;
1943
1944         pipe_d = get_dentry(def_sb, 0, "pipe");
1945         if (!pipe_d)
1946                 return -1;
1947         pipe_d->d_op = &dummy_d_op;
1948         pipe_i = get_inode(pipe_d);
1949         if (!pipe_i)
1950                 goto error_post_dentry;
1951         /* preemptively mark the dentry for deletion.  we have an unlinked dentry
1952          * right off the bat, held in only by the kref chain (pipe_d is the ref). */
1953         pipe_d->d_flags |= DENTRY_DYING;
1954         /* pipe_d->d_inode still has one ref to pipe_i, keeping the inode alive */
1955         kref_put(&pipe_i->i_kref);
1956         /* init inode fields.  note we're using the dummy ops for i_op and d_op */
1957         pipe_i->i_mode = S_IRWXU | S_IRWXG | S_IRWXO;
1958         SET_FTYPE(pipe_i->i_mode, __S_IFIFO);   /* using type == FIFO */
1959         pipe_i->i_nlink = 1;                    /* one for the dentry */
1960         pipe_i->i_uid = 0;
1961         pipe_i->i_gid = 0;
1962         pipe_i->i_size = PGSIZE;
1963         pipe_i->i_blocks = 0;
1964         pipe_i->i_atime.tv_sec = 0;
1965         pipe_i->i_atime.tv_nsec = 0;
1966         pipe_i->i_mtime.tv_sec = 0;
1967         pipe_i->i_mtime.tv_nsec = 0;
1968         pipe_i->i_ctime.tv_sec = 0;
1969         pipe_i->i_ctime.tv_nsec = 0;
1970         pipe_i->i_fs_info = 0;
1971         pipe_i->i_op = &dummy_i_op;
1972         pipe_i->i_fop = &pipe_f_op;
1973         pipe_i->i_socket = FALSE;
1974         /* Actually build the pipe.  We're using one page, hanging off the
1975          * pipe_inode_info struct.  When we release the inode, we free the pipe
1976          * memory too */
1977         pipe_i->i_pipe = kmalloc(sizeof(struct pipe_inode_info), KMALLOC_WAIT);
1978         pii = pipe_i->i_pipe;
1979         if (!pii) {
1980                 set_errno(ENOMEM);
1981                 goto error_kmalloc;
1982         }
1983         pii->p_buf = kpage_zalloc_addr();
1984         if (!pii->p_buf) {
1985                 set_errno(ENOMEM);
1986                 goto error_kpage;
1987         }
1988         pii->p_rd_off = 0;
1989         pii->p_wr_off = 0;
1990         pii->p_nr_readers = 0;
1991         pii->p_nr_writers = 0;
1992         cv_init(&pii->p_cv);    /* must do this before dentry_open / pipe_open */
1993         /* Now we have an inode for the pipe.  We need two files for the read and
1994          * write ends of the pipe. */
1995         flags &= ~(O_ACCMODE);  /* avoid user bugs */
1996         pipe_f_read = dentry_open(pipe_d, flags | O_RDONLY);
1997         if (!pipe_f_read)
1998                 goto error_f_read;
1999         pipe_f_write = dentry_open(pipe_d, flags | O_WRONLY);
2000         if (!pipe_f_write)
2001                 goto error_f_write;
2002         pipe_files[0] = pipe_f_read;
2003         pipe_files[1] = pipe_f_write;
2004         return 0;
2005
2006 error_f_write:
2007         kref_put(&pipe_f_read->f_kref);
2008 error_f_read:
2009         page_decref(kva2page(pii->p_buf));
2010 error_kpage:
2011         kfree(pipe_i->i_pipe);
2012 error_kmalloc:
2013         /* We don't need to free the pipe_i; putting the dentry will free it */
2014 error_post_dentry:
2015         /* Note we only free the dentry on failure. */
2016         kref_put(&pipe_d->d_kref);
2017         return -1;
2018 }
2019
2020 int do_rename(char *old_path, char *new_path)
2021 {
2022         struct nameidata nd_old = {0}, *nd_o = &nd_old;
2023         struct nameidata nd_new = {0}, *nd_n = &nd_new;
2024         struct dentry *old_dir_d, *new_dir_d;
2025         struct inode *old_dir_i, *new_dir_i;
2026         struct dentry *old_d, *new_d, *unlink_d;
2027         int error;
2028         int retval = 0;
2029         uint64_t now;
2030
2031         nd_o->intent = LOOKUP_ACCESS; /* maybe, might need another type */
2032
2033         /* get the parent, but don't follow links */
2034         error = path_lookup(old_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_o);
2035         if (error) {
2036                 set_errno(-error);
2037                 retval = -1;
2038                 goto out_old_path;
2039         }
2040         old_dir_d = nd_o->dentry;
2041         old_dir_i = old_dir_d->d_inode;
2042
2043         old_d = do_lookup(old_dir_d, nd_o->last.name);
2044         if (!old_d) {
2045                 set_errno(ENOENT);
2046                 retval = -1;
2047                 goto out_old_path;
2048         }
2049
2050         nd_n->intent = LOOKUP_CREATE;
2051         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_n);
2052         if (error) {
2053                 set_errno(-error);
2054                 retval = -1;
2055                 goto out_paths_and_src;
2056         }
2057         new_dir_d = nd_n->dentry;
2058         new_dir_i = new_dir_d->d_inode;
2059         /* TODO if new_dir == old_dir, we might be able to simplify things */
2060
2061         if (new_dir_i->i_sb != old_dir_i->i_sb) {
2062                 set_errno(EXDEV);
2063                 retval = -1;
2064                 goto out_paths_and_src;
2065         }
2066         /* TODO: check_perms is lousy, want to just say "writable" here */
2067         if (check_perms(old_dir_i, S_IWUSR) || check_perms(new_dir_i, S_IWUSR)) {
2068                 set_errno(EPERM);
2069                 retval = -1;
2070                 goto out_paths_and_src;
2071         }
2072         /* TODO: if we're doing a rename that moves a directory, we need to make
2073          * sure the new_path doesn't include the old_path.  it's not as simple as
2074          * just checking, since there could be a concurrent rename that breaks the
2075          * check later.  e.g. what if new_dir's parent is being moved into a child
2076          * of old_dir?
2077          *
2078          * linux has a per-fs rename mutex for these scenarios, so only one can
2079          * proceed at a time.  i don't see another way to deal with it either.
2080          * maybe something like flagging all dentries on the new_path with "do not
2081          * move". */
2082
2083         /* TODO: this is all very racy.  right after we do a new_d lookup, someone
2084          * else could create or unlink new_d.  need to lock here, or else push this
2085          * into the sub-FS.
2086          *
2087          * For any locking scheme, we probably need to lock both the old and new
2088          * dirs.  To prevent deadlock, we need a total ordering of all inodes (or
2089          * dentries, if we locking them instead).  inode number or struct inode*
2090          * will work for this. */
2091         new_d = do_lookup(new_dir_d, nd_n->last.name);
2092         if (new_d) {
2093                 if (new_d->d_inode == old_d->d_inode)
2094                         goto out_paths_and_refs;        /* rename does nothing */
2095                 /* TODO: Here's a bunch of other racy checks we need to do, maybe in the
2096                  * sub-FS:
2097                  *
2098                  * if src is a dir, dst must be an empty dir if it exists (RACYx2)
2099                  *              racing on dst being created and it getting new entries
2100                  * if src is a file, dst must be a file if it exists (RACY)
2101                  *              racing on dst being created and still being a file
2102                  *              racing on dst being unlinked and a new one being added
2103                  */
2104                 /* TODO: we should allow empty dirs */
2105                 if (S_ISDIR(new_d->d_inode->i_mode)) {
2106                         set_errno(EISDIR);
2107                         retval = -1;
2108                         goto out_paths_and_refs;
2109                 }
2110                 /* TODO: need this to be atomic with rename */
2111                 error = new_dir_i->i_op->unlink(new_dir_i, new_d);
2112                 if (error) {
2113                         set_errno(-error);
2114                         retval = -1;
2115                         goto out_paths_and_refs;
2116                 }
2117                 new_d->d_flags |= DENTRY_DYING;
2118                 /* TODO: racy with other lookups on new_d */
2119                 dcache_remove(new_d->d_sb, new_d);
2120                 new_d->d_inode->i_nlink--;  /* TODO: race here, esp with a decref */
2121                 kref_put(&new_d->d_kref);
2122         }
2123         /* new_d is just a vessel for the name.  somewhat lousy. */
2124         new_d = get_dentry(new_dir_d->d_sb, new_dir_d, nd_n->last.name);
2125
2126         /* TODO: more races.  need to remove old_d from the dcache, since we're
2127          * about to change its parentage.  could be readded concurrently. */
2128         dcache_remove(old_dir_d->d_sb, old_d);
2129         error = new_dir_i->i_op->rename(old_dir_i, old_d, new_dir_i, new_d);
2130         if (error) {
2131                 /* TODO: oh crap, we already unlinked!  now we're screwed, and violated
2132                  * our atomicity requirements. */
2133                 printk("[kernel] rename failed, you might have lost data\n");
2134                 set_errno(-error);
2135                 retval = -1;
2136                 goto out_paths_and_refs;
2137         }
2138
2139         /* old_dir loses old_d, new_dir gains old_d, renamed to new_d.  this is
2140          * particularly cumbersome since there are two levels here: the FS has its
2141          * info about where things are, and the VFS has its dentry tree.  and it's
2142          * all racy (TODO). */
2143         dentry_set_name(old_d, new_d->d_name.name);
2144         old_d->d_parent = new_d->d_parent;
2145         if (S_ISDIR(old_d->d_inode->i_mode)) {
2146                 TAILQ_REMOVE(&old_dir_d->d_subdirs, old_d, d_subdirs_link);
2147                 old_dir_i->i_nlink--; /* TODO: racy, etc */
2148                 TAILQ_INSERT_TAIL(&new_dir_d->d_subdirs, old_d, d_subdirs_link);
2149                 new_dir_i->i_nlink--; /* TODO: racy, etc */
2150         }
2151
2152         /* and then the third level: dcache stuff.  we could have old versions of
2153          * old_d or negative versions of new_d sitting around.  dcache_put should
2154          * replace a potentially negative dentry for new_d (now called old_d) */
2155         dcache_put(old_dir_d->d_sb, old_d);
2156
2157         /* TODO could have a helper for this, but it's going away soon */
2158         now = epoch_sec();
2159         old_dir_i->i_ctime.tv_sec = now;
2160         old_dir_i->i_mtime.tv_sec = now;
2161         old_dir_i->i_ctime.tv_nsec = 0;
2162         old_dir_i->i_mtime.tv_nsec = 0;
2163         new_dir_i->i_ctime.tv_sec = now;
2164         new_dir_i->i_mtime.tv_sec = now;
2165         new_dir_i->i_ctime.tv_nsec = 0;
2166         new_dir_i->i_mtime.tv_nsec = 0;
2167
2168         /* fall-through */
2169 out_paths_and_refs:
2170         kref_put(&new_d->d_kref);
2171 out_paths_and_src:
2172         kref_put(&old_d->d_kref);
2173 out_paths:
2174         path_release(nd_n);
2175 out_old_path:
2176         path_release(nd_o);
2177         return retval;
2178 }
2179
2180 int do_truncate(struct inode *inode, off64_t len)
2181 {
2182         off64_t old_len;
2183         uint64_t now;
2184         if (len < 0) {
2185                 set_errno(EINVAL);
2186                 return -1;
2187         }
2188         if (len > PiB) {
2189                 printk("[kernel] truncate for > petabyte, probably a bug\n");
2190                 /* continuing, not too concerned.  could set EINVAL or EFBIG */
2191         }
2192         spin_lock(&inode->i_lock);
2193         old_len = inode->i_size;
2194         if (old_len == len) {
2195                 spin_unlock(&inode->i_lock);
2196                 return 0;
2197         }
2198         inode->i_size = len;
2199         /* truncate can't block, since we're holding the spinlock.  but it can rely
2200          * on that lock being held */
2201         inode->i_op->truncate(inode);
2202         spin_unlock(&inode->i_lock);
2203
2204         if (old_len < len) {
2205                 pm_remove_contig(inode->i_mapping, old_len >> PGSHIFT,
2206                                  (len >> PGSHIFT) - (old_len >> PGSHIFT));
2207         }
2208         now = epoch_sec();
2209         inode->i_ctime.tv_sec = now;
2210         inode->i_mtime.tv_sec = now;
2211         inode->i_ctime.tv_nsec = 0;
2212         inode->i_mtime.tv_nsec = 0;
2213         return 0;
2214 }
2215
2216 struct file *alloc_file(void)
2217 {
2218         struct file *file = kmem_cache_alloc(file_kcache, 0);
2219         if (!file) {
2220                 set_errno(ENOMEM);
2221                 return 0;
2222         }
2223         /* one for the ref passed out*/
2224         kref_init(&file->f_kref, file_release, 1);
2225         return file;
2226 }
2227
2228 /* Opens and returns the file specified by dentry */
2229 struct file *dentry_open(struct dentry *dentry, int flags)
2230 {
2231         struct inode *inode;
2232         struct file *file;
2233         int desired_mode;
2234         inode = dentry->d_inode;
2235         /* Do the mode first, since we can still error out.  f_mode stores how the
2236          * OS file is open, which can be more restrictive than the i_mode */
2237         switch (flags & (O_RDONLY | O_WRONLY | O_RDWR)) {
2238                 case O_RDONLY:
2239                         desired_mode = S_IRUSR;
2240                         break;
2241                 case O_WRONLY:
2242                         desired_mode = S_IWUSR;
2243                         break;
2244                 case O_RDWR:
2245                         desired_mode = S_IRUSR | S_IWUSR;
2246                         break;
2247                 default:
2248                         goto error_access;
2249         }
2250         if (check_perms(inode, desired_mode))
2251                 goto error_access;
2252         file = alloc_file();
2253         if (!file)
2254                 return 0;
2255         file->f_mode = desired_mode;
2256         /* Add to the list of all files of this SB */
2257         TAILQ_INSERT_TAIL(&inode->i_sb->s_files, file, f_list);
2258         kref_get(&dentry->d_kref, 1);
2259         file->f_dentry = dentry;
2260         kref_get(&inode->i_sb->s_mount->mnt_kref, 1);
2261         file->f_vfsmnt = inode->i_sb->s_mount;          /* saving a ref to the vmnt...*/
2262         file->f_op = inode->i_fop;
2263         /* Don't store creation flags */
2264         file->f_flags = flags & ~O_CREAT_FLAGS;
2265         file->f_pos = 0;
2266         file->f_uid = inode->i_uid;
2267         file->f_gid = inode->i_gid;
2268         file->f_error = 0;
2269 //      struct event_poll_tailq         f_ep_links;
2270         spinlock_init(&file->f_ep_lock);
2271         file->f_privdata = 0;                                           /* prob overriden by the fs */
2272         file->f_mapping = inode->i_mapping;
2273         file->f_op->open(inode, file);
2274         return file;
2275 error_access:
2276         set_errno(EACCES);
2277         return 0;
2278 }
2279
2280 /* Closes a file, fsync, whatever else is necessary.  Called when the kref hits
2281  * 0.  Note that the file is not refcounted on the s_files list, nor is the
2282  * f_mapping refcounted (it is pinned by the i_mapping). */
2283 void file_release(struct kref *kref)
2284 {
2285         struct file *file = container_of(kref, struct file, f_kref);
2286
2287         struct super_block *sb = file->f_dentry->d_sb;
2288         spin_lock(&sb->s_lock);
2289         TAILQ_REMOVE(&sb->s_files, file, f_list);
2290         spin_unlock(&sb->s_lock);
2291
2292         /* TODO: fsync (BLK).  also, we may want to parallelize the blocking that
2293          * could happen in here (spawn kernel threads)... */
2294         file->f_op->release(file->f_dentry->d_inode, file);
2295         /* Clean up the other refs we hold */
2296         kref_put(&file->f_dentry->d_kref);
2297         kref_put(&file->f_vfsmnt->mnt_kref);
2298         kmem_cache_free(file_kcache, file);
2299 }
2300
2301 ssize_t kread_file(struct file *file, void *buf, size_t sz)
2302 {
2303         /* TODO: (KFOP) (VFS kernel read/writes need to have no proc current) */
2304         struct proc *old_proc = switch_to(0);
2305         off64_t dummy = 0;
2306         ssize_t cpy_amt = file->f_op->read(file, buf, sz, &dummy);
2307         switch_back(0, old_proc);
2308         return cpy_amt;
2309 }
2310
2311 /* Reads the contents of an entire file into a buffer, returning that buffer.
2312  * On error, prints something useful and returns 0 */
2313 void *kread_whole_file(struct file *file)
2314 {
2315         size_t size;
2316         void *contents;
2317         ssize_t cpy_amt;
2318
2319         size = file->f_dentry->d_inode->i_size;
2320         contents = kmalloc(size, KMALLOC_WAIT);
2321         cpy_amt = kread_file(file, contents, size);
2322         if (cpy_amt < 0) {
2323                 printk("Error %d reading file %s\n", get_errno(), file_name(file));
2324                 kfree(contents);
2325                 return 0;
2326         }
2327         if (cpy_amt != size) {
2328                 printk("Read %d, needed %d for file %s\n", cpy_amt, size,
2329                        file_name(file));
2330                 kfree(contents);
2331                 return 0;
2332         }
2333         return contents;
2334 }
2335
2336 /* Process-related File management functions */
2337
2338 /* Given any FD, get the appropriate object, 0 o/w.  Set vfs if you're looking
2339  * for a file, o/w a chan.  Set incref if you want a reference count (which is a
2340  * 9ns thing, you can't use the pointer if you didn't incref). */
2341 void *lookup_fd(struct fd_table *fdt, int fd, bool incref, bool vfs)
2342 {
2343         void *retval = 0;
2344         if (fd < 0)
2345                 return 0;
2346         spin_lock(&fdt->lock);
2347         if (fdt->closed) {
2348                 spin_unlock(&fdt->lock);
2349                 return 0;
2350         }
2351         if (fd < fdt->max_fdset) {
2352                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, fd)) {
2353                         /* while max_files and max_fdset might not line up, we should never
2354                          * have a valid fdset higher than files */
2355                         assert(fd < fdt->max_files);
2356                         if (vfs)
2357                                 retval = fdt->fd[fd].fd_file;
2358                         else
2359                                 retval = fdt->fd[fd].fd_chan;
2360                         /* retval could be 0 if we asked for the wrong one (e.g. it's a
2361                          * file, but we asked for a chan) */
2362                         if (retval && incref) {
2363                                 if (vfs)
2364                                         kref_get(&((struct file*)retval)->f_kref, 1);
2365                                 else
2366                                         chan_incref((struct chan*)retval);
2367                         }
2368                 }
2369         }
2370         spin_unlock(&fdt->lock);
2371         return retval;
2372 }
2373
2374 /* Given any FD, get the appropriate file, 0 o/w */
2375 struct file *get_file_from_fd(struct fd_table *open_files, int file_desc)
2376 {
2377         return lookup_fd(open_files, file_desc, TRUE, TRUE);
2378 }
2379
2380 /* Grow the vfs fd set */
2381 static int grow_fd_set(struct fd_table *open_files)
2382 {
2383         int n;
2384         struct file_desc *nfd, *ofd;
2385
2386         /* Only update open_fds once. If currently pointing to open_fds_init, then
2387          * update it to point to a newly allocated fd_set with space for
2388          * NR_FILE_DESC_MAX */
2389         if (open_files->open_fds == (struct fd_set*)&open_files->open_fds_init) {
2390                 open_files->open_fds = kzmalloc(sizeof(struct fd_set), 0);
2391                 memmove(open_files->open_fds, &open_files->open_fds_init,
2392                         sizeof(struct small_fd_set));
2393         }
2394
2395         /* Grow the open_files->fd array in increments of NR_OPEN_FILES_DEFAULT */
2396         n = open_files->max_files + NR_OPEN_FILES_DEFAULT;
2397         if (n > NR_FILE_DESC_MAX)
2398                 return -EMFILE;
2399         nfd = kzmalloc(n * sizeof(struct file_desc), 0);
2400         if (nfd == NULL)
2401                 return -ENOMEM;
2402
2403         /* Move the old array on top of the new one */
2404         ofd = open_files->fd;
2405         memmove(nfd, ofd, open_files->max_files * sizeof(struct file_desc));
2406
2407         /* Update the array and the maxes for both max_files and max_fdset */
2408         open_files->fd = nfd;
2409         open_files->max_files = n;
2410         open_files->max_fdset = n;
2411
2412         /* Only free the old one if it wasn't pointing to open_files->fd_array */
2413         if (ofd != open_files->fd_array)
2414                 kfree(ofd);
2415         return 0;
2416 }
2417
2418 /* Free the vfs fd set if necessary */
2419 static void free_fd_set(struct fd_table *open_files)
2420 {
2421         void *free_me;
2422         if (open_files->open_fds != (struct fd_set*)&open_files->open_fds_init) {
2423                 assert(open_files->fd != open_files->fd_array);
2424                 /* need to reset the pointers to the internal addrs, in case we take a
2425                  * look while debugging.  0 them out, since they have old data.  our
2426                  * current versions should all be closed. */
2427                 memset(&open_files->open_fds_init, 0, sizeof(struct small_fd_set));
2428                 memset(&open_files->fd_array, 0, sizeof(open_files->fd_array));
2429
2430                 free_me = open_files->open_fds;
2431                 open_files->open_fds = (struct fd_set*)&open_files->open_fds_init;
2432                 kfree(free_me);
2433
2434                 free_me = open_files->fd;
2435                 open_files->fd = open_files->fd_array;
2436                 kfree(free_me);
2437         }
2438 }
2439
2440 /* If FD is in the group, remove it, decref it, and return TRUE. */
2441 bool close_fd(struct fd_table *fdt, int fd)
2442 {
2443         struct file *file = 0;
2444         struct chan *chan = 0;
2445         struct fd_tap *tap = 0;
2446         bool ret = FALSE;
2447         if (fd < 0)
2448                 return FALSE;
2449         spin_lock(&fdt->lock);
2450         if (fd < fdt->max_fdset) {
2451                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, fd)) {
2452                         /* while max_files and max_fdset might not line up, we should never
2453                          * have a valid fdset higher than files */
2454                         assert(fd < fdt->max_files);
2455                         file = fdt->fd[fd].fd_file;
2456                         chan = fdt->fd[fd].fd_chan;
2457                         tap = fdt->fd[fd].fd_tap;
2458                         fdt->fd[fd].fd_file = 0;
2459                         fdt->fd[fd].fd_chan = 0;
2460                         fdt->fd[fd].fd_tap = 0;
2461                         CLR_BITMASK_BIT(fdt->open_fds->fds_bits, fd);
2462                         if (fd < fdt->hint_min_fd)
2463                                 fdt->hint_min_fd = fd;
2464                         ret = TRUE;
2465                 }
2466         }
2467         spin_unlock(&fdt->lock);
2468         /* Need to decref/cclose outside of the lock; they could sleep */
2469         if (file)
2470                 kref_put(&file->f_kref);
2471         else
2472                 cclose(chan);
2473         if (tap)
2474                 kref_put(&tap->kref);
2475         return ret;
2476 }
2477
2478 void put_file_from_fd(struct fd_table *open_files, int file_desc)
2479 {
2480         close_fd(open_files, file_desc);
2481 }
2482
2483 static int __get_fd(struct fd_table *open_files, int low_fd, bool must_use_low)
2484 {
2485         int slot = -1;
2486         int error;
2487         bool update_hint = TRUE;
2488         if ((low_fd < 0) || (low_fd > NR_FILE_DESC_MAX))
2489                 return -EINVAL;
2490         if (open_files->closed)
2491                 return -EINVAL; /* won't matter, they are dying */
2492         if (must_use_low && GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
2493                 return -ENFILE;
2494         if (low_fd > open_files->hint_min_fd)
2495                 update_hint = FALSE;
2496         else
2497                 low_fd = open_files->hint_min_fd;
2498         /* Loop until we have a valid slot (we grow the fd_array at the bottom of
2499          * the loop if we haven't found a slot in the current array */
2500         while (slot == -1) {
2501                 for (low_fd; low_fd < open_files->max_fdset; low_fd++) {
2502                         if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
2503                                 continue;
2504                         slot = low_fd;
2505                         SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
2506                         assert(slot < open_files->max_files &&
2507                                open_files->fd[slot].fd_file == 0);
2508                         /* We know slot >= hint, since we started with the hint */
2509                         if (update_hint)
2510                                 open_files->hint_min_fd = slot + 1;
2511                         break;
2512                 }
2513                 if (slot == -1) {
2514                         if ((error = grow_fd_set(open_files)))
2515                                 return error;
2516                 }
2517         }
2518         return slot;
2519 }
2520
2521 /* Insert a file or chan (obj, chosen by vfs) into the fd group with fd_flags.
2522  * If must_use_low, then we have to insert at FD = low_fd.  o/w we start looking
2523  * for empty slots at low_fd. */
2524 int insert_obj_fdt(struct fd_table *fdt, void *obj, int low_fd, int fd_flags,
2525                    bool must_use_low, bool vfs)
2526 {
2527         int slot;
2528         spin_lock(&fdt->lock);
2529         slot = __get_fd(fdt, low_fd, must_use_low);
2530         if (slot < 0) {
2531                 spin_unlock(&fdt->lock);
2532                 return slot;
2533         }
2534         assert(slot < fdt->max_files &&
2535                fdt->fd[slot].fd_file == 0);
2536         if (vfs) {
2537                 kref_get(&((struct file*)obj)->f_kref, 1);
2538                 fdt->fd[slot].fd_file = obj;
2539                 fdt->fd[slot].fd_chan = 0;
2540         } else {
2541                 chan_incref((struct chan*)obj);
2542                 fdt->fd[slot].fd_file = 0;
2543                 fdt->fd[slot].fd_chan = obj;
2544         }
2545         fdt->fd[slot].fd_flags = fd_flags;
2546         spin_unlock(&fdt->lock);
2547         return slot;
2548 }
2549
2550 /* Inserts the file in the fd_table, returning the corresponding new file
2551  * descriptor, or an error code.  We start looking for open fds from low_fd.
2552  *
2553  * Passing cloexec is a bit cheap, since we might want to expand it to support
2554  * more FD options in the future. */
2555 int insert_file(struct fd_table *open_files, struct file *file, int low_fd,
2556                 bool must, bool cloexec)
2557 {
2558         return insert_obj_fdt(open_files, file, low_fd, cloexec ? FD_CLOEXEC : 0,
2559                               must, TRUE);
2560 }
2561
2562 /* Closes all open files.  Mostly just a "put" for all files.  If cloexec, it
2563  * will only close the FDs with FD_CLOEXEC (opened with O_CLOEXEC or fcntld).
2564  *
2565  * Notes on concurrency:
2566  * - Can't hold spinlocks while we call cclose, since it might sleep eventually.
2567  * - We're called from proc_destroy, so we could have concurrent openers trying
2568  *   to add to the group (other syscalls), hence the "closed" flag.
2569  * - dot and slash chans are dealt with in proc_free.  its difficult to close
2570  *   and zero those with concurrent syscalls, since those are a source of krefs.
2571  * - Once we lock and set closed, no further additions can happen.  To simplify
2572  *   our closes, we also allow multiple calls to this func (though that should
2573  *   never happen with the current code). */
2574 void close_fdt(struct fd_table *fdt, bool cloexec)
2575 {
2576         struct file *file;
2577         struct chan *chan;
2578         struct file_desc *to_close;
2579         int idx = 0;
2580
2581         to_close = kzmalloc(sizeof(struct file_desc) * fdt->max_files,
2582                             KMALLOC_WAIT);
2583         spin_lock(&fdt->lock);
2584         if (fdt->closed) {
2585                 spin_unlock(&fdt->lock);
2586                 kfree(to_close);
2587                 return;
2588         }
2589         for (int i = 0; i < fdt->max_fdset; i++) {
2590                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, i)) {
2591                         /* while max_files and max_fdset might not line up, we should never
2592                          * have a valid fdset higher than files */
2593                         assert(i < fdt->max_files);
2594                         if (cloexec && !(fdt->fd[i].fd_flags & FD_CLOEXEC))
2595                                 continue;
2596                         file = fdt->fd[i].fd_file;
2597                         chan = fdt->fd[i].fd_chan;
2598                         to_close[idx].fd_tap = fdt->fd[i].fd_tap;
2599                         fdt->fd[i].fd_tap = 0;
2600                         if (file) {
2601                                 fdt->fd[i].fd_file = 0;
2602                                 to_close[idx++].fd_file = file;
2603                         } else {
2604                                 fdt->fd[i].fd_chan = 0;
2605                                 to_close[idx++].fd_chan = chan;
2606                         }
2607                         CLR_BITMASK_BIT(fdt->open_fds->fds_bits, i);
2608                 }
2609         }
2610         /* it's just a hint, we can build back up from being 0 */
2611         fdt->hint_min_fd = 0;
2612         if (!cloexec) {
2613                 free_fd_set(fdt);
2614                 fdt->closed = TRUE;
2615         }
2616         spin_unlock(&fdt->lock);
2617         /* We go through some hoops to close/decref outside the lock.  Nice for not
2618          * holding the lock for a while; critical in case the decref/cclose sleeps
2619          * (it can) */
2620         for (int i = 0; i < idx; i++) {
2621                 if (to_close[i].fd_file)
2622                         kref_put(&to_close[i].fd_file->f_kref);
2623                 else
2624                         cclose(to_close[i].fd_chan);
2625                 if (to_close[i].fd_tap)
2626                         kref_put(&to_close[i].fd_tap->kref);
2627         }
2628         kfree(to_close);
2629 }
2630
2631 /* Inserts all of the files from src into dst, used by sys_fork(). */
2632 void clone_fdt(struct fd_table *src, struct fd_table *dst)
2633 {
2634         struct file *file;
2635         struct chan *chan;
2636         spin_lock(&src->lock);
2637         if (src->closed) {
2638                 spin_unlock(&src->lock);
2639                 return;
2640         }
2641         spin_lock(&dst->lock);
2642         if (dst->closed) {
2643                 warn("Destination closed before it opened");
2644                 spin_unlock(&dst->lock);
2645                 spin_unlock(&src->lock);
2646                 return;
2647         }
2648         for (int i = 0; i < src->max_fdset; i++) {
2649                 if (GET_BITMASK_BIT(src->open_fds->fds_bits, i)) {
2650                         /* while max_files and max_fdset might not line up, we should never
2651                          * have a valid fdset higher than files */
2652                         assert(i < src->max_files);
2653                         file = src->fd[i].fd_file;
2654                         chan = src->fd[i].fd_chan;
2655                         assert(i < dst->max_files && dst->fd[i].fd_file == 0);
2656                         SET_BITMASK_BIT(dst->open_fds->fds_bits, i);
2657                         dst->fd[i].fd_file = file;
2658                         dst->fd[i].fd_chan = chan;
2659                         if (file)
2660                                 kref_get(&file->f_kref, 1);
2661                         else
2662                                 chan_incref(chan);
2663                 }
2664         }
2665         dst->hint_min_fd = src->hint_min_fd;
2666         spin_unlock(&dst->lock);
2667         spin_unlock(&src->lock);
2668 }
2669
2670 static void __chpwd(struct fs_struct *fs_env, struct dentry *new_pwd)
2671 {
2672         struct dentry *old_pwd;
2673         kref_get(&new_pwd->d_kref, 1);
2674         /* writer lock, make sure we replace pwd with ours.  could also CAS.
2675          * readers don't lock at all, so they need to either loop, or we need to
2676          * delay releasing old_pwd til an RCU grace period. */
2677         spin_lock(&fs_env->lock);
2678         old_pwd = fs_env->pwd;
2679         fs_env->pwd = new_pwd;
2680         spin_unlock(&fs_env->lock);
2681         kref_put(&old_pwd->d_kref);
2682 }
2683
2684 /* Change the working directory of the given fs env (one per process, at this
2685  * point).  Returns 0 for success, sets errno and returns -1 otherwise. */
2686 int do_chdir(struct fs_struct *fs_env, char *path)
2687 {
2688         struct nameidata nd_r = {0}, *nd = &nd_r;
2689         int error;
2690         error = path_lookup(path, LOOKUP_DIRECTORY, nd);
2691         if (error) {
2692                 set_errno(-error);
2693                 path_release(nd);
2694                 return -1;
2695         }
2696         /* nd->dentry is the place we want our PWD to be */
2697         __chpwd(fs_env, nd->dentry);
2698         path_release(nd);
2699         return 0;
2700 }
2701
2702 int do_fchdir(struct fs_struct *fs_env, struct file *file)
2703 {
2704         if ((file->f_dentry->d_inode->i_mode & __S_IFMT) != __S_IFDIR) {
2705                 set_errno(ENOTDIR);
2706                 return -1;
2707         }
2708         __chpwd(fs_env, file->f_dentry);
2709         return 0;
2710 }
2711
2712 /* Returns a null-terminated string of up to length cwd_l containing the
2713  * absolute path of fs_env, (up to fs_env's root).  Be sure to kfree the char*
2714  * "kfree_this" when you are done with it.  We do this since it's easier to
2715  * build this string going backwards.  Note cwd_l is not a strlen, it's an
2716  * absolute size. */
2717 char *do_getcwd(struct fs_struct *fs_env, char **kfree_this, size_t cwd_l)
2718 {
2719         struct dentry *dentry = fs_env->pwd;
2720         size_t link_len;
2721         char *path_start, *kbuf;
2722
2723         if (cwd_l < 2) {
2724                 set_errno(ERANGE);
2725                 return 0;
2726         }
2727         kbuf = kmalloc(cwd_l, 0);
2728         if (!kbuf) {
2729                 set_errno(ENOMEM);
2730                 return 0;
2731         }
2732         *kfree_this = kbuf;
2733         kbuf[cwd_l - 1] = '\0';
2734         kbuf[cwd_l - 2] = '/';
2735         /* for each dentry in the path, all the way back to the root of fs_env, we
2736          * grab the dentry name, push path_start back enough, and write in the name,
2737          * using /'s to terminate.  We skip the root, since we don't want it's
2738          * actual name, just "/", which is set before each loop. */
2739         path_start = kbuf + cwd_l - 2;  /* the last byte written */
2740         while (dentry != fs_env->root) {
2741                 link_len = dentry->d_name.len;          /* this does not count the \0 */
2742                 if (path_start - (link_len + 2) < kbuf) {
2743                         kfree(kbuf);
2744                         set_errno(ERANGE);
2745                         return 0;
2746                 }
2747                 path_start -= link_len;
2748                 strncpy(path_start, dentry->d_name.name, link_len);
2749                 path_start--;
2750                 *path_start = '/';
2751                 dentry = dentry->d_parent;      
2752         }
2753         return path_start;
2754 }
2755
2756 static void print_dir(struct dentry *dentry, char *buf, int depth)
2757 {
2758         struct dentry *child_d;
2759         struct dirent next = {0};
2760         struct file *dir;
2761         int retval;
2762
2763         if (!S_ISDIR(dentry->d_inode->i_mode)) {
2764                 warn("Thought this was only directories!!");
2765                 return;
2766         }
2767         /* Print this dentry */
2768         printk("%s%s/ nlink: %d\n", buf, dentry->d_name.name,
2769                dentry->d_inode->i_nlink);
2770         if (dentry->d_mount_point) {
2771                 dentry = dentry->d_mounted_fs->mnt_root;
2772         }
2773         if (depth >= 32)
2774                 return;
2775         /* Set buffer for our kids */
2776         buf[depth] = '\t';
2777         dir = dentry_open(dentry, 0);
2778         if (!dir)
2779                 panic("Filesystem seems inconsistent - unable to open a dir!");
2780         /* Process every child, recursing on directories */
2781         while (1) {
2782                 retval = dir->f_op->readdir(dir, &next);
2783                 if (retval >= 0) {
2784                         /* Skip .., ., and empty entries */
2785                         if (!strcmp("..", next.d_name) || !strcmp(".", next.d_name) ||
2786                             next.d_ino == 0)
2787                                 goto loop_next;
2788                         /* there is an entry, now get its dentry */
2789                         child_d = do_lookup(dentry, next.d_name);
2790                         if (!child_d)
2791                                 panic("Inconsistent FS, dirent doesn't have a dentry!");
2792                         /* Recurse for directories, or just print the name for others */
2793                         switch (child_d->d_inode->i_mode & __S_IFMT) {
2794                                 case (__S_IFDIR):
2795                                         print_dir(child_d, buf, depth + 1);
2796                                         break;
2797                                 case (__S_IFREG):
2798                                         printk("%s%s size(B): %d nlink: %d\n", buf, next.d_name,
2799                                                child_d->d_inode->i_size, child_d->d_inode->i_nlink);
2800                                         break;
2801                                 case (__S_IFLNK):
2802                                         printk("%s%s -> %s\n", buf, next.d_name,
2803                                                child_d->d_inode->i_op->readlink(child_d));
2804                                         break;
2805                                 case (__S_IFCHR):
2806                                         printk("%s%s (char device) nlink: %d\n", buf, next.d_name,
2807                                                child_d->d_inode->i_nlink);
2808                                         break;
2809                                 case (__S_IFBLK):
2810                                         printk("%s%s (block device) nlink: %d\n", buf, next.d_name,
2811                                                child_d->d_inode->i_nlink);
2812                                         break;
2813                                 default:
2814                                         warn("Look around you!  Unknown filetype!");
2815                         }
2816                         kref_put(&child_d->d_kref);     
2817                 }
2818 loop_next:
2819                 if (retval <= 0)
2820                         break;
2821         }
2822         /* Reset buffer to the way it was */
2823         buf[depth] = '\0';
2824         kref_put(&dir->f_kref);
2825 }
2826
2827 /* Debugging */
2828 int ls_dash_r(char *path)
2829 {
2830         struct nameidata nd_r = {0}, *nd = &nd_r;
2831         int error;
2832         char buf[32] = {0};
2833
2834         error = path_lookup(path, LOOKUP_ACCESS | LOOKUP_DIRECTORY, nd);
2835         if (error) {
2836                 path_release(nd);
2837                 return error;
2838         }
2839         print_dir(nd->dentry, buf, 0);
2840         path_release(nd);
2841         return 0;
2842 }
2843
2844 /* Dummy ops, to catch weird operations we weren't expecting */
2845 int dummy_create(struct inode *dir, struct dentry *dentry, int mode,
2846                  struct nameidata *nd)
2847 {
2848         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2849         return -1;
2850 }
2851
2852 struct dentry *dummy_lookup(struct inode *dir, struct dentry *dentry,
2853                           struct nameidata *nd)
2854 {
2855         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2856         return 0;
2857 }
2858
2859 int dummy_link(struct dentry *old_dentry, struct inode *dir,
2860              struct dentry *new_dentry)
2861 {
2862         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2863         return -1;
2864 }
2865
2866 int dummy_unlink(struct inode *dir, struct dentry *dentry)
2867 {
2868         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2869         return -1;
2870 }
2871
2872 int dummy_symlink(struct inode *dir, struct dentry *dentry, const char *symname)
2873 {
2874         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2875         return -1;
2876 }
2877
2878 int dummy_mkdir(struct inode *dir, struct dentry *dentry, int mode)
2879 {
2880         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2881         return -1;
2882 }
2883
2884 int dummy_rmdir(struct inode *dir, struct dentry *dentry)
2885 {
2886         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2887         return -1;
2888 }
2889
2890 int dummy_mknod(struct inode *dir, struct dentry *dentry, int mode, dev_t rdev)
2891 {
2892         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2893         return -1;
2894 }
2895
2896 int dummy_rename(struct inode *old_dir, struct dentry *old_dentry,
2897                struct inode *new_dir, struct dentry *new_dentry)
2898 {
2899         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2900         return -1;
2901 }
2902
2903 char *dummy_readlink(struct dentry *dentry)
2904 {
2905         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2906         return 0;
2907 }
2908
2909 void dummy_truncate(struct inode *inode)
2910 {
2911         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2912 }
2913
2914 int dummy_permission(struct inode *inode, int mode, struct nameidata *nd)
2915 {
2916         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2917         return -1;
2918 }
2919
2920 int dummy_d_revalidate(struct dentry *dir, struct nameidata *nd)
2921 {
2922         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2923         return -1;
2924 }
2925
2926 int dummy_d_hash(struct dentry *dentry, struct qstr *name)
2927 {
2928         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2929         return -1;
2930 }
2931
2932 int dummy_d_compare(struct dentry *dir, struct qstr *name1, struct qstr *name2)
2933 {
2934         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2935         return -1;
2936 }
2937
2938 int dummy_d_delete(struct dentry *dentry)
2939 {
2940         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2941         return -1;
2942 }
2943
2944 int dummy_d_release(struct dentry *dentry)
2945 {
2946         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2947         return -1;
2948 }
2949
2950 void dummy_d_iput(struct dentry *dentry, struct inode *inode)
2951 {
2952         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2953 }
2954
2955 struct inode_operations dummy_i_op = {
2956         dummy_create,
2957         dummy_lookup,
2958         dummy_link,
2959         dummy_unlink,
2960         dummy_symlink,
2961         dummy_mkdir,
2962         dummy_rmdir,
2963         dummy_mknod,
2964         dummy_rename,
2965         dummy_readlink,
2966         dummy_truncate,
2967         dummy_permission,
2968 };
2969
2970 struct dentry_operations dummy_d_op = {
2971         dummy_d_revalidate,
2972         dummy_d_hash,
2973         dummy_d_compare,
2974         dummy_d_delete,
2975         dummy_d_release,
2976         dummy_d_iput,
2977 };