slab: Update the ctor/dtor interface
[akaros.git] / kern / src / vfs.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Default implementations and global values for the VFS. */
6
7 #include <vfs.h> // keep this first
8 #include <ros/errno.h>
9 #include <sys/queue.h>
10 #include <assert.h>
11 #include <stdio.h>
12 #include <atomic.h>
13 #include <slab.h>
14 #include <kmalloc.h>
15 #include <kfs.h>
16 #include <ext2fs.h>
17 #include <pmap.h>
18 #include <umem.h>
19 #include <smp.h>
20 #include <ns.h>
21 #include <fdtap.h>
22
23 struct sb_tailq super_blocks = TAILQ_HEAD_INITIALIZER(super_blocks);
24 spinlock_t super_blocks_lock = SPINLOCK_INITIALIZER;
25 struct fs_type_tailq file_systems = TAILQ_HEAD_INITIALIZER(file_systems);
26 struct namespace default_ns;
27
28 struct kmem_cache *dentry_kcache; // not to be confused with the dcache
29 struct kmem_cache *inode_kcache;
30 struct kmem_cache *file_kcache;
31
32 /* Mounts fs from dev_name at mnt_pt in namespace ns.  There could be no mnt_pt,
33  * such as with the root of (the default) namespace.  Not sure how it would work
34  * with multiple namespaces on the same FS yet.  Note if you mount the same FS
35  * multiple times, you only have one FS still (and one SB).  If we ever support
36  * that... */
37 struct vfsmount *__mount_fs(struct fs_type *fs, char *dev_name,
38                             struct dentry *mnt_pt, int flags,
39                             struct namespace *ns)
40 {
41         struct super_block *sb;
42         struct vfsmount *vmnt = kmalloc(sizeof(struct vfsmount), 0);
43
44         /* this first ref is stored in the NS tailq below */
45         kref_init(&vmnt->mnt_kref, fake_release, 1);
46         /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for
47          * now).  fields related to the actual FS, like the sb and the mnt_root are
48          * set in the fs-specific get_sb() call. */
49         if (!mnt_pt) {
50                 vmnt->mnt_parent = NULL;
51                 vmnt->mnt_mountpoint = NULL;
52         } else { /* common case, but won't be tested til we try to mount another FS */
53                 mnt_pt->d_mount_point = TRUE;
54                 mnt_pt->d_mounted_fs = vmnt;
55                 kref_get(&vmnt->mnt_kref, 1); /* held by mnt_pt */
56                 vmnt->mnt_parent = mnt_pt->d_sb->s_mount;
57                 vmnt->mnt_mountpoint = mnt_pt;
58         }
59         TAILQ_INIT(&vmnt->mnt_child_mounts);
60         vmnt->mnt_flags = flags;
61         vmnt->mnt_devname = dev_name;
62         vmnt->mnt_namespace = ns;
63         kref_get(&ns->kref, 1); /* held by vmnt */
64
65         /* Read in / create the SB */
66         sb = fs->get_sb(fs, flags, dev_name, vmnt);
67         if (!sb)
68                 panic("You're FS sucks");
69
70         /* TODO: consider moving this into get_sb or something, in case the SB
71          * already exists (mounting again) (if we support that) */
72         spin_lock(&super_blocks_lock);
73         TAILQ_INSERT_TAIL(&super_blocks, sb, s_list); /* storing a ref here... */
74         spin_unlock(&super_blocks_lock);
75
76         /* Update holding NS */
77         spin_lock(&ns->lock);
78         TAILQ_INSERT_TAIL(&ns->vfsmounts, vmnt, mnt_list);
79         spin_unlock(&ns->lock);
80         /* note to self: so, right after this point, the NS points to the root FS
81          * mount (we return the mnt, which gets assigned), the root mnt has a dentry
82          * for /, backed by an inode, with a SB prepped and in memory. */
83         return vmnt;
84 }
85
86 void vfs_init(void)
87 {
88         struct fs_type *fs;
89
90         dentry_kcache = kmem_cache_create("dentry", sizeof(struct dentry),
91                                           __alignof__(struct dentry), 0,
92                                           NULL, 0, 0, NULL);
93         inode_kcache = kmem_cache_create("inode", sizeof(struct inode),
94                                          __alignof__(struct inode), 0, NULL,
95                                          0, 0, NULL);
96         file_kcache = kmem_cache_create("file", sizeof(struct file),
97                                         __alignof__(struct file), 0, NULL, 0,
98                                         0, NULL);
99         /* default NS never dies, +1 to exist */
100         kref_init(&default_ns.kref, fake_release, 1);
101         spinlock_init(&default_ns.lock);
102         default_ns.root = NULL;
103         TAILQ_INIT(&default_ns.vfsmounts);
104
105         /* build list of all FS's in the system.  put yours here.  if this is ever
106          * done on the fly, we'll need to lock. */
107         TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
108 #ifdef CONFIG_EXT2FS
109         TAILQ_INSERT_TAIL(&file_systems, &ext2_fs_type, list);
110 #endif
111         TAILQ_FOREACH(fs, &file_systems, list)
112                 printk("Supports the %s Filesystem\n", fs->name);
113
114         /* mounting KFS at the root (/), pending root= parameters */
115         // TODO: linux creates a temp root_fs, then mounts the real root onto that
116         default_ns.root = __mount_fs(&kfs_fs_type, "RAM", NULL, 0, &default_ns);
117
118         printk("vfs_init() completed\n");
119 }
120
121 /* FS's can provide another, if they want */
122 int generic_dentry_hash(struct dentry *dentry, struct qstr *qstr)
123 {
124         unsigned long hash = 5381;
125
126         for (int i = 0; i < qstr->len; i++) {
127                 /* hash * 33 + c, djb2's technique */
128                 hash = ((hash << 5) + hash) + qstr->name[i];
129         }
130         return hash;
131 }
132
133 /* Builds / populates the qstr of a dentry based on its d_iname.  If there is an
134  * l_name, (long), it will use that instead of the inline name.  This will
135  * probably change a bit. */
136 void qstr_builder(struct dentry *dentry, char *l_name)
137 {
138         dentry->d_name.name = l_name ? l_name : dentry->d_iname;
139         dentry->d_name.len = strnlen(dentry->d_name.name, MAX_FILENAME_SZ);
140         dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name);
141 }
142
143 /* Useful little helper - return the string ptr for a given file */
144 char *file_name(struct file *file)
145 {
146         return file->f_dentry->d_name.name;
147 }
148
149 static int prepend(char **pbuf, size_t *pbuflen, const char *str, size_t len)
150 {
151         if (*pbuflen < len)
152                 return -ENAMETOOLONG;
153         *pbuflen -= len;
154         *pbuf -= len;
155         memcpy(*pbuf, str, len);
156
157         return 0;
158 }
159
160 char *dentry_path(struct dentry *dentry, char *path, size_t max_size)
161 {
162         size_t csize = max_size;
163         char *path_start = path + max_size, *base;
164
165         if (prepend(&path_start, &csize, "\0", 1) < 0 || csize < 1)
166                 return NULL;
167         /* Handle the case that the passed dentry is the root. */
168         base = path_start - 1;
169         *base = '/';
170         while (!DENTRY_IS_ROOT(dentry)) {
171                 if (prepend(&path_start, &csize, dentry->d_name.name,
172                                         dentry->d_name.len) < 0 ||
173                         prepend(&path_start, &csize, "/", 1) < 0)
174                         return NULL;
175                 base = path_start;
176                 dentry = dentry->d_parent;
177         }
178
179         return base;
180 }
181
182 /* Some issues with this, coupled closely to fs_lookup.
183  *
184  * Note the use of __dentry_free, instead of kref_put.  In those cases, we don't
185  * want to treat it like a kref and we have the only reference to it, so it is
186  * okay to do this.  It makes dentry_release() easier too. */
187 static struct dentry *do_lookup(struct dentry *parent, char *name)
188 {
189         struct dentry *result, *query;
190         query = get_dentry(parent->d_sb, parent, name);
191         if (!query) {
192                 warn("OOM in do_lookup(), probably wasn't expected\n");
193                 return 0;
194         }
195         result = dcache_get(parent->d_sb, query);
196         if (result) {
197                 __dentry_free(query);
198                 return result;
199         }
200         /* No result, check for negative */
201         if (query->d_flags & DENTRY_NEGATIVE) {
202                 __dentry_free(query);
203                 return 0;
204         }
205         /* not in the dcache at all, need to consult the FS */
206         result = parent->d_inode->i_op->lookup(parent->d_inode, query, 0);
207         if (!result) {
208                 /* Note the USED flag will get turned off when this gets added to the
209                  * LRU in dentry_release().  There's a slight race here that we'll panic
210                  * on, but I want to catch it (in dcache_put()) for now. */
211                 query->d_flags |= DENTRY_NEGATIVE;
212                 dcache_put(parent->d_sb, query);
213                 kref_put(&query->d_kref);
214                 return 0;
215         }
216         dcache_put(parent->d_sb, result);
217         /* This is because KFS doesn't return the same dentry, but ext2 does.  this
218          * is ugly and needs to be fixed. (TODO) */
219         if (result != query)
220                 __dentry_free(query);
221
222         /* TODO: if the following are done by us, how do we know the i_ino?
223          * also need to handle inodes that are already read in!  For now, we're
224          * going to have the FS handle it in its lookup() method:
225          * - get a new inode
226          * - read in the inode
227          * - put in the inode cache */
228         return result;
229 }
230
231 /* Update ND such that it represents having followed dentry.  IAW the nd
232  * refcnting rules, we need to decref any references that were in there before
233  * they get clobbered. */
234 static int next_link(struct dentry *dentry, struct nameidata *nd)
235 {
236         assert(nd->dentry && nd->mnt);
237         /* update the dentry */
238         kref_get(&dentry->d_kref, 1);
239         kref_put(&nd->dentry->d_kref);
240         nd->dentry = dentry;
241         /* update the mount, if we need to */
242         if (dentry->d_sb->s_mount != nd->mnt) {
243                 kref_get(&dentry->d_sb->s_mount->mnt_kref, 1);
244                 kref_put(&nd->mnt->mnt_kref);
245                 nd->mnt = dentry->d_sb->s_mount;
246         }
247         return 0;
248 }
249
250 /* Walk up one directory, being careful of mountpoints, namespaces, and the top
251  * of the FS */
252 static int climb_up(struct nameidata *nd)
253 {
254         printd("CLIMB_UP, from %s\n", nd->dentry->d_name.name);
255         /* Top of the world, just return.  Should also check for being at the top of
256          * the current process's namespace (TODO) */
257         if (!nd->dentry->d_parent || (nd->dentry->d_parent == nd->dentry))
258                 return -1;
259         /* Check if we are at the top of a mount, if so, we need to follow
260          * backwards, and then climb_up from that one.  We might need to climb
261          * multiple times if we mount multiple FSs at the same spot (highly
262          * unlikely).  This is completely untested.  Might recurse instead. */
263         while (nd->mnt->mnt_root == nd->dentry) {
264                 if (!nd->mnt->mnt_parent) {
265                         warn("Might have expected a parent vfsmount (dentry had a parent)");
266                         return -1;
267                 }
268                 next_link(nd->mnt->mnt_mountpoint, nd);
269         }
270         /* Backwards walk (no mounts or any other issues now). */
271         next_link(nd->dentry->d_parent, nd);
272         printd("CLIMB_UP, to   %s\n", nd->dentry->d_name.name);
273         return 0;
274 }
275
276 /* nd->dentry might be on a mount point, so we need to move on to the child
277  * mount's root. */
278 static int follow_mount(struct nameidata *nd)
279 {
280         if (!nd->dentry->d_mount_point)
281                 return 0;
282         next_link(nd->dentry->d_mounted_fs->mnt_root, nd);
283         return 0;
284 }
285
286 static int link_path_walk(char *path, struct nameidata *nd);
287
288 /* When nd->dentry is for a symlink, this will recurse and follow that symlink,
289  * so that nd contains the results of following the symlink (dentry and mnt).
290  * Returns when it isn't a symlink, 1 on following a link, and < 0 on error. */
291 static int follow_symlink(struct nameidata *nd)
292 {
293         int retval;
294         char *symname;
295         if (!S_ISLNK(nd->dentry->d_inode->i_mode))
296                 return 0;
297         if (nd->depth > MAX_SYMLINK_DEPTH)
298                 return -ELOOP;
299         printd("Following symlink for dentry %p %s\n", nd->dentry,
300                nd->dentry->d_name.name);
301         nd->depth++;
302         symname = nd->dentry->d_inode->i_op->readlink(nd->dentry);
303         /* We need to pin in nd->dentry (the dentry of the symlink), since we need
304          * its symname's storage to stay in memory throughout the upcoming
305          * link_path_walk().  The last_sym gets decreffed when we path_release() or
306          * follow another symlink. */
307         if (nd->last_sym)
308                 kref_put(&nd->last_sym->d_kref);
309         kref_get(&nd->dentry->d_kref, 1);
310         nd->last_sym = nd->dentry;
311         /* If this an absolute path in the symlink, we need to free the old path and
312          * start over, otherwise, we continue from the PARENT of nd (the symlink) */
313         if (symname[0] == '/') {
314                 path_release(nd);
315                 if (!current)
316                         nd->dentry = default_ns.root->mnt_root;
317                 else
318                         nd->dentry = current->fs_env.root;
319                 nd->mnt = nd->dentry->d_sb->s_mount;
320                 kref_get(&nd->mnt->mnt_kref, 1);
321                 kref_get(&nd->dentry->d_kref, 1);
322         } else {
323                 climb_up(nd);
324         }
325         /* either way, keep on walking in the free world! */
326         retval = link_path_walk(symname, nd);
327         return (retval == 0 ? 1 : retval);
328 }
329
330 /* Little helper, to make it easier to break out of the nested loops.  Will also
331  * '\0' out the first slash if it's slashes all the way down.  Or turtles. */
332 static bool packed_trailing_slashes(char *first_slash)
333 {
334         for (char *i = first_slash; *i == '/'; i++) {
335                 if (*(i + 1) == '\0') {
336                         *first_slash = '\0';
337                         return TRUE;
338                 }
339         }
340         return FALSE;
341 }
342
343 /* Simple helper to set nd to track its last name to be Name.  Also be careful
344  * with the storage of name.  Don't use and nd's name past the lifetime of the
345  * string used in the path_lookup()/link_path_walk/whatever.  Consider replacing
346  * parts of this with a qstr builder.  Note this uses the dentry's d_op, which
347  * might not be the dentry we care about. */
348 static void stash_nd_name(struct nameidata *nd, char *name)
349 {
350         nd->last.name = name;
351         nd->last.len = strlen(name);
352         nd->last.hash = nd->dentry->d_op->d_hash(nd->dentry, &nd->last);
353 }
354
355 /* Resolves the links in a basic path walk.  0 for success, -EWHATEVER
356  * otherwise.  The final lookup is returned via nd. */
357 static int link_path_walk(char *path, struct nameidata *nd)
358 {
359         struct dentry *link_dentry;
360         struct inode *link_inode, *nd_inode;
361         char *next_slash;
362         char *link = path;
363         int error;
364
365         /* Prevent crazy recursion */
366         if (nd->depth > MAX_SYMLINK_DEPTH)
367                 return -ELOOP;
368         /* skip all leading /'s */
369         while (*link == '/')
370                 link++;
371         /* if there's nothing left (null terminated), we're done.  This should only
372          * happen for "/", which if we wanted a PARENT, should fail (there is no
373          * parent). */
374         if (*link == '\0') {
375                 if (nd->flags & LOOKUP_PARENT) {
376                         set_errno(ENOENT);
377                         return -1;
378                 }
379                 /* o/w, we're good */
380                 return 0;
381         }
382         /* iterate through each intermediate link of the path.  in general, nd
383          * tracks where we are in the path, as far as dentries go.  once we have the
384          * next dentry, we try to update nd based on that dentry.  link is the part
385          * of the path string that we are looking up */
386         while (1) {
387                 nd_inode = nd->dentry->d_inode;
388                 if ((error = check_perms(nd_inode, nd->intent)))
389                         return error;
390                 /* find the next link, break out if it is the end */
391                 next_slash = strchr(link, '/');
392                 if (!next_slash) {
393                         break;
394                 } else {
395                         if (packed_trailing_slashes(next_slash)) {
396                                 nd->flags |= LOOKUP_DIRECTORY;
397                                 break;
398                         }
399                 }
400                 /* skip over any interim ./ */
401                 if (!strncmp("./", link, 2))
402                         goto next_loop;
403                 /* Check for "../", walk up */
404                 if (!strncmp("../", link, 3)) {
405                         climb_up(nd);
406                         goto next_loop;
407                 }
408                 *next_slash = '\0';
409                 link_dentry = do_lookup(nd->dentry, link);
410                 *next_slash = '/';
411                 if (!link_dentry)
412                         return -ENOENT;
413                 /* make link_dentry the current step/answer */
414                 next_link(link_dentry, nd);
415                 kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt dentry */
416                 /* we could be on a mountpoint or a symlink - need to follow them */
417                 follow_mount(nd);
418                 if ((error = follow_symlink(nd)) < 0)
419                         return error;
420                 /* Turn off a possible DIRECTORY lookup, which could have been set
421                  * during the follow_symlink (a symlink could have had a directory at
422                  * the end), though it was in the middle of the real path. */
423                 nd->flags &= ~LOOKUP_DIRECTORY;
424                 if (!S_ISDIR(nd->dentry->d_inode->i_mode))
425                         return -ENOTDIR;
426 next_loop:
427                 /* move through the path string to the next entry */
428                 link = next_slash + 1;
429                 /* advance past any other interim slashes.  we know we won't hit the end
430                  * due to the for loop check above */
431                 while (*link == '/')
432                         link++;
433         }
434         /* Now, we're on the last link of the path.  We need to deal with with . and
435          * .. .  This might be weird with PARENT lookups - not sure what semantics
436          * we want exactly.  This will give the parent of whatever the PATH was
437          * supposed to look like.  Note that ND currently points to the parent of
438          * the last item (link). */
439         if (!strcmp(".", link)) {
440                 if (nd->flags & LOOKUP_PARENT) {
441                         assert(nd->dentry->d_name.name);
442                         stash_nd_name(nd, nd->dentry->d_name.name);
443                         climb_up(nd);
444                 }
445                 return 0;
446         }
447         if (!strcmp("..", link)) {
448                 climb_up(nd);
449                 if (nd->flags & LOOKUP_PARENT) {
450                         assert(nd->dentry->d_name.name);
451                         stash_nd_name(nd, nd->dentry->d_name.name);
452                         climb_up(nd);
453                 }
454                 return 0;
455         }
456         /* need to attempt to look it up, in case it's a symlink */
457         link_dentry = do_lookup(nd->dentry, link);
458         if (!link_dentry) {
459                 /* if there's no dentry, we are okay if we are looking for the parent */
460                 if (nd->flags & LOOKUP_PARENT) {
461                         assert(strcmp(link, ""));
462                         stash_nd_name(nd, link);
463                         return 0;
464                 } else {
465                         return -ENOENT;
466                 }
467         }
468         next_link(link_dentry, nd);
469         kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt'd dentry */
470         /* at this point, nd is on the final link, but it might be a symlink */
471         if (nd->flags & LOOKUP_FOLLOW) {
472                 error = follow_symlink(nd);
473                 if (error < 0)
474                         return error;
475                 /* if we actually followed a symlink, then nd is set and we're done */
476                 if (error > 0)
477                         return 0;
478         }
479         /* One way or another, nd is on the last element of the path, symlinks and
480          * all.  Now we need to climb up to set nd back on the parent, if that's
481          * what we wanted */
482         if (nd->flags & LOOKUP_PARENT) {
483                 assert(nd->dentry->d_name.name);
484                 stash_nd_name(nd, link_dentry->d_name.name);
485                 climb_up(nd);
486                 return 0;
487         }
488         /* now, we have the dentry set, and don't want the parent, but might be on a
489          * mountpoint still.  FYI: this hasn't been thought through completely. */
490         follow_mount(nd);
491         /* If we wanted a directory, but didn't get one, error out */
492         if ((nd->flags & LOOKUP_DIRECTORY) && !S_ISDIR(nd->dentry->d_inode->i_mode))
493                 return -ENOTDIR;
494         return 0;
495 }
496
497 /* Given path, return the inode for the final dentry.  The ND should be
498  * initialized for the first call - specifically, we need the intent.
499  * LOOKUP_PARENT and friends go in the flags var, which is not the intent.
500  *
501  * If path_lookup wants a PARENT, but hits the top of the FS (root or
502  * otherwise), we want it to error out.  It's still unclear how we want to
503  * handle processes with roots that aren't root, but at the very least, we don't
504  * want to think we have the parent of /, but have / itself.  Due to the way
505  * link_path_walk works, if that happened, we probably don't have a
506  * nd->last.name.  This needs more thought (TODO).
507  *
508  * Need to be careful too.  While the path has been copied-in to the kernel,
509  * it's still user input.  */
510 int path_lookup(char *path, int flags, struct nameidata *nd)
511 {
512         int retval;
513         printd("Path lookup for %s\n", path);
514         /* we allow absolute lookups with no process context */
515         /* TODO: RCU read lock on pwd or kref_not_zero in a loop.  concurrent chdir
516          * could decref nd->dentry before we get to incref it below. */
517         if (path[0] == '/') {                   /* absolute lookup */
518                 if (!current)
519                         nd->dentry = default_ns.root->mnt_root;
520                 else
521                         nd->dentry = current->fs_env.root;
522         } else {                                                /* relative lookup */
523                 assert(current);
524                 /* Don't need to lock on the fs_env since we're reading one item */
525                 nd->dentry = current->fs_env.pwd;
526         }
527         nd->mnt = nd->dentry->d_sb->s_mount;
528         /* Whenever references get put in the nd, incref them.  Whenever they are
529          * removed, decref them. */
530         kref_get(&nd->mnt->mnt_kref, 1);
531         kref_get(&nd->dentry->d_kref, 1);
532         nd->flags = flags;
533         nd->depth = 0;                                  /* used in symlink following */
534         retval =  link_path_walk(path, nd);
535         /* make sure our PARENT lookup worked */
536         if (!retval && (flags & LOOKUP_PARENT))
537                 assert(nd->last.name);
538         return retval;
539 }
540
541 /* Call this after any use of path_lookup when you are done with its results,
542  * regardless of whether it succeeded or not.  It will free any references */
543 void path_release(struct nameidata *nd)
544 {
545         kref_put(&nd->dentry->d_kref);
546         kref_put(&nd->mnt->mnt_kref);
547         /* Free the last symlink dentry used, if there was one */
548         if (nd->last_sym) {
549                 kref_put(&nd->last_sym->d_kref);
550                 nd->last_sym = 0;                       /* catch reuse bugs */
551         }
552 }
553
554 /* External version of mount, only call this after having a / mount */
555 int mount_fs(struct fs_type *fs, char *dev_name, char *path, int flags)
556 {
557         struct nameidata nd_r = {0}, *nd = &nd_r;
558         int retval = 0;
559         retval = path_lookup(path, LOOKUP_DIRECTORY, nd);
560         if (retval)
561                 goto out;
562         /* taking the namespace of the vfsmount of path */
563         if (!__mount_fs(fs, dev_name, nd->dentry, flags, nd->mnt->mnt_namespace))
564                 retval = -EINVAL;
565 out:
566         path_release(nd);
567         return retval;
568 }
569
570 /* Superblock functions */
571
572 /* Dentry "hash" function for the hash table to use.  Since we already have the
573  * hash in the qstr, we don't need to rehash.  Also, note we'll be using the
574  * dentry in question as both the key and the value. */
575 static size_t __dcache_hash(void *k)
576 {
577         return (size_t)((struct dentry*)k)->d_name.hash;
578 }
579
580 /* Dentry cache hashtable equality function.  This means we need to pass in some
581  * minimal dentry when doing a lookup. */
582 static ssize_t __dcache_eq(void *k1, void *k2)
583 {
584         if (((struct dentry*)k1)->d_parent != ((struct dentry*)k2)->d_parent)
585                 return 0;
586         /* TODO: use the FS-specific string comparison */
587         return !strcmp(((struct dentry*)k1)->d_name.name,
588                        ((struct dentry*)k2)->d_name.name);
589 }
590
591 /* Helper to alloc and initialize a generic superblock.  This handles all the
592  * VFS related things, like lists.  Each FS will need to handle its own things
593  * in its *_get_sb(), usually involving reading off the disc. */
594 struct super_block *get_sb(void)
595 {
596         struct super_block *sb = kmalloc(sizeof(struct super_block), 0);
597         sb->s_dirty = FALSE;
598         spinlock_init(&sb->s_lock);
599         kref_init(&sb->s_kref, fake_release, 1); /* for the ref passed out */
600         TAILQ_INIT(&sb->s_inodes);
601         TAILQ_INIT(&sb->s_dirty_i);
602         TAILQ_INIT(&sb->s_io_wb);
603         TAILQ_INIT(&sb->s_lru_d);
604         TAILQ_INIT(&sb->s_files);
605         sb->s_dcache = create_hashtable(100, __dcache_hash, __dcache_eq);
606         sb->s_icache = create_hashtable(100, __generic_hash, __generic_eq);
607         spinlock_init(&sb->s_lru_lock);
608         spinlock_init(&sb->s_dcache_lock);
609         spinlock_init(&sb->s_icache_lock);
610         sb->s_fs_info = 0; // can override somewhere else
611         return sb;
612 }
613
614 /* Final stages of initializing a super block, including creating and linking
615  * the root dentry, root inode, vmnt, and sb.  The d_op and root_ino are
616  * FS-specific, but otherwise its FS-independent, tricky, and not worth having
617  * around multiple times.
618  *
619  * Not the world's best interface, so it's subject to change, esp since we're
620  * passing (now 3) FS-specific things. */
621 void init_sb(struct super_block *sb, struct vfsmount *vmnt,
622              struct dentry_operations *d_op, unsigned long root_ino,
623              void *d_fs_info)
624 {
625         /* Build and init the first dentry / inode.  The dentry ref is stored later
626          * by vfsmount's mnt_root.  The parent is dealt with later. */
627         struct dentry *d_root = get_dentry_with_ops(sb, 0,  "/", d_op);
628
629         if (!d_root)
630                 panic("OOM!  init_sb() can't fail yet!");
631         /* a lot of here on down is normally done in lookup() or create, since
632          * get_dentry isn't a fully usable dentry.  The two FS-specific settings are
633          * normally inherited from a parent within the same FS in get_dentry, but we
634          * have none here. */
635         d_root->d_op = d_op;
636         d_root->d_fs_info = d_fs_info;
637         struct inode *inode = get_inode(d_root);
638         if (!inode)
639                 panic("This FS sucks!");
640         inode->i_ino = root_ino;
641         /* TODO: add the inode to the appropriate list (off i_list) */
642         /* TODO: do we need to read in the inode?  can we do this on demand? */
643         /* if this FS is already mounted, we'll need to do something different. */
644         sb->s_op->read_inode(inode);
645         icache_put(sb, inode);
646         /* Link the dentry and SB to the VFS mount */
647         vmnt->mnt_root = d_root;                                /* ref comes from get_dentry */
648         vmnt->mnt_sb = sb;
649         /* If there is no mount point, there is no parent.  This is true only for
650          * the rootfs. */
651         if (vmnt->mnt_mountpoint) {
652                 kref_get(&vmnt->mnt_mountpoint->d_kref, 1);     /* held by d_root */
653                 d_root->d_parent = vmnt->mnt_mountpoint;        /* dentry of the root */
654         } else {
655                 d_root->d_parent = d_root;                      /* set root as its own parent */
656         }
657         /* insert the dentry into the dentry cache.  when's the earliest we can?
658          * when's the earliest we should?  what about concurrent accesses to the
659          * same dentry?  should be locking the dentry... */
660         dcache_put(sb, d_root);
661         kref_put(&inode->i_kref);               /* give up the ref from get_inode() */
662 }
663
664 /* Dentry Functions */
665
666 static void dentry_set_name(struct dentry *dentry, char *name)
667 {
668         size_t name_len = strnlen(name, MAX_FILENAME_SZ);       /* not including \0! */
669         char *l_name = 0;
670         if (name_len < DNAME_INLINE_LEN) {
671                 strlcpy(dentry->d_iname, name, name_len + 1);
672                 qstr_builder(dentry, 0);
673         } else {
674                 l_name = kmalloc(name_len + 1, 0);
675                 assert(l_name);
676                 strlcpy(l_name, name, name_len + 1);
677                 qstr_builder(dentry, l_name);
678         }
679 }
680
681 /* Gets a dentry.  If there is no parent, use d_op.  Only called directly by
682  * superblock init code. */
683 struct dentry *get_dentry_with_ops(struct super_block *sb,
684                                    struct dentry *parent, char *name,
685                                    struct dentry_operations *d_op)
686 {
687         assert(name);
688         struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
689
690         if (!dentry) {
691                 set_errno(ENOMEM);
692                 return 0;
693         }
694         //memset(dentry, 0, sizeof(struct dentry));
695         kref_init(&dentry->d_kref, dentry_release, 1);  /* this ref is returned */
696         spinlock_init(&dentry->d_lock);
697         TAILQ_INIT(&dentry->d_subdirs);
698         dentry->d_time = 0;
699         kref_get(&sb->s_kref, 1);
700         dentry->d_sb = sb;                                      /* storing a ref here... */
701         dentry->d_mount_point = FALSE;
702         dentry->d_mounted_fs = 0;
703         if (parent)     {                                               /* no parent for rootfs mount */
704                 kref_get(&parent->d_kref, 1);
705                 dentry->d_op = parent->d_op;    /* d_op set in init_sb for parentless */
706         } else {
707                 dentry->d_op = d_op;
708         }
709         dentry->d_parent = parent;
710         dentry->d_flags = DENTRY_USED;
711         dentry->d_fs_info = 0;
712         dentry_set_name(dentry, name);
713         /* Catch bugs by aggressively zeroing this (o/w we use old stuff) */
714         dentry->d_inode = 0;
715         return dentry;
716 }
717
718 /* Helper to alloc and initialize a generic dentry.  The following needs to be
719  * set still: d_op (if no parent), d_fs_info (opt), d_inode, connect the inode
720  * to the dentry (and up the d_kref again), maybe dcache_put().  The inode
721  * stitching is done in get_inode() or lookup (depending on the FS).
722  * The setting of the d_op might be problematic when dealing with mounts.  Just
723  * overwrite it.
724  *
725  * If the name is longer than the inline name, it will kmalloc a buffer, so
726  * don't worry about the storage for *name after calling this. */
727 struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
728                           char *name)
729 {
730         return get_dentry_with_ops(sb, parent, name, 0);
731 }
732
733 /* Called when the dentry is unreferenced (after kref == 0).  This works closely
734  * with the resurrection in dcache_get().
735  *
736  * The dentry is still in the dcache, but needs to be un-USED and added to the
737  * LRU dentry list.  Even dentries that were used in a failed lookup need to be
738  * cached - they ought to be the negative dentries.  Note that all dentries have
739  * parents, even negative ones (it is needed to find it in the dcache). */
740 void dentry_release(struct kref *kref)
741 {
742         struct dentry *dentry = container_of(kref, struct dentry, d_kref);
743
744         printd("'Releasing' dentry %p: %s\n", dentry, dentry->d_name.name);
745         /* DYING dentries (recently unlinked / rmdir'd) just get freed */
746         if (dentry->d_flags & DENTRY_DYING) {
747                 __dentry_free(dentry);
748                 return;
749         }
750         /* This lock ensures the USED state and the TAILQ membership is in sync.
751          * Also used to check the refcnt, though that might not be necessary. */
752         spin_lock(&dentry->d_lock);
753         /* While locked, we need to double check the kref, in case someone already
754          * reup'd it.  Re-up? you're crazy!  Reee-up, you're outta yo mind! */
755         if (!kref_refcnt(&dentry->d_kref)) {
756                 /* Note this is where negative dentries get set UNUSED */
757                 if (dentry->d_flags & DENTRY_USED) {
758                         dentry->d_flags &= ~DENTRY_USED;
759                         spin_lock(&dentry->d_sb->s_lru_lock);
760                         TAILQ_INSERT_TAIL(&dentry->d_sb->s_lru_d, dentry, d_lru);
761                         spin_unlock(&dentry->d_sb->s_lru_lock);
762                 } else {
763                         /* and make sure it wasn't USED, then UNUSED again */
764                         /* TODO: think about issues with this */
765                         warn("This should be rare.  Tell brho this happened.");
766                 }
767         }
768         spin_unlock(&dentry->d_lock);
769 }
770
771 /* Called when we really dealloc and get rid of a dentry (like when it is
772  * removed from the dcache, either for memory or correctness reasons)
773  *
774  * This has to handle two types of dentries: full ones (ones that had been used)
775  * and ones that had been just for lookups - hence the check for d_inode.
776  *
777  * Note that dentries pin and kref their inodes.  When all the dentries are
778  * gone, we want the inode to be released via kref.  The inode has internal /
779  * weak references to the dentry, which are not refcounted. */
780 void __dentry_free(struct dentry *dentry)
781 {
782         if (dentry->d_inode)
783                 printd("Freeing dentry %p: %s\n", dentry, dentry->d_name.name);
784         assert(dentry->d_op);   /* catch bugs.  a while back, some lacked d_op */
785         dentry->d_op->d_release(dentry);
786         /* TODO: check/test the boundaries on this. */
787         if (dentry->d_name.len > DNAME_INLINE_LEN)
788                 kfree((void*)dentry->d_name.name);
789         kref_put(&dentry->d_sb->s_kref);
790         if (dentry->d_parent)
791                 kref_put(&dentry->d_parent->d_kref);
792         if (dentry->d_mounted_fs)
793                 kref_put(&dentry->d_mounted_fs->mnt_kref);
794         if (dentry->d_inode) {
795                 TAILQ_REMOVE(&dentry->d_inode->i_dentry, dentry, d_alias);
796                 kref_put(&dentry->d_inode->i_kref);     /* dentries kref inodes */
797         }
798         kmem_cache_free(dentry_kcache, dentry);
799 }
800
801 /* Looks up the dentry for the given path, returning a refcnt'd dentry (or 0).
802  * Permissions are applied for the current user, which is quite a broken system
803  * at the moment.  Flags are lookup flags. */
804 struct dentry *lookup_dentry(char *path, int flags)
805 {
806         struct dentry *dentry;
807         struct nameidata nd_r = {0}, *nd = &nd_r;
808         int error;
809
810         error = path_lookup(path, flags, nd);
811         if (error) {
812                 path_release(nd);
813                 set_errno(-error);
814                 return 0;
815         }
816         dentry = nd->dentry;
817         kref_get(&dentry->d_kref, 1);
818         path_release(nd);
819         return dentry;
820 }
821
822 /* Get a dentry from the dcache.  At a minimum, we need the name hash and parent
823  * in what_i_want, though most uses will probably be from a get_dentry() call.
824  * We pass in the SB in the off chance that we don't want to use a get'd dentry.
825  *
826  * The unusual variable name (instead of just "key" or something) is named after
827  * ex-SPC Castro's porn folder.  Caller deals with the memory for what_i_want.
828  *
829  * If the dentry is negative, we don't return the actual result - instead, we
830  * set the negative flag in 'what i want'.  The reason is we don't want to
831  * kref_get() and then immediately put (causing dentry_release()).  This also
832  * means that dentry_release() should never get someone who wasn't USED (barring
833  * the race, which it handles).  And we don't need to ever have a dentry set as
834  * USED and NEGATIVE (which is always wrong, but would be needed for a cleaner
835  * dentry_release()).
836  *
837  * This is where we do the "kref resurrection" - we are returning a kref'd
838  * object, even if it wasn't kref'd before.  This means the dcache does NOT hold
839  * krefs (it is a weak/internal ref), but it is a source of kref generation.  We
840  * sync up with the possible freeing of the dentry by locking the table.  See
841  * Doc/kref for more info. */
842 struct dentry *dcache_get(struct super_block *sb, struct dentry *what_i_want)
843 {
844         struct dentry *found;
845         /* This lock protects the hash, as well as ensures the returned object
846          * doesn't get deleted/freed out from under us */
847         spin_lock(&sb->s_dcache_lock);
848         found = hashtable_search(sb->s_dcache, what_i_want);
849         if (found) {
850                 if (found->d_flags & DENTRY_NEGATIVE) {
851                         what_i_want->d_flags |= DENTRY_NEGATIVE;
852                         spin_unlock(&sb->s_dcache_lock);
853                         return 0;
854                 }
855                 spin_lock(&found->d_lock);
856                 __kref_get(&found->d_kref, 1);  /* prob could be done outside the lock*/
857                 /* If we're here (after kreffing) and it is not USED, we are the one who
858                  * should resurrect */
859                 if (!(found->d_flags & DENTRY_USED)) {
860                         found->d_flags |= DENTRY_USED;
861                         spin_lock(&sb->s_lru_lock);
862                         TAILQ_REMOVE(&sb->s_lru_d, found, d_lru);
863                         spin_unlock(&sb->s_lru_lock);
864                 }
865                 spin_unlock(&found->d_lock);
866         }
867         spin_unlock(&sb->s_dcache_lock);
868         return found;
869 }
870
871 /* Adds a dentry to the dcache.  Note the *dentry is both the key and the value.
872  * If the value was already in there (which can happen iff it was negative), for
873  * now we'll remove it and put the new one in there. */
874 void dcache_put(struct super_block *sb, struct dentry *key_val)
875 {
876         struct dentry *old;
877         int retval;
878         spin_lock(&sb->s_dcache_lock);
879         old = hashtable_remove(sb->s_dcache, key_val);
880         /* if it is old and non-negative, our caller lost a race with someone else
881          * adding the dentry.  but since we yanked it out, like a bunch of idiots,
882          * we still have to put it back.  should be fairly rare. */
883         if (old && (old->d_flags & DENTRY_NEGATIVE)) {
884                 /* This is possible, but rare for now (about to be put on the LRU) */
885                 assert(!(old->d_flags & DENTRY_USED));
886                 assert(!kref_refcnt(&old->d_kref));
887                 spin_lock(&sb->s_lru_lock);
888                 TAILQ_REMOVE(&sb->s_lru_d, old, d_lru);
889                 spin_unlock(&sb->s_lru_lock);
890                 /* TODO: this seems suspect.  isn't this the same memory as key_val?
891                  * in which case, we just adjust the flags (remove NEG) and reinsert? */
892                 assert(old != key_val); // checking TODO comment
893                 __dentry_free(old);
894         }
895         /* this returns 0 on failure (TODO: Fix this ghetto shit) */
896         retval = hashtable_insert(sb->s_dcache, key_val, key_val);
897         assert(retval);
898         spin_unlock(&sb->s_dcache_lock);
899 }
900
901 /* Will remove and return the dentry.  Caller deallocs the key, but the retval
902  * won't have a reference.  * Returns 0 if it wasn't found.  Callers can't
903  * assume much - they should not use the reference they *get back*, (if they
904  * already had one for key, they can use that).  There may be other users out
905  * there. */
906 struct dentry *dcache_remove(struct super_block *sb, struct dentry *key)
907 {
908         struct dentry *retval;
909         spin_lock(&sb->s_dcache_lock);
910         retval = hashtable_remove(sb->s_dcache, key);
911         spin_unlock(&sb->s_dcache_lock);
912         return retval;
913 }
914
915 /* This will clean out the LRU list, which are the unused dentries of the dentry
916  * cache.  This will optionally only free the negative ones.  Note that we grab
917  * the hash lock for the time we traverse the LRU list - this prevents someone
918  * from getting a kref from the dcache, which could cause us trouble (we rip
919  * someone off the list, who isn't unused, and they try to rip them off the
920  * list). */
921 void dcache_prune(struct super_block *sb, bool negative_only)
922 {
923         struct dentry *d_i, *temp;
924         struct dentry_tailq victims = TAILQ_HEAD_INITIALIZER(victims);
925
926         spin_lock(&sb->s_dcache_lock);
927         spin_lock(&sb->s_lru_lock);
928         TAILQ_FOREACH_SAFE(d_i, &sb->s_lru_d, d_lru, temp) {
929                 if (!(d_i->d_flags & DENTRY_USED)) {
930                         if (negative_only && !(d_i->d_flags & DENTRY_NEGATIVE))
931                                 continue;
932                         /* another place where we'd be better off with tools, not sol'ns */
933                         hashtable_remove(sb->s_dcache, d_i);
934                         TAILQ_REMOVE(&sb->s_lru_d, d_i, d_lru);
935                         TAILQ_INSERT_HEAD(&victims, d_i, d_lru);
936                 }
937         }
938         spin_unlock(&sb->s_lru_lock);
939         spin_unlock(&sb->s_dcache_lock);
940         /* Now do the actual freeing, outside of the hash/LRU list locks.  This is
941          * necessary since __dentry_free() will decref its parent, which may get
942          * released and try to add itself to the LRU. */
943         TAILQ_FOREACH_SAFE(d_i, &victims, d_lru, temp) {
944                 TAILQ_REMOVE(&victims, d_i, d_lru);
945                 assert(!kref_refcnt(&d_i->d_kref));
946                 __dentry_free(d_i);
947         }
948         /* It is possible at this point that there are new items on the LRU.  We
949          * could loop back until that list is empty, if we care about this. */
950 }
951
952 /* Inode Functions */
953
954 /* Creates and initializes a new inode.  Generic fields are filled in.
955  * FS-specific fields are filled in by the callout.  Specific fields are filled
956  * in in read_inode() based on what's on the disk for a given i_no, or when the
957  * inode is created (for new objects).
958  *
959  * i_no is set by the caller.  Note that this means this inode can be for an
960  * inode that is already on disk, or it can be used when creating. */
961 struct inode *get_inode(struct dentry *dentry)
962 {
963         struct super_block *sb = dentry->d_sb;
964         /* FS allocs and sets the following: i_op, i_fop, i_pm.pm_op, and any FS
965          * specific stuff. */
966         struct inode *inode = sb->s_op->alloc_inode(sb);
967         if (!inode) {
968                 set_errno(ENOMEM);
969                 return 0;
970         }
971         TAILQ_INSERT_HEAD(&sb->s_inodes, inode, i_sb_list);             /* weak inode ref */
972         TAILQ_INIT(&inode->i_dentry);
973         TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);   /* weak dentry ref*/
974         /* one for the dentry->d_inode, one passed out */
975         kref_init(&inode->i_kref, inode_release, 2);
976         dentry->d_inode = inode;
977         inode->i_ino = 0;                                       /* set by caller later */
978         inode->i_blksize = sb->s_blocksize;
979         spinlock_init(&inode->i_lock);
980         kref_get(&sb->s_kref, 1);                       /* could allow the dentry to pin it */
981         inode->i_sb = sb;
982         inode->i_rdev = 0;                                      /* this has no real meaning yet */
983         inode->i_bdev = sb->s_bdev;                     /* storing an uncounted ref */
984         inode->i_state = 0;                                     /* need real states, like I_NEW */
985         inode->dirtied_when = 0;
986         inode->i_flags = 0;
987         atomic_set(&inode->i_writecount, 0);
988         /* Set up the page_map structures.  Default is to use the embedded one.
989          * Might push some of this back into specific FSs.  For now, the FS tells us
990          * what pm_op they want via i_pm.pm_op, which we set again in pm_init() */
991         inode->i_mapping = &inode->i_pm;
992         pm_init(inode->i_mapping, inode->i_pm.pm_op, inode);
993         return inode;
994 }
995
996 /* Helper: loads/ reads in the inode numbered ino and attaches it to dentry */
997 void load_inode(struct dentry *dentry, unsigned long ino)
998 {
999         struct inode *inode;
1000
1001         /* look it up in the inode cache first */
1002         inode = icache_get(dentry->d_sb, ino);
1003         if (inode) {
1004                 /* connect the dentry to its inode */
1005                 TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);
1006                 dentry->d_inode = inode;        /* storing the ref we got from icache_get */
1007                 return;
1008         }
1009         /* otherwise, we need to do it manually */
1010         inode = get_inode(dentry);
1011         inode->i_ino = ino;
1012         dentry->d_sb->s_op->read_inode(inode);
1013         /* TODO: race here, two creators could miss in the cache, and then get here.
1014          * need a way to sync across a blocking call.  needs to be either at this
1015          * point in the code or per the ino (dentries could be different) */
1016         icache_put(dentry->d_sb, inode);
1017         kref_put(&inode->i_kref);
1018 }
1019
1020 /* Helper op, used when creating regular files, directories, symlinks, etc.
1021  * Note we make a distinction between the mode and the file type (for now).
1022  * After calling this, call the FS specific version (create or mkdir), which
1023  * will set the i_ino, the filetype, and do any other FS-specific stuff.  Also
1024  * note that a lot of inode stuff was initialized in get_inode/alloc_inode.  The
1025  * stuff here is pertinent to the specific creator (user), mode, and time.  Also
1026  * note we don't pass this an nd, like Linux does... */
1027 static struct inode *create_inode(struct dentry *dentry, int mode)
1028 {
1029         struct timespec now = nsec2timespec(epoch_nsec());
1030         /* note it is the i_ino that uniquely identifies a file in the specific
1031          * filesystem.  there's a diff between creating an inode (even for an in-use
1032          * ino) and then filling it in, and vs creating a brand new one.
1033          * get_inode() sets it to 0, and it should be filled in later in an
1034          * FS-specific manner. */
1035         struct inode *inode = get_inode(dentry);
1036         if (!inode)
1037                 return 0;
1038         inode->i_mode = mode & S_PMASK; /* note that after this, we have no type */
1039         inode->i_nlink = 1;
1040         inode->i_size = 0;
1041         inode->i_blocks = 0;
1042         inode->i_atime.tv_sec = now.tv_sec;
1043         inode->i_ctime.tv_sec = now.tv_sec;
1044         inode->i_mtime.tv_sec = now.tv_sec;
1045         inode->i_atime.tv_nsec = now.tv_nsec;
1046         inode->i_ctime.tv_nsec = now.tv_nsec;
1047         inode->i_mtime.tv_nsec = now.tv_nsec;
1048         inode->i_bdev = inode->i_sb->s_bdev;
1049         /* when we have notions of users, do something here: */
1050         inode->i_uid = 0;
1051         inode->i_gid = 0;
1052         return inode;
1053 }
1054
1055 /* Create a new disk inode in dir associated with dentry, with the given mode.
1056  * called when creating a regular file.  dir is the directory/parent.  dentry is
1057  * the dentry of the inode we are creating.  Note the lack of the nd... */
1058 int create_file(struct inode *dir, struct dentry *dentry, int mode)
1059 {
1060         struct inode *new_file = create_inode(dentry, mode);
1061         if (!new_file)
1062                 return -1;
1063         dir->i_op->create(dir, dentry, mode, 0);
1064         icache_put(new_file->i_sb, new_file);
1065         kref_put(&new_file->i_kref);
1066         return 0;
1067 }
1068
1069 /* Creates a new inode for a directory associated with dentry in dir with the
1070  * given mode. */
1071 int create_dir(struct inode *dir, struct dentry *dentry, int mode)
1072 {
1073         struct inode *new_dir = create_inode(dentry, mode);
1074         if (!new_dir)
1075                 return -1;
1076         dir->i_op->mkdir(dir, dentry, mode);
1077         dir->i_nlink++;         /* Directories get a hardlink for every child dir */
1078         /* Make sure my parent tracks me.  This is okay, since no directory (dir)
1079          * can have more than one dentry */
1080         struct dentry *parent = TAILQ_FIRST(&dir->i_dentry);
1081         assert(parent && parent == TAILQ_LAST(&dir->i_dentry, dentry_tailq));
1082         /* parent dentry tracks dentry as a subdir, weak reference */
1083         TAILQ_INSERT_TAIL(&parent->d_subdirs, dentry, d_subdirs_link);
1084         icache_put(new_dir->i_sb, new_dir);
1085         kref_put(&new_dir->i_kref);
1086         return 0;
1087 }
1088
1089 /* Creates a new inode for a symlink associated with dentry in dir, containing
1090  * the symlink symname */
1091 int create_symlink(struct inode *dir, struct dentry *dentry,
1092                    const char *symname, int mode)
1093 {
1094         struct inode *new_sym = create_inode(dentry, mode);
1095         if (!new_sym)
1096                 return -1;
1097         dir->i_op->symlink(dir, dentry, symname);
1098         icache_put(new_sym->i_sb, new_sym);
1099         kref_put(&new_sym->i_kref);
1100         return 0;
1101 }
1102
1103 /* Returns 0 if the given mode is acceptable for the inode, and an appropriate
1104  * error code if not.  Needs to be writen, based on some sensible rules, and
1105  * will also probably use 'current' */
1106 int check_perms(struct inode *inode, int access_mode)
1107 {
1108         return 0;       /* anything goes! */
1109 }
1110
1111 /* Called after all external refs are gone to clean up the inode.  Once this is
1112  * called, all dentries pointing here are already done (one of them triggered
1113  * this via kref_put(). */
1114 void inode_release(struct kref *kref)
1115 {
1116         struct inode *inode = container_of(kref, struct inode, i_kref);
1117         TAILQ_REMOVE(&inode->i_sb->s_inodes, inode, i_sb_list);
1118         icache_remove(inode->i_sb, inode->i_ino);
1119         /* Might need to write back or delete the file/inode */
1120         if (inode->i_nlink) {
1121                 if (inode->i_state & I_STATE_DIRTY)
1122                         inode->i_sb->s_op->write_inode(inode, TRUE);
1123         } else {
1124                 inode->i_sb->s_op->delete_inode(inode);
1125         }
1126         if (S_ISFIFO(inode->i_mode)) {
1127                 page_decref(kva2page(inode->i_pipe->p_buf));
1128                 kfree(inode->i_pipe);
1129         }
1130         /* TODO: (BDEV) */
1131         // kref_put(inode->i_bdev->kref); /* assuming it's a bdev, could be a pipe*/
1132         /* Either way, we dealloc the in-memory version */
1133         inode->i_sb->s_op->dealloc_inode(inode);        /* FS-specific clean-up */
1134         kref_put(&inode->i_sb->s_kref);
1135         /* TODO: clean this up */
1136         assert(inode->i_mapping == &inode->i_pm);
1137         kmem_cache_free(inode_kcache, inode);
1138 }
1139
1140 /* Fills in kstat with the stat information for the inode */
1141 void stat_inode(struct inode *inode, struct kstat *kstat)
1142 {
1143         kstat->st_dev = inode->i_sb->s_dev;
1144         kstat->st_ino = inode->i_ino;
1145         kstat->st_mode = inode->i_mode;
1146         kstat->st_nlink = inode->i_nlink;
1147         kstat->st_uid = inode->i_uid;
1148         kstat->st_gid = inode->i_gid;
1149         kstat->st_rdev = inode->i_rdev;
1150         kstat->st_size = inode->i_size;
1151         kstat->st_blksize = inode->i_blksize;
1152         kstat->st_blocks = inode->i_blocks;
1153         kstat->st_atim = inode->i_atime;
1154         kstat->st_mtim = inode->i_mtime;
1155         kstat->st_ctim = inode->i_ctime;
1156 }
1157
1158 void print_kstat(struct kstat *kstat)
1159 {
1160         printk("kstat info for %p:\n", kstat);
1161         printk("\tst_dev    : %p\n", kstat->st_dev);
1162         printk("\tst_ino    : %p\n", kstat->st_ino);
1163         printk("\tst_mode   : %p\n", kstat->st_mode);
1164         printk("\tst_nlink  : %p\n", kstat->st_nlink);
1165         printk("\tst_uid    : %p\n", kstat->st_uid);
1166         printk("\tst_gid    : %p\n", kstat->st_gid);
1167         printk("\tst_rdev   : %p\n", kstat->st_rdev);
1168         printk("\tst_size   : %p\n", kstat->st_size);
1169         printk("\tst_blksize: %p\n", kstat->st_blksize);
1170         printk("\tst_blocks : %p\n", kstat->st_blocks);
1171         printk("\tst_atime  : %p\n", kstat->st_atim);
1172         printk("\tst_mtime  : %p\n", kstat->st_mtim);
1173         printk("\tst_ctime  : %p\n", kstat->st_ctim);
1174 }
1175
1176 /* Inode Cache management.  In general, search on the ino, get a refcnt'd value
1177  * back.  Remove does not give you a reference back - it should only be called
1178  * in inode_release(). */
1179 struct inode *icache_get(struct super_block *sb, unsigned long ino)
1180 {
1181         /* This is the same style as in pid2proc, it's the "safely create a strong
1182          * reference from a weak one, so long as other strong ones exist" pattern */
1183         spin_lock(&sb->s_icache_lock);
1184         struct inode *inode = hashtable_search(sb->s_icache, (void*)ino);
1185         if (inode)
1186                 if (!kref_get_not_zero(&inode->i_kref, 1))
1187                         inode = 0;
1188         spin_unlock(&sb->s_icache_lock);
1189         return inode;
1190 }
1191
1192 void icache_put(struct super_block *sb, struct inode *inode)
1193 {
1194         spin_lock(&sb->s_icache_lock);
1195         /* there's a race in load_ino() that could trigger this */
1196         assert(!hashtable_search(sb->s_icache, (void*)inode->i_ino));
1197         hashtable_insert(sb->s_icache, (void*)inode->i_ino, inode);
1198         spin_unlock(&sb->s_icache_lock);
1199 }
1200
1201 struct inode *icache_remove(struct super_block *sb, unsigned long ino)
1202 {
1203         struct inode *inode;
1204         /* Presumably these hashtable removals could be easier since callers
1205          * actually know who they are (same with the pid2proc hash) */
1206         spin_lock(&sb->s_icache_lock);
1207         inode = hashtable_remove(sb->s_icache, (void*)ino);
1208         spin_unlock(&sb->s_icache_lock);
1209         assert(inode && !kref_refcnt(&inode->i_kref));
1210         return inode;
1211 }
1212
1213 /* File functions */
1214
1215 /* Read count bytes from the file into buf, starting at *offset, which is
1216  * increased accordingly, returning the number of bytes transfered.  Most
1217  * filesystems will use this function for their f_op->read.
1218  * Note, this uses the page cache. */
1219 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
1220                           off64_t *offset)
1221 {
1222         struct page *page;
1223         int error;
1224         off64_t page_off;
1225         unsigned long first_idx, last_idx;
1226         size_t copy_amt;
1227         char *buf_end;
1228         /* read in offset, in case of a concurrent reader/writer, so we don't screw
1229          * up our math for count, the idxs, etc. */
1230         off64_t orig_off = ACCESS_ONCE(*offset);
1231
1232         /* Consider pushing some error checking higher in the VFS */
1233         if (!count)
1234                 return 0;
1235         if (!(file->f_flags & O_READ)) {
1236                 set_errno(EBADF);
1237                 return 0;
1238         }
1239         if (orig_off >= file->f_dentry->d_inode->i_size)
1240                 return 0; /* EOF */
1241         /* Make sure we don't go past the end of the file */
1242         if (orig_off + count > file->f_dentry->d_inode->i_size) {
1243                 count = file->f_dentry->d_inode->i_size - orig_off;
1244         }
1245         assert((long)count > 0);
1246         page_off = orig_off & (PGSIZE - 1);
1247         first_idx = orig_off >> PGSHIFT;
1248         last_idx = (orig_off + count) >> PGSHIFT;
1249         buf_end = buf + count;
1250         /* For each file page, make sure it's in the page cache, then copy it out.
1251          * TODO: will probably need to consider concurrently truncated files here.*/
1252         for (int i = first_idx; i <= last_idx; i++) {
1253                 error = pm_load_page(file->f_mapping, i, &page);
1254                 assert(!error); /* TODO: handle ENOMEM and friends */
1255                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1256                 /* TODO: (KFOP) Probably shouldn't do this.  Either memcpy directly, or
1257                  * split out the is_user_r(w)addr from copy_{to,from}_user() */
1258                 if (!is_ktask(per_cpu_info[core_id()].cur_kthread))
1259                         memcpy_to_user(current, buf, page2kva(page) + page_off, copy_amt);
1260                 else
1261                         memcpy(buf, page2kva(page) + page_off, copy_amt);
1262                 buf += copy_amt;
1263                 page_off = 0;
1264                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1265         }
1266         assert(buf == buf_end);
1267         /* could have concurrent file ops that screw with offset, so userspace isn't
1268          * safe.  but at least it'll be a value that one of the concurrent ops could
1269          * have produced (compared to *offset_changed_concurrently += count. */
1270         *offset = orig_off + count;
1271         return count;
1272 }
1273
1274 /* Write count bytes from buf to the file, starting at *offset, which is
1275  * increased accordingly, returning the number of bytes transfered.  Most
1276  * filesystems will use this function for their f_op->write.  Note, this uses
1277  * the page cache.
1278  *
1279  * Changes don't get flushed to disc til there is an fsync, page cache eviction,
1280  * or other means of trying to writeback the pages. */
1281 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
1282                            off64_t *offset)
1283 {
1284         struct page *page;
1285         int error;
1286         off64_t page_off;
1287         unsigned long first_idx, last_idx;
1288         size_t copy_amt;
1289         const char *buf_end;
1290         off64_t orig_off = ACCESS_ONCE(*offset);
1291
1292         /* Consider pushing some error checking higher in the VFS */
1293         if (!count)
1294                 return 0;
1295         if (!(file->f_flags & O_WRITE)) {
1296                 set_errno(EBADF);
1297                 return 0;
1298         }
1299         if (file->f_flags & O_APPEND) {
1300                 spin_lock(&file->f_dentry->d_inode->i_lock);
1301                 orig_off = file->f_dentry->d_inode->i_size;
1302                 /* setting the filesize here, instead of during the extend-check, since
1303                  * we need to atomically reserve space and set our write position. */
1304                 file->f_dentry->d_inode->i_size += count;
1305                 spin_unlock(&file->f_dentry->d_inode->i_lock);
1306         } else {
1307                 if (orig_off + count > file->f_dentry->d_inode->i_size) {
1308                         /* lock for writes to i_size.  we allow lockless reads.  recheck
1309                          * i_size in case of concurrent writers since our orig check.  */
1310                         spin_lock(&file->f_dentry->d_inode->i_lock);
1311                         if (orig_off + count > file->f_dentry->d_inode->i_size)
1312                                 file->f_dentry->d_inode->i_size = orig_off + count;
1313                         spin_unlock(&file->f_dentry->d_inode->i_lock);
1314                 }
1315         }
1316         page_off = orig_off & (PGSIZE - 1);
1317         first_idx = orig_off >> PGSHIFT;
1318         last_idx = (orig_off + count) >> PGSHIFT;
1319         buf_end = buf + count;
1320         /* For each file page, make sure it's in the page cache, then write it.*/
1321         for (int i = first_idx; i <= last_idx; i++) {
1322                 error = pm_load_page(file->f_mapping, i, &page);
1323                 assert(!error); /* TODO: handle ENOMEM and friends */
1324                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1325                 /* TODO: (UMEM) (KFOP) think about this. */
1326                 if (!is_ktask(per_cpu_info[core_id()].cur_kthread))
1327                         memcpy_from_user(current, page2kva(page) + page_off, buf, copy_amt);
1328                 else
1329                         memcpy(page2kva(page) + page_off, buf, copy_amt);
1330                 buf += copy_amt;
1331                 page_off = 0;
1332                 atomic_or(&page->pg_flags, PG_DIRTY);
1333                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1334         }
1335         assert(buf == buf_end);
1336         *offset = orig_off + count;
1337         return count;
1338 }
1339
1340 /* Directories usually use this for their read method, which is the way glibc
1341  * currently expects us to do a readdir (short of doing linux's getdents).  Will
1342  * probably need work, based on whatever real programs want. */
1343 ssize_t generic_dir_read(struct file *file, char *u_buf, size_t count,
1344                          off64_t *offset)
1345 {
1346         struct kdirent dir_r = {0}, *dirent = &dir_r;
1347         int retval = 1;
1348         size_t amt_copied = 0;
1349         char *buf_end = u_buf + count;
1350
1351         if (!S_ISDIR(file->f_dentry->d_inode->i_mode)) {
1352                 set_errno(ENOTDIR);
1353                 return -1;
1354         }
1355         if (!count)
1356                 return 0;
1357         if (!(file->f_flags & O_READ)) {
1358                 set_errno(EBADF);
1359                 return 0;
1360         }
1361         /* start readdir from where it left off: */
1362         dirent->d_off = *offset;
1363         for (   ;
1364                 u_buf + sizeof(struct kdirent) <= buf_end;
1365                 u_buf += sizeof(struct kdirent)) {
1366                 /* TODO: UMEM/KFOP (pin the u_buf in the syscall, ditch the local copy,
1367                  * get rid of this memcpy and reliance on current, etc).  Might be
1368                  * tricky with the dirent->d_off and trust issues */
1369                 retval = file->f_op->readdir(file, dirent);
1370                 if (retval < 0) {
1371                         set_errno(-retval);
1372                         break;
1373                 }
1374                 /* Slight info exposure: could be extra crap after the name in the
1375                  * dirent (like the name of a deleted file) */
1376                 if (!is_ktask(per_cpu_info[core_id()].cur_kthread))
1377                         memcpy_to_user(current, u_buf, dirent, sizeof(struct dirent));
1378                 else
1379                         memcpy(u_buf, dirent, sizeof(struct dirent));
1380                 amt_copied += sizeof(struct dirent);
1381                 /* 0 signals end of directory */
1382                 if (retval == 0)
1383                         break;
1384         }
1385         /* Next time read is called, we pick up where we left off */
1386         *offset = dirent->d_off;        /* UMEM */
1387         /* important to tell them how much they got.  they often keep going til they
1388          * get 0 back (in the case of ls).  It's also how much has been read, but it
1389          * isn't how much the f_pos has moved (which is opaque to the VFS). */
1390         return amt_copied;
1391 }
1392
1393 /* Opens the file, using permissions from current for lack of a better option.
1394  * It will attempt to create the file if it does not exist and O_CREAT is
1395  * specified.  This will return 0 on failure, and set errno.  TODO: There's some
1396  * stuff that we don't do, esp related file truncating/creation.  flags are for
1397  * opening, the mode is for creating.  The flags related to how to create
1398  * (O_CREAT_FLAGS) are handled in this function, not in create_file().
1399  *
1400  * It's tempting to split this into a do_file_create and a do_file_open, based
1401  * on the O_CREAT flag, but the O_CREAT flag can be ignored if the file exists
1402  * already and O_EXCL isn't specified.  We could have open call create if it
1403  * fails, but for now we'll keep it as is. */
1404 struct file *do_file_open(char *path, int flags, int mode)
1405 {
1406         struct file *file = 0;
1407         struct dentry *file_d;
1408         struct inode *parent_i;
1409         struct nameidata nd_r = {0}, *nd = &nd_r;
1410         int error;
1411         unsigned long nr_pages;
1412
1413         /* The file might exist, lets try to just open it right away */
1414         nd->intent = LOOKUP_OPEN;
1415         error = path_lookup(path, LOOKUP_FOLLOW, nd);
1416         if (!error) {
1417                 if (S_ISDIR(nd->dentry->d_inode->i_mode) && (flags & O_WRITE)) {
1418                         set_errno(EISDIR);
1419                         goto out_path_only;
1420                 }
1421                 /* Also need to make sure we didn't want to O_EXCL create */
1422                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1423                         set_errno(EEXIST);
1424                         goto out_path_only;
1425                 }
1426                 file_d = nd->dentry;
1427                 kref_get(&file_d->d_kref, 1);
1428                 goto open_the_file;
1429         }
1430         if (!(flags & O_CREAT)) {
1431                 set_errno(-error);
1432                 goto out_path_only;
1433         }
1434         /* So it didn't already exist, release the path from the previous lookup,
1435          * and then we try to create it. */
1436         path_release(nd);
1437         /* get the parent, following links.  this means you get the parent of the
1438          * final link (which may not be in 'path' in the first place. */
1439         nd->intent = LOOKUP_CREATE;
1440         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1441         if (error) {
1442                 set_errno(-error);
1443                 goto out_path_only;
1444         }
1445         /* see if the target is there (shouldn't be), and handle accordingly */
1446         file_d = do_lookup(nd->dentry, nd->last.name);
1447         if (!file_d) {
1448                 if (!(flags & O_CREAT)) {
1449                         warn("Extremely unlikely race, probably a bug");
1450                         set_errno(ENOENT);
1451                         goto out_path_only;
1452                 }
1453                 /* Create the inode/file.  get a fresh dentry too: */
1454                 file_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1455                 if (!file_d)
1456                         goto out_path_only;
1457                 parent_i = nd->dentry->d_inode;
1458                 /* Note that the mode technically should only apply to future opens,
1459                  * but we apply it immediately. */
1460                 if (create_file(parent_i, file_d, mode))        /* sets errno */
1461                         goto out_file_d;
1462                 dcache_put(file_d->d_sb, file_d);
1463         } else {        /* something already exists */
1464                 /* this can happen due to concurrent access, but needs to be thought
1465                  * through */
1466                 panic("File shouldn't be here!");
1467                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1468                         /* wanted to create, not open, bail out */
1469                         set_errno(EEXIST);
1470                         goto out_file_d;
1471                 }
1472         }
1473 open_the_file:
1474         /* now open the file (freshly created or if it already existed).  At this
1475          * point, file_d is a refcnt'd dentry, regardless of which branch we took.*/
1476         if (flags & O_TRUNC) {
1477                 spin_lock(&file_d->d_inode->i_lock);
1478                 nr_pages = ROUNDUP(file_d->d_inode->i_size, PGSIZE) >> PGSHIFT;
1479                 file_d->d_inode->i_size = 0;
1480                 spin_unlock(&file_d->d_inode->i_lock);
1481                 pm_remove_contig(file_d->d_inode->i_mapping, 0, nr_pages);
1482         }
1483         file = dentry_open(file_d, flags);                              /* sets errno */
1484         /* Note the fall through to the exit paths.  File is 0 by default and if
1485          * dentry_open fails. */
1486 out_file_d:
1487         kref_put(&file_d->d_kref);
1488 out_path_only:
1489         path_release(nd);
1490         return file;
1491 }
1492
1493 /* Path is the location of the symlink, sometimes called the "new path", and
1494  * symname is who we link to, sometimes called the "old path". */
1495 int do_symlink(char *path, const char *symname, int mode)
1496 {
1497         struct dentry *sym_d;
1498         struct inode *parent_i;
1499         struct nameidata nd_r = {0}, *nd = &nd_r;
1500         int error;
1501         int retval = -1;
1502
1503         nd->intent = LOOKUP_CREATE;
1504         /* get the parent, but don't follow links */
1505         error = path_lookup(path, LOOKUP_PARENT, nd);
1506         if (error) {
1507                 set_errno(-error);
1508                 goto out_path_only;
1509         }
1510         /* see if the target is already there, handle accordingly */
1511         sym_d = do_lookup(nd->dentry, nd->last.name);
1512         if (sym_d) {
1513                 set_errno(EEXIST);
1514                 goto out_sym_d;
1515         }
1516         /* Doesn't already exist, let's try to make it: */
1517         sym_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1518         if (!sym_d)
1519                 goto out_path_only;
1520         parent_i = nd->dentry->d_inode;
1521         if (create_symlink(parent_i, sym_d, symname, mode))
1522                 goto out_sym_d;
1523         dcache_put(sym_d->d_sb, sym_d);
1524         retval = 0;                             /* Note the fall through to the exit paths */
1525 out_sym_d:
1526         kref_put(&sym_d->d_kref);
1527 out_path_only:
1528         path_release(nd);
1529         return retval;
1530 }
1531
1532 /* Makes a hard link for the file behind old_path to new_path */
1533 int do_link(char *old_path, char *new_path)
1534 {
1535         struct dentry *link_d, *old_d;
1536         struct inode *inode, *parent_dir;
1537         struct nameidata nd_r = {0}, *nd = &nd_r;
1538         int error;
1539         int retval = -1;
1540
1541         nd->intent = LOOKUP_CREATE;
1542         /* get the absolute parent of the new_path */
1543         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1544         if (error) {
1545                 set_errno(-error);
1546                 goto out_path_only;
1547         }
1548         parent_dir = nd->dentry->d_inode;
1549         /* see if the new target is already there, handle accordingly */
1550         link_d = do_lookup(nd->dentry, nd->last.name);
1551         if (link_d) {
1552                 set_errno(EEXIST);
1553                 goto out_link_d;
1554         }
1555         /* Doesn't already exist, let's try to make it.  Still need to stitch it to
1556          * an inode and set its FS-specific stuff after this.*/
1557         link_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1558         if (!link_d)
1559                 goto out_path_only;
1560         /* Now let's get the old_path target */
1561         old_d = lookup_dentry(old_path, LOOKUP_FOLLOW);
1562         if (!old_d)                                     /* errno set by lookup_dentry */
1563                 goto out_link_d;
1564         /* For now, can only link to files */
1565         if (!S_ISREG(old_d->d_inode->i_mode)) {
1566                 set_errno(EPERM);
1567                 goto out_both_ds;
1568         }
1569         /* Must be on the same FS */
1570         if (old_d->d_sb != link_d->d_sb) {
1571                 set_errno(EXDEV);
1572                 goto out_both_ds;
1573         }
1574         /* Do whatever FS specific stuff there is first (which is also a chance to
1575          * bail out). */
1576         error = parent_dir->i_op->link(old_d, parent_dir, link_d);
1577         if (error) {
1578                 set_errno(-error);
1579                 goto out_both_ds;
1580         }
1581         /* Finally stitch it up */
1582         inode = old_d->d_inode;
1583         kref_get(&inode->i_kref, 1);
1584         link_d->d_inode = inode;
1585         inode->i_nlink++;
1586         TAILQ_INSERT_TAIL(&inode->i_dentry, link_d, d_alias);   /* weak ref */
1587         dcache_put(link_d->d_sb, link_d);
1588         retval = 0;                             /* Note the fall through to the exit paths */
1589 out_both_ds:
1590         kref_put(&old_d->d_kref);
1591 out_link_d:
1592         kref_put(&link_d->d_kref);
1593 out_path_only:
1594         path_release(nd);
1595         return retval;
1596 }
1597
1598 /* Unlinks path from the directory tree.  Read the Documentation for more info.
1599  */
1600 int do_unlink(char *path)
1601 {
1602         struct dentry *dentry;
1603         struct inode *parent_dir;
1604         struct nameidata nd_r = {0}, *nd = &nd_r;
1605         int error;
1606         int retval = -1;
1607
1608         /* get the parent of the target, and don't follow a final link */
1609         error = path_lookup(path, LOOKUP_PARENT, nd);
1610         if (error) {
1611                 set_errno(-error);
1612                 goto out_path_only;
1613         }
1614         parent_dir = nd->dentry->d_inode;
1615         /* make sure the target is there */
1616         dentry = do_lookup(nd->dentry, nd->last.name);
1617         if (!dentry) {
1618                 set_errno(ENOENT);
1619                 goto out_path_only;
1620         }
1621         /* Make sure the target is not a directory */
1622         if (S_ISDIR(dentry->d_inode->i_mode)) {
1623                 set_errno(EISDIR);
1624                 goto out_dentry;
1625         }
1626         /* Remove the dentry from its parent */
1627         error = parent_dir->i_op->unlink(parent_dir, dentry);
1628         if (error) {
1629                 set_errno(-error);
1630                 goto out_dentry;
1631         }
1632         /* Now that our parent doesn't track us, we need to make sure we aren't
1633          * findable via the dentry cache.  DYING, so we will be freed in
1634          * dentry_release() */
1635         dentry->d_flags |= DENTRY_DYING;
1636         dcache_remove(dentry->d_sb, dentry);
1637         dentry->d_inode->i_nlink--;     /* TODO: race here, esp with a decref */
1638         /* At this point, the dentry is unlinked from the FS, and the inode has one
1639          * less link.  When the in-memory objects (dentry, inode) are going to be
1640          * released (after all open files are closed, and maybe after entries are
1641          * evicted from the cache), then nlinks will get checked and the FS-file
1642          * will get removed from the disk */
1643         retval = 0;                             /* Note the fall through to the exit paths */
1644 out_dentry:
1645         kref_put(&dentry->d_kref);
1646 out_path_only:
1647         path_release(nd);
1648         return retval;
1649 }
1650
1651 /* Checks to see if path can be accessed via mode.  Need to actually send the
1652  * mode along somehow, so this doesn't do much now.  This is an example of
1653  * decent error propagation from the lower levels via int retvals. */
1654 int do_access(char *path, int mode)
1655 {
1656         struct nameidata nd_r = {0}, *nd = &nd_r;
1657         int retval = 0;
1658         nd->intent = LOOKUP_ACCESS;
1659         retval = path_lookup(path, 0, nd);
1660         path_release(nd);
1661         return retval;
1662 }
1663
1664 int do_file_chmod(struct file *file, int mode)
1665 {
1666         int old_mode_ftype = file->f_dentry->d_inode->i_mode & __S_IFMT;
1667         #if 0
1668         /* TODO: when we have notions of uid, check for the proc's uid */
1669         if (file->f_dentry->d_inode->i_uid != UID_OF_ME)
1670                 retval = -EPERM;
1671         else
1672         #endif
1673                 file->f_dentry->d_inode->i_mode = (mode & S_PMASK) | old_mode_ftype;
1674         return 0;
1675 }
1676
1677 /* Make a directory at path with mode.  Returns -1 and sets errno on errors */
1678 int do_mkdir(char *path, int mode)
1679 {
1680         struct dentry *dentry;
1681         struct inode *parent_i;
1682         struct nameidata nd_r = {0}, *nd = &nd_r;
1683         int error;
1684         int retval = -1;
1685
1686         /* The dir might exist and might be /, so we can't look for the parent */
1687         nd->intent = LOOKUP_OPEN;
1688         error = path_lookup(path, LOOKUP_FOLLOW, nd);
1689         path_release(nd);
1690         if (!error) {
1691                 set_errno(EEXIST);
1692                 return -1;
1693         }
1694         nd->intent = LOOKUP_CREATE;
1695         /* get the parent, but don't follow links */
1696         error = path_lookup(path, LOOKUP_PARENT, nd);
1697         if (error) {
1698                 set_errno(-error);
1699                 goto out_path_only;
1700         }
1701         /* Doesn't already exist, let's try to make it: */
1702         dentry = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1703         if (!dentry)
1704                 goto out_path_only;
1705         parent_i = nd->dentry->d_inode;
1706         if (create_dir(parent_i, dentry, mode))
1707                 goto out_dentry;
1708         dcache_put(dentry->d_sb, dentry);
1709         retval = 0;                             /* Note the fall through to the exit paths */
1710 out_dentry:
1711         kref_put(&dentry->d_kref);
1712 out_path_only:
1713         path_release(nd);
1714         return retval;
1715 }
1716
1717 int do_rmdir(char *path)
1718 {
1719         struct dentry *dentry;
1720         struct inode *parent_i;
1721         struct nameidata nd_r = {0}, *nd = &nd_r;
1722         int error;
1723         int retval = -1;
1724
1725         /* get the parent, following links (probably want this), and we must get a
1726          * directory.  Note, current versions of path_lookup can't handle both
1727          * PARENT and DIRECTORY, at least, it doesn't check that *path is a
1728          * directory. */
1729         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW | LOOKUP_DIRECTORY,
1730                             nd);
1731         if (error) {
1732                 set_errno(-error);
1733                 goto out_path_only;
1734         }
1735         /* make sure the target is already there, handle accordingly */
1736         dentry = do_lookup(nd->dentry, nd->last.name);
1737         if (!dentry) {
1738                 set_errno(ENOENT);
1739                 goto out_path_only;
1740         }
1741         if (!S_ISDIR(dentry->d_inode->i_mode)) {
1742                 set_errno(ENOTDIR);
1743                 goto out_dentry;
1744         }
1745         if (dentry->d_mount_point) {
1746                 set_errno(EBUSY);
1747                 goto out_dentry;
1748         }
1749         /* TODO: make sure we aren't a mount or processes root (EBUSY) */
1750         /* Now for the removal.  the FSs will check if they are empty */
1751         parent_i = nd->dentry->d_inode;
1752         error = parent_i->i_op->rmdir(parent_i, dentry);
1753         if (error < 0) {
1754                 set_errno(-error);
1755                 goto out_dentry;
1756         }
1757         /* Now that our parent doesn't track us, we need to make sure we aren't
1758          * findable via the dentry cache.  DYING, so we will be freed in
1759          * dentry_release() */
1760         dentry->d_flags |= DENTRY_DYING;
1761         dcache_remove(dentry->d_sb, dentry);
1762         /* Decref ourselves, so inode_release() knows we are done */
1763         dentry->d_inode->i_nlink--;
1764         TAILQ_REMOVE(&nd->dentry->d_subdirs, dentry, d_subdirs_link);
1765         parent_i->i_nlink--;            /* TODO: race on this, esp since its a decref */
1766         /* we still have d_parent and a kref on our parent, which will go away when
1767          * the in-memory dentry object goes away. */
1768         retval = 0;                             /* Note the fall through to the exit paths */
1769 out_dentry:
1770         kref_put(&dentry->d_kref);
1771 out_path_only:
1772         path_release(nd);
1773         return retval;
1774 }
1775
1776 /* Pipes: Doing a simple buffer with reader and writer offsets.  Size is power
1777  * of two, so we can easily compute its status and whatnot. */
1778
1779 #define PIPE_SZ                                 (1 << PGSHIFT)
1780
1781 static size_t pipe_get_rd_idx(struct pipe_inode_info *pii)
1782 {
1783         return pii->p_rd_off & (PIPE_SZ - 1);
1784 }
1785
1786 static size_t pipe_get_wr_idx(struct pipe_inode_info *pii)
1787 {
1788
1789         return pii->p_wr_off & (PIPE_SZ - 1);
1790 }
1791
1792 static bool pipe_is_empty(struct pipe_inode_info *pii)
1793 {
1794         return __ring_empty(pii->p_wr_off, pii->p_rd_off);
1795 }
1796
1797 static bool pipe_is_full(struct pipe_inode_info *pii)
1798 {
1799         return __ring_full(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1800 }
1801
1802 static size_t pipe_nr_full(struct pipe_inode_info *pii)
1803 {
1804         return __ring_nr_full(pii->p_wr_off, pii->p_rd_off);
1805 }
1806
1807 static size_t pipe_nr_empty(struct pipe_inode_info *pii)
1808 {
1809         return __ring_nr_empty(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1810 }
1811
1812 ssize_t pipe_file_read(struct file *file, char *buf, size_t count,
1813                        off64_t *offset)
1814 {
1815         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1816         size_t copy_amt, amt_copied = 0;
1817
1818         cv_lock(&pii->p_cv);
1819         while (pipe_is_empty(pii)) {
1820                 /* We wait til the pipe is drained before sending EOF if there are no
1821                  * writers (instead of aborting immediately) */
1822                 if (!pii->p_nr_writers) {
1823                         cv_unlock(&pii->p_cv);
1824                         return 0;
1825                 }
1826                 if (file->f_flags & O_NONBLOCK) {
1827                         cv_unlock(&pii->p_cv);
1828                         set_errno(EAGAIN);
1829                         return -1;
1830                 }
1831                 cv_wait(&pii->p_cv);
1832                 cpu_relax();
1833         }
1834         /* We might need to wrap-around with our copy, so we'll do the copy in two
1835          * passes.  This will copy up to the end of the buffer, then on the next
1836          * pass will copy the rest to the beginning of the buffer (if necessary) */
1837         for (int i = 0; i < 2; i++) {
1838                 copy_amt = MIN(PIPE_SZ - pipe_get_rd_idx(pii),
1839                                MIN(pipe_nr_full(pii), count));
1840                 assert(current);        /* shouldn't pipe from the kernel */
1841                 memcpy_to_user(current, buf, pii->p_buf + pipe_get_rd_idx(pii),
1842                                copy_amt);
1843                 buf += copy_amt;
1844                 count -= copy_amt;
1845                 pii->p_rd_off += copy_amt;
1846                 amt_copied += copy_amt;
1847         }
1848         /* Just using one CV for both readers and writers.  We should rarely have
1849          * multiple readers or writers. */
1850         if (amt_copied)
1851                 __cv_broadcast(&pii->p_cv);
1852         cv_unlock(&pii->p_cv);
1853         return amt_copied;
1854 }
1855
1856 /* Note: we're not dealing with PIPE_BUF and minimum atomic chunks, unless I
1857  * have to later. */
1858 ssize_t pipe_file_write(struct file *file, const char *buf, size_t count,
1859                         off64_t *offset)
1860 {
1861         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1862         size_t copy_amt, amt_copied = 0;
1863
1864         cv_lock(&pii->p_cv);
1865         /* Write aborts right away if there are no readers, regardless of pipe
1866          * status. */
1867         if (!pii->p_nr_readers) {
1868                 cv_unlock(&pii->p_cv);
1869                 set_errno(EPIPE);
1870                 return -1;
1871         }
1872         while (pipe_is_full(pii)) {
1873                 if (file->f_flags & O_NONBLOCK) {
1874                         cv_unlock(&pii->p_cv);
1875                         set_errno(EAGAIN);
1876                         return -1;
1877                 }
1878                 cv_wait(&pii->p_cv);
1879                 cpu_relax();
1880                 /* Still need to check in the loop, in case the last reader left while
1881                  * we slept. */
1882                 if (!pii->p_nr_readers) {
1883                         cv_unlock(&pii->p_cv);
1884                         set_errno(EPIPE);
1885                         return -1;
1886                 }
1887         }
1888         /* We might need to wrap-around with our copy, so we'll do the copy in two
1889          * passes.  This will copy up to the end of the buffer, then on the next
1890          * pass will copy the rest to the beginning of the buffer (if necessary) */
1891         for (int i = 0; i < 2; i++) {
1892                 copy_amt = MIN(PIPE_SZ - pipe_get_wr_idx(pii),
1893                                MIN(pipe_nr_empty(pii), count));
1894                 assert(current);        /* shouldn't pipe from the kernel */
1895                 memcpy_from_user(current, pii->p_buf + pipe_get_wr_idx(pii), buf,
1896                                  copy_amt);
1897                 buf += copy_amt;
1898                 count -= copy_amt;
1899                 pii->p_wr_off += copy_amt;
1900                 amt_copied += copy_amt;
1901         }
1902         /* Just using one CV for both readers and writers.  We should rarely have
1903          * multiple readers or writers. */
1904         if (amt_copied)
1905                 __cv_broadcast(&pii->p_cv);
1906         cv_unlock(&pii->p_cv);
1907         return amt_copied;
1908 }
1909
1910 /* In open and release, we need to track the number of readers and writers,
1911  * which we can differentiate by the file flags. */
1912 int pipe_open(struct inode *inode, struct file *file)
1913 {
1914         struct pipe_inode_info *pii = inode->i_pipe;
1915         cv_lock(&pii->p_cv);
1916         /* Ugliness due to not using flags for O_RDONLY and friends... */
1917         if (file->f_mode == S_IRUSR) {
1918                 pii->p_nr_readers++;
1919         } else if (file->f_mode == S_IWUSR) {
1920                 pii->p_nr_writers++;
1921         } else {
1922                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1923         }
1924         cv_unlock(&pii->p_cv);
1925         return 0;
1926 }
1927
1928 int pipe_release(struct inode *inode, struct file *file)
1929 {
1930         struct pipe_inode_info *pii = inode->i_pipe;
1931         cv_lock(&pii->p_cv);
1932         /* Ugliness due to not using flags for O_RDONLY and friends... */
1933         if (file->f_mode == S_IRUSR) {
1934                 pii->p_nr_readers--;
1935         } else if (file->f_mode == S_IWUSR) {
1936                 pii->p_nr_writers--;
1937         } else {
1938                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1939         }
1940         /* need to wake up any sleeping readers/writers, since we might be done */
1941         __cv_broadcast(&pii->p_cv);
1942         cv_unlock(&pii->p_cv);
1943         return 0;
1944 }
1945
1946 struct file_operations pipe_f_op = {
1947         .read = pipe_file_read,
1948         .write = pipe_file_write,
1949         .open = pipe_open,
1950         .release = pipe_release,
1951         0
1952 };
1953
1954 void pipe_debug(struct file *f)
1955 {
1956         struct pipe_inode_info *pii = f->f_dentry->d_inode->i_pipe;
1957         assert(pii);
1958         printk("PIPE %p\n", pii);
1959         printk("\trdoff %p\n", pii->p_rd_off);
1960         printk("\twroff %p\n", pii->p_wr_off);
1961         printk("\tnr_rds %d\n", pii->p_nr_readers);
1962         printk("\tnr_wrs %d\n", pii->p_nr_writers);
1963         printk("\tcv waiters %d\n", pii->p_cv.nr_waiters);
1964
1965 }
1966
1967 /* General plan: get a dentry/inode to represent the pipe.  We'll alloc it from
1968  * the default_ns SB, but won't actually link it anywhere.  It'll only be held
1969  * alive by the krefs, til all the FDs are closed. */
1970 int do_pipe(struct file **pipe_files, int flags)
1971 {
1972         struct dentry *pipe_d;
1973         struct inode *pipe_i;
1974         struct file *pipe_f_read, *pipe_f_write;
1975         struct super_block *def_sb = default_ns.root->mnt_sb;
1976         struct pipe_inode_info *pii;
1977
1978         pipe_d = get_dentry(def_sb, 0, "pipe");
1979         if (!pipe_d)
1980                 return -1;
1981         pipe_d->d_op = &dummy_d_op;
1982         pipe_i = get_inode(pipe_d);
1983         if (!pipe_i)
1984                 goto error_post_dentry;
1985         /* preemptively mark the dentry for deletion.  we have an unlinked dentry
1986          * right off the bat, held in only by the kref chain (pipe_d is the ref). */
1987         pipe_d->d_flags |= DENTRY_DYING;
1988         /* pipe_d->d_inode still has one ref to pipe_i, keeping the inode alive */
1989         kref_put(&pipe_i->i_kref);
1990         /* init inode fields.  note we're using the dummy ops for i_op and d_op */
1991         pipe_i->i_mode = S_IRWXU | S_IRWXG | S_IRWXO;
1992         SET_FTYPE(pipe_i->i_mode, __S_IFIFO);   /* using type == FIFO */
1993         pipe_i->i_nlink = 1;                    /* one for the dentry */
1994         pipe_i->i_uid = 0;
1995         pipe_i->i_gid = 0;
1996         pipe_i->i_size = PGSIZE;
1997         pipe_i->i_blocks = 0;
1998         pipe_i->i_atime.tv_sec = 0;
1999         pipe_i->i_atime.tv_nsec = 0;
2000         pipe_i->i_mtime.tv_sec = 0;
2001         pipe_i->i_mtime.tv_nsec = 0;
2002         pipe_i->i_ctime.tv_sec = 0;
2003         pipe_i->i_ctime.tv_nsec = 0;
2004         pipe_i->i_fs_info = 0;
2005         pipe_i->i_op = &dummy_i_op;
2006         pipe_i->i_fop = &pipe_f_op;
2007         pipe_i->i_socket = FALSE;
2008         /* Actually build the pipe.  We're using one page, hanging off the
2009          * pipe_inode_info struct.  When we release the inode, we free the pipe
2010          * memory too */
2011         pipe_i->i_pipe = kmalloc(sizeof(struct pipe_inode_info), MEM_WAIT);
2012         pii = pipe_i->i_pipe;
2013         if (!pii) {
2014                 set_errno(ENOMEM);
2015                 goto error_kmalloc;
2016         }
2017         pii->p_buf = kpage_zalloc_addr();
2018         if (!pii->p_buf) {
2019                 set_errno(ENOMEM);
2020                 goto error_kpage;
2021         }
2022         pii->p_rd_off = 0;
2023         pii->p_wr_off = 0;
2024         pii->p_nr_readers = 0;
2025         pii->p_nr_writers = 0;
2026         cv_init(&pii->p_cv);    /* must do this before dentry_open / pipe_open */
2027         /* Now we have an inode for the pipe.  We need two files for the read and
2028          * write ends of the pipe. */
2029         flags &= ~(O_ACCMODE);  /* avoid user bugs */
2030         pipe_f_read = dentry_open(pipe_d, flags | O_RDONLY);
2031         if (!pipe_f_read)
2032                 goto error_f_read;
2033         pipe_f_write = dentry_open(pipe_d, flags | O_WRONLY);
2034         if (!pipe_f_write)
2035                 goto error_f_write;
2036         pipe_files[0] = pipe_f_read;
2037         pipe_files[1] = pipe_f_write;
2038         return 0;
2039
2040 error_f_write:
2041         kref_put(&pipe_f_read->f_kref);
2042 error_f_read:
2043         page_decref(kva2page(pii->p_buf));
2044 error_kpage:
2045         kfree(pipe_i->i_pipe);
2046 error_kmalloc:
2047         /* We don't need to free the pipe_i; putting the dentry will free it */
2048 error_post_dentry:
2049         /* Note we only free the dentry on failure. */
2050         kref_put(&pipe_d->d_kref);
2051         return -1;
2052 }
2053
2054 int do_rename(char *old_path, char *new_path)
2055 {
2056         struct nameidata nd_old = {0}, *nd_o = &nd_old;
2057         struct nameidata nd_new = {0}, *nd_n = &nd_new;
2058         struct dentry *old_dir_d, *new_dir_d;
2059         struct inode *old_dir_i, *new_dir_i;
2060         struct dentry *old_d, *new_d, *unlink_d;
2061         int error;
2062         int retval = 0;
2063         struct timespec now;
2064
2065         nd_o->intent = LOOKUP_ACCESS; /* maybe, might need another type */
2066
2067         /* get the parent, but don't follow links */
2068         error = path_lookup(old_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_o);
2069         if (error) {
2070                 set_errno(-error);
2071                 retval = -1;
2072                 goto out_old_path;
2073         }
2074         old_dir_d = nd_o->dentry;
2075         old_dir_i = old_dir_d->d_inode;
2076
2077         old_d = do_lookup(old_dir_d, nd_o->last.name);
2078         if (!old_d) {
2079                 set_errno(ENOENT);
2080                 retval = -1;
2081                 goto out_old_path;
2082         }
2083
2084         nd_n->intent = LOOKUP_CREATE;
2085         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_n);
2086         if (error) {
2087                 set_errno(-error);
2088                 retval = -1;
2089                 goto out_paths_and_src;
2090         }
2091         new_dir_d = nd_n->dentry;
2092         new_dir_i = new_dir_d->d_inode;
2093         /* TODO if new_dir == old_dir, we might be able to simplify things */
2094
2095         if (new_dir_i->i_sb != old_dir_i->i_sb) {
2096                 set_errno(EXDEV);
2097                 retval = -1;
2098                 goto out_paths_and_src;
2099         }
2100         /* TODO: check_perms is lousy, want to just say "writable" here */
2101         if (check_perms(old_dir_i, S_IWUSR) || check_perms(new_dir_i, S_IWUSR)) {
2102                 set_errno(EPERM);
2103                 retval = -1;
2104                 goto out_paths_and_src;
2105         }
2106         /* TODO: if we're doing a rename that moves a directory, we need to make
2107          * sure the new_path doesn't include the old_path.  It's not as simple as
2108          * just checking, since there could be a concurrent rename that breaks the
2109          * check later.  e.g. what if new_dir's parent is being moved into a child
2110          * of old_dir?
2111          *
2112          * linux has a per-fs rename mutex for these scenarios, so only one can
2113          * proceed at a time.  i don't see another way to deal with it either.
2114          * maybe something like flagging all dentries on the new_path with "do not
2115          * move". */
2116
2117         /* TODO: this is all very racy.  right after we do a new_d lookup, someone
2118          * else could create or unlink new_d.  need to lock here, or else push this
2119          * into the sub-FS.
2120          *
2121          * For any locking scheme, we probably need to lock both the old and new
2122          * dirs.  To prevent deadlock, we need a total ordering of all inodes (or
2123          * dentries, if we locking them instead).  inode number or struct inode*
2124          * will work for this. */
2125         new_d = do_lookup(new_dir_d, nd_n->last.name);
2126         if (new_d) {
2127                 if (new_d->d_inode == old_d->d_inode)
2128                         goto out_paths_and_refs;        /* rename does nothing */
2129                 /* TODO: Here's a bunch of other racy checks we need to do, maybe in the
2130                  * sub-FS:
2131                  *
2132                  * if src is a dir, dst must be an empty dir if it exists (RACYx2)
2133                  *              racing on dst being created and it getting new entries
2134                  * if src is a file, dst must be a file if it exists (RACY)
2135                  *              racing on dst being created and still being a file
2136                  *              racing on dst being unlinked and a new one being added
2137                  */
2138                 /* TODO: we should allow empty dirs */
2139                 if (S_ISDIR(new_d->d_inode->i_mode)) {
2140                         set_errno(EISDIR);
2141                         retval = -1;
2142                         goto out_paths_and_refs;
2143                 }
2144                 /* TODO: need this to be atomic with rename */
2145                 error = new_dir_i->i_op->unlink(new_dir_i, new_d);
2146                 if (error) {
2147                         set_errno(-error);
2148                         retval = -1;
2149                         goto out_paths_and_refs;
2150                 }
2151                 new_d->d_flags |= DENTRY_DYING;
2152                 /* TODO: racy with other lookups on new_d */
2153                 dcache_remove(new_d->d_sb, new_d);
2154                 new_d->d_inode->i_nlink--;  /* TODO: race here, esp with a decref */
2155                 kref_put(&new_d->d_kref);
2156         }
2157         /* new_d is just a vessel for the name.  somewhat lousy. */
2158         new_d = get_dentry(new_dir_d->d_sb, new_dir_d, nd_n->last.name);
2159
2160         /* TODO: more races.  need to remove old_d from the dcache, since we're
2161          * about to change its parentage.  could be readded concurrently. */
2162         dcache_remove(old_dir_d->d_sb, old_d);
2163         error = new_dir_i->i_op->rename(old_dir_i, old_d, new_dir_i, new_d);
2164         if (error) {
2165                 /* TODO: oh crap, we already unlinked!  now we're screwed, and violated
2166                  * our atomicity requirements. */
2167                 printk("[kernel] rename failed, you might have lost data\n");
2168                 set_errno(-error);
2169                 retval = -1;
2170                 goto out_paths_and_refs;
2171         }
2172
2173         /* old_dir loses old_d, new_dir gains old_d, renamed to new_d.  this is
2174          * particularly cumbersome since there are two levels here: the FS has its
2175          * info about where things are, and the VFS has its dentry tree.  and it's
2176          * all racy (TODO). */
2177         dentry_set_name(old_d, new_d->d_name.name);
2178         old_d->d_parent = new_d->d_parent;
2179         if (S_ISDIR(old_d->d_inode->i_mode)) {
2180                 TAILQ_REMOVE(&old_dir_d->d_subdirs, old_d, d_subdirs_link);
2181                 old_dir_i->i_nlink--; /* TODO: racy, etc */
2182                 TAILQ_INSERT_TAIL(&new_dir_d->d_subdirs, old_d, d_subdirs_link);
2183                 new_dir_i->i_nlink--; /* TODO: racy, etc */
2184         }
2185
2186         /* and then the third level: dcache stuff.  we could have old versions of
2187          * old_d or negative versions of new_d sitting around.  dcache_put should
2188          * replace a potentially negative dentry for new_d (now called old_d) */
2189         dcache_put(old_dir_d->d_sb, old_d);
2190
2191         /* TODO could have a helper for this, but it's going away soon */
2192         now = nsec2timespec(epoch_nsec());
2193         old_dir_i->i_ctime.tv_sec = now.tv_sec;
2194         old_dir_i->i_mtime.tv_sec = now.tv_sec;
2195         old_dir_i->i_ctime.tv_nsec = now.tv_nsec;
2196         old_dir_i->i_mtime.tv_nsec = now.tv_nsec;
2197         new_dir_i->i_ctime.tv_sec = now.tv_sec;
2198         new_dir_i->i_mtime.tv_sec = now.tv_sec;
2199         new_dir_i->i_ctime.tv_nsec = now.tv_nsec;
2200         new_dir_i->i_mtime.tv_nsec = now.tv_nsec;
2201
2202         /* fall-through */
2203 out_paths_and_refs:
2204         kref_put(&new_d->d_kref);
2205 out_paths_and_src:
2206         kref_put(&old_d->d_kref);
2207 out_paths:
2208         path_release(nd_n);
2209 out_old_path:
2210         path_release(nd_o);
2211         return retval;
2212 }
2213
2214 int do_truncate(struct inode *inode, off64_t len)
2215 {
2216         off64_t old_len;
2217         struct timespec now;
2218         if (len < 0) {
2219                 set_errno(EINVAL);
2220                 return -1;
2221         }
2222         if (len > PiB) {
2223                 printk("[kernel] truncate for > petabyte, probably a bug\n");
2224                 /* continuing, not too concerned.  could set EINVAL or EFBIG */
2225         }
2226         spin_lock(&inode->i_lock);
2227         old_len = inode->i_size;
2228         if (old_len == len) {
2229                 spin_unlock(&inode->i_lock);
2230                 return 0;
2231         }
2232         inode->i_size = len;
2233         /* truncate can't block, since we're holding the spinlock.  but it can rely
2234          * on that lock being held */
2235         inode->i_op->truncate(inode);
2236         spin_unlock(&inode->i_lock);
2237
2238         if (old_len < len) {
2239                 pm_remove_contig(inode->i_mapping, old_len >> PGSHIFT,
2240                                  (len >> PGSHIFT) - (old_len >> PGSHIFT));
2241         }
2242         now = nsec2timespec(epoch_nsec());
2243         inode->i_ctime.tv_sec = now.tv_sec;
2244         inode->i_mtime.tv_sec = now.tv_sec;
2245         inode->i_ctime.tv_nsec = now.tv_nsec;
2246         inode->i_mtime.tv_nsec = now.tv_nsec;
2247         return 0;
2248 }
2249
2250 struct file *alloc_file(void)
2251 {
2252         struct file *file = kmem_cache_alloc(file_kcache, 0);
2253         if (!file) {
2254                 set_errno(ENOMEM);
2255                 return 0;
2256         }
2257         /* one for the ref passed out*/
2258         kref_init(&file->f_kref, file_release, 1);
2259         return file;
2260 }
2261
2262 /* Opens and returns the file specified by dentry */
2263 struct file *dentry_open(struct dentry *dentry, int flags)
2264 {
2265         struct inode *inode;
2266         struct file *file;
2267         int desired_mode;
2268         inode = dentry->d_inode;
2269         /* f_mode stores how the OS file is open, which can be more restrictive than
2270          * the i_mode */
2271         desired_mode = omode_to_rwx(flags & O_ACCMODE);
2272         if (check_perms(inode, desired_mode))
2273                 goto error_access;
2274         file = alloc_file();
2275         if (!file)
2276                 return 0;
2277         file->f_mode = desired_mode;
2278         /* Add to the list of all files of this SB */
2279         TAILQ_INSERT_TAIL(&inode->i_sb->s_files, file, f_list);
2280         kref_get(&dentry->d_kref, 1);
2281         file->f_dentry = dentry;
2282         kref_get(&inode->i_sb->s_mount->mnt_kref, 1);
2283         file->f_vfsmnt = inode->i_sb->s_mount;          /* saving a ref to the vmnt...*/
2284         file->f_op = inode->i_fop;
2285         /* Don't store creation flags */
2286         file->f_flags = flags & ~O_CREAT_FLAGS;
2287         file->f_pos = 0;
2288         file->f_uid = inode->i_uid;
2289         file->f_gid = inode->i_gid;
2290         file->f_error = 0;
2291 //      struct event_poll_tailq         f_ep_links;
2292         spinlock_init(&file->f_ep_lock);
2293         file->f_privdata = 0;                                           /* prob overriden by the fs */
2294         file->f_mapping = inode->i_mapping;
2295         file->f_op->open(inode, file);
2296         return file;
2297 error_access:
2298         set_errno(EACCES);
2299         return 0;
2300 }
2301
2302 /* Closes a file, fsync, whatever else is necessary.  Called when the kref hits
2303  * 0.  Note that the file is not refcounted on the s_files list, nor is the
2304  * f_mapping refcounted (it is pinned by the i_mapping). */
2305 void file_release(struct kref *kref)
2306 {
2307         struct file *file = container_of(kref, struct file, f_kref);
2308
2309         struct super_block *sb = file->f_dentry->d_sb;
2310         spin_lock(&sb->s_lock);
2311         TAILQ_REMOVE(&sb->s_files, file, f_list);
2312         spin_unlock(&sb->s_lock);
2313
2314         /* TODO: fsync (BLK).  also, we may want to parallelize the blocking that
2315          * could happen in here (spawn kernel threads)... */
2316         file->f_op->release(file->f_dentry->d_inode, file);
2317         /* Clean up the other refs we hold */
2318         kref_put(&file->f_dentry->d_kref);
2319         kref_put(&file->f_vfsmnt->mnt_kref);
2320         kmem_cache_free(file_kcache, file);
2321 }
2322
2323 ssize_t kread_file(struct file *file, void *buf, size_t sz)
2324 {
2325         /* TODO: (KFOP) (VFS kernel read/writes need to be from a ktask) */
2326         uintptr_t old_ret = switch_to_ktask();
2327         off64_t dummy = 0;
2328         ssize_t cpy_amt = file->f_op->read(file, buf, sz, &dummy);
2329
2330         switch_back_from_ktask(old_ret);
2331         return cpy_amt;
2332 }
2333
2334 /* Reads the contents of an entire file into a buffer, returning that buffer.
2335  * On error, prints something useful and returns 0 */
2336 void *kread_whole_file(struct file *file)
2337 {
2338         size_t size;
2339         void *contents;
2340         ssize_t cpy_amt;
2341
2342         size = file->f_dentry->d_inode->i_size;
2343         contents = kmalloc(size, MEM_WAIT);
2344         cpy_amt = kread_file(file, contents, size);
2345         if (cpy_amt < 0) {
2346                 printk("Error %d reading file %s\n", get_errno(), file_name(file));
2347                 kfree(contents);
2348                 return 0;
2349         }
2350         if (cpy_amt != size) {
2351                 printk("Read %d, needed %d for file %s\n", cpy_amt, size,
2352                        file_name(file));
2353                 kfree(contents);
2354                 return 0;
2355         }
2356         return contents;
2357 }
2358
2359 /* Process-related File management functions */
2360
2361 /* Given any FD, get the appropriate object, 0 o/w.  Set vfs if you're looking
2362  * for a file, o/w a chan.  Set incref if you want a reference count (which is a
2363  * 9ns thing, you can't use the pointer if you didn't incref). */
2364 void *lookup_fd(struct fd_table *fdt, int fd, bool incref, bool vfs)
2365 {
2366         void *retval = 0;
2367         if (fd < 0)
2368                 return 0;
2369         spin_lock(&fdt->lock);
2370         if (fdt->closed) {
2371                 spin_unlock(&fdt->lock);
2372                 return 0;
2373         }
2374         if (fd < fdt->max_fdset) {
2375                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, fd)) {
2376                         /* while max_files and max_fdset might not line up, we should never
2377                          * have a valid fdset higher than files */
2378                         assert(fd < fdt->max_files);
2379                         if (vfs)
2380                                 retval = fdt->fd[fd].fd_file;
2381                         else
2382                                 retval = fdt->fd[fd].fd_chan;
2383                         /* retval could be 0 if we asked for the wrong one (e.g. it's a
2384                          * file, but we asked for a chan) */
2385                         if (retval && incref) {
2386                                 if (vfs)
2387                                         kref_get(&((struct file*)retval)->f_kref, 1);
2388                                 else
2389                                         chan_incref((struct chan*)retval);
2390                         }
2391                 }
2392         }
2393         spin_unlock(&fdt->lock);
2394         return retval;
2395 }
2396
2397 /* Given any FD, get the appropriate file, 0 o/w */
2398 struct file *get_file_from_fd(struct fd_table *open_files, int file_desc)
2399 {
2400         return lookup_fd(open_files, file_desc, TRUE, TRUE);
2401 }
2402
2403 /* Grow the vfs fd set */
2404 static int grow_fd_set(struct fd_table *open_files)
2405 {
2406         int n;
2407         struct file_desc *nfd, *ofd;
2408
2409         /* Only update open_fds once. If currently pointing to open_fds_init, then
2410          * update it to point to a newly allocated fd_set with space for
2411          * NR_FILE_DESC_MAX */
2412         if (open_files->open_fds == (struct fd_set*)&open_files->open_fds_init) {
2413                 open_files->open_fds = kzmalloc(sizeof(struct fd_set), 0);
2414                 memmove(open_files->open_fds, &open_files->open_fds_init,
2415                         sizeof(struct small_fd_set));
2416         }
2417
2418         /* Grow the open_files->fd array in increments of NR_OPEN_FILES_DEFAULT */
2419         n = open_files->max_files + NR_OPEN_FILES_DEFAULT;
2420         if (n > NR_FILE_DESC_MAX)
2421                 return -EMFILE;
2422         nfd = kzmalloc(n * sizeof(struct file_desc), 0);
2423         if (nfd == NULL)
2424                 return -ENOMEM;
2425
2426         /* Move the old array on top of the new one */
2427         ofd = open_files->fd;
2428         memmove(nfd, ofd, open_files->max_files * sizeof(struct file_desc));
2429
2430         /* Update the array and the maxes for both max_files and max_fdset */
2431         open_files->fd = nfd;
2432         open_files->max_files = n;
2433         open_files->max_fdset = n;
2434
2435         /* Only free the old one if it wasn't pointing to open_files->fd_array */
2436         if (ofd != open_files->fd_array)
2437                 kfree(ofd);
2438         return 0;
2439 }
2440
2441 /* Free the vfs fd set if necessary */
2442 static void free_fd_set(struct fd_table *open_files)
2443 {
2444         void *free_me;
2445         if (open_files->open_fds != (struct fd_set*)&open_files->open_fds_init) {
2446                 assert(open_files->fd != open_files->fd_array);
2447                 /* need to reset the pointers to the internal addrs, in case we take a
2448                  * look while debugging.  0 them out, since they have old data.  our
2449                  * current versions should all be closed. */
2450                 memset(&open_files->open_fds_init, 0, sizeof(struct small_fd_set));
2451                 memset(&open_files->fd_array, 0, sizeof(open_files->fd_array));
2452
2453                 free_me = open_files->open_fds;
2454                 open_files->open_fds = (struct fd_set*)&open_files->open_fds_init;
2455                 kfree(free_me);
2456
2457                 free_me = open_files->fd;
2458                 open_files->fd = open_files->fd_array;
2459                 kfree(free_me);
2460         }
2461 }
2462
2463 /* If FD is in the group, remove it, decref it, and return TRUE. */
2464 bool close_fd(struct fd_table *fdt, int fd)
2465 {
2466         struct file *file = 0;
2467         struct chan *chan = 0;
2468         struct fd_tap *tap = 0;
2469         bool ret = FALSE;
2470         if (fd < 0)
2471                 return FALSE;
2472         spin_lock(&fdt->lock);
2473         if (fd < fdt->max_fdset) {
2474                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, fd)) {
2475                         /* while max_files and max_fdset might not line up, we should never
2476                          * have a valid fdset higher than files */
2477                         assert(fd < fdt->max_files);
2478                         file = fdt->fd[fd].fd_file;
2479                         chan = fdt->fd[fd].fd_chan;
2480                         tap = fdt->fd[fd].fd_tap;
2481                         fdt->fd[fd].fd_file = 0;
2482                         fdt->fd[fd].fd_chan = 0;
2483                         fdt->fd[fd].fd_tap = 0;
2484                         CLR_BITMASK_BIT(fdt->open_fds->fds_bits, fd);
2485                         if (fd < fdt->hint_min_fd)
2486                                 fdt->hint_min_fd = fd;
2487                         ret = TRUE;
2488                 }
2489         }
2490         spin_unlock(&fdt->lock);
2491         /* Need to decref/cclose outside of the lock; they could sleep */
2492         if (file)
2493                 kref_put(&file->f_kref);
2494         else
2495                 cclose(chan);
2496         if (tap)
2497                 kref_put(&tap->kref);
2498         return ret;
2499 }
2500
2501 void put_file_from_fd(struct fd_table *open_files, int file_desc)
2502 {
2503         close_fd(open_files, file_desc);
2504 }
2505
2506 static int __get_fd(struct fd_table *open_files, int low_fd, bool must_use_low)
2507 {
2508         int slot = -1;
2509         int error;
2510         bool update_hint = TRUE;
2511         if ((low_fd < 0) || (low_fd > NR_FILE_DESC_MAX))
2512                 return -EINVAL;
2513         if (open_files->closed)
2514                 return -EINVAL; /* won't matter, they are dying */
2515         if (must_use_low && GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
2516                 return -ENFILE;
2517         if (low_fd > open_files->hint_min_fd)
2518                 update_hint = FALSE;
2519         else
2520                 low_fd = open_files->hint_min_fd;
2521         /* Loop until we have a valid slot (we grow the fd_array at the bottom of
2522          * the loop if we haven't found a slot in the current array */
2523         while (slot == -1) {
2524                 for (low_fd; low_fd < open_files->max_fdset; low_fd++) {
2525                         if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
2526                                 continue;
2527                         slot = low_fd;
2528                         SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
2529                         assert(slot < open_files->max_files &&
2530                                open_files->fd[slot].fd_file == 0);
2531                         /* We know slot >= hint, since we started with the hint */
2532                         if (update_hint)
2533                                 open_files->hint_min_fd = slot + 1;
2534                         break;
2535                 }
2536                 if (slot == -1) {
2537                         if ((error = grow_fd_set(open_files)))
2538                                 return error;
2539                 }
2540         }
2541         return slot;
2542 }
2543
2544 /* Insert a file or chan (obj, chosen by vfs) into the fd group with fd_flags.
2545  * If must_use_low, then we have to insert at FD = low_fd.  o/w we start looking
2546  * for empty slots at low_fd. */
2547 int insert_obj_fdt(struct fd_table *fdt, void *obj, int low_fd, int fd_flags,
2548                    bool must_use_low, bool vfs)
2549 {
2550         int slot;
2551         spin_lock(&fdt->lock);
2552         slot = __get_fd(fdt, low_fd, must_use_low);
2553         if (slot < 0) {
2554                 spin_unlock(&fdt->lock);
2555                 return slot;
2556         }
2557         assert(slot < fdt->max_files &&
2558                fdt->fd[slot].fd_file == 0);
2559         if (vfs) {
2560                 kref_get(&((struct file*)obj)->f_kref, 1);
2561                 fdt->fd[slot].fd_file = obj;
2562                 fdt->fd[slot].fd_chan = 0;
2563         } else {
2564                 chan_incref((struct chan*)obj);
2565                 fdt->fd[slot].fd_file = 0;
2566                 fdt->fd[slot].fd_chan = obj;
2567         }
2568         fdt->fd[slot].fd_flags = fd_flags;
2569         spin_unlock(&fdt->lock);
2570         return slot;
2571 }
2572
2573 /* Inserts the file in the fd_table, returning the corresponding new file
2574  * descriptor, or an error code.  We start looking for open fds from low_fd.
2575  *
2576  * Passing cloexec is a bit cheap, since we might want to expand it to support
2577  * more FD options in the future. */
2578 int insert_file(struct fd_table *open_files, struct file *file, int low_fd,
2579                 bool must, bool cloexec)
2580 {
2581         return insert_obj_fdt(open_files, file, low_fd, cloexec ? FD_CLOEXEC : 0,
2582                               must, TRUE);
2583 }
2584
2585 /* Closes all open files.  Mostly just a "put" for all files.  If cloexec, it
2586  * will only close the FDs with FD_CLOEXEC (opened with O_CLOEXEC or fcntld).
2587  *
2588  * Notes on concurrency:
2589  * - Can't hold spinlocks while we call cclose, since it might sleep eventually.
2590  * - We're called from proc_destroy, so we could have concurrent openers trying
2591  *   to add to the group (other syscalls), hence the "closed" flag.
2592  * - dot and slash chans are dealt with in proc_free.  its difficult to close
2593  *   and zero those with concurrent syscalls, since those are a source of krefs.
2594  * - Once we lock and set closed, no further additions can happen.  To simplify
2595  *   our closes, we also allow multiple calls to this func (though that should
2596  *   never happen with the current code). */
2597 void close_fdt(struct fd_table *fdt, bool cloexec)
2598 {
2599         struct file *file;
2600         struct chan *chan;
2601         struct file_desc *to_close;
2602         int idx = 0;
2603
2604         to_close = kzmalloc(sizeof(struct file_desc) * fdt->max_files,
2605                             MEM_WAIT);
2606         spin_lock(&fdt->lock);
2607         if (fdt->closed) {
2608                 spin_unlock(&fdt->lock);
2609                 kfree(to_close);
2610                 return;
2611         }
2612         for (int i = 0; i < fdt->max_fdset; i++) {
2613                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, i)) {
2614                         /* while max_files and max_fdset might not line up, we should never
2615                          * have a valid fdset higher than files */
2616                         assert(i < fdt->max_files);
2617                         if (cloexec && !(fdt->fd[i].fd_flags & FD_CLOEXEC))
2618                                 continue;
2619                         file = fdt->fd[i].fd_file;
2620                         chan = fdt->fd[i].fd_chan;
2621                         to_close[idx].fd_tap = fdt->fd[i].fd_tap;
2622                         fdt->fd[i].fd_tap = 0;
2623                         if (file) {
2624                                 fdt->fd[i].fd_file = 0;
2625                                 to_close[idx++].fd_file = file;
2626                         } else {
2627                                 fdt->fd[i].fd_chan = 0;
2628                                 to_close[idx++].fd_chan = chan;
2629                         }
2630                         CLR_BITMASK_BIT(fdt->open_fds->fds_bits, i);
2631                 }
2632         }
2633         /* it's just a hint, we can build back up from being 0 */
2634         fdt->hint_min_fd = 0;
2635         if (!cloexec) {
2636                 free_fd_set(fdt);
2637                 fdt->closed = TRUE;
2638         }
2639         spin_unlock(&fdt->lock);
2640         /* We go through some hoops to close/decref outside the lock.  Nice for not
2641          * holding the lock for a while; critical in case the decref/cclose sleeps
2642          * (it can) */
2643         for (int i = 0; i < idx; i++) {
2644                 if (to_close[i].fd_file)
2645                         kref_put(&to_close[i].fd_file->f_kref);
2646                 else
2647                         cclose(to_close[i].fd_chan);
2648                 if (to_close[i].fd_tap)
2649                         kref_put(&to_close[i].fd_tap->kref);
2650         }
2651         kfree(to_close);
2652 }
2653
2654 /* Inserts all of the files from src into dst, used by sys_fork(). */
2655 void clone_fdt(struct fd_table *src, struct fd_table *dst)
2656 {
2657         struct file *file;
2658         struct chan *chan;
2659         int ret;
2660
2661         spin_lock(&src->lock);
2662         if (src->closed) {
2663                 spin_unlock(&src->lock);
2664                 return;
2665         }
2666         spin_lock(&dst->lock);
2667         if (dst->closed) {
2668                 warn("Destination closed before it opened");
2669                 spin_unlock(&dst->lock);
2670                 spin_unlock(&src->lock);
2671                 return;
2672         }
2673         while (src->max_files > dst->max_files) {
2674                 ret = grow_fd_set(dst);
2675                 if (ret < 0) {
2676                         set_error(-ret, "Failed to grow for a clone_fdt");
2677                         spin_unlock(&dst->lock);
2678                         spin_unlock(&src->lock);
2679                         return;
2680                 }
2681         }
2682         for (int i = 0; i < src->max_fdset; i++) {
2683                 if (GET_BITMASK_BIT(src->open_fds->fds_bits, i)) {
2684                         /* while max_files and max_fdset might not line up, we should never
2685                          * have a valid fdset higher than files */
2686                         assert(i < src->max_files);
2687                         file = src->fd[i].fd_file;
2688                         chan = src->fd[i].fd_chan;
2689                         assert(i < dst->max_files && dst->fd[i].fd_file == 0);
2690                         SET_BITMASK_BIT(dst->open_fds->fds_bits, i);
2691                         dst->fd[i].fd_file = file;
2692                         dst->fd[i].fd_chan = chan;
2693                         if (file)
2694                                 kref_get(&file->f_kref, 1);
2695                         else
2696                                 chan_incref(chan);
2697                 }
2698         }
2699         dst->hint_min_fd = src->hint_min_fd;
2700         spin_unlock(&dst->lock);
2701         spin_unlock(&src->lock);
2702 }
2703
2704 static void __chpwd(struct fs_struct *fs_env, struct dentry *new_pwd)
2705 {
2706         struct dentry *old_pwd;
2707         kref_get(&new_pwd->d_kref, 1);
2708         /* writer lock, make sure we replace pwd with ours.  could also CAS.
2709          * readers don't lock at all, so they need to either loop, or we need to
2710          * delay releasing old_pwd til an RCU grace period. */
2711         spin_lock(&fs_env->lock);
2712         old_pwd = fs_env->pwd;
2713         fs_env->pwd = new_pwd;
2714         spin_unlock(&fs_env->lock);
2715         kref_put(&old_pwd->d_kref);
2716 }
2717
2718 /* Change the working directory of the given fs env (one per process, at this
2719  * point).  Returns 0 for success, sets errno and returns -1 otherwise. */
2720 int do_chdir(struct fs_struct *fs_env, char *path)
2721 {
2722         struct nameidata nd_r = {0}, *nd = &nd_r;
2723         int error;
2724         error = path_lookup(path, LOOKUP_DIRECTORY, nd);
2725         if (error) {
2726                 set_errno(-error);
2727                 path_release(nd);
2728                 return -1;
2729         }
2730         /* nd->dentry is the place we want our PWD to be */
2731         __chpwd(fs_env, nd->dentry);
2732         path_release(nd);
2733         return 0;
2734 }
2735
2736 int do_fchdir(struct fs_struct *fs_env, struct file *file)
2737 {
2738         if ((file->f_dentry->d_inode->i_mode & __S_IFMT) != __S_IFDIR) {
2739                 set_errno(ENOTDIR);
2740                 return -1;
2741         }
2742         __chpwd(fs_env, file->f_dentry);
2743         return 0;
2744 }
2745
2746 /* Returns a null-terminated string of up to length cwd_l containing the
2747  * absolute path of fs_env, (up to fs_env's root).  Be sure to kfree the char*
2748  * "kfree_this" when you are done with it.  We do this since it's easier to
2749  * build this string going backwards.  Note cwd_l is not a strlen, it's an
2750  * absolute size. */
2751 char *do_getcwd(struct fs_struct *fs_env, char **kfree_this, size_t cwd_l)
2752 {
2753         struct dentry *dentry = fs_env->pwd;
2754         size_t link_len;
2755         char *path_start, *kbuf;
2756
2757         if (cwd_l < 2) {
2758                 set_errno(ERANGE);
2759                 return 0;
2760         }
2761         kbuf = kmalloc(cwd_l, 0);
2762         if (!kbuf) {
2763                 set_errno(ENOMEM);
2764                 return 0;
2765         }
2766         *kfree_this = kbuf;
2767         kbuf[cwd_l - 1] = '\0';
2768         kbuf[cwd_l - 2] = '/';
2769         /* for each dentry in the path, all the way back to the root of fs_env, we
2770          * grab the dentry name, push path_start back enough, and write in the name,
2771          * using /'s to terminate.  We skip the root, since we don't want its
2772          * actual name, just "/", which is set before each loop. */
2773         path_start = kbuf + cwd_l - 2;  /* the last byte written */
2774         while (dentry != fs_env->root) {
2775                 link_len = dentry->d_name.len;          /* this does not count the \0 */
2776                 if (path_start - (link_len + 2) < kbuf) {
2777                         kfree(kbuf);
2778                         set_errno(ERANGE);
2779                         return 0;
2780                 }
2781                 path_start -= link_len;
2782                 memmove(path_start, dentry->d_name.name, link_len);
2783                 path_start--;
2784                 *path_start = '/';
2785                 dentry = dentry->d_parent;
2786         }
2787         return path_start;
2788 }
2789
2790 static void print_dir(struct dentry *dentry, char *buf, int depth)
2791 {
2792         struct dentry *child_d;
2793         struct dirent next = {0};
2794         struct file *dir;
2795         int retval;
2796
2797         if (!S_ISDIR(dentry->d_inode->i_mode)) {
2798                 warn("Thought this was only directories!!");
2799                 return;
2800         }
2801         /* Print this dentry */
2802         printk("%s%s/ nlink: %d\n", buf, dentry->d_name.name,
2803                dentry->d_inode->i_nlink);
2804         if (dentry->d_mount_point) {
2805                 dentry = dentry->d_mounted_fs->mnt_root;
2806         }
2807         if (depth >= 32)
2808                 return;
2809         /* Set buffer for our kids */
2810         buf[depth] = '\t';
2811         dir = dentry_open(dentry, 0);
2812         if (!dir)
2813                 panic("Filesystem seems inconsistent - unable to open a dir!");
2814         /* Process every child, recursing on directories */
2815         while (1) {
2816                 retval = dir->f_op->readdir(dir, &next);
2817                 if (retval >= 0) {
2818                         /* Skip .., ., and empty entries */
2819                         if (!strcmp("..", next.d_name) || !strcmp(".", next.d_name) ||
2820                             next.d_ino == 0)
2821                                 goto loop_next;
2822                         /* there is an entry, now get its dentry */
2823                         child_d = do_lookup(dentry, next.d_name);
2824                         if (!child_d)
2825                                 panic("Inconsistent FS, dirent doesn't have a dentry!");
2826                         /* Recurse for directories, or just print the name for others */
2827                         switch (child_d->d_inode->i_mode & __S_IFMT) {
2828                                 case (__S_IFDIR):
2829                                         print_dir(child_d, buf, depth + 1);
2830                                         break;
2831                                 case (__S_IFREG):
2832                                         printk("%s%s size(B): %d nlink: %d\n", buf, next.d_name,
2833                                                child_d->d_inode->i_size, child_d->d_inode->i_nlink);
2834                                         break;
2835                                 case (__S_IFLNK):
2836                                         printk("%s%s -> %s\n", buf, next.d_name,
2837                                                child_d->d_inode->i_op->readlink(child_d));
2838                                         break;
2839                                 case (__S_IFCHR):
2840                                         printk("%s%s (char device) nlink: %d\n", buf, next.d_name,
2841                                                child_d->d_inode->i_nlink);
2842                                         break;
2843                                 case (__S_IFBLK):
2844                                         printk("%s%s (block device) nlink: %d\n", buf, next.d_name,
2845                                                child_d->d_inode->i_nlink);
2846                                         break;
2847                                 default:
2848                                         warn("Look around you!  Unknown filetype!");
2849                         }
2850                         kref_put(&child_d->d_kref);
2851                 }
2852 loop_next:
2853                 if (retval <= 0)
2854                         break;
2855         }
2856         /* Reset buffer to the way it was */
2857         buf[depth] = '\0';
2858         kref_put(&dir->f_kref);
2859 }
2860
2861 /* Debugging */
2862 int ls_dash_r(char *path)
2863 {
2864         struct nameidata nd_r = {0}, *nd = &nd_r;
2865         int error;
2866         char buf[32] = {0};
2867
2868         error = path_lookup(path, LOOKUP_ACCESS | LOOKUP_DIRECTORY, nd);
2869         if (error) {
2870                 path_release(nd);
2871                 return error;
2872         }
2873         print_dir(nd->dentry, buf, 0);
2874         path_release(nd);
2875         return 0;
2876 }
2877
2878 /* Dummy ops, to catch weird operations we weren't expecting */
2879 int dummy_create(struct inode *dir, struct dentry *dentry, int mode,
2880                  struct nameidata *nd)
2881 {
2882         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2883         return -1;
2884 }
2885
2886 struct dentry *dummy_lookup(struct inode *dir, struct dentry *dentry,
2887                           struct nameidata *nd)
2888 {
2889         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2890         return 0;
2891 }
2892
2893 int dummy_link(struct dentry *old_dentry, struct inode *dir,
2894              struct dentry *new_dentry)
2895 {
2896         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2897         return -1;
2898 }
2899
2900 int dummy_unlink(struct inode *dir, struct dentry *dentry)
2901 {
2902         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2903         return -1;
2904 }
2905
2906 int dummy_symlink(struct inode *dir, struct dentry *dentry, const char *symname)
2907 {
2908         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2909         return -1;
2910 }
2911
2912 int dummy_mkdir(struct inode *dir, struct dentry *dentry, int mode)
2913 {
2914         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2915         return -1;
2916 }
2917
2918 int dummy_rmdir(struct inode *dir, struct dentry *dentry)
2919 {
2920         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2921         return -1;
2922 }
2923
2924 int dummy_mknod(struct inode *dir, struct dentry *dentry, int mode, dev_t rdev)
2925 {
2926         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2927         return -1;
2928 }
2929
2930 int dummy_rename(struct inode *old_dir, struct dentry *old_dentry,
2931                struct inode *new_dir, struct dentry *new_dentry)
2932 {
2933         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2934         return -1;
2935 }
2936
2937 char *dummy_readlink(struct dentry *dentry)
2938 {
2939         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2940         return 0;
2941 }
2942
2943 void dummy_truncate(struct inode *inode)
2944 {
2945         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2946 }
2947
2948 int dummy_permission(struct inode *inode, int mode, struct nameidata *nd)
2949 {
2950         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2951         return -1;
2952 }
2953
2954 int dummy_d_revalidate(struct dentry *dir, struct nameidata *nd)
2955 {
2956         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2957         return -1;
2958 }
2959
2960 int dummy_d_hash(struct dentry *dentry, struct qstr *name)
2961 {
2962         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2963         return -1;
2964 }
2965
2966 int dummy_d_compare(struct dentry *dir, struct qstr *name1, struct qstr *name2)
2967 {
2968         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2969         return -1;
2970 }
2971
2972 int dummy_d_delete(struct dentry *dentry)
2973 {
2974         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2975         return -1;
2976 }
2977
2978 int dummy_d_release(struct dentry *dentry)
2979 {
2980         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2981         return -1;
2982 }
2983
2984 void dummy_d_iput(struct dentry *dentry, struct inode *inode)
2985 {
2986         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2987 }
2988
2989 struct inode_operations dummy_i_op = {
2990         dummy_create,
2991         dummy_lookup,
2992         dummy_link,
2993         dummy_unlink,
2994         dummy_symlink,
2995         dummy_mkdir,
2996         dummy_rmdir,
2997         dummy_mknod,
2998         dummy_rename,
2999         dummy_readlink,
3000         dummy_truncate,
3001         dummy_permission,
3002 };
3003
3004 struct dentry_operations dummy_d_op = {
3005         dummy_d_revalidate,
3006         dummy_d_hash,
3007         dummy_d_compare,
3008         dummy_d_delete,
3009         dummy_d_release,
3010         dummy_d_iput,
3011 };