VFS rename
[akaros.git] / kern / src / vfs.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Default implementations and global values for the VFS. */
6
7 #include <vfs.h> // keep this first
8 #include <sys/queue.h>
9 #include <assert.h>
10 #include <stdio.h>
11 #include <atomic.h>
12 #include <slab.h>
13 #include <kmalloc.h>
14 #include <kfs.h>
15 #include <ext2fs.h>
16 #include <pmap.h>
17 #include <umem.h>
18 #include <smp.h>
19
20 struct sb_tailq super_blocks = TAILQ_HEAD_INITIALIZER(super_blocks);
21 spinlock_t super_blocks_lock = SPINLOCK_INITIALIZER;
22 struct fs_type_tailq file_systems = TAILQ_HEAD_INITIALIZER(file_systems);
23 struct namespace default_ns;
24
25 struct kmem_cache *dentry_kcache; // not to be confused with the dcache
26 struct kmem_cache *inode_kcache;
27 struct kmem_cache *file_kcache;
28
29 /* Mounts fs from dev_name at mnt_pt in namespace ns.  There could be no mnt_pt,
30  * such as with the root of (the default) namespace.  Not sure how it would work
31  * with multiple namespaces on the same FS yet.  Note if you mount the same FS
32  * multiple times, you only have one FS still (and one SB).  If we ever support
33  * that... */
34 struct vfsmount *__mount_fs(struct fs_type *fs, char *dev_name,
35                             struct dentry *mnt_pt, int flags,
36                             struct namespace *ns)
37 {
38         struct super_block *sb;
39         struct vfsmount *vmnt = kmalloc(sizeof(struct vfsmount), 0);
40
41         /* this first ref is stored in the NS tailq below */
42         kref_init(&vmnt->mnt_kref, fake_release, 1);
43         /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for
44          * now).  fields related to the actual FS, like the sb and the mnt_root are
45          * set in the fs-specific get_sb() call. */
46         if (!mnt_pt) {
47                 vmnt->mnt_parent = NULL;
48                 vmnt->mnt_mountpoint = NULL;
49         } else { /* common case, but won't be tested til we try to mount another FS */
50                 mnt_pt->d_mount_point = TRUE;
51                 mnt_pt->d_mounted_fs = vmnt;
52                 kref_get(&vmnt->mnt_kref, 1); /* held by mnt_pt */
53                 vmnt->mnt_parent = mnt_pt->d_sb->s_mount;
54                 vmnt->mnt_mountpoint = mnt_pt;
55         }
56         TAILQ_INIT(&vmnt->mnt_child_mounts);
57         vmnt->mnt_flags = flags;
58         vmnt->mnt_devname = dev_name;
59         vmnt->mnt_namespace = ns;
60         kref_get(&ns->kref, 1); /* held by vmnt */
61
62         /* Read in / create the SB */
63         sb = fs->get_sb(fs, flags, dev_name, vmnt);
64         if (!sb)
65                 panic("You're FS sucks");
66
67         /* TODO: consider moving this into get_sb or something, in case the SB
68          * already exists (mounting again) (if we support that) */
69         spin_lock(&super_blocks_lock);
70         TAILQ_INSERT_TAIL(&super_blocks, sb, s_list); /* storing a ref here... */
71         spin_unlock(&super_blocks_lock);
72
73         /* Update holding NS */
74         spin_lock(&ns->lock);
75         TAILQ_INSERT_TAIL(&ns->vfsmounts, vmnt, mnt_list);
76         spin_unlock(&ns->lock);
77         /* note to self: so, right after this point, the NS points to the root FS
78          * mount (we return the mnt, which gets assigned), the root mnt has a dentry
79          * for /, backed by an inode, with a SB prepped and in memory. */
80         return vmnt;
81 }
82
83 void vfs_init(void)
84 {
85         struct fs_type *fs;
86
87         dentry_kcache = kmem_cache_create("dentry", sizeof(struct dentry),
88                                           __alignof__(struct dentry), 0, 0, 0);
89         inode_kcache = kmem_cache_create("inode", sizeof(struct inode),
90                                          __alignof__(struct inode), 0, 0, 0);
91         file_kcache = kmem_cache_create("file", sizeof(struct file),
92                                         __alignof__(struct file), 0, 0, 0);
93         /* default NS never dies, +1 to exist */
94         kref_init(&default_ns.kref, fake_release, 1);
95         spinlock_init(&default_ns.lock);
96         default_ns.root = NULL;
97         TAILQ_INIT(&default_ns.vfsmounts);
98
99         /* build list of all FS's in the system.  put yours here.  if this is ever
100          * done on the fly, we'll need to lock. */
101         TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
102 #ifdef CONFIG_EXT2FS
103         TAILQ_INSERT_TAIL(&file_systems, &ext2_fs_type, list);
104 #endif
105         TAILQ_FOREACH(fs, &file_systems, list)
106                 printk("Supports the %s Filesystem\n", fs->name);
107
108         /* mounting KFS at the root (/), pending root= parameters */
109         // TODO: linux creates a temp root_fs, then mounts the real root onto that
110         default_ns.root = __mount_fs(&kfs_fs_type, "RAM", NULL, 0, &default_ns);
111
112         printk("vfs_init() completed\n");
113 }
114
115 /* Builds / populates the qstr of a dentry based on its d_iname.  If there is an
116  * l_name, (long), it will use that instead of the inline name.  This will
117  * probably change a bit. */
118 void qstr_builder(struct dentry *dentry, char *l_name)
119 {
120         dentry->d_name.name = l_name ? l_name : dentry->d_iname;
121         // TODO: pending what we actually do in d_hash
122         //dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name); 
123         dentry->d_name.hash = 0xcafebabe;
124         dentry->d_name.len = strnlen(dentry->d_name.name, MAX_FILENAME_SZ);
125 }
126
127 /* Useful little helper - return the string ptr for a given file */
128 char *file_name(struct file *file)
129 {
130         return file->f_dentry->d_name.name;
131 }
132
133 /* Some issues with this, coupled closely to fs_lookup.
134  *
135  * Note the use of __dentry_free, instead of kref_put.  In those cases, we don't
136  * want to treat it like a kref and we have the only reference to it, so it is
137  * okay to do this.  It makes dentry_release() easier too. */
138 static struct dentry *do_lookup(struct dentry *parent, char *name)
139 {
140         struct dentry *result, *query;
141         query = get_dentry(parent->d_sb, parent, name);
142         if (!query) {
143                 warn("OOM in do_lookup(), probably wasn't expected\n");
144                 return 0;
145         }
146         result = dcache_get(parent->d_sb, query); 
147         if (result) {
148                 __dentry_free(query);
149                 return result;
150         }
151         /* No result, check for negative */
152         if (query->d_flags & DENTRY_NEGATIVE) {
153                 __dentry_free(query);
154                 return 0;
155         }
156         /* not in the dcache at all, need to consult the FS */
157         result = parent->d_inode->i_op->lookup(parent->d_inode, query, 0);
158         if (!result) {
159                 /* Note the USED flag will get turned off when this gets added to the
160                  * LRU in dentry_release().  There's a slight race here that we'll panic
161                  * on, but I want to catch it (in dcache_put()) for now. */
162                 query->d_flags |= DENTRY_NEGATIVE;
163                 dcache_put(parent->d_sb, query);
164                 kref_put(&query->d_kref);
165                 return 0;
166         }
167         dcache_put(parent->d_sb, result);
168         /* This is because KFS doesn't return the same dentry, but ext2 does.  this
169          * is ugly and needs to be fixed. (TODO) */
170         if (result != query)
171                 __dentry_free(query);
172
173         /* TODO: if the following are done by us, how do we know the i_ino?
174          * also need to handle inodes that are already read in!  For now, we're
175          * going to have the FS handle it in it's lookup() method: 
176          * - get a new inode
177          * - read in the inode
178          * - put in the inode cache */
179         return result;
180 }
181
182 /* Update ND such that it represents having followed dentry.  IAW the nd
183  * refcnting rules, we need to decref any references that were in there before
184  * they get clobbered. */
185 static int next_link(struct dentry *dentry, struct nameidata *nd)
186 {
187         assert(nd->dentry && nd->mnt);
188         /* update the dentry */
189         kref_get(&dentry->d_kref, 1);
190         kref_put(&nd->dentry->d_kref);
191         nd->dentry = dentry;
192         /* update the mount, if we need to */
193         if (dentry->d_sb->s_mount != nd->mnt) {
194                 kref_get(&dentry->d_sb->s_mount->mnt_kref, 1);
195                 kref_put(&nd->mnt->mnt_kref);
196                 nd->mnt = dentry->d_sb->s_mount;
197         }
198         return 0;
199 }
200
201 /* Walk up one directory, being careful of mountpoints, namespaces, and the top
202  * of the FS */
203 static int climb_up(struct nameidata *nd)
204 {
205         printd("CLIMB_UP, from %s\n", nd->dentry->d_name.name);
206         /* Top of the world, just return.  Should also check for being at the top of
207          * the current process's namespace (TODO) */
208         if (!nd->dentry->d_parent || (nd->dentry->d_parent == nd->dentry))
209                 return -1;
210         /* Check if we are at the top of a mount, if so, we need to follow
211          * backwards, and then climb_up from that one.  We might need to climb
212          * multiple times if we mount multiple FSs at the same spot (highly
213          * unlikely).  This is completely untested.  Might recurse instead. */
214         while (nd->mnt->mnt_root == nd->dentry) {
215                 if (!nd->mnt->mnt_parent) {
216                         warn("Might have expected a parent vfsmount (dentry had a parent)");
217                         return -1;
218                 }
219                 next_link(nd->mnt->mnt_mountpoint, nd);
220         }
221         /* Backwards walk (no mounts or any other issues now). */
222         next_link(nd->dentry->d_parent, nd);
223         printd("CLIMB_UP, to   %s\n", nd->dentry->d_name.name);
224         return 0;
225 }
226
227 /* nd->dentry might be on a mount point, so we need to move on to the child
228  * mount's root. */
229 static int follow_mount(struct nameidata *nd)
230 {
231         if (!nd->dentry->d_mount_point)
232                 return 0;
233         next_link(nd->dentry->d_mounted_fs->mnt_root, nd);
234         return 0;
235 }
236
237 static int link_path_walk(char *path, struct nameidata *nd);
238
239 /* When nd->dentry is for a symlink, this will recurse and follow that symlink,
240  * so that nd contains the results of following the symlink (dentry and mnt).
241  * Returns when it isn't a symlink, 1 on following a link, and < 0 on error. */
242 static int follow_symlink(struct nameidata *nd)
243 {
244         int retval;
245         char *symname;
246         if (!S_ISLNK(nd->dentry->d_inode->i_mode))
247                 return 0;
248         if (nd->depth > MAX_SYMLINK_DEPTH)
249                 return -ELOOP;
250         printd("Following symlink for dentry %p %s\n", nd->dentry,
251                nd->dentry->d_name.name);
252         nd->depth++;
253         symname = nd->dentry->d_inode->i_op->readlink(nd->dentry);
254         /* We need to pin in nd->dentry (the dentry of the symlink), since we need
255          * it's symname's storage to stay in memory throughout the upcoming
256          * link_path_walk().  The last_sym gets decreffed when we path_release() or
257          * follow another symlink. */
258         if (nd->last_sym)
259                 kref_put(&nd->last_sym->d_kref);
260         kref_get(&nd->dentry->d_kref, 1);
261         nd->last_sym = nd->dentry;
262         /* If this an absolute path in the symlink, we need to free the old path and
263          * start over, otherwise, we continue from the PARENT of nd (the symlink) */
264         if (symname[0] == '/') {
265                 path_release(nd);
266                 if (!current)
267                         nd->dentry = default_ns.root->mnt_root;
268                 else
269                         nd->dentry = current->fs_env.root;      
270                 nd->mnt = nd->dentry->d_sb->s_mount;
271                 kref_get(&nd->mnt->mnt_kref, 1);
272                 kref_get(&nd->dentry->d_kref, 1);
273         } else {
274                 climb_up(nd);
275         }
276         /* either way, keep on walking in the free world! */
277         retval = link_path_walk(symname, nd);
278         return (retval == 0 ? 1 : retval);
279 }
280
281 /* Little helper, to make it easier to break out of the nested loops.  Will also
282  * '\0' out the first slash if it's slashes all the way down.  Or turtles. */
283 static bool packed_trailing_slashes(char *first_slash)
284 {
285         for (char *i = first_slash; *i == '/'; i++) {
286                 if (*(i + 1) == '\0') {
287                         *first_slash = '\0';
288                         return TRUE;
289                 }
290         }
291         return FALSE;
292 }
293
294 /* Simple helper to set nd to track it's last name to be Name.  Also be careful
295  * with the storage of name.  Don't use and nd's name past the lifetime of the
296  * string used in the path_lookup()/link_path_walk/whatever.  Consider replacing
297  * parts of this with a qstr builder.  Note this uses the dentry's d_op, which
298  * might not be the dentry we care about. */
299 static void stash_nd_name(struct nameidata *nd, char *name)
300 {
301         nd->last.name = name;
302         nd->last.len = strlen(name);
303         nd->last.hash = nd->dentry->d_op->d_hash(nd->dentry, &nd->last);
304 }
305
306 /* Resolves the links in a basic path walk.  0 for success, -EWHATEVER
307  * otherwise.  The final lookup is returned via nd. */
308 static int link_path_walk(char *path, struct nameidata *nd)
309 {
310         struct dentry *link_dentry;
311         struct inode *link_inode, *nd_inode;
312         char *next_slash;
313         char *link = path;
314         int error;
315
316         /* Prevent crazy recursion */
317         if (nd->depth > MAX_SYMLINK_DEPTH)
318                 return -ELOOP;
319         /* skip all leading /'s */
320         while (*link == '/')
321                 link++;
322         /* if there's nothing left (null terminated), we're done.  This should only
323          * happen for "/", which if we wanted a PARENT, should fail (there is no
324          * parent). */
325         if (*link == '\0') {
326                 if (nd->flags & LOOKUP_PARENT) {
327                         set_errno(ENOENT);
328                         return -1;
329                 }
330                 /* o/w, we're good */
331                 return 0;
332         }
333         /* iterate through each intermediate link of the path.  in general, nd
334          * tracks where we are in the path, as far as dentries go.  once we have the
335          * next dentry, we try to update nd based on that dentry.  link is the part
336          * of the path string that we are looking up */
337         while (1) {
338                 nd_inode = nd->dentry->d_inode;
339                 if ((error = check_perms(nd_inode, nd->intent)))
340                         return error;
341                 /* find the next link, break out if it is the end */
342                 next_slash = strchr(link, '/');
343                 if (!next_slash) {
344                         break;
345                 } else {
346                         if (packed_trailing_slashes(next_slash)) {
347                                 nd->flags |= LOOKUP_DIRECTORY;
348                                 break;
349                         }
350                 }
351                 /* skip over any interim ./ */
352                 if (!strncmp("./", link, 2))
353                         goto next_loop;
354                 /* Check for "../", walk up */
355                 if (!strncmp("../", link, 3)) {
356                         climb_up(nd);
357                         goto next_loop;
358                 }
359                 *next_slash = '\0';
360                 link_dentry = do_lookup(nd->dentry, link);
361                 *next_slash = '/';
362                 if (!link_dentry)
363                         return -ENOENT;
364                 /* make link_dentry the current step/answer */
365                 next_link(link_dentry, nd);
366                 kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt dentry */
367                 /* we could be on a mountpoint or a symlink - need to follow them */
368                 follow_mount(nd);
369                 if ((error = follow_symlink(nd)) < 0)
370                         return error;
371                 /* Turn off a possible DIRECTORY lookup, which could have been set
372                  * during the follow_symlink (a symlink could have had a directory at
373                  * the end), though it was in the middle of the real path. */
374                 nd->flags &= ~LOOKUP_DIRECTORY;
375                 if (!S_ISDIR(nd->dentry->d_inode->i_mode))
376                         return -ENOTDIR;
377 next_loop:
378                 /* move through the path string to the next entry */
379                 link = next_slash + 1;
380                 /* advance past any other interim slashes.  we know we won't hit the end
381                  * due to the for loop check above */
382                 while (*link == '/')
383                         link++;
384         }
385         /* Now, we're on the last link of the path.  We need to deal with with . and
386          * .. .  This might be weird with PARENT lookups - not sure what semantics
387          * we want exactly.  This will give the parent of whatever the PATH was
388          * supposed to look like.  Note that ND currently points to the parent of
389          * the last item (link). */
390         if (!strcmp(".", link)) {
391                 if (nd->flags & LOOKUP_PARENT) {
392                         assert(nd->dentry->d_name.name);
393                         stash_nd_name(nd, nd->dentry->d_name.name);
394                         climb_up(nd);
395                 }
396                 return 0;
397         }
398         if (!strcmp("..", link)) {
399                 climb_up(nd);
400                 if (nd->flags & LOOKUP_PARENT) {
401                         assert(nd->dentry->d_name.name);
402                         stash_nd_name(nd, nd->dentry->d_name.name);
403                         climb_up(nd);
404                 }
405                 return 0;
406         }
407         /* need to attempt to look it up, in case it's a symlink */
408         link_dentry = do_lookup(nd->dentry, link);
409         if (!link_dentry) {
410                 /* if there's no dentry, we are okay if we are looking for the parent */
411                 if (nd->flags & LOOKUP_PARENT) {
412                         assert(strcmp(link, ""));
413                         stash_nd_name(nd, link);
414                         return 0;
415                 } else {
416                         return -ENOENT;
417                 }
418         }
419         next_link(link_dentry, nd);
420         kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt'd dentry */
421         /* at this point, nd is on the final link, but it might be a symlink */
422         if (nd->flags & LOOKUP_FOLLOW) {
423                 error = follow_symlink(nd);
424                 if (error < 0)
425                         return error;
426                 /* if we actually followed a symlink, then nd is set and we're done */
427                 if (error > 0)
428                         return 0;
429         }
430         /* One way or another, nd is on the last element of the path, symlinks and
431          * all.  Now we need to climb up to set nd back on the parent, if that's
432          * what we wanted */
433         if (nd->flags & LOOKUP_PARENT) {
434                 assert(nd->dentry->d_name.name);
435                 stash_nd_name(nd, link_dentry->d_name.name);
436                 climb_up(nd);
437                 return 0;
438         }
439         /* now, we have the dentry set, and don't want the parent, but might be on a
440          * mountpoint still.  FYI: this hasn't been thought through completely. */
441         follow_mount(nd);
442         /* If we wanted a directory, but didn't get one, error out */
443         if ((nd->flags & LOOKUP_DIRECTORY) && !S_ISDIR(nd->dentry->d_inode->i_mode))
444                 return -ENOTDIR;
445         return 0;
446 }
447
448 /* Given path, return the inode for the final dentry.  The ND should be
449  * initialized for the first call - specifically, we need the intent. 
450  * LOOKUP_PARENT and friends go in the flags var, which is not the intent.
451  *
452  * If path_lookup wants a PARENT, but hits the top of the FS (root or
453  * otherwise), we want it to error out.  It's still unclear how we want to
454  * handle processes with roots that aren't root, but at the very least, we don't
455  * want to think we have the parent of /, but have / itself.  Due to the way
456  * link_path_walk works, if that happened, we probably don't have a
457  * nd->last.name.  This needs more thought (TODO).
458  *
459  * Need to be careful too.  While the path has been copied-in to the kernel,
460  * it's still user input.  */
461 int path_lookup(char *path, int flags, struct nameidata *nd)
462 {
463         int retval;
464         printd("Path lookup for %s\n", path);
465         /* we allow absolute lookups with no process context */
466         /* TODO: RCU read lock on pwd or kref_not_zero in a loop.  concurrent chdir
467          * could decref nd->dentry before we get to incref it below. */
468         if (path[0] == '/') {                   /* absolute lookup */
469                 if (!current)
470                         nd->dentry = default_ns.root->mnt_root;
471                 else
472                         nd->dentry = current->fs_env.root;      
473         } else {                                                /* relative lookup */
474                 assert(current);
475                 /* Don't need to lock on the fs_env since we're reading one item */
476                 nd->dentry = current->fs_env.pwd;       
477         }
478         nd->mnt = nd->dentry->d_sb->s_mount;
479         /* Whenever references get put in the nd, incref them.  Whenever they are
480          * removed, decref them. */
481         kref_get(&nd->mnt->mnt_kref, 1);
482         kref_get(&nd->dentry->d_kref, 1);
483         nd->flags = flags;
484         nd->depth = 0;                                  /* used in symlink following */
485         retval =  link_path_walk(path, nd);     
486         /* make sure our PARENT lookup worked */
487         if (!retval && (flags & LOOKUP_PARENT))
488                 assert(nd->last.name);
489         return retval;
490 }
491
492 /* Call this after any use of path_lookup when you are done with its results,
493  * regardless of whether it succeeded or not.  It will free any references */
494 void path_release(struct nameidata *nd)
495 {
496         kref_put(&nd->dentry->d_kref);
497         kref_put(&nd->mnt->mnt_kref);
498         /* Free the last symlink dentry used, if there was one */
499         if (nd->last_sym) {
500                 kref_put(&nd->last_sym->d_kref);
501                 nd->last_sym = 0;                       /* catch reuse bugs */
502         }
503 }
504
505 /* External version of mount, only call this after having a / mount */
506 int mount_fs(struct fs_type *fs, char *dev_name, char *path, int flags)
507 {
508         struct nameidata nd_r = {0}, *nd = &nd_r;
509         int retval = 0;
510         retval = path_lookup(path, LOOKUP_DIRECTORY, nd);
511         if (retval)
512                 goto out;
513         /* taking the namespace of the vfsmount of path */ 
514         if (!__mount_fs(fs, dev_name, nd->dentry, flags, nd->mnt->mnt_namespace))
515                 retval = -EINVAL;
516 out:
517         path_release(nd);
518         return retval;
519 }
520
521 /* Superblock functions */
522
523 /* Dentry "hash" function for the hash table to use.  Since we already have the
524  * hash in the qstr, we don't need to rehash.  Also, note we'll be using the
525  * dentry in question as both the key and the value. */
526 static size_t __dcache_hash(void *k)
527 {
528         return (size_t)((struct dentry*)k)->d_name.hash;
529 }
530
531 /* Dentry cache hashtable equality function.  This means we need to pass in some
532  * minimal dentry when doing a lookup. */
533 static ssize_t __dcache_eq(void *k1, void *k2)
534 {
535         if (((struct dentry*)k1)->d_parent != ((struct dentry*)k2)->d_parent)
536                 return 0;
537         /* TODO: use the FS-specific string comparison */
538         return !strcmp(((struct dentry*)k1)->d_name.name,
539                        ((struct dentry*)k2)->d_name.name);
540 }
541
542 /* Helper to alloc and initialize a generic superblock.  This handles all the
543  * VFS related things, like lists.  Each FS will need to handle its own things
544  * in it's *_get_sb(), usually involving reading off the disc. */
545 struct super_block *get_sb(void)
546 {
547         struct super_block *sb = kmalloc(sizeof(struct super_block), 0);
548         sb->s_dirty = FALSE;
549         spinlock_init(&sb->s_lock);
550         kref_init(&sb->s_kref, fake_release, 1); /* for the ref passed out */
551         TAILQ_INIT(&sb->s_inodes);
552         TAILQ_INIT(&sb->s_dirty_i);
553         TAILQ_INIT(&sb->s_io_wb);
554         TAILQ_INIT(&sb->s_lru_d);
555         TAILQ_INIT(&sb->s_files);
556         sb->s_dcache = create_hashtable(100, __dcache_hash, __dcache_eq);
557         sb->s_icache = create_hashtable(100, __generic_hash, __generic_eq);
558         spinlock_init(&sb->s_lru_lock);
559         spinlock_init(&sb->s_dcache_lock);
560         spinlock_init(&sb->s_icache_lock);
561         sb->s_fs_info = 0; // can override somewhere else
562         return sb;
563 }
564
565 /* Final stages of initializing a super block, including creating and linking
566  * the root dentry, root inode, vmnt, and sb.  The d_op and root_ino are
567  * FS-specific, but otherwise it's FS-independent, tricky, and not worth having
568  * around multiple times.
569  *
570  * Not the world's best interface, so it's subject to change, esp since we're
571  * passing (now 3) FS-specific things. */
572 void init_sb(struct super_block *sb, struct vfsmount *vmnt,
573              struct dentry_operations *d_op, unsigned long root_ino,
574              void *d_fs_info)
575 {
576         /* Build and init the first dentry / inode.  The dentry ref is stored later
577          * by vfsmount's mnt_root.  The parent is dealt with later. */
578         struct dentry *d_root = get_dentry(sb, 0,  "/");        /* probably right */
579
580         if (!d_root)
581                 panic("OOM!  init_sb() can't fail yet!");
582         /* a lot of here on down is normally done in lookup() or create, since
583          * get_dentry isn't a fully usable dentry.  The two FS-specific settings are
584          * normally inherited from a parent within the same FS in get_dentry, but we
585          * have none here. */
586         d_root->d_op = d_op;
587         d_root->d_fs_info = d_fs_info;
588         struct inode *inode = get_inode(d_root);
589         if (!inode)
590                 panic("This FS sucks!");
591         inode->i_ino = root_ino;
592         /* TODO: add the inode to the appropriate list (off i_list) */
593         /* TODO: do we need to read in the inode?  can we do this on demand? */
594         /* if this FS is already mounted, we'll need to do something different. */
595         sb->s_op->read_inode(inode);
596         icache_put(sb, inode);
597         /* Link the dentry and SB to the VFS mount */
598         vmnt->mnt_root = d_root;                                /* ref comes from get_dentry */
599         vmnt->mnt_sb = sb;
600         /* If there is no mount point, there is no parent.  This is true only for
601          * the rootfs. */
602         if (vmnt->mnt_mountpoint) {
603                 kref_get(&vmnt->mnt_mountpoint->d_kref, 1);     /* held by d_root */
604                 d_root->d_parent = vmnt->mnt_mountpoint;        /* dentry of the root */
605         } else {
606                 d_root->d_parent = d_root;                      /* set root as its own parent */
607         }
608         /* insert the dentry into the dentry cache.  when's the earliest we can?
609          * when's the earliest we should?  what about concurrent accesses to the
610          * same dentry?  should be locking the dentry... */
611         dcache_put(sb, d_root);
612         kref_put(&inode->i_kref);               /* give up the ref from get_inode() */
613 }
614
615 /* Dentry Functions */
616
617 static void dentry_set_name(struct dentry *dentry, char *name)
618 {
619         size_t name_len = strnlen(name, MAX_FILENAME_SZ);       /* not including \0! */
620         char *l_name = 0;
621         if (name_len < DNAME_INLINE_LEN) {
622                 strncpy(dentry->d_iname, name, name_len);
623                 dentry->d_iname[name_len] = '\0';
624                 qstr_builder(dentry, 0);
625         } else {
626                 l_name = kmalloc(name_len + 1, 0);
627                 assert(l_name);
628                 strncpy(l_name, name, name_len);
629                 l_name[name_len] = '\0';
630                 qstr_builder(dentry, l_name);
631         }
632 }
633
634 /* Helper to alloc and initialize a generic dentry.  The following needs to be
635  * set still: d_op (if no parent), d_fs_info (opt), d_inode, connect the inode
636  * to the dentry (and up the d_kref again), maybe dcache_put().  The inode
637  * stitching is done in get_inode() or lookup (depending on the FS).
638  * The setting of the d_op might be problematic when dealing with mounts.  Just
639  * overwrite it.
640  *
641  * If the name is longer than the inline name, it will kmalloc a buffer, so
642  * don't worry about the storage for *name after calling this. */
643 struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
644                           char *name)
645 {
646         assert(name);
647         struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
648
649         if (!dentry) {
650                 set_errno(ENOMEM);
651                 return 0;
652         }
653         //memset(dentry, 0, sizeof(struct dentry));
654         kref_init(&dentry->d_kref, dentry_release, 1);  /* this ref is returned */
655         spinlock_init(&dentry->d_lock);
656         TAILQ_INIT(&dentry->d_subdirs);
657         dentry->d_time = 0;
658         kref_get(&sb->s_kref, 1);
659         dentry->d_sb = sb;                                      /* storing a ref here... */
660         dentry->d_mount_point = FALSE;
661         dentry->d_mounted_fs = 0;
662         if (parent)     {                                               /* no parent for rootfs mount */
663                 kref_get(&parent->d_kref, 1);
664                 dentry->d_op = parent->d_op;    /* d_op set in init_sb for parentless */
665         }
666         dentry->d_parent = parent;
667         dentry->d_flags = DENTRY_USED;
668         dentry->d_fs_info = 0;
669         dentry_set_name(dentry, name);
670         /* Catch bugs by aggressively zeroing this (o/w we use old stuff) */
671         dentry->d_inode = 0;
672         return dentry;
673 }
674
675 /* Called when the dentry is unreferenced (after kref == 0).  This works closely
676  * with the resurrection in dcache_get().
677  *
678  * The dentry is still in the dcache, but needs to be un-USED and added to the
679  * LRU dentry list.  Even dentries that were used in a failed lookup need to be
680  * cached - they ought to be the negative dentries.  Note that all dentries have
681  * parents, even negative ones (it is needed to find it in the dcache). */
682 void dentry_release(struct kref *kref)
683 {
684         struct dentry *dentry = container_of(kref, struct dentry, d_kref);
685
686         printd("'Releasing' dentry %p: %s\n", dentry, dentry->d_name.name);
687         /* DYING dentries (recently unlinked / rmdir'd) just get freed */
688         if (dentry->d_flags & DENTRY_DYING) {
689                 __dentry_free(dentry);
690                 return;
691         }
692         /* This lock ensures the USED state and the TAILQ membership is in sync.
693          * Also used to check the refcnt, though that might not be necessary. */
694         spin_lock(&dentry->d_lock);
695         /* While locked, we need to double check the kref, in case someone already
696          * reup'd it.  Re-up? you're crazy!  Reee-up, you're outta yo mind! */
697         if (!kref_refcnt(&dentry->d_kref)) {
698                 /* Note this is where negative dentries get set UNUSED */
699                 if (dentry->d_flags & DENTRY_USED) {
700                         dentry->d_flags &= ~DENTRY_USED;
701                         spin_lock(&dentry->d_sb->s_lru_lock);
702                         TAILQ_INSERT_TAIL(&dentry->d_sb->s_lru_d, dentry, d_lru);
703                         spin_unlock(&dentry->d_sb->s_lru_lock);
704                 } else {
705                         /* and make sure it wasn't USED, then UNUSED again */
706                         /* TODO: think about issues with this */
707                         warn("This should be rare.  Tell brho this happened.");
708                 }
709         }
710         spin_unlock(&dentry->d_lock);
711 }
712
713 /* Called when we really dealloc and get rid of a dentry (like when it is
714  * removed from the dcache, either for memory or correctness reasons)
715  *
716  * This has to handle two types of dentries: full ones (ones that had been used)
717  * and ones that had been just for lookups - hence the check for d_inode.
718  *
719  * Note that dentries pin and kref their inodes.  When all the dentries are
720  * gone, we want the inode to be released via kref.  The inode has internal /
721  * weak references to the dentry, which are not refcounted. */
722 void __dentry_free(struct dentry *dentry)
723 {
724         if (dentry->d_inode)
725                 printd("Freeing dentry %p: %s\n", dentry, dentry->d_name.name);
726         assert(dentry->d_op);   /* catch bugs.  a while back, some lacked d_op */
727         dentry->d_op->d_release(dentry);
728         /* TODO: check/test the boundaries on this. */
729         if (dentry->d_name.len > DNAME_INLINE_LEN)
730                 kfree((void*)dentry->d_name.name);
731         kref_put(&dentry->d_sb->s_kref);
732         if (dentry->d_parent)
733                 kref_put(&dentry->d_parent->d_kref);
734         if (dentry->d_mounted_fs)
735                 kref_put(&dentry->d_mounted_fs->mnt_kref);
736         if (dentry->d_inode) {
737                 TAILQ_REMOVE(&dentry->d_inode->i_dentry, dentry, d_alias);
738                 kref_put(&dentry->d_inode->i_kref);     /* dentries kref inodes */
739         }
740         kmem_cache_free(dentry_kcache, dentry);
741 }
742
743 /* Looks up the dentry for the given path, returning a refcnt'd dentry (or 0).
744  * Permissions are applied for the current user, which is quite a broken system
745  * at the moment.  Flags are lookup flags. */
746 struct dentry *lookup_dentry(char *path, int flags)
747 {
748         struct dentry *dentry;
749         struct nameidata nd_r = {0}, *nd = &nd_r;
750         int error;
751
752         error = path_lookup(path, flags, nd);
753         if (error) {
754                 path_release(nd);
755                 set_errno(-error);
756                 return 0;
757         }
758         dentry = nd->dentry;
759         kref_get(&dentry->d_kref, 1);
760         path_release(nd);
761         return dentry;
762 }
763
764 /* Get a dentry from the dcache.  At a minimum, we need the name hash and parent
765  * in what_i_want, though most uses will probably be from a get_dentry() call.
766  * We pass in the SB in the off chance that we don't want to use a get'd dentry.
767  *
768  * The unusual variable name (instead of just "key" or something) is named after
769  * ex-SPC Castro's porn folder.  Caller deals with the memory for what_i_want.
770  *
771  * If the dentry is negative, we don't return the actual result - instead, we
772  * set the negative flag in 'what i want'.  The reason is we don't want to
773  * kref_get() and then immediately put (causing dentry_release()).  This also
774  * means that dentry_release() should never get someone who wasn't USED (barring
775  * the race, which it handles).  And we don't need to ever have a dentry set as
776  * USED and NEGATIVE (which is always wrong, but would be needed for a cleaner
777  * dentry_release()).
778  *
779  * This is where we do the "kref resurrection" - we are returning a kref'd
780  * object, even if it wasn't kref'd before.  This means the dcache does NOT hold
781  * krefs (it is a weak/internal ref), but it is a source of kref generation.  We
782  * sync up with the possible freeing of the dentry by locking the table.  See
783  * Doc/kref for more info. */
784 struct dentry *dcache_get(struct super_block *sb, struct dentry *what_i_want)
785 {
786         struct dentry *found;
787         /* This lock protects the hash, as well as ensures the returned object
788          * doesn't get deleted/freed out from under us */
789         spin_lock(&sb->s_dcache_lock);
790         found = hashtable_search(sb->s_dcache, what_i_want);
791         if (found) {
792                 if (found->d_flags & DENTRY_NEGATIVE) {
793                         what_i_want->d_flags |= DENTRY_NEGATIVE;
794                         spin_unlock(&sb->s_dcache_lock);
795                         return 0;
796                 }
797                 spin_lock(&found->d_lock);
798                 __kref_get(&found->d_kref, 1);  /* prob could be done outside the lock*/
799                 /* If we're here (after kreffing) and it is not USED, we are the one who
800                  * should resurrect */
801                 if (!(found->d_flags & DENTRY_USED)) {
802                         found->d_flags |= DENTRY_USED;
803                         spin_lock(&sb->s_lru_lock);
804                         TAILQ_REMOVE(&sb->s_lru_d, found, d_lru);
805                         spin_unlock(&sb->s_lru_lock);
806                 }
807                 spin_unlock(&found->d_lock);
808         }
809         spin_unlock(&sb->s_dcache_lock);
810         return found;
811 }
812
813 /* Adds a dentry to the dcache.  Note the *dentry is both the key and the value.
814  * If the value was already in there (which can happen iff it was negative), for
815  * now we'll remove it and put the new one in there. */
816 void dcache_put(struct super_block *sb, struct dentry *key_val)
817 {
818         struct dentry *old;
819         int retval;
820         spin_lock(&sb->s_dcache_lock);
821         old = hashtable_remove(sb->s_dcache, key_val);
822         /* if it is old and non-negative, our caller lost a race with someone else
823          * adding the dentry.  but since we yanked it out, like a bunch of idiots,
824          * we still have to put it back.  should be fairly rare. */
825         if (old && (old->d_flags & DENTRY_NEGATIVE)) {
826                 /* This is possible, but rare for now (about to be put on the LRU) */
827                 assert(!(old->d_flags & DENTRY_USED));
828                 assert(!kref_refcnt(&old->d_kref));
829                 spin_lock(&sb->s_lru_lock);
830                 TAILQ_REMOVE(&sb->s_lru_d, old, d_lru);
831                 spin_unlock(&sb->s_lru_lock);
832                 /* TODO: this seems suspect.  isn't this the same memory as key_val?
833                  * in which case, we just adjust the flags (remove NEG) and reinsert? */
834                 assert(old != key_val); // checking TODO comment
835                 __dentry_free(old);
836         }
837         /* this returns 0 on failure (TODO: Fix this ghetto shit) */
838         retval = hashtable_insert(sb->s_dcache, key_val, key_val);
839         assert(retval);
840         spin_unlock(&sb->s_dcache_lock);
841 }
842
843 /* Will remove and return the dentry.  Caller deallocs the key, but the retval
844  * won't have a reference.  * Returns 0 if it wasn't found.  Callers can't
845  * assume much - they should not use the reference they *get back*, (if they
846  * already had one for key, they can use that).  There may be other users out
847  * there. */
848 struct dentry *dcache_remove(struct super_block *sb, struct dentry *key)
849 {
850         struct dentry *retval;
851         spin_lock(&sb->s_dcache_lock);
852         retval = hashtable_remove(sb->s_dcache, key);
853         spin_unlock(&sb->s_dcache_lock);
854         return retval;
855 }
856
857 /* This will clean out the LRU list, which are the unused dentries of the dentry
858  * cache.  This will optionally only free the negative ones.  Note that we grab
859  * the hash lock for the time we traverse the LRU list - this prevents someone
860  * from getting a kref from the dcache, which could cause us trouble (we rip
861  * someone off the list, who isn't unused, and they try to rip them off the
862  * list). */
863 void dcache_prune(struct super_block *sb, bool negative_only)
864 {
865         struct dentry *d_i, *temp;
866         struct dentry_tailq victims = TAILQ_HEAD_INITIALIZER(victims);
867
868         spin_lock(&sb->s_dcache_lock);
869         spin_lock(&sb->s_lru_lock);
870         TAILQ_FOREACH_SAFE(d_i, &sb->s_lru_d, d_lru, temp) {
871                 if (!(d_i->d_flags & DENTRY_USED)) {
872                         if (negative_only && !(d_i->d_flags & DENTRY_NEGATIVE))
873                                 continue;
874                         /* another place where we'd be better off with tools, not sol'ns */
875                         hashtable_remove(sb->s_dcache, d_i);
876                         TAILQ_REMOVE(&sb->s_lru_d, d_i, d_lru);
877                         TAILQ_INSERT_HEAD(&victims, d_i, d_lru);
878                 }
879         }
880         spin_unlock(&sb->s_lru_lock);
881         spin_unlock(&sb->s_dcache_lock);
882         /* Now do the actual freeing, outside of the hash/LRU list locks.  This is
883          * necessary since __dentry_free() will decref its parent, which may get
884          * released and try to add itself to the LRU. */
885         TAILQ_FOREACH_SAFE(d_i, &victims, d_lru, temp) {
886                 TAILQ_REMOVE(&victims, d_i, d_lru);
887                 assert(!kref_refcnt(&d_i->d_kref));
888                 __dentry_free(d_i);
889         }
890         /* It is possible at this point that there are new items on the LRU.  We
891          * could loop back until that list is empty, if we care about this. */
892 }
893
894 /* Inode Functions */
895
896 /* Creates and initializes a new inode.  Generic fields are filled in.
897  * FS-specific fields are filled in by the callout.  Specific fields are filled
898  * in in read_inode() based on what's on the disk for a given i_no, or when the
899  * inode is created (for new objects).
900  *
901  * i_no is set by the caller.  Note that this means this inode can be for an
902  * inode that is already on disk, or it can be used when creating. */
903 struct inode *get_inode(struct dentry *dentry)
904 {
905         struct super_block *sb = dentry->d_sb;
906         /* FS allocs and sets the following: i_op, i_fop, i_pm.pm_op, and any FS
907          * specific stuff. */
908         struct inode *inode = sb->s_op->alloc_inode(sb);
909         if (!inode) {
910                 set_errno(ENOMEM);
911                 return 0;
912         }
913         TAILQ_INSERT_HEAD(&sb->s_inodes, inode, i_sb_list);             /* weak inode ref */
914         TAILQ_INIT(&inode->i_dentry);
915         TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);   /* weak dentry ref*/
916         /* one for the dentry->d_inode, one passed out */
917         kref_init(&inode->i_kref, inode_release, 2);
918         dentry->d_inode = inode;
919         inode->i_ino = 0;                                       /* set by caller later */
920         inode->i_blksize = sb->s_blocksize;
921         spinlock_init(&inode->i_lock);
922         kref_get(&sb->s_kref, 1);                       /* could allow the dentry to pin it */
923         inode->i_sb = sb;
924         inode->i_rdev = 0;                                      /* this has no real meaning yet */
925         inode->i_bdev = sb->s_bdev;                     /* storing an uncounted ref */
926         inode->i_state = 0;                                     /* need real states, like I_NEW */
927         inode->dirtied_when = 0;
928         inode->i_flags = 0;
929         atomic_set(&inode->i_writecount, 0);
930         /* Set up the page_map structures.  Default is to use the embedded one.
931          * Might push some of this back into specific FSs.  For now, the FS tells us
932          * what pm_op they want via i_pm.pm_op, which we set again in pm_init() */
933         inode->i_mapping = &inode->i_pm;
934         pm_init(inode->i_mapping, inode->i_pm.pm_op, inode);
935         return inode;
936 }
937
938 /* Helper: loads/ reads in the inode numbered ino and attaches it to dentry */
939 void load_inode(struct dentry *dentry, unsigned long ino)
940 {
941         struct inode *inode;
942
943         /* look it up in the inode cache first */
944         inode = icache_get(dentry->d_sb, ino);
945         if (inode) {
946                 /* connect the dentry to its inode */
947                 TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);
948                 dentry->d_inode = inode;        /* storing the ref we got from icache_get */
949                 return;
950         }
951         /* otherwise, we need to do it manually */
952         inode = get_inode(dentry);
953         inode->i_ino = ino;
954         dentry->d_sb->s_op->read_inode(inode);
955         /* TODO: race here, two creators could miss in the cache, and then get here.
956          * need a way to sync across a blocking call.  needs to be either at this
957          * point in the code or per the ino (dentries could be different) */
958         icache_put(dentry->d_sb, inode);
959         kref_put(&inode->i_kref);
960 }
961
962 /* Helper op, used when creating regular files, directories, symlinks, etc.
963  * Note we make a distinction between the mode and the file type (for now).
964  * After calling this, call the FS specific version (create or mkdir), which
965  * will set the i_ino, the filetype, and do any other FS-specific stuff.  Also
966  * note that a lot of inode stuff was initialized in get_inode/alloc_inode.  The
967  * stuff here is pertinent to the specific creator (user), mode, and time.  Also
968  * note we don't pass this an nd, like Linux does... */
969 static struct inode *create_inode(struct dentry *dentry, int mode)
970 {
971         uint64_t now = epoch_seconds();
972         /* note it is the i_ino that uniquely identifies a file in the specific
973          * filesystem.  there's a diff between creating an inode (even for an in-use
974          * ino) and then filling it in, and vs creating a brand new one.
975          * get_inode() sets it to 0, and it should be filled in later in an
976          * FS-specific manner. */
977         struct inode *inode = get_inode(dentry);
978         if (!inode)
979                 return 0;
980         inode->i_mode = mode & S_PMASK; /* note that after this, we have no type */
981         inode->i_nlink = 1;
982         inode->i_size = 0;
983         inode->i_blocks = 0;
984         inode->i_atime.tv_sec = now;
985         inode->i_ctime.tv_sec = now;
986         inode->i_mtime.tv_sec = now;
987         inode->i_atime.tv_nsec = 0;
988         inode->i_ctime.tv_nsec = 0;
989         inode->i_mtime.tv_nsec = 0;
990         inode->i_bdev = inode->i_sb->s_bdev;
991         /* when we have notions of users, do something here: */
992         inode->i_uid = 0;
993         inode->i_gid = 0;
994         return inode;
995 }
996
997 /* Create a new disk inode in dir associated with dentry, with the given mode.
998  * called when creating a regular file.  dir is the directory/parent.  dentry is
999  * the dentry of the inode we are creating.  Note the lack of the nd... */
1000 int create_file(struct inode *dir, struct dentry *dentry, int mode)
1001 {
1002         struct inode *new_file = create_inode(dentry, mode);
1003         if (!new_file)
1004                 return -1;
1005         dir->i_op->create(dir, dentry, mode, 0);
1006         icache_put(new_file->i_sb, new_file);
1007         kref_put(&new_file->i_kref);
1008         return 0;
1009 }
1010
1011 /* Creates a new inode for a directory associated with dentry in dir with the
1012  * given mode. */
1013 int create_dir(struct inode *dir, struct dentry *dentry, int mode)
1014 {
1015         struct inode *new_dir = create_inode(dentry, mode);
1016         if (!new_dir)
1017                 return -1;
1018         dir->i_op->mkdir(dir, dentry, mode);
1019         dir->i_nlink++;         /* Directories get a hardlink for every child dir */
1020         /* Make sure my parent tracks me.  This is okay, since no directory (dir)
1021          * can have more than one dentry */
1022         struct dentry *parent = TAILQ_FIRST(&dir->i_dentry);
1023         assert(parent && parent == TAILQ_LAST(&dir->i_dentry, dentry_tailq));
1024         /* parent dentry tracks dentry as a subdir, weak reference */
1025         TAILQ_INSERT_TAIL(&parent->d_subdirs, dentry, d_subdirs_link);
1026         icache_put(new_dir->i_sb, new_dir);
1027         kref_put(&new_dir->i_kref);
1028         return 0;
1029 }
1030
1031 /* Creates a new inode for a symlink associated with dentry in dir, containing
1032  * the symlink symname */
1033 int create_symlink(struct inode *dir, struct dentry *dentry,
1034                    const char *symname, int mode)
1035 {
1036         struct inode *new_sym = create_inode(dentry, mode);
1037         if (!new_sym)
1038                 return -1;
1039         dir->i_op->symlink(dir, dentry, symname);
1040         icache_put(new_sym->i_sb, new_sym);
1041         kref_put(&new_sym->i_kref);
1042         return 0;
1043 }
1044
1045 /* Returns 0 if the given mode is acceptable for the inode, and an appropriate
1046  * error code if not.  Needs to be writen, based on some sensible rules, and
1047  * will also probably use 'current' */
1048 int check_perms(struct inode *inode, int access_mode)
1049 {
1050         return 0;       /* anything goes! */
1051 }
1052
1053 /* Called after all external refs are gone to clean up the inode.  Once this is
1054  * called, all dentries pointing here are already done (one of them triggered
1055  * this via kref_put(). */
1056 void inode_release(struct kref *kref)
1057 {
1058         struct inode *inode = container_of(kref, struct inode, i_kref);
1059         TAILQ_REMOVE(&inode->i_sb->s_inodes, inode, i_sb_list);
1060         icache_remove(inode->i_sb, inode->i_ino);
1061         /* Might need to write back or delete the file/inode */
1062         if (inode->i_nlink) {
1063                 if (inode->i_state & I_STATE_DIRTY)
1064                         inode->i_sb->s_op->write_inode(inode, TRUE);
1065         } else {
1066                 inode->i_sb->s_op->delete_inode(inode);
1067         }
1068         if (S_ISFIFO(inode->i_mode)) {
1069                 page_decref(kva2page(inode->i_pipe->p_buf));
1070                 kfree(inode->i_pipe);
1071         }
1072         /* TODO: (BDEV) */
1073         // kref_put(inode->i_bdev->kref); /* assuming it's a bdev, could be a pipe*/
1074         /* Either way, we dealloc the in-memory version */
1075         inode->i_sb->s_op->dealloc_inode(inode);        /* FS-specific clean-up */
1076         kref_put(&inode->i_sb->s_kref);
1077         /* TODO: clean this up */
1078         assert(inode->i_mapping == &inode->i_pm);
1079         kmem_cache_free(inode_kcache, inode);
1080 }
1081
1082 /* Fills in kstat with the stat information for the inode */
1083 void stat_inode(struct inode *inode, struct kstat *kstat)
1084 {
1085         kstat->st_dev = inode->i_sb->s_dev;
1086         kstat->st_ino = inode->i_ino;
1087         kstat->st_mode = inode->i_mode;
1088         kstat->st_nlink = inode->i_nlink;
1089         kstat->st_uid = inode->i_uid;
1090         kstat->st_gid = inode->i_gid;
1091         kstat->st_rdev = inode->i_rdev;
1092         kstat->st_size = inode->i_size;
1093         kstat->st_blksize = inode->i_blksize;
1094         kstat->st_blocks = inode->i_blocks;
1095         kstat->st_atime = inode->i_atime;
1096         kstat->st_mtime = inode->i_mtime;
1097         kstat->st_ctime = inode->i_ctime;
1098 }
1099
1100 void print_kstat(struct kstat *kstat)
1101 {
1102         printk("kstat info for %p:\n", kstat);
1103         printk("\tst_dev    : %p\n", kstat->st_dev);
1104         printk("\tst_ino    : %p\n", kstat->st_ino);
1105         printk("\tst_mode   : %p\n", kstat->st_mode);
1106         printk("\tst_nlink  : %p\n", kstat->st_nlink);
1107         printk("\tst_uid    : %p\n", kstat->st_uid);
1108         printk("\tst_gid    : %p\n", kstat->st_gid);
1109         printk("\tst_rdev   : %p\n", kstat->st_rdev);
1110         printk("\tst_size   : %p\n", kstat->st_size);
1111         printk("\tst_blksize: %p\n", kstat->st_blksize);
1112         printk("\tst_blocks : %p\n", kstat->st_blocks);
1113         printk("\tst_atime  : %p\n", kstat->st_atime);
1114         printk("\tst_mtime  : %p\n", kstat->st_mtime);
1115         printk("\tst_ctime  : %p\n", kstat->st_ctime);
1116 }
1117
1118 /* Inode Cache management.  In general, search on the ino, get a refcnt'd value
1119  * back.  Remove does not give you a reference back - it should only be called
1120  * in inode_release(). */
1121 struct inode *icache_get(struct super_block *sb, unsigned long ino)
1122 {
1123         /* This is the same style as in pid2proc, it's the "safely create a strong
1124          * reference from a weak one, so long as other strong ones exist" pattern */
1125         spin_lock(&sb->s_icache_lock);
1126         struct inode *inode = hashtable_search(sb->s_icache, (void*)ino);
1127         if (inode)
1128                 if (!kref_get_not_zero(&inode->i_kref, 1))
1129                         inode = 0;
1130         spin_unlock(&sb->s_icache_lock);
1131         return inode;
1132 }
1133
1134 void icache_put(struct super_block *sb, struct inode *inode)
1135 {
1136         spin_lock(&sb->s_icache_lock);
1137         /* there's a race in load_ino() that could trigger this */
1138         assert(!hashtable_search(sb->s_icache, (void*)inode->i_ino));
1139         hashtable_insert(sb->s_icache, (void*)inode->i_ino, inode);
1140         spin_unlock(&sb->s_icache_lock);
1141 }
1142
1143 struct inode *icache_remove(struct super_block *sb, unsigned long ino)
1144 {
1145         struct inode *inode;
1146         /* Presumably these hashtable removals could be easier since callers
1147          * actually know who they are (same with the pid2proc hash) */
1148         spin_lock(&sb->s_icache_lock);
1149         inode = hashtable_remove(sb->s_icache, (void*)ino);
1150         spin_unlock(&sb->s_icache_lock);
1151         assert(inode && !kref_refcnt(&inode->i_kref));
1152         return inode;
1153 }
1154
1155 /* File functions */
1156
1157 /* Read count bytes from the file into buf, starting at *offset, which is
1158  * increased accordingly, returning the number of bytes transfered.  Most
1159  * filesystems will use this function for their f_op->read.
1160  * Note, this uses the page cache. */
1161 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
1162                           off64_t *offset)
1163 {
1164         struct page *page;
1165         int error;
1166         off64_t page_off;
1167         unsigned long first_idx, last_idx;
1168         size_t copy_amt;
1169         char *buf_end;
1170         /* read in offset, in case of a concurrent reader/writer, so we don't screw
1171          * up our math for count, the idxs, etc. */
1172         off64_t orig_off = ACCESS_ONCE(*offset);
1173
1174         /* Consider pushing some error checking higher in the VFS */
1175         if (!count)
1176                 return 0;
1177         if (orig_off >= file->f_dentry->d_inode->i_size)
1178                 return 0; /* EOF */
1179         /* Make sure we don't go past the end of the file */
1180         if (orig_off + count > file->f_dentry->d_inode->i_size) {
1181                 count = file->f_dentry->d_inode->i_size - orig_off;
1182         }
1183         assert((long)count > 0);
1184         page_off = orig_off & (PGSIZE - 1);
1185         first_idx = orig_off >> PGSHIFT;
1186         last_idx = (orig_off + count) >> PGSHIFT;
1187         buf_end = buf + count;
1188         /* For each file page, make sure it's in the page cache, then copy it out.
1189          * TODO: will probably need to consider concurrently truncated files here.*/
1190         for (int i = first_idx; i <= last_idx; i++) {
1191                 error = pm_load_page(file->f_mapping, i, &page);
1192                 assert(!error); /* TODO: handle ENOMEM and friends */
1193                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1194                 /* TODO: (UMEM) think about this.  if it's a user buffer, we're relying
1195                  * on current to detect whose it is (which should work for async calls).
1196                  * Also, need to propagate errors properly...  Probably should do a
1197                  * user_mem_check, then free, and also to make a distinction between
1198                  * when the kernel wants a read/write (TODO: KFOP) */
1199                 if (current) {
1200                         memcpy_to_user(current, buf, page2kva(page) + page_off, copy_amt);
1201                 } else {
1202                         memcpy(buf, page2kva(page) + page_off, copy_amt);
1203                 }
1204                 buf += copy_amt;
1205                 page_off = 0;
1206                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1207         }
1208         assert(buf == buf_end);
1209         /* could have concurrent file ops that screw with offset, so userspace isn't
1210          * safe.  but at least it'll be a value that one of the concurrent ops could
1211          * have produced (compared to *offset_changed_concurrently += count. */
1212         *offset = orig_off + count;
1213         return count;
1214 }
1215
1216 /* Write count bytes from buf to the file, starting at *offset, which is
1217  * increased accordingly, returning the number of bytes transfered.  Most
1218  * filesystems will use this function for their f_op->write.  Note, this uses
1219  * the page cache.
1220  *
1221  * Changes don't get flushed to disc til there is an fsync, page cache eviction,
1222  * or other means of trying to writeback the pages. */
1223 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
1224                            off64_t *offset)
1225 {
1226         struct page *page;
1227         int error;
1228         off64_t page_off;
1229         unsigned long first_idx, last_idx;
1230         size_t copy_amt;
1231         const char *buf_end;
1232         off64_t orig_off = ACCESS_ONCE(*offset);
1233
1234         /* Consider pushing some error checking higher in the VFS */
1235         if (!count)
1236                 return 0;
1237         /* Extend the file.  Should put more checks in here, and maybe do this per
1238          * page in the for loop below. */
1239         if (orig_off + count > file->f_dentry->d_inode->i_size)
1240                 file->f_dentry->d_inode->i_size = orig_off + count;
1241         page_off = orig_off & (PGSIZE - 1);
1242         first_idx = orig_off >> PGSHIFT;
1243         last_idx = (orig_off + count) >> PGSHIFT;
1244         buf_end = buf + count;
1245         /* For each file page, make sure it's in the page cache, then write it.*/
1246         for (int i = first_idx; i <= last_idx; i++) {
1247                 error = pm_load_page(file->f_mapping, i, &page);
1248                 assert(!error); /* TODO: handle ENOMEM and friends */
1249                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1250                 /* TODO: (UMEM) (KFOP) think about this.  if it's a user buffer, we're
1251                  * relying on current to detect whose it is (which should work for async
1252                  * calls). */
1253                 if (current) {
1254                         memcpy_from_user(current, page2kva(page) + page_off, buf, copy_amt);
1255                 } else {
1256                         memcpy(page2kva(page) + page_off, buf, copy_amt);
1257                 }
1258                 buf += copy_amt;
1259                 page_off = 0;
1260                 atomic_or(&page->pg_flags, PG_DIRTY);
1261                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1262         }
1263         assert(buf == buf_end);
1264         *offset = orig_off + count;
1265         return count;
1266 }
1267
1268 /* Directories usually use this for their read method, which is the way glibc
1269  * currently expects us to do a readdir (short of doing linux's getdents).  Will
1270  * probably need work, based on whatever real programs want. */
1271 ssize_t generic_dir_read(struct file *file, char *u_buf, size_t count,
1272                          off64_t *offset)
1273 {
1274         struct kdirent dir_r = {0}, *dirent = &dir_r;
1275         int retval = 1;
1276         size_t amt_copied = 0;
1277         char *buf_end = u_buf + count;
1278
1279         if (!S_ISDIR(file->f_dentry->d_inode->i_mode)) {
1280                 set_errno(ENOTDIR);
1281                 return -1;
1282         }
1283         if (!count)
1284                 return 0;
1285         /* start readdir from where it left off: */
1286         dirent->d_off = *offset;
1287         for (   ;
1288                 u_buf + sizeof(struct kdirent) <= buf_end;
1289                 u_buf += sizeof(struct kdirent)) {
1290                 /* TODO: UMEM/KFOP (pin the u_buf in the syscall, ditch the local copy,
1291                  * get rid of this memcpy and reliance on current, etc).  Might be
1292                  * tricky with the dirent->d_off and trust issues */
1293                 retval = file->f_op->readdir(file, dirent);
1294                 if (retval < 0) {
1295                         set_errno(-retval);
1296                         break;
1297                 }
1298                 /* Slight info exposure: could be extra crap after the name in the
1299                  * dirent (like the name of a deleted file) */
1300                 if (current) {
1301                         memcpy_to_user(current, u_buf, dirent, sizeof(struct dirent));
1302                 } else {
1303                         memcpy(u_buf, dirent, sizeof(struct dirent));
1304                 }
1305                 amt_copied += sizeof(struct dirent);
1306                 /* 0 signals end of directory */
1307                 if (retval == 0)
1308                         break;
1309         }
1310         /* Next time read is called, we pick up where we left off */
1311         *offset = dirent->d_off;        /* UMEM */
1312         /* important to tell them how much they got.  they often keep going til they
1313          * get 0 back (in the case of ls).  it's also how much has been read, but it
1314          * isn't how much the f_pos has moved (which is opaque to the VFS). */
1315         return amt_copied;
1316 }
1317
1318 /* Opens the file, using permissions from current for lack of a better option.
1319  * It will attempt to create the file if it does not exist and O_CREAT is
1320  * specified.  This will return 0 on failure, and set errno.  TODO: There's some
1321  * stuff that we don't do, esp related file truncating/creation.  flags are for
1322  * opening, the mode is for creating.  The flags related to how to create
1323  * (O_CREAT_FLAGS) are handled in this function, not in create_file().
1324  *
1325  * It's tempting to split this into a do_file_create and a do_file_open, based
1326  * on the O_CREAT flag, but the O_CREAT flag can be ignored if the file exists
1327  * already and O_EXCL isn't specified.  We could have open call create if it
1328  * fails, but for now we'll keep it as is. */
1329 struct file *do_file_open(char *path, int flags, int mode)
1330 {
1331         struct file *file = 0;
1332         struct dentry *file_d;
1333         struct inode *parent_i;
1334         struct nameidata nd_r = {0}, *nd = &nd_r;
1335         int error;
1336
1337         /* The file might exist, lets try to just open it right away */
1338         nd->intent = LOOKUP_OPEN;
1339         error = path_lookup(path, LOOKUP_FOLLOW, nd);
1340         if (!error) {
1341                 /* If this is a directory, make sure we are opening with O_RDONLY.
1342                  * Unfortunately we can't just check for O_RDONLY directly because its
1343                  * value is 0x0.  We instead have to make sure it's not O_WRONLY and
1344                  * not O_RDWR explicitly. */
1345                 if (S_ISDIR(nd->dentry->d_inode->i_mode) &&
1346                     ((flags & O_WRONLY) || (flags & O_RDWR))) {
1347                         set_errno(EISDIR);
1348                         goto out_path_only;
1349                 }
1350                 /* Also need to make sure we didn't want to O_EXCL create */
1351                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1352                         set_errno(EEXIST);
1353                         goto out_path_only;
1354                 }
1355                 file_d = nd->dentry;
1356                 kref_get(&file_d->d_kref, 1);
1357                 goto open_the_file;
1358         }
1359         /* So it didn't already exist, release the path from the previous lookup,
1360          * and then we try to create it. */
1361         path_release(nd);       
1362         /* get the parent, following links.  this means you get the parent of the
1363          * final link (which may not be in 'path' in the first place. */
1364         nd->intent = LOOKUP_CREATE;
1365         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1366         if (error) {
1367                 set_errno(-error);
1368                 goto out_path_only;
1369         }
1370         /* see if the target is there (shouldn't be), and handle accordingly */
1371         file_d = do_lookup(nd->dentry, nd->last.name); 
1372         if (!file_d) {
1373                 if (!(flags & O_CREAT)) {
1374                         set_errno(ENOENT);
1375                         goto out_path_only;
1376                 }
1377                 /* Create the inode/file.  get a fresh dentry too: */
1378                 file_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1379                 if (!file_d)
1380                         goto out_path_only;
1381                 parent_i = nd->dentry->d_inode;
1382                 /* Note that the mode technically should only apply to future opens,
1383                  * but we apply it immediately. */
1384                 if (create_file(parent_i, file_d, mode))        /* sets errno */
1385                         goto out_file_d;
1386                 dcache_put(file_d->d_sb, file_d);
1387         } else {        /* something already exists */
1388                 /* this can happen due to concurrent access, but needs to be thought
1389                  * through */
1390                 panic("File shouldn't be here!");
1391                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1392                         /* wanted to create, not open, bail out */
1393                         set_errno(EEXIST);
1394                         goto out_file_d;
1395                 }
1396         }
1397 open_the_file:
1398         /* now open the file (freshly created or if it already existed).  At this
1399          * point, file_d is a refcnt'd dentry, regardless of which branch we took.*/
1400         if (flags & O_TRUNC) {
1401                 file_d->d_inode->i_size = 0;
1402                 /* TODO: probably should remove the garbage pages from the page map */
1403         }
1404         file = dentry_open(file_d, flags);                              /* sets errno */
1405         /* Note the fall through to the exit paths.  File is 0 by default and if
1406          * dentry_open fails. */
1407 out_file_d:
1408         kref_put(&file_d->d_kref);
1409 out_path_only:
1410         path_release(nd);
1411         return file;
1412 }
1413
1414 /* Path is the location of the symlink, sometimes called the "new path", and
1415  * symname is who we link to, sometimes called the "old path". */
1416 int do_symlink(char *path, const char *symname, int mode)
1417 {
1418         struct dentry *sym_d;
1419         struct inode *parent_i;
1420         struct nameidata nd_r = {0}, *nd = &nd_r;
1421         int error;
1422         int retval = -1;
1423
1424         nd->intent = LOOKUP_CREATE;
1425         /* get the parent, but don't follow links */
1426         error = path_lookup(path, LOOKUP_PARENT, nd);
1427         if (error) {
1428                 set_errno(-error);
1429                 goto out_path_only;
1430         }
1431         /* see if the target is already there, handle accordingly */
1432         sym_d = do_lookup(nd->dentry, nd->last.name); 
1433         if (sym_d) {
1434                 set_errno(EEXIST);
1435                 goto out_sym_d;
1436         }
1437         /* Doesn't already exist, let's try to make it: */
1438         sym_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1439         if (!sym_d)
1440                 goto out_path_only;
1441         parent_i = nd->dentry->d_inode;
1442         if (create_symlink(parent_i, sym_d, symname, mode))
1443                 goto out_sym_d;
1444         dcache_put(sym_d->d_sb, sym_d);
1445         retval = 0;                             /* Note the fall through to the exit paths */
1446 out_sym_d:
1447         kref_put(&sym_d->d_kref);
1448 out_path_only:
1449         path_release(nd);
1450         return retval;
1451 }
1452
1453 /* Makes a hard link for the file behind old_path to new_path */
1454 int do_link(char *old_path, char *new_path)
1455 {
1456         struct dentry *link_d, *old_d;
1457         struct inode *inode, *parent_dir;
1458         struct nameidata nd_r = {0}, *nd = &nd_r;
1459         int error;
1460         int retval = -1;
1461
1462         nd->intent = LOOKUP_CREATE;
1463         /* get the absolute parent of the new_path */
1464         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1465         if (error) {
1466                 set_errno(-error);
1467                 goto out_path_only;
1468         }
1469         parent_dir = nd->dentry->d_inode;
1470         /* see if the new target is already there, handle accordingly */
1471         link_d = do_lookup(nd->dentry, nd->last.name); 
1472         if (link_d) {
1473                 set_errno(EEXIST);
1474                 goto out_link_d;
1475         }
1476         /* Doesn't already exist, let's try to make it.  Still need to stitch it to
1477          * an inode and set its FS-specific stuff after this.*/
1478         link_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1479         if (!link_d)
1480                 goto out_path_only;
1481         /* Now let's get the old_path target */
1482         old_d = lookup_dentry(old_path, LOOKUP_FOLLOW);
1483         if (!old_d)                                     /* errno set by lookup_dentry */
1484                 goto out_link_d;
1485         /* For now, can only link to files */
1486         if (!S_ISREG(old_d->d_inode->i_mode)) {
1487                 set_errno(EPERM);
1488                 goto out_both_ds;
1489         }
1490         /* Must be on the same FS */
1491         if (old_d->d_sb != link_d->d_sb) {
1492                 set_errno(EXDEV);
1493                 goto out_both_ds;
1494         }
1495         /* Do whatever FS specific stuff there is first (which is also a chance to
1496          * bail out). */
1497         error = parent_dir->i_op->link(old_d, parent_dir, link_d);
1498         if (error) {
1499                 set_errno(-error);
1500                 goto out_both_ds;
1501         }
1502         /* Finally stitch it up */
1503         inode = old_d->d_inode;
1504         kref_get(&inode->i_kref, 1);
1505         link_d->d_inode = inode;
1506         inode->i_nlink++;
1507         TAILQ_INSERT_TAIL(&inode->i_dentry, link_d, d_alias);   /* weak ref */
1508         dcache_put(link_d->d_sb, link_d);
1509         retval = 0;                             /* Note the fall through to the exit paths */
1510 out_both_ds:
1511         kref_put(&old_d->d_kref);
1512 out_link_d:
1513         kref_put(&link_d->d_kref);
1514 out_path_only:
1515         path_release(nd);
1516         return retval;
1517 }
1518
1519 /* Unlinks path from the directory tree.  Read the Documentation for more info.
1520  */
1521 int do_unlink(char *path)
1522 {
1523         struct dentry *dentry;
1524         struct inode *parent_dir;
1525         struct nameidata nd_r = {0}, *nd = &nd_r;
1526         int error;
1527         int retval = -1;
1528
1529         /* get the parent of the target, and don't follow a final link */
1530         error = path_lookup(path, LOOKUP_PARENT, nd);
1531         if (error) {
1532                 set_errno(-error);
1533                 goto out_path_only;
1534         }
1535         parent_dir = nd->dentry->d_inode;
1536         /* make sure the target is there */
1537         dentry = do_lookup(nd->dentry, nd->last.name); 
1538         if (!dentry) {
1539                 set_errno(ENOENT);
1540                 goto out_path_only;
1541         }
1542         /* Make sure the target is not a directory */
1543         if (S_ISDIR(dentry->d_inode->i_mode)) {
1544                 set_errno(EISDIR);
1545                 goto out_dentry;
1546         }
1547         /* Remove the dentry from its parent */
1548         error = parent_dir->i_op->unlink(parent_dir, dentry);
1549         if (error) {
1550                 set_errno(-error);
1551                 goto out_dentry;
1552         }
1553         /* Now that our parent doesn't track us, we need to make sure we aren't
1554          * findable via the dentry cache.  DYING, so we will be freed in
1555          * dentry_release() */
1556         dentry->d_flags |= DENTRY_DYING;
1557         dcache_remove(dentry->d_sb, dentry);
1558         dentry->d_inode->i_nlink--;     /* TODO: race here, esp with a decref */
1559         /* At this point, the dentry is unlinked from the FS, and the inode has one
1560          * less link.  When the in-memory objects (dentry, inode) are going to be
1561          * released (after all open files are closed, and maybe after entries are
1562          * evicted from the cache), then nlinks will get checked and the FS-file
1563          * will get removed from the disk */
1564         retval = 0;                             /* Note the fall through to the exit paths */
1565 out_dentry:
1566         kref_put(&dentry->d_kref);
1567 out_path_only:
1568         path_release(nd);
1569         return retval;
1570 }
1571
1572 /* Checks to see if path can be accessed via mode.  Need to actually send the
1573  * mode along somehow, so this doesn't do much now.  This is an example of
1574  * decent error propagation from the lower levels via int retvals. */
1575 int do_access(char *path, int mode)
1576 {
1577         struct nameidata nd_r = {0}, *nd = &nd_r;
1578         int retval = 0;
1579         nd->intent = LOOKUP_ACCESS;
1580         retval = path_lookup(path, 0, nd);
1581         path_release(nd);       
1582         return retval;
1583 }
1584
1585 int do_file_chmod(struct file *file, int mode)
1586 {
1587         int old_mode_ftype = file->f_dentry->d_inode->i_mode & __S_IFMT;
1588         #if 0
1589         /* TODO: when we have notions of uid, check for the proc's uid */
1590         if (file->f_dentry->d_inode->i_uid != UID_OF_ME)
1591                 retval = -EPERM;
1592         else
1593         #endif
1594                 file->f_dentry->d_inode->i_mode = (mode & S_PMASK) | old_mode_ftype;
1595         return 0;
1596 }
1597
1598 /* Make a directory at path with mode.  Returns -1 and sets errno on errors */
1599 int do_mkdir(char *path, int mode)
1600 {
1601         struct dentry *dentry;
1602         struct inode *parent_i;
1603         struct nameidata nd_r = {0}, *nd = &nd_r;
1604         int error;
1605         int retval = -1;
1606
1607         nd->intent = LOOKUP_CREATE;
1608         /* get the parent, but don't follow links */
1609         error = path_lookup(path, LOOKUP_PARENT, nd);
1610         if (error) {
1611                 set_errno(-error);
1612                 goto out_path_only;
1613         }
1614         /* see if the target is already there, handle accordingly */
1615         dentry = do_lookup(nd->dentry, nd->last.name); 
1616         if (dentry) {
1617                 set_errno(EEXIST);
1618                 goto out_dentry;
1619         }
1620         /* Doesn't already exist, let's try to make it: */
1621         dentry = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1622         if (!dentry)
1623                 goto out_path_only;
1624         parent_i = nd->dentry->d_inode;
1625         if (create_dir(parent_i, dentry, mode))
1626                 goto out_dentry;
1627         dcache_put(dentry->d_sb, dentry);
1628         retval = 0;                             /* Note the fall through to the exit paths */
1629 out_dentry:
1630         kref_put(&dentry->d_kref);
1631 out_path_only:
1632         path_release(nd);
1633         return retval;
1634 }
1635
1636 int do_rmdir(char *path)
1637 {
1638         struct dentry *dentry;
1639         struct inode *parent_i;
1640         struct nameidata nd_r = {0}, *nd = &nd_r;
1641         int error;
1642         int retval = -1;
1643
1644         /* get the parent, following links (probably want this), and we must get a
1645          * directory.  Note, current versions of path_lookup can't handle both
1646          * PARENT and DIRECTORY, at least, it doesn't check that *path is a
1647          * directory. */
1648         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW | LOOKUP_DIRECTORY,
1649                             nd);
1650         if (error) {
1651                 set_errno(-error);
1652                 goto out_path_only;
1653         }
1654         /* make sure the target is already there, handle accordingly */
1655         dentry = do_lookup(nd->dentry, nd->last.name); 
1656         if (!dentry) {
1657                 set_errno(ENOENT);
1658                 goto out_path_only;
1659         }
1660         if (!S_ISDIR(dentry->d_inode->i_mode)) {
1661                 set_errno(ENOTDIR);
1662                 goto out_dentry;
1663         }
1664         if (dentry->d_mount_point) {
1665                 set_errno(EBUSY);
1666                 goto out_dentry;
1667         }
1668         /* TODO: make sure we aren't a mount or processes root (EBUSY) */
1669         /* Now for the removal.  the FSs will check if they are empty */
1670         parent_i = nd->dentry->d_inode;
1671         error = parent_i->i_op->rmdir(parent_i, dentry);
1672         if (error < 0) {
1673                 set_errno(-error);
1674                 goto out_dentry;
1675         }
1676         /* Now that our parent doesn't track us, we need to make sure we aren't
1677          * findable via the dentry cache.  DYING, so we will be freed in
1678          * dentry_release() */
1679         dentry->d_flags |= DENTRY_DYING;
1680         dcache_remove(dentry->d_sb, dentry);
1681         /* Decref ourselves, so inode_release() knows we are done */
1682         dentry->d_inode->i_nlink--;
1683         TAILQ_REMOVE(&nd->dentry->d_subdirs, dentry, d_subdirs_link);
1684         parent_i->i_nlink--;            /* TODO: race on this, esp since its a decref */
1685         /* we still have d_parent and a kref on our parent, which will go away when
1686          * the in-memory dentry object goes away. */
1687         retval = 0;                             /* Note the fall through to the exit paths */
1688 out_dentry:
1689         kref_put(&dentry->d_kref);
1690 out_path_only:
1691         path_release(nd);
1692         return retval;
1693 }
1694
1695 /* Pipes: Doing a simple buffer with reader and writer offsets.  Size is power
1696  * of two, so we can easily compute its status and whatnot. */
1697
1698 #define PIPE_SZ                                 (1 << PGSHIFT)
1699
1700 static size_t pipe_get_rd_idx(struct pipe_inode_info *pii)
1701 {
1702         return pii->p_rd_off & (PIPE_SZ - 1);
1703 }
1704
1705 static size_t pipe_get_wr_idx(struct pipe_inode_info *pii)
1706 {
1707
1708         return pii->p_wr_off & (PIPE_SZ - 1);
1709 }
1710
1711 static bool pipe_is_empty(struct pipe_inode_info *pii)
1712 {
1713         return __ring_empty(pii->p_wr_off, pii->p_rd_off);
1714 }
1715
1716 static bool pipe_is_full(struct pipe_inode_info *pii)
1717 {
1718         return __ring_full(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1719 }
1720
1721 static size_t pipe_nr_full(struct pipe_inode_info *pii)
1722 {
1723         return __ring_nr_full(pii->p_wr_off, pii->p_rd_off);
1724 }
1725
1726 static size_t pipe_nr_empty(struct pipe_inode_info *pii)
1727 {
1728         return __ring_nr_empty(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1729 }
1730
1731 ssize_t pipe_file_read(struct file *file, char *buf, size_t count,
1732                        off64_t *offset)
1733 {
1734         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1735         size_t copy_amt, amt_copied = 0;
1736
1737         cv_lock(&pii->p_cv);
1738         while (pipe_is_empty(pii)) {
1739                 /* We wait til the pipe is drained before sending EOF if there are no
1740                  * writers (instead of aborting immediately) */
1741                 if (!pii->p_nr_writers) {
1742                         cv_unlock(&pii->p_cv);
1743                         return 0;
1744                 }
1745                 if (file->f_flags & O_NONBLOCK) {
1746                         cv_unlock(&pii->p_cv);
1747                         set_errno(EAGAIN);
1748                         return -1;
1749                 }
1750                 cv_wait(&pii->p_cv);
1751                 cpu_relax();
1752         }
1753         /* We might need to wrap-around with our copy, so we'll do the copy in two
1754          * passes.  This will copy up to the end of the buffer, then on the next
1755          * pass will copy the rest to the beginning of the buffer (if necessary) */
1756         for (int i = 0; i < 2; i++) {
1757                 copy_amt = MIN(PIPE_SZ - pipe_get_rd_idx(pii),
1758                                MIN(pipe_nr_full(pii), count));
1759                 assert(current);        /* shouldn't pipe from the kernel */
1760                 memcpy_to_user(current, buf, pii->p_buf + pipe_get_rd_idx(pii),
1761                                copy_amt);
1762                 buf += copy_amt;
1763                 count -= copy_amt;
1764                 pii->p_rd_off += copy_amt;
1765                 amt_copied += copy_amt;
1766         }
1767         /* Just using one CV for both readers and writers.  We should rarely have
1768          * multiple readers or writers. */
1769         if (amt_copied)
1770                 __cv_broadcast(&pii->p_cv);
1771         cv_unlock(&pii->p_cv);
1772         return amt_copied;
1773 }
1774
1775 /* Note: we're not dealing with PIPE_BUF and minimum atomic chunks, unless I
1776  * have to later. */
1777 ssize_t pipe_file_write(struct file *file, const char *buf, size_t count,
1778                         off64_t *offset)
1779 {
1780         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1781         size_t copy_amt, amt_copied = 0;
1782
1783         cv_lock(&pii->p_cv);
1784         /* Write aborts right away if there are no readers, regardless of pipe
1785          * status. */
1786         if (!pii->p_nr_readers) {
1787                 cv_unlock(&pii->p_cv);
1788                 set_errno(EPIPE);
1789                 return -1;
1790         }
1791         while (pipe_is_full(pii)) {
1792                 if (file->f_flags & O_NONBLOCK) {
1793                         cv_unlock(&pii->p_cv);
1794                         set_errno(EAGAIN);
1795                         return -1;
1796                 }
1797                 cv_wait(&pii->p_cv);
1798                 cpu_relax();
1799                 /* Still need to check in the loop, in case the last reader left while
1800                  * we slept. */
1801                 if (!pii->p_nr_readers) {
1802                         cv_unlock(&pii->p_cv);
1803                         set_errno(EPIPE);
1804                         return -1;
1805                 }
1806         }
1807         /* We might need to wrap-around with our copy, so we'll do the copy in two
1808          * passes.  This will copy up to the end of the buffer, then on the next
1809          * pass will copy the rest to the beginning of the buffer (if necessary) */
1810         for (int i = 0; i < 2; i++) {
1811                 copy_amt = MIN(PIPE_SZ - pipe_get_wr_idx(pii),
1812                                MIN(pipe_nr_empty(pii), count));
1813                 assert(current);        /* shouldn't pipe from the kernel */
1814                 memcpy_from_user(current, pii->p_buf + pipe_get_wr_idx(pii), buf,
1815                                  copy_amt);
1816                 buf += copy_amt;
1817                 count -= copy_amt;
1818                 pii->p_wr_off += copy_amt;
1819                 amt_copied += copy_amt;
1820         }
1821         /* Just using one CV for both readers and writers.  We should rarely have
1822          * multiple readers or writers. */
1823         if (amt_copied)
1824                 __cv_broadcast(&pii->p_cv);
1825         cv_unlock(&pii->p_cv);
1826         return amt_copied;
1827 }
1828
1829 /* In open and release, we need to track the number of readers and writers,
1830  * which we can differentiate by the file flags. */
1831 int pipe_open(struct inode *inode, struct file *file)
1832 {
1833         struct pipe_inode_info *pii = inode->i_pipe;
1834         cv_lock(&pii->p_cv);
1835         /* Ugliness due to not using flags for O_RDONLY and friends... */
1836         if (file->f_mode == S_IRUSR) {
1837                 pii->p_nr_readers++;
1838         } else if (file->f_mode == S_IWUSR) {
1839                 pii->p_nr_writers++;
1840         } else {
1841                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1842         }
1843         cv_unlock(&pii->p_cv);
1844         return 0;
1845 }
1846
1847 int pipe_release(struct inode *inode, struct file *file)
1848 {
1849         struct pipe_inode_info *pii = inode->i_pipe;
1850         cv_lock(&pii->p_cv);
1851         /* Ugliness due to not using flags for O_RDONLY and friends... */
1852         if (file->f_mode == S_IRUSR) {
1853                 pii->p_nr_readers--;
1854         } else if (file->f_mode == S_IWUSR) {
1855                 pii->p_nr_writers--;
1856         } else {
1857                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1858         }
1859         /* need to wake up any sleeping readers/writers, since we might be done */
1860         __cv_broadcast(&pii->p_cv);
1861         cv_unlock(&pii->p_cv);
1862         return 0;
1863 }
1864
1865 struct file_operations pipe_f_op = {
1866         .read = pipe_file_read,
1867         .write = pipe_file_write,
1868         .open = pipe_open,
1869         .release = pipe_release,
1870         0
1871 };
1872
1873 void pipe_debug(struct file *f)
1874 {
1875         struct pipe_inode_info *pii = f->f_dentry->d_inode->i_pipe;
1876         assert(pii);
1877         printk("PIPE %p\n", pii);
1878         printk("\trdoff %p\n", pii->p_rd_off);
1879         printk("\twroff %p\n", pii->p_wr_off);
1880         printk("\tnr_rds %d\n", pii->p_nr_readers);
1881         printk("\tnr_wrs %d\n", pii->p_nr_writers);
1882         printk("\tcv waiters %d\n", pii->p_cv.nr_waiters);
1883
1884 }
1885
1886 /* General plan: get a dentry/inode to represent the pipe.  We'll alloc it from
1887  * the default_ns SB, but won't actually link it anywhere.  It'll only be held
1888  * alive by the krefs, til all the FDs are closed. */
1889 int do_pipe(struct file **pipe_files, int flags)
1890 {
1891         struct dentry *pipe_d;
1892         struct inode *pipe_i;
1893         struct file *pipe_f_read, *pipe_f_write;
1894         struct super_block *def_sb = default_ns.root->mnt_sb;
1895         struct pipe_inode_info *pii;
1896
1897         pipe_d = get_dentry(def_sb, 0, "pipe");
1898         if (!pipe_d)
1899                 return -1;
1900         pipe_d->d_op = &dummy_d_op;
1901         pipe_i = get_inode(pipe_d);
1902         if (!pipe_i)
1903                 goto error_post_dentry;
1904         /* preemptively mark the dentry for deletion.  we have an unlinked dentry
1905          * right off the bat, held in only by the kref chain (pipe_d is the ref). */
1906         pipe_d->d_flags |= DENTRY_DYING;
1907         /* pipe_d->d_inode still has one ref to pipe_i, keeping the inode alive */
1908         kref_put(&pipe_i->i_kref);
1909         /* init inode fields.  note we're using the dummy ops for i_op and d_op */
1910         pipe_i->i_mode = S_IRWXU | S_IRWXG | S_IRWXO;
1911         SET_FTYPE(pipe_i->i_mode, __S_IFIFO);   /* using type == FIFO */
1912         pipe_i->i_nlink = 1;                    /* one for the dentry */
1913         pipe_i->i_uid = 0;
1914         pipe_i->i_gid = 0;
1915         pipe_i->i_size = PGSIZE;
1916         pipe_i->i_blocks = 0;
1917         pipe_i->i_atime.tv_sec = 0;
1918         pipe_i->i_atime.tv_nsec = 0;
1919         pipe_i->i_mtime.tv_sec = 0;
1920         pipe_i->i_mtime.tv_nsec = 0;
1921         pipe_i->i_ctime.tv_sec = 0;
1922         pipe_i->i_ctime.tv_nsec = 0;
1923         pipe_i->i_fs_info = 0;
1924         pipe_i->i_op = &dummy_i_op;
1925         pipe_i->i_fop = &pipe_f_op;
1926         pipe_i->i_socket = FALSE;
1927         /* Actually build the pipe.  We're using one page, hanging off the
1928          * pipe_inode_info struct.  When we release the inode, we free the pipe
1929          * memory too */
1930         pipe_i->i_pipe = kmalloc(sizeof(struct pipe_inode_info), KMALLOC_WAIT);
1931         pii = pipe_i->i_pipe;
1932         if (!pii) {
1933                 set_errno(ENOMEM);
1934                 goto error_kmalloc;
1935         }
1936         pii->p_buf = kpage_zalloc_addr();
1937         if (!pii->p_buf) {
1938                 set_errno(ENOMEM);
1939                 goto error_kpage;
1940         }
1941         pii->p_rd_off = 0;
1942         pii->p_wr_off = 0;
1943         pii->p_nr_readers = 0;
1944         pii->p_nr_writers = 0;
1945         cv_init(&pii->p_cv);    /* must do this before dentry_open / pipe_open */
1946         /* Now we have an inode for the pipe.  We need two files for the read and
1947          * write ends of the pipe. */
1948         flags &= ~(O_ACCMODE);  /* avoid user bugs */
1949         pipe_f_read = dentry_open(pipe_d, flags | O_RDONLY);
1950         if (!pipe_f_read)
1951                 goto error_f_read;
1952         pipe_f_write = dentry_open(pipe_d, flags | O_WRONLY);
1953         if (!pipe_f_write)
1954                 goto error_f_write;
1955         pipe_files[0] = pipe_f_read;
1956         pipe_files[1] = pipe_f_write;
1957         return 0;
1958
1959 error_f_write:
1960         kref_put(&pipe_f_read->f_kref);
1961 error_f_read:
1962         page_decref(kva2page(pii->p_buf));
1963 error_kpage:
1964         kfree(pipe_i->i_pipe);
1965 error_kmalloc:
1966         /* We don't need to free the pipe_i; putting the dentry will free it */
1967 error_post_dentry:
1968         /* Note we only free the dentry on failure. */
1969         kref_put(&pipe_d->d_kref);
1970         return -1;
1971 }
1972
1973 int do_rename(char *old_path, char *new_path)
1974 {
1975         struct nameidata nd_old = {0}, *nd_o = &nd_old;
1976         struct nameidata nd_new = {0}, *nd_n = &nd_new;
1977         struct dentry *old_dir_d, *new_dir_d;
1978         struct inode *old_dir_i, *new_dir_i;
1979         struct dentry *old_d, *new_d, *unlink_d;
1980         int error;
1981         int retval = 0;
1982         uint64_t now;
1983
1984         nd_o->intent = LOOKUP_ACCESS; /* maybe, might need another type */
1985
1986         /* get the parent, but don't follow links */
1987         error = path_lookup(old_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_o);
1988         if (error) {
1989                 set_errno(-error);
1990                 retval = -1;
1991                 goto out_old_path;
1992         }
1993         old_dir_d = nd_o->dentry;
1994         old_dir_i = old_dir_d->d_inode;
1995
1996         old_d = do_lookup(old_dir_d, nd_o->last.name);
1997         if (!old_d) {
1998                 set_errno(ENOENT);
1999                 retval = -1;
2000                 goto out_old_path;
2001         }
2002
2003         nd_n->intent = LOOKUP_CREATE;
2004         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_n);
2005         if (error) {
2006                 set_errno(-error);
2007                 retval = -1;
2008                 goto out_paths_and_src;
2009         }
2010         new_dir_d = nd_n->dentry;
2011         new_dir_i = new_dir_d->d_inode;
2012         /* TODO if new_dir == old_dir, we might be able to simplify things */
2013
2014         if (new_dir_i->i_sb != old_dir_i->i_sb) {
2015                 set_errno(EXDEV);
2016                 retval = -1;
2017                 goto out_paths_and_src;
2018         }
2019         /* TODO: check_perms is lousy, want to just say "writable" here */
2020         if (check_perms(old_dir_i, S_IWUSR) || check_perms(new_dir_i, S_IWUSR)) {
2021                 set_errno(EPERM);
2022                 retval = -1;
2023                 goto out_paths_and_src;
2024         }
2025         /* TODO: if we're doing a rename that moves a directory, we need to make
2026          * sure the new_path doesn't include the old_path.  it's not as simple as
2027          * just checking, since there could be a concurrent rename that breaks the
2028          * check later.  e.g. what if new_dir's parent is being moved into a child
2029          * of old_dir?
2030          *
2031          * linux has a per-fs rename mutex for these scenarios, so only one can
2032          * proceed at a time.  i don't see another way to deal with it either.
2033          * maybe something like flagging all dentries on the new_path with "do not
2034          * move". */
2035
2036         /* TODO: this is all very racy.  right after we do a new_d lookup, someone
2037          * else could create or unlink new_d.  need to lock here, or else push this
2038          * into the sub-FS.
2039          *
2040          * For any locking scheme, we probably need to lock both the old and new
2041          * dirs.  To prevent deadlock, we need a total ordering of all inodes (or
2042          * dentries, if we locking them instead).  inode number or struct inode*
2043          * will work for this. */
2044         new_d = do_lookup(new_dir_d, nd_n->last.name);
2045         if (new_d) {
2046                 if (new_d->d_inode == old_d->d_inode)
2047                         goto out_paths_and_refs;        /* rename does nothing */
2048                 /* TODO: Here's a bunch of other racy checks we need to do, maybe in the
2049                  * sub-FS:
2050                  *
2051                  * if src is a dir, dst must be an empty dir if it exists (RACYx2)
2052                  *              racing on dst being created and it getting new entries
2053                  * if src is a file, dst must be a file if it exists (RACY)
2054                  *              racing on dst being created and still being a file
2055                  *              racing on dst being unlinked and a new one being added
2056                  */
2057                 /* TODO: we should allow empty dirs */
2058                 if (S_ISDIR(new_d->d_inode->i_mode)) {
2059                         set_errno(EISDIR);
2060                         retval = -1;
2061                         goto out_paths_and_refs;
2062                 }
2063                 /* TODO: need this to be atomic with rename */
2064                 error = new_dir_i->i_op->unlink(new_dir_i, new_d);
2065                 if (error) {
2066                         set_errno(-error);
2067                         retval = -1;
2068                         goto out_paths_and_refs;
2069                 }
2070                 new_d->d_flags |= DENTRY_DYING;
2071                 /* TODO: racy with other lookups on new_d */
2072                 dcache_remove(new_d->d_sb, new_d);
2073                 new_d->d_inode->i_nlink--;  /* TODO: race here, esp with a decref */
2074                 kref_put(&new_d->d_kref);
2075         }
2076         /* new_d is just a vessel for the name.  somewhat lousy. */
2077         new_d = get_dentry(new_dir_d->d_sb, new_dir_d, nd_n->last.name);
2078
2079         /* TODO: more races.  need to remove old_d from the dcache, since we're
2080          * about to change its parentage.  could be readded concurrently. */
2081         dcache_remove(old_dir_d->d_sb, old_d);
2082         error = new_dir_i->i_op->rename(old_dir_i, old_d, new_dir_i, new_d);
2083         if (error) {
2084                 /* TODO: oh crap, we already unlinked!  now we're screwed, and violated
2085                  * our atomicity requirements. */
2086                 printk("[kernel] rename failed, you might have lost data\n");
2087                 set_errno(-error);
2088                 retval = -1;
2089                 goto out_paths_and_refs;
2090         }
2091
2092         /* old_dir loses old_d, new_dir gains old_d, renamed to new_d.  this is
2093          * particularly cumbersome since there are two levels here: the FS has its
2094          * info about where things are, and the VFS has its dentry tree.  and it's
2095          * all racy (TODO). */
2096         dentry_set_name(old_d, new_d->d_name.name);
2097         old_d->d_parent = new_d->d_parent;
2098         if (S_ISDIR(old_d->d_inode->i_mode)) {
2099                 TAILQ_REMOVE(&old_dir_d->d_subdirs, old_d, d_subdirs_link);
2100                 old_dir_i->i_nlink--; /* TODO: racy, etc */
2101                 TAILQ_INSERT_TAIL(&new_dir_d->d_subdirs, old_d, d_subdirs_link);
2102                 new_dir_i->i_nlink--; /* TODO: racy, etc */
2103         }
2104
2105         /* and then the third level: dcache stuff.  we could have old versions of
2106          * old_d or negative versions of new_d sitting around.  dcache_put should
2107          * replace a potentially negative dentry for new_d (now called old_d) */
2108         dcache_put(old_dir_d->d_sb, old_d);
2109
2110         /* TODO could have a helper for this, but it's going away soon */
2111         now = epoch_seconds();
2112         old_dir_i->i_ctime.tv_sec = now;
2113         old_dir_i->i_mtime.tv_sec = now;
2114         old_dir_i->i_ctime.tv_nsec = 0;
2115         old_dir_i->i_mtime.tv_nsec = 0;
2116         new_dir_i->i_ctime.tv_sec = now;
2117         new_dir_i->i_mtime.tv_sec = now;
2118         new_dir_i->i_ctime.tv_nsec = 0;
2119         new_dir_i->i_mtime.tv_nsec = 0;
2120
2121         /* fall-through */
2122 out_paths_and_refs:
2123         kref_put(&new_d->d_kref);
2124 out_paths_and_src:
2125         kref_put(&old_d->d_kref);
2126 out_paths:
2127         path_release(nd_n);
2128 out_old_path:
2129         path_release(nd_o);
2130         return retval;
2131 }
2132
2133 struct file *alloc_file(void)
2134 {
2135         struct file *file = kmem_cache_alloc(file_kcache, 0);
2136         if (!file) {
2137                 set_errno(ENOMEM);
2138                 return 0;
2139         }
2140         /* one for the ref passed out*/
2141         kref_init(&file->f_kref, file_release, 1);
2142         return file;
2143 }
2144
2145 /* Opens and returns the file specified by dentry */
2146 struct file *dentry_open(struct dentry *dentry, int flags)
2147 {
2148         struct inode *inode;
2149         struct file *file;
2150         int desired_mode;
2151         inode = dentry->d_inode;
2152         /* Do the mode first, since we can still error out.  f_mode stores how the
2153          * OS file is open, which can be more restrictive than the i_mode */
2154         switch (flags & (O_RDONLY | O_WRONLY | O_RDWR)) {
2155                 case O_RDONLY:
2156                         desired_mode = S_IRUSR;
2157                         break;
2158                 case O_WRONLY:
2159                         desired_mode = S_IWUSR;
2160                         break;
2161                 case O_RDWR:
2162                         desired_mode = S_IRUSR | S_IWUSR;
2163                         break;
2164                 default:
2165                         goto error_access;
2166         }
2167         if (check_perms(inode, desired_mode))
2168                 goto error_access;
2169         file = alloc_file();
2170         if (!file)
2171                 return 0;
2172         file->f_mode = desired_mode;
2173         /* Add to the list of all files of this SB */
2174         TAILQ_INSERT_TAIL(&inode->i_sb->s_files, file, f_list);
2175         kref_get(&dentry->d_kref, 1);
2176         file->f_dentry = dentry;
2177         kref_get(&inode->i_sb->s_mount->mnt_kref, 1);
2178         file->f_vfsmnt = inode->i_sb->s_mount;          /* saving a ref to the vmnt...*/
2179         file->f_op = inode->i_fop;
2180         /* Don't store creation flags */
2181         file->f_flags = flags & ~O_CREAT_FLAGS;
2182         file->f_pos = 0;
2183         file->f_uid = inode->i_uid;
2184         file->f_gid = inode->i_gid;
2185         file->f_error = 0;
2186 //      struct event_poll_tailq         f_ep_links;
2187         spinlock_init(&file->f_ep_lock);
2188         file->f_privdata = 0;                                           /* prob overriden by the fs */
2189         file->f_mapping = inode->i_mapping;
2190         file->f_op->open(inode, file);
2191         return file;
2192 error_access:
2193         set_errno(EACCES);
2194         return 0;
2195 }
2196
2197 /* Closes a file, fsync, whatever else is necessary.  Called when the kref hits
2198  * 0.  Note that the file is not refcounted on the s_files list, nor is the
2199  * f_mapping refcounted (it is pinned by the i_mapping). */
2200 void file_release(struct kref *kref)
2201 {
2202         struct file *file = container_of(kref, struct file, f_kref);
2203
2204         struct super_block *sb = file->f_dentry->d_sb;
2205         spin_lock(&sb->s_lock);
2206         TAILQ_REMOVE(&sb->s_files, file, f_list);
2207         spin_unlock(&sb->s_lock);
2208
2209         /* TODO: fsync (BLK).  also, we may want to parallelize the blocking that
2210          * could happen in here (spawn kernel threads)... */
2211         file->f_op->release(file->f_dentry->d_inode, file);
2212         /* Clean up the other refs we hold */
2213         kref_put(&file->f_dentry->d_kref);
2214         kref_put(&file->f_vfsmnt->mnt_kref);
2215         kmem_cache_free(file_kcache, file);
2216 }
2217
2218 /* Process-related File management functions */
2219
2220 /* Given any FD, get the appropriate file, 0 o/w */
2221 struct file *get_file_from_fd(struct files_struct *open_files, int file_desc)
2222 {
2223         struct file *retval = 0;
2224         if (file_desc < 0)
2225                 return 0;
2226         spin_lock(&open_files->lock);
2227         if (open_files->closed) {
2228                 spin_unlock(&open_files->lock);
2229                 return 0;
2230         }
2231         if (file_desc < open_files->max_fdset) {
2232                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
2233                         /* while max_files and max_fdset might not line up, we should never
2234                          * have a valid fdset higher than files */
2235                         assert(file_desc < open_files->max_files);
2236                         retval = open_files->fd[file_desc].fd_file;
2237                         /* 9ns might be using this one, in which case file == 0 */
2238                         if (retval)
2239                                 kref_get(&retval->f_kref, 1);
2240                 }
2241         }
2242         spin_unlock(&open_files->lock);
2243         return retval;
2244 }
2245
2246 /* Grow the vfs fd set */
2247 static int grow_fd_set(struct files_struct *open_files) {
2248         int n;
2249         struct file_desc *nfd, *ofd;
2250
2251         /* Only update open_fds once. If currently pointing to open_fds_init, then
2252          * update it to point to a newly allocated fd_set with space for
2253          * NR_FILE_DESC_MAX */
2254         if (open_files->open_fds == (struct fd_set*)&open_files->open_fds_init) {
2255                 open_files->open_fds = kzmalloc(sizeof(struct fd_set), 0);
2256                 memmove(open_files->open_fds, &open_files->open_fds_init,
2257                         sizeof(struct small_fd_set));
2258         }
2259
2260         /* Grow the open_files->fd array in increments of NR_OPEN_FILES_DEFAULT */
2261         n = open_files->max_files + NR_OPEN_FILES_DEFAULT;
2262         if (n > NR_FILE_DESC_MAX)
2263                 n = NR_FILE_DESC_MAX;
2264         nfd = kzmalloc(n * sizeof(struct file_desc), 0);
2265         if (nfd == NULL)
2266                 return -1;
2267
2268         /* Move the old array on top of the new one */
2269         ofd = open_files->fd;
2270         memmove(nfd, ofd, open_files->max_files * sizeof(struct file_desc));
2271
2272         /* Update the array and the maxes for both max_files and max_fdset */
2273         open_files->fd = nfd;
2274         open_files->max_files = n;
2275         open_files->max_fdset = n;
2276
2277         /* Only free the old one if it wasn't pointing to open_files->fd_array */
2278         if (ofd != open_files->fd_array)
2279                 kfree(ofd);
2280         return 0;
2281 }
2282
2283 /* Free the vfs fd set if necessary */
2284 static void free_fd_set(struct files_struct *open_files) {
2285         if (open_files->open_fds != (struct fd_set*)&open_files->open_fds_init) {
2286                 kfree(open_files->open_fds);
2287                 assert(open_files->fd != open_files->fd_array);
2288                 kfree(open_files->fd);
2289         }
2290 }
2291
2292 /* 9ns: puts back an FD from the VFS-FD-space. */
2293 int put_fd(struct files_struct *open_files, int file_desc)
2294 {
2295         if (file_desc < 0) {
2296                 warn("Negative FD!\n");
2297                 return 0;
2298         }
2299         spin_lock(&open_files->lock);
2300         if (file_desc < open_files->max_fdset) {
2301                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
2302                         /* while max_files and max_fdset might not line up, we should never
2303                          * have a valid fdset higher than files */
2304                         assert(file_desc < open_files->max_files);
2305                         CLR_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
2306                 }
2307         }
2308         spin_unlock(&open_files->lock);
2309         return 0;
2310 }
2311
2312 /* Remove FD from the open files, if it was there, and return f.  Currently,
2313  * this decref's f, so the return value is not consumable or even usable.  This
2314  * hasn't been thought through yet. */
2315 struct file *put_file_from_fd(struct files_struct *open_files, int file_desc)
2316 {
2317         struct file *file = 0;
2318         if (file_desc < 0)
2319                 return 0;
2320         spin_lock(&open_files->lock);
2321         if (file_desc < open_files->max_fdset) {
2322                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
2323                         /* while max_files and max_fdset might not line up, we should never
2324                          * have a valid fdset higher than files */
2325                         assert(file_desc < open_files->max_files);
2326                         file = open_files->fd[file_desc].fd_file;
2327                         open_files->fd[file_desc].fd_file = 0;
2328                         assert(file);   /* 9ns shouldn't call this put */
2329                         kref_put(&file->f_kref);
2330                         CLR_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
2331                 }
2332         }
2333         spin_unlock(&open_files->lock);
2334         return file;
2335 }
2336
2337 static int __get_fd(struct files_struct *open_files, int low_fd)
2338 {
2339         int slot = -1;
2340         if ((low_fd < 0) || (low_fd > NR_FILE_DESC_MAX))
2341                 return -EINVAL;
2342         if (open_files->closed)
2343                 return -EINVAL; /* won't matter, they are dying */
2344
2345         /* Loop until we have a valid slot (we grow the fd_array at the bottom of
2346          * the loop if we haven't found a slot in the current array */
2347         while (slot == -1) {
2348                 for (low_fd; low_fd < open_files->max_fdset; low_fd++) {
2349                         if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
2350                                 continue;
2351                         slot = low_fd;
2352                         SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
2353                         assert(slot < open_files->max_files &&
2354                                open_files->fd[slot].fd_file == 0);
2355                         if (slot >= open_files->next_fd)
2356                                 open_files->next_fd = slot + 1;
2357                         break;
2358                 }
2359                 if (slot == -1) {
2360                         /* Expand the FD array and fd_set */
2361                         if (grow_fd_set(open_files) == -1)
2362                                 return -ENOMEM;
2363                         /* loop after growing */
2364                 }
2365         }
2366         return slot;
2367 }
2368
2369 /* Gets and claims a free FD, used by 9ns.  < 0 == error. */
2370 int get_fd(struct files_struct *open_files, int low_fd)
2371 {
2372         int slot;
2373         spin_lock(&open_files->lock);
2374         slot = __get_fd(open_files, low_fd);
2375         spin_unlock(&open_files->lock);
2376         return slot;
2377 }
2378
2379 static int __claim_fd(struct files_struct *open_files, int file_desc)
2380 {
2381         if ((file_desc < 0) || (file_desc > NR_FILE_DESC_MAX))
2382                 return -EINVAL;
2383         if (open_files->closed)
2384                 return -EINVAL; /* won't matter, they are dying */
2385
2386         /* Grow the open_files->fd_set until the file_desc can fit inside it */
2387         while(file_desc >= open_files->max_files) {
2388                 grow_fd_set(open_files);
2389                 cpu_relax();
2390         }
2391
2392         /* If we haven't grown, this could be a problem, so check for it */
2393         if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc))
2394                 return -ENFILE; /* Should never really happen. Here to catch bugs. */
2395
2396         SET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
2397         assert(file_desc < open_files->max_files &&
2398                open_files->fd[file_desc].fd_file == 0);
2399         if (file_desc >= open_files->next_fd)
2400                 open_files->next_fd = file_desc + 1;
2401         return 0;
2402 }
2403
2404 /* Claims a specific FD when duping FDs. used by 9ns.  < 0 == error. */
2405 int claim_fd(struct files_struct *open_files, int file_desc)
2406 {
2407         int ret;
2408         spin_lock(&open_files->lock);
2409         ret = __claim_fd(open_files, file_desc);
2410         spin_unlock(&open_files->lock);
2411         return ret;
2412 }
2413
2414 /* Inserts the file in the files_struct, returning the corresponding new file
2415  * descriptor, or an error code.  We start looking for open fds from low_fd. */
2416 int insert_file(struct files_struct *open_files, struct file *file, int low_fd,
2417                 bool must)
2418 {
2419         int slot, ret;
2420         spin_lock(&open_files->lock);
2421         if (must) {
2422                 ret = __claim_fd(open_files, low_fd);
2423                 if (ret < 0) {
2424                         spin_unlock(&open_files->lock);
2425                         return ret;
2426                 }
2427                 assert(!ret);   /* issues with claim_fd returning status, not the fd */
2428                 slot = low_fd;
2429         } else {
2430                 slot = __get_fd(open_files, low_fd);
2431         }
2432
2433         if (slot < 0) {
2434                 spin_unlock(&open_files->lock);
2435                 return slot;
2436         }
2437         assert(slot < open_files->max_files &&
2438                open_files->fd[slot].fd_file == 0);
2439         kref_get(&file->f_kref, 1);
2440         open_files->fd[slot].fd_file = file;
2441         open_files->fd[slot].fd_flags = 0;
2442         spin_unlock(&open_files->lock);
2443         return slot;
2444 }
2445
2446 /* Closes all open files.  Mostly just a "put" for all files.  If cloexec, it
2447  * will only close files that are opened with O_CLOEXEC. */
2448 void close_all_files(struct files_struct *open_files, bool cloexec)
2449 {
2450         struct file *file;
2451         spin_lock(&open_files->lock);
2452         if (open_files->closed) {
2453                 spin_unlock(&open_files->lock);
2454                 return;
2455         }
2456         for (int i = 0; i < open_files->max_fdset; i++) {
2457                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, i)) {
2458                         /* while max_files and max_fdset might not line up, we should never
2459                          * have a valid fdset higher than files */
2460                         assert(i < open_files->max_files);
2461                         file = open_files->fd[i].fd_file;
2462                         /* no file == 9ns uses the FD.  they will deal with it */
2463                         if (!file)
2464                                 continue;
2465                         if (cloexec && !(open_files->fd[i].fd_flags & O_CLOEXEC))
2466                                 continue;
2467                         /* Actually close the file */
2468                         open_files->fd[i].fd_file = 0;
2469                         assert(file);
2470                         kref_put(&file->f_kref);
2471                         CLR_BITMASK_BIT(open_files->open_fds->fds_bits, i);
2472                 }
2473         }
2474         if (!cloexec) {
2475                 free_fd_set(open_files);
2476                 open_files->closed = TRUE;
2477         }
2478         spin_unlock(&open_files->lock);
2479 }
2480
2481 /* Inserts all of the files from src into dst, used by sys_fork(). */
2482 void clone_files(struct files_struct *src, struct files_struct *dst)
2483 {
2484         struct file *file;
2485         spin_lock(&src->lock);
2486         if (src->closed) {
2487                 spin_unlock(&src->lock);
2488                 return;
2489         }
2490         spin_lock(&dst->lock);
2491         if (dst->closed) {
2492                 warn("Destination closed before it opened");
2493                 spin_unlock(&dst->lock);
2494                 spin_unlock(&src->lock);
2495                 return;
2496         }
2497         for (int i = 0; i < src->max_fdset; i++) {
2498                 if (GET_BITMASK_BIT(src->open_fds->fds_bits, i)) {
2499                         /* while max_files and max_fdset might not line up, we should never
2500                          * have a valid fdset higher than files */
2501                         assert(i < src->max_files);
2502                         file = src->fd[i].fd_file;
2503                         assert(i < dst->max_files && dst->fd[i].fd_file == 0);
2504                         SET_BITMASK_BIT(dst->open_fds->fds_bits, i);
2505                         dst->fd[i].fd_file = file;
2506                         /* no file means 9ns is using it, they clone separately */
2507                         if (file)
2508                                 kref_get(&file->f_kref, 1);
2509                         if (i >= dst->next_fd)
2510                                 dst->next_fd = i + 1;
2511                 }
2512         }
2513         spin_unlock(&dst->lock);
2514         spin_unlock(&src->lock);
2515 }
2516
2517 static void __chpwd(struct fs_struct *fs_env, struct dentry *new_pwd)
2518 {
2519         struct dentry *old_pwd;
2520         kref_get(&new_pwd->d_kref, 1);
2521         /* writer lock, make sure we replace pwd with ours.  could also CAS.
2522          * readers don't lock at all, so they need to either loop, or we need to
2523          * delay releasing old_pwd til an RCU grace period. */
2524         spin_lock(&fs_env->lock);
2525         old_pwd = fs_env->pwd;
2526         fs_env->pwd = new_pwd;
2527         spin_unlock(&fs_env->lock);
2528         kref_put(&old_pwd->d_kref);
2529 }
2530
2531 /* Change the working directory of the given fs env (one per process, at this
2532  * point).  Returns 0 for success, -ERROR for whatever error. */
2533 int do_chdir(struct fs_struct *fs_env, char *path)
2534 {
2535         struct nameidata nd_r = {0}, *nd = &nd_r;
2536         int retval;
2537         retval = path_lookup(path, LOOKUP_DIRECTORY, nd);
2538         if (!retval) {
2539                 /* nd->dentry is the place we want our PWD to be */
2540                 __chpwd(fs_env, nd->dentry);
2541         }
2542         path_release(nd);
2543         return retval;
2544 }
2545
2546 int do_fchdir(struct fs_struct *fs_env, struct file *file)
2547 {
2548         if ((file->f_dentry->d_inode->i_mode & __S_IFMT) != __S_IFDIR) {
2549                 set_errno(ENOTDIR);
2550                 return -1;
2551         }
2552         __chpwd(fs_env, file->f_dentry);
2553         return 0;
2554 }
2555
2556 /* Returns a null-terminated string of up to length cwd_l containing the
2557  * absolute path of fs_env, (up to fs_env's root).  Be sure to kfree the char*
2558  * "kfree_this" when you are done with it.  We do this since it's easier to
2559  * build this string going backwards.  Note cwd_l is not a strlen, it's an
2560  * absolute size. */
2561 char *do_getcwd(struct fs_struct *fs_env, char **kfree_this, size_t cwd_l)
2562 {
2563         struct dentry *dentry = fs_env->pwd;
2564         size_t link_len;
2565         char *path_start, *kbuf;
2566
2567         if (cwd_l < 2) {
2568                 set_errno(ERANGE);
2569                 return 0;
2570         }
2571         kbuf = kmalloc(cwd_l, 0);
2572         if (!kbuf) {
2573                 set_errno(ENOMEM);
2574                 return 0;
2575         }
2576         *kfree_this = kbuf;
2577         kbuf[cwd_l - 1] = '\0';
2578         kbuf[cwd_l - 2] = '/';
2579         /* for each dentry in the path, all the way back to the root of fs_env, we
2580          * grab the dentry name, push path_start back enough, and write in the name,
2581          * using /'s to terminate.  We skip the root, since we don't want it's
2582          * actual name, just "/", which is set before each loop. */
2583         path_start = kbuf + cwd_l - 2;  /* the last byte written */
2584         while (dentry != fs_env->root) {
2585                 link_len = dentry->d_name.len;          /* this does not count the \0 */
2586                 if (path_start - (link_len + 2) < kbuf) {
2587                         kfree(kbuf);
2588                         set_errno(ERANGE);
2589                         return 0;
2590                 }
2591                 path_start -= link_len;
2592                 strncpy(path_start, dentry->d_name.name, link_len);
2593                 path_start--;
2594                 *path_start = '/';
2595                 dentry = dentry->d_parent;      
2596         }
2597         return path_start;
2598 }
2599
2600 static void print_dir(struct dentry *dentry, char *buf, int depth)
2601 {
2602         struct dentry *child_d;
2603         struct dirent next = {0};
2604         struct file *dir;
2605         int retval;
2606
2607         if (!S_ISDIR(dentry->d_inode->i_mode)) {
2608                 warn("Thought this was only directories!!");
2609                 return;
2610         }
2611         /* Print this dentry */
2612         printk("%s%s/ nlink: %d\n", buf, dentry->d_name.name,
2613                dentry->d_inode->i_nlink);
2614         if (dentry->d_mount_point) {
2615                 dentry = dentry->d_mounted_fs->mnt_root;
2616         }
2617         if (depth >= 32)
2618                 return;
2619         /* Set buffer for our kids */
2620         buf[depth] = '\t';
2621         dir = dentry_open(dentry, 0);
2622         if (!dir)
2623                 panic("Filesystem seems inconsistent - unable to open a dir!");
2624         /* Process every child, recursing on directories */
2625         while (1) {
2626                 retval = dir->f_op->readdir(dir, &next);
2627                 if (retval >= 0) {
2628                         /* Skip .., ., and empty entries */
2629                         if (!strcmp("..", next.d_name) || !strcmp(".", next.d_name) ||
2630                             next.d_ino == 0)
2631                                 goto loop_next;
2632                         /* there is an entry, now get its dentry */
2633                         child_d = do_lookup(dentry, next.d_name);
2634                         if (!child_d)
2635                                 panic("Inconsistent FS, dirent doesn't have a dentry!");
2636                         /* Recurse for directories, or just print the name for others */
2637                         switch (child_d->d_inode->i_mode & __S_IFMT) {
2638                                 case (__S_IFDIR):
2639                                         print_dir(child_d, buf, depth + 1);
2640                                         break;
2641                                 case (__S_IFREG):
2642                                         printk("%s%s size(B): %d nlink: %d\n", buf, next.d_name,
2643                                                child_d->d_inode->i_size, child_d->d_inode->i_nlink);
2644                                         break;
2645                                 case (__S_IFLNK):
2646                                         printk("%s%s -> %s\n", buf, next.d_name,
2647                                                child_d->d_inode->i_op->readlink(child_d));
2648                                         break;
2649                                 case (__S_IFCHR):
2650                                         printk("%s%s (char device) nlink: %d\n", buf, next.d_name,
2651                                                child_d->d_inode->i_nlink);
2652                                         break;
2653                                 case (__S_IFBLK):
2654                                         printk("%s%s (block device) nlink: %d\n", buf, next.d_name,
2655                                                child_d->d_inode->i_nlink);
2656                                         break;
2657                                 default:
2658                                         warn("Look around you!  Unknown filetype!");
2659                         }
2660                         kref_put(&child_d->d_kref);     
2661                 }
2662 loop_next:
2663                 if (retval <= 0)
2664                         break;
2665         }
2666         /* Reset buffer to the way it was */
2667         buf[depth] = '\0';
2668         kref_put(&dir->f_kref);
2669 }
2670
2671 /* Debugging */
2672 int ls_dash_r(char *path)
2673 {
2674         struct nameidata nd_r = {0}, *nd = &nd_r;
2675         int error;
2676         char buf[32] = {0};
2677
2678         error = path_lookup(path, LOOKUP_ACCESS | LOOKUP_DIRECTORY, nd);
2679         if (error) {
2680                 path_release(nd);
2681                 return error;
2682         }
2683         print_dir(nd->dentry, buf, 0);
2684         path_release(nd);
2685         return 0;
2686 }
2687
2688 /* Dummy ops, to catch weird operations we weren't expecting */
2689 int dummy_create(struct inode *dir, struct dentry *dentry, int mode,
2690                  struct nameidata *nd)
2691 {
2692         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2693         return -1;
2694 }
2695
2696 struct dentry *dummy_lookup(struct inode *dir, struct dentry *dentry,
2697                           struct nameidata *nd)
2698 {
2699         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2700         return 0;
2701 }
2702
2703 int dummy_link(struct dentry *old_dentry, struct inode *dir,
2704              struct dentry *new_dentry)
2705 {
2706         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2707         return -1;
2708 }
2709
2710 int dummy_unlink(struct inode *dir, struct dentry *dentry)
2711 {
2712         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2713         return -1;
2714 }
2715
2716 int dummy_symlink(struct inode *dir, struct dentry *dentry, const char *symname)
2717 {
2718         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2719         return -1;
2720 }
2721
2722 int dummy_mkdir(struct inode *dir, struct dentry *dentry, int mode)
2723 {
2724         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2725         return -1;
2726 }
2727
2728 int dummy_rmdir(struct inode *dir, struct dentry *dentry)
2729 {
2730         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2731         return -1;
2732 }
2733
2734 int dummy_mknod(struct inode *dir, struct dentry *dentry, int mode, dev_t rdev)
2735 {
2736         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2737         return -1;
2738 }
2739
2740 int dummy_rename(struct inode *old_dir, struct dentry *old_dentry,
2741                struct inode *new_dir, struct dentry *new_dentry)
2742 {
2743         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2744         return -1;
2745 }
2746
2747 char *dummy_readlink(struct dentry *dentry)
2748 {
2749         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2750         return 0;
2751 }
2752
2753 void dummy_truncate(struct inode *inode)
2754 {
2755         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2756 }
2757
2758 int dummy_permission(struct inode *inode, int mode, struct nameidata *nd)
2759 {
2760         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2761         return -1;
2762 }
2763
2764 int dummy_d_revalidate(struct dentry *dir, struct nameidata *nd)
2765 {
2766         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2767         return -1;
2768 }
2769
2770 int dummy_d_hash(struct dentry *dentry, struct qstr *name)
2771 {
2772         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2773         return -1;
2774 }
2775
2776 int dummy_d_compare(struct dentry *dir, struct qstr *name1, struct qstr *name2)
2777 {
2778         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2779         return -1;
2780 }
2781
2782 int dummy_d_delete(struct dentry *dentry)
2783 {
2784         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2785         return -1;
2786 }
2787
2788 int dummy_d_release(struct dentry *dentry)
2789 {
2790         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2791         return -1;
2792 }
2793
2794 void dummy_d_iput(struct dentry *dentry, struct inode *inode)
2795 {
2796         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2797 }
2798
2799 struct inode_operations dummy_i_op = {
2800         dummy_create,
2801         dummy_lookup,
2802         dummy_link,
2803         dummy_unlink,
2804         dummy_symlink,
2805         dummy_mkdir,
2806         dummy_rmdir,
2807         dummy_mknod,
2808         dummy_rename,
2809         dummy_readlink,
2810         dummy_truncate,
2811         dummy_permission,
2812 };
2813
2814 struct dentry_operations dummy_d_op = {
2815         dummy_d_revalidate,
2816         dummy_d_hash,
2817         dummy_d_compare,
2818         dummy_d_delete,
2819         dummy_d_release,
2820         dummy_d_iput,
2821 };