vfs: Remove fs_env from struct proc
[akaros.git] / kern / src / vfs.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Default implementations and global values for the VFS. */
6
7 #include <vfs.h> // keep this first
8 #include <ros/errno.h>
9 #include <sys/queue.h>
10 #include <assert.h>
11 #include <stdio.h>
12 #include <atomic.h>
13 #include <slab.h>
14 #include <kmalloc.h>
15 #include <kfs.h>
16 #include <pmap.h>
17 #include <umem.h>
18 #include <smp.h>
19 #include <ns.h>
20 #include <fdtap.h>
21
22 struct sb_tailq super_blocks = TAILQ_HEAD_INITIALIZER(super_blocks);
23 spinlock_t super_blocks_lock = SPINLOCK_INITIALIZER;
24 struct fs_type_tailq file_systems = TAILQ_HEAD_INITIALIZER(file_systems);
25 struct namespace default_ns;
26
27 struct kmem_cache *dentry_kcache; // not to be confused with the dcache
28 struct kmem_cache *inode_kcache;
29 struct kmem_cache *file_kcache;
30
31 enum {
32         VFS_MTIME,
33         VFS_CTIME,
34         VFS_ATIME,
35 };
36
37 /* mtime implies ctime implies atime. */
38 static void set_acmtime(struct inode *inode, int which)
39 {
40         struct timespec now = nsec2timespec(epoch_nsec());
41
42         switch (which) {
43         case VFS_MTIME:
44                 inode->i_mtime.tv_sec = now.tv_sec;
45                 inode->i_mtime.tv_nsec = now.tv_nsec;
46                 /* fall through */
47         case VFS_CTIME:
48                 inode->i_ctime.tv_sec = now.tv_sec;
49                 inode->i_ctime.tv_nsec = now.tv_nsec;
50                 /* fall through */
51         case VFS_ATIME:
52                 inode->i_atime.tv_sec = now.tv_sec;
53                 inode->i_atime.tv_nsec = now.tv_nsec;
54         }
55 }
56
57 /* Mounts fs from dev_name at mnt_pt in namespace ns.  There could be no mnt_pt,
58  * such as with the root of (the default) namespace.  Not sure how it would work
59  * with multiple namespaces on the same FS yet.  Note if you mount the same FS
60  * multiple times, you only have one FS still (and one SB).  If we ever support
61  * that... */
62 struct vfsmount *__mount_fs(struct fs_type *fs, char *dev_name,
63                             struct dentry *mnt_pt, int flags,
64                             struct namespace *ns)
65 {
66         struct super_block *sb;
67         struct vfsmount *vmnt = kmalloc(sizeof(struct vfsmount), 0);
68
69         /* this first ref is stored in the NS tailq below */
70         kref_init(&vmnt->mnt_kref, fake_release, 1);
71         /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for
72          * now).  fields related to the actual FS, like the sb and the mnt_root are
73          * set in the fs-specific get_sb() call. */
74         if (!mnt_pt) {
75                 vmnt->mnt_parent = NULL;
76                 vmnt->mnt_mountpoint = NULL;
77         } else { /* common case, but won't be tested til we try to mount another FS */
78                 mnt_pt->d_mount_point = TRUE;
79                 mnt_pt->d_mounted_fs = vmnt;
80                 kref_get(&vmnt->mnt_kref, 1); /* held by mnt_pt */
81                 vmnt->mnt_parent = mnt_pt->d_sb->s_mount;
82                 vmnt->mnt_mountpoint = mnt_pt;
83         }
84         TAILQ_INIT(&vmnt->mnt_child_mounts);
85         vmnt->mnt_flags = flags;
86         vmnt->mnt_devname = dev_name;
87         vmnt->mnt_namespace = ns;
88         kref_get(&ns->kref, 1); /* held by vmnt */
89
90         /* Read in / create the SB */
91         sb = fs->get_sb(fs, flags, dev_name, vmnt);
92         if (!sb)
93                 panic("You're FS sucks");
94
95         /* TODO: consider moving this into get_sb or something, in case the SB
96          * already exists (mounting again) (if we support that) */
97         spin_lock(&super_blocks_lock);
98         TAILQ_INSERT_TAIL(&super_blocks, sb, s_list); /* storing a ref here... */
99         spin_unlock(&super_blocks_lock);
100
101         /* Update holding NS */
102         spin_lock(&ns->lock);
103         TAILQ_INSERT_TAIL(&ns->vfsmounts, vmnt, mnt_list);
104         spin_unlock(&ns->lock);
105         /* note to self: so, right after this point, the NS points to the root FS
106          * mount (we return the mnt, which gets assigned), the root mnt has a dentry
107          * for /, backed by an inode, with a SB prepped and in memory. */
108         return vmnt;
109 }
110
111 void vfs_init(void)
112 {
113         struct fs_type *fs;
114
115         dentry_kcache = kmem_cache_create("dentry", sizeof(struct dentry),
116                                           __alignof__(struct dentry), 0,
117                                           NULL, 0, 0, NULL);
118         inode_kcache = kmem_cache_create("inode", sizeof(struct inode),
119                                          __alignof__(struct inode), 0, NULL,
120                                          0, 0, NULL);
121         file_kcache = kmem_cache_create("file", sizeof(struct file),
122                                         __alignof__(struct file), 0, NULL, 0,
123                                         0, NULL);
124         /* default NS never dies, +1 to exist */
125         kref_init(&default_ns.kref, fake_release, 1);
126         spinlock_init(&default_ns.lock);
127         default_ns.root = NULL;
128         TAILQ_INIT(&default_ns.vfsmounts);
129
130         /* build list of all FS's in the system.  put yours here.  if this is ever
131          * done on the fly, we'll need to lock. */
132         TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
133         TAILQ_FOREACH(fs, &file_systems, list)
134                 printk("Supports the %s Filesystem\n", fs->name);
135
136         /* mounting KFS at the root (/), pending root= parameters */
137         // TODO: linux creates a temp root_fs, then mounts the real root onto that
138         default_ns.root = __mount_fs(&kfs_fs_type, "RAM", NULL, 0, &default_ns);
139
140         printk("vfs_init() completed\n");
141 }
142
143 /* FS's can provide another, if they want */
144 int generic_dentry_hash(struct dentry *dentry, struct qstr *qstr)
145 {
146         unsigned long hash = 5381;
147
148         for (int i = 0; i < qstr->len; i++) {
149                 /* hash * 33 + c, djb2's technique */
150                 hash = ((hash << 5) + hash) + qstr->name[i];
151         }
152         return hash;
153 }
154
155 /* Builds / populates the qstr of a dentry based on its d_iname.  If there is an
156  * l_name, (long), it will use that instead of the inline name.  This will
157  * probably change a bit. */
158 void qstr_builder(struct dentry *dentry, char *l_name)
159 {
160         dentry->d_name.name = l_name ? l_name : dentry->d_iname;
161         dentry->d_name.len = strnlen(dentry->d_name.name, MAX_FILENAME_SZ);
162         dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name);
163 }
164
165 /* Useful little helper - return the string ptr for a given file */
166 char *file_name(struct file *file)
167 {
168         return file->f_dentry->d_name.name;
169 }
170
171 static int prepend(char **pbuf, size_t *pbuflen, const char *str, size_t len)
172 {
173         if (*pbuflen < len)
174                 return -ENAMETOOLONG;
175         *pbuflen -= len;
176         *pbuf -= len;
177         memcpy(*pbuf, str, len);
178
179         return 0;
180 }
181
182 char *dentry_path(struct dentry *dentry, char *path, size_t max_size)
183 {
184         size_t csize = max_size;
185         char *path_start = path + max_size, *base;
186
187         if (prepend(&path_start, &csize, "\0", 1) < 0 || csize < 1)
188                 return NULL;
189         /* Handle the case that the passed dentry is the root. */
190         base = path_start - 1;
191         *base = '/';
192         while (!DENTRY_IS_ROOT(dentry)) {
193                 if (prepend(&path_start, &csize, dentry->d_name.name,
194                                         dentry->d_name.len) < 0 ||
195                         prepend(&path_start, &csize, "/", 1) < 0)
196                         return NULL;
197                 base = path_start;
198                 dentry = dentry->d_parent;
199         }
200
201         return base;
202 }
203
204 /* Some issues with this, coupled closely to fs_lookup.
205  *
206  * Note the use of __dentry_free, instead of kref_put.  In those cases, we don't
207  * want to treat it like a kref and we have the only reference to it, so it is
208  * okay to do this.  It makes dentry_release() easier too. */
209 static struct dentry *do_lookup(struct dentry *parent, char *name)
210 {
211         struct dentry *result, *query;
212         query = get_dentry(parent->d_sb, parent, name);
213         if (!query) {
214                 warn("OOM in do_lookup(), probably wasn't expected\n");
215                 return 0;
216         }
217         result = dcache_get(parent->d_sb, query);
218         if (result) {
219                 __dentry_free(query);
220                 return result;
221         }
222         /* No result, check for negative */
223         if (query->d_flags & DENTRY_NEGATIVE) {
224                 __dentry_free(query);
225                 return 0;
226         }
227         /* not in the dcache at all, need to consult the FS */
228         result = parent->d_inode->i_op->lookup(parent->d_inode, query, 0);
229         if (!result) {
230                 /* Note the USED flag will get turned off when this gets added to the
231                  * LRU in dentry_release().  There's a slight race here that we'll panic
232                  * on, but I want to catch it (in dcache_put()) for now. */
233                 query->d_flags |= DENTRY_NEGATIVE;
234                 dcache_put(parent->d_sb, query);
235                 kref_put(&query->d_kref);
236                 return 0;
237         }
238         dcache_put(parent->d_sb, result);
239         /* This is because KFS doesn't return the same dentry, but ext2 does.  this
240          * is ugly and needs to be fixed. (TODO) */
241         if (result != query)
242                 __dentry_free(query);
243
244         /* TODO: if the following are done by us, how do we know the i_ino?
245          * also need to handle inodes that are already read in!  For now, we're
246          * going to have the FS handle it in its lookup() method:
247          * - get a new inode
248          * - read in the inode
249          * - put in the inode cache */
250         return result;
251 }
252
253 /* Update ND such that it represents having followed dentry.  IAW the nd
254  * refcnting rules, we need to decref any references that were in there before
255  * they get clobbered. */
256 static int next_link(struct dentry *dentry, struct nameidata *nd)
257 {
258         assert(nd->dentry && nd->mnt);
259         /* update the dentry */
260         kref_get(&dentry->d_kref, 1);
261         kref_put(&nd->dentry->d_kref);
262         nd->dentry = dentry;
263         /* update the mount, if we need to */
264         if (dentry->d_sb->s_mount != nd->mnt) {
265                 kref_get(&dentry->d_sb->s_mount->mnt_kref, 1);
266                 kref_put(&nd->mnt->mnt_kref);
267                 nd->mnt = dentry->d_sb->s_mount;
268         }
269         return 0;
270 }
271
272 /* Walk up one directory, being careful of mountpoints, namespaces, and the top
273  * of the FS */
274 static int climb_up(struct nameidata *nd)
275 {
276         printd("CLIMB_UP, from %s\n", nd->dentry->d_name.name);
277         /* Top of the world, just return.  Should also check for being at the top of
278          * the current process's namespace (TODO) */
279         if (!nd->dentry->d_parent || (nd->dentry->d_parent == nd->dentry))
280                 return -1;
281         /* Check if we are at the top of a mount, if so, we need to follow
282          * backwards, and then climb_up from that one.  We might need to climb
283          * multiple times if we mount multiple FSs at the same spot (highly
284          * unlikely).  This is completely untested.  Might recurse instead. */
285         while (nd->mnt->mnt_root == nd->dentry) {
286                 if (!nd->mnt->mnt_parent) {
287                         warn("Might have expected a parent vfsmount (dentry had a parent)");
288                         return -1;
289                 }
290                 next_link(nd->mnt->mnt_mountpoint, nd);
291         }
292         /* Backwards walk (no mounts or any other issues now). */
293         next_link(nd->dentry->d_parent, nd);
294         printd("CLIMB_UP, to   %s\n", nd->dentry->d_name.name);
295         return 0;
296 }
297
298 /* nd->dentry might be on a mount point, so we need to move on to the child
299  * mount's root. */
300 static int follow_mount(struct nameidata *nd)
301 {
302         if (!nd->dentry->d_mount_point)
303                 return 0;
304         next_link(nd->dentry->d_mounted_fs->mnt_root, nd);
305         return 0;
306 }
307
308 static int link_path_walk(char *path, struct nameidata *nd);
309
310 /* When nd->dentry is for a symlink, this will recurse and follow that symlink,
311  * so that nd contains the results of following the symlink (dentry and mnt).
312  * Returns when it isn't a symlink, 1 on following a link, and < 0 on error. */
313 static int follow_symlink(struct nameidata *nd)
314 {
315         int retval;
316         char *symname;
317         if (!S_ISLNK(nd->dentry->d_inode->i_mode))
318                 return 0;
319         if (nd->depth > MAX_SYMLINK_DEPTH)
320                 return -ELOOP;
321         printd("Following symlink for dentry %p %s\n", nd->dentry,
322                nd->dentry->d_name.name);
323         nd->depth++;
324         symname = nd->dentry->d_inode->i_op->readlink(nd->dentry);
325         /* We need to pin in nd->dentry (the dentry of the symlink), since we need
326          * its symname's storage to stay in memory throughout the upcoming
327          * link_path_walk().  The last_sym gets decreffed when we path_release() or
328          * follow another symlink. */
329         if (nd->last_sym)
330                 kref_put(&nd->last_sym->d_kref);
331         kref_get(&nd->dentry->d_kref, 1);
332         nd->last_sym = nd->dentry;
333         /* If this an absolute path in the symlink, we need to free the old path and
334          * start over, otherwise, we continue from the PARENT of nd (the symlink) */
335         if (symname[0] == '/') {
336                 path_release(nd);
337                 if (!current)
338                         nd->dentry = default_ns.root->mnt_root;
339                 else
340                         nd->dentry = NULL; // current->fs_env.root;
341                 nd->mnt = nd->dentry->d_sb->s_mount;
342                 kref_get(&nd->mnt->mnt_kref, 1);
343                 kref_get(&nd->dentry->d_kref, 1);
344         } else {
345                 climb_up(nd);
346         }
347         /* either way, keep on walking in the free world! */
348         retval = link_path_walk(symname, nd);
349         return (retval == 0 ? 1 : retval);
350 }
351
352 /* Little helper, to make it easier to break out of the nested loops.  Will also
353  * '\0' out the first slash if it's slashes all the way down.  Or turtles. */
354 static bool packed_trailing_slashes(char *first_slash)
355 {
356         for (char *i = first_slash; *i == '/'; i++) {
357                 if (*(i + 1) == '\0') {
358                         *first_slash = '\0';
359                         return TRUE;
360                 }
361         }
362         return FALSE;
363 }
364
365 /* Simple helper to set nd to track its last name to be Name.  Also be careful
366  * with the storage of name.  Don't use and nd's name past the lifetime of the
367  * string used in the path_lookup()/link_path_walk/whatever.  Consider replacing
368  * parts of this with a qstr builder.  Note this uses the dentry's d_op, which
369  * might not be the dentry we care about. */
370 static void stash_nd_name(struct nameidata *nd, char *name)
371 {
372         nd->last.name = name;
373         nd->last.len = strlen(name);
374         nd->last.hash = nd->dentry->d_op->d_hash(nd->dentry, &nd->last);
375 }
376
377 /* Resolves the links in a basic path walk.  0 for success, -EWHATEVER
378  * otherwise.  The final lookup is returned via nd. */
379 static int link_path_walk(char *path, struct nameidata *nd)
380 {
381         struct dentry *link_dentry;
382         struct inode *link_inode, *nd_inode;
383         char *next_slash;
384         char *link = path;
385         int error;
386
387         /* Prevent crazy recursion */
388         if (nd->depth > MAX_SYMLINK_DEPTH)
389                 return -ELOOP;
390         /* skip all leading /'s */
391         while (*link == '/')
392                 link++;
393         /* if there's nothing left (null terminated), we're done.  This should only
394          * happen for "/", which if we wanted a PARENT, should fail (there is no
395          * parent). */
396         if (*link == '\0') {
397                 if (nd->flags & LOOKUP_PARENT) {
398                         set_errno(ENOENT);
399                         return -1;
400                 }
401                 /* o/w, we're good */
402                 return 0;
403         }
404         /* iterate through each intermediate link of the path.  in general, nd
405          * tracks where we are in the path, as far as dentries go.  once we have the
406          * next dentry, we try to update nd based on that dentry.  link is the part
407          * of the path string that we are looking up */
408         while (1) {
409                 nd_inode = nd->dentry->d_inode;
410                 if ((error = check_perms(nd_inode, nd->intent)))
411                         return error;
412                 /* find the next link, break out if it is the end */
413                 next_slash = strchr(link, '/');
414                 if (!next_slash) {
415                         break;
416                 } else {
417                         if (packed_trailing_slashes(next_slash)) {
418                                 nd->flags |= LOOKUP_DIRECTORY;
419                                 break;
420                         }
421                 }
422                 /* skip over any interim ./ */
423                 if (!strncmp("./", link, 2))
424                         goto next_loop;
425                 /* Check for "../", walk up */
426                 if (!strncmp("../", link, 3)) {
427                         climb_up(nd);
428                         goto next_loop;
429                 }
430                 *next_slash = '\0';
431                 link_dentry = do_lookup(nd->dentry, link);
432                 *next_slash = '/';
433                 if (!link_dentry)
434                         return -ENOENT;
435                 /* make link_dentry the current step/answer */
436                 next_link(link_dentry, nd);
437                 kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt dentry */
438                 /* we could be on a mountpoint or a symlink - need to follow them */
439                 follow_mount(nd);
440                 if ((error = follow_symlink(nd)) < 0)
441                         return error;
442                 /* Turn off a possible DIRECTORY lookup, which could have been set
443                  * during the follow_symlink (a symlink could have had a directory at
444                  * the end), though it was in the middle of the real path. */
445                 nd->flags &= ~LOOKUP_DIRECTORY;
446                 if (!S_ISDIR(nd->dentry->d_inode->i_mode))
447                         return -ENOTDIR;
448 next_loop:
449                 /* move through the path string to the next entry */
450                 link = next_slash + 1;
451                 /* advance past any other interim slashes.  we know we won't hit the end
452                  * due to the for loop check above */
453                 while (*link == '/')
454                         link++;
455         }
456         /* Now, we're on the last link of the path.  We need to deal with with . and
457          * .. .  This might be weird with PARENT lookups - not sure what semantics
458          * we want exactly.  This will give the parent of whatever the PATH was
459          * supposed to look like.  Note that ND currently points to the parent of
460          * the last item (link). */
461         if (!strcmp(".", link)) {
462                 if (nd->flags & LOOKUP_PARENT) {
463                         assert(nd->dentry->d_name.name);
464                         stash_nd_name(nd, nd->dentry->d_name.name);
465                         climb_up(nd);
466                 }
467                 return 0;
468         }
469         if (!strcmp("..", link)) {
470                 climb_up(nd);
471                 if (nd->flags & LOOKUP_PARENT) {
472                         assert(nd->dentry->d_name.name);
473                         stash_nd_name(nd, nd->dentry->d_name.name);
474                         climb_up(nd);
475                 }
476                 return 0;
477         }
478         /* need to attempt to look it up, in case it's a symlink */
479         link_dentry = do_lookup(nd->dentry, link);
480         if (!link_dentry) {
481                 /* if there's no dentry, we are okay if we are looking for the parent */
482                 if (nd->flags & LOOKUP_PARENT) {
483                         assert(strcmp(link, ""));
484                         stash_nd_name(nd, link);
485                         return 0;
486                 } else {
487                         return -ENOENT;
488                 }
489         }
490         next_link(link_dentry, nd);
491         kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt'd dentry */
492         /* at this point, nd is on the final link, but it might be a symlink */
493         if (nd->flags & LOOKUP_FOLLOW) {
494                 error = follow_symlink(nd);
495                 if (error < 0)
496                         return error;
497                 /* if we actually followed a symlink, then nd is set and we're done */
498                 if (error > 0)
499                         return 0;
500         }
501         /* One way or another, nd is on the last element of the path, symlinks and
502          * all.  Now we need to climb up to set nd back on the parent, if that's
503          * what we wanted */
504         if (nd->flags & LOOKUP_PARENT) {
505                 assert(nd->dentry->d_name.name);
506                 stash_nd_name(nd, link_dentry->d_name.name);
507                 climb_up(nd);
508                 return 0;
509         }
510         /* now, we have the dentry set, and don't want the parent, but might be on a
511          * mountpoint still.  FYI: this hasn't been thought through completely. */
512         follow_mount(nd);
513         /* If we wanted a directory, but didn't get one, error out */
514         if ((nd->flags & LOOKUP_DIRECTORY) && !S_ISDIR(nd->dentry->d_inode->i_mode))
515                 return -ENOTDIR;
516         return 0;
517 }
518
519 /* Given path, return the inode for the final dentry.  The ND should be
520  * initialized for the first call - specifically, we need the intent.
521  * LOOKUP_PARENT and friends go in the flags var, which is not the intent.
522  *
523  * If path_lookup wants a PARENT, but hits the top of the FS (root or
524  * otherwise), we want it to error out.  It's still unclear how we want to
525  * handle processes with roots that aren't root, but at the very least, we don't
526  * want to think we have the parent of /, but have / itself.  Due to the way
527  * link_path_walk works, if that happened, we probably don't have a
528  * nd->last.name.  This needs more thought (TODO).
529  *
530  * Need to be careful too.  While the path has been copied-in to the kernel,
531  * it's still user input.  */
532 int path_lookup(char *path, int flags, struct nameidata *nd)
533 {
534         int retval;
535         printd("Path lookup for %s\n", path);
536         /* we allow absolute lookups with no process context */
537         /* TODO: RCU read lock on pwd or kref_not_zero in a loop.  concurrent chdir
538          * could decref nd->dentry before we get to incref it below. */
539         if (path[0] == '/') {                   /* absolute lookup */
540                 if (!current)
541                         nd->dentry = default_ns.root->mnt_root;
542                 else
543                         nd->dentry = NULL; // current->fs_env.root;
544         } else {                                                /* relative lookup */
545                 assert(current);
546                 /* Don't need to lock on the fs_env since we're reading one item */
547                 nd->dentry = NULL; // current->fs_env.pwd;
548         }
549         nd->mnt = nd->dentry->d_sb->s_mount;
550         /* Whenever references get put in the nd, incref them.  Whenever they are
551          * removed, decref them. */
552         kref_get(&nd->mnt->mnt_kref, 1);
553         kref_get(&nd->dentry->d_kref, 1);
554         nd->flags = flags;
555         nd->depth = 0;                                  /* used in symlink following */
556         retval =  link_path_walk(path, nd);
557         /* make sure our PARENT lookup worked */
558         if (!retval && (flags & LOOKUP_PARENT))
559                 assert(nd->last.name);
560         return retval;
561 }
562
563 /* Call this after any use of path_lookup when you are done with its results,
564  * regardless of whether it succeeded or not.  It will free any references */
565 void path_release(struct nameidata *nd)
566 {
567         kref_put(&nd->dentry->d_kref);
568         kref_put(&nd->mnt->mnt_kref);
569         /* Free the last symlink dentry used, if there was one */
570         if (nd->last_sym) {
571                 kref_put(&nd->last_sym->d_kref);
572                 nd->last_sym = 0;                       /* catch reuse bugs */
573         }
574 }
575
576 /* External version of mount, only call this after having a / mount */
577 int mount_fs(struct fs_type *fs, char *dev_name, char *path, int flags)
578 {
579         struct nameidata nd_r = {0}, *nd = &nd_r;
580         int retval = 0;
581         retval = path_lookup(path, LOOKUP_DIRECTORY, nd);
582         if (retval)
583                 goto out;
584         /* taking the namespace of the vfsmount of path */
585         if (!__mount_fs(fs, dev_name, nd->dentry, flags, nd->mnt->mnt_namespace))
586                 retval = -EINVAL;
587 out:
588         path_release(nd);
589         return retval;
590 }
591
592 /* Superblock functions */
593
594 /* Dentry "hash" function for the hash table to use.  Since we already have the
595  * hash in the qstr, we don't need to rehash.  Also, note we'll be using the
596  * dentry in question as both the key and the value. */
597 static size_t __dcache_hash(void *k)
598 {
599         return (size_t)((struct dentry*)k)->d_name.hash;
600 }
601
602 /* Dentry cache hashtable equality function.  This means we need to pass in some
603  * minimal dentry when doing a lookup. */
604 static ssize_t __dcache_eq(void *k1, void *k2)
605 {
606         if (((struct dentry*)k1)->d_parent != ((struct dentry*)k2)->d_parent)
607                 return 0;
608         /* TODO: use the FS-specific string comparison */
609         return !strcmp(((struct dentry*)k1)->d_name.name,
610                        ((struct dentry*)k2)->d_name.name);
611 }
612
613 /* Helper to alloc and initialize a generic superblock.  This handles all the
614  * VFS related things, like lists.  Each FS will need to handle its own things
615  * in its *_get_sb(), usually involving reading off the disc. */
616 struct super_block *get_sb(void)
617 {
618         struct super_block *sb = kmalloc(sizeof(struct super_block), 0);
619         sb->s_dirty = FALSE;
620         spinlock_init(&sb->s_lock);
621         kref_init(&sb->s_kref, fake_release, 1); /* for the ref passed out */
622         TAILQ_INIT(&sb->s_inodes);
623         TAILQ_INIT(&sb->s_dirty_i);
624         TAILQ_INIT(&sb->s_io_wb);
625         TAILQ_INIT(&sb->s_lru_d);
626         TAILQ_INIT(&sb->s_files);
627         sb->s_dcache = create_hashtable(100, __dcache_hash, __dcache_eq);
628         sb->s_icache = create_hashtable(100, __generic_hash, __generic_eq);
629         spinlock_init(&sb->s_lru_lock);
630         spinlock_init(&sb->s_dcache_lock);
631         spinlock_init(&sb->s_icache_lock);
632         sb->s_fs_info = 0; // can override somewhere else
633         return sb;
634 }
635
636 /* Final stages of initializing a super block, including creating and linking
637  * the root dentry, root inode, vmnt, and sb.  The d_op and root_ino are
638  * FS-specific, but otherwise its FS-independent, tricky, and not worth having
639  * around multiple times.
640  *
641  * Not the world's best interface, so it's subject to change, esp since we're
642  * passing (now 3) FS-specific things. */
643 void init_sb(struct super_block *sb, struct vfsmount *vmnt,
644              struct dentry_operations *d_op, unsigned long root_ino,
645              void *d_fs_info)
646 {
647         /* Build and init the first dentry / inode.  The dentry ref is stored later
648          * by vfsmount's mnt_root.  The parent is dealt with later. */
649         struct dentry *d_root = get_dentry_with_ops(sb, 0,  "/", d_op);
650
651         if (!d_root)
652                 panic("OOM!  init_sb() can't fail yet!");
653         /* a lot of here on down is normally done in lookup() or create, since
654          * get_dentry isn't a fully usable dentry.  The two FS-specific settings are
655          * normally inherited from a parent within the same FS in get_dentry, but we
656          * have none here. */
657         d_root->d_op = d_op;
658         d_root->d_fs_info = d_fs_info;
659         struct inode *inode = get_inode(d_root);
660         if (!inode)
661                 panic("This FS sucks!");
662         inode->i_ino = root_ino;
663         /* TODO: add the inode to the appropriate list (off i_list) */
664         /* TODO: do we need to read in the inode?  can we do this on demand? */
665         /* if this FS is already mounted, we'll need to do something different. */
666         sb->s_op->read_inode(inode);
667         icache_put(sb, inode);
668         /* Link the dentry and SB to the VFS mount */
669         vmnt->mnt_root = d_root;                                /* ref comes from get_dentry */
670         vmnt->mnt_sb = sb;
671         /* If there is no mount point, there is no parent.  This is true only for
672          * the rootfs. */
673         if (vmnt->mnt_mountpoint) {
674                 kref_get(&vmnt->mnt_mountpoint->d_kref, 1);     /* held by d_root */
675                 d_root->d_parent = vmnt->mnt_mountpoint;        /* dentry of the root */
676         } else {
677                 d_root->d_parent = d_root;                      /* set root as its own parent */
678         }
679         /* insert the dentry into the dentry cache.  when's the earliest we can?
680          * when's the earliest we should?  what about concurrent accesses to the
681          * same dentry?  should be locking the dentry... */
682         dcache_put(sb, d_root);
683         kref_put(&inode->i_kref);               /* give up the ref from get_inode() */
684 }
685
686 /* Dentry Functions */
687
688 static void dentry_set_name(struct dentry *dentry, char *name)
689 {
690         size_t name_len = strnlen(name, MAX_FILENAME_SZ);       /* not including \0! */
691         char *l_name = 0;
692         if (name_len < DNAME_INLINE_LEN) {
693                 strlcpy(dentry->d_iname, name, name_len + 1);
694                 qstr_builder(dentry, 0);
695         } else {
696                 l_name = kmalloc(name_len + 1, 0);
697                 assert(l_name);
698                 strlcpy(l_name, name, name_len + 1);
699                 qstr_builder(dentry, l_name);
700         }
701 }
702
703 /* Gets a dentry.  If there is no parent, use d_op.  Only called directly by
704  * superblock init code. */
705 struct dentry *get_dentry_with_ops(struct super_block *sb,
706                                    struct dentry *parent, char *name,
707                                    struct dentry_operations *d_op)
708 {
709         assert(name);
710         struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
711
712         if (!dentry) {
713                 set_errno(ENOMEM);
714                 return 0;
715         }
716         //memset(dentry, 0, sizeof(struct dentry));
717         kref_init(&dentry->d_kref, dentry_release, 1);  /* this ref is returned */
718         spinlock_init(&dentry->d_lock);
719         TAILQ_INIT(&dentry->d_subdirs);
720         dentry->d_time = 0;
721         kref_get(&sb->s_kref, 1);
722         dentry->d_sb = sb;                                      /* storing a ref here... */
723         dentry->d_mount_point = FALSE;
724         dentry->d_mounted_fs = 0;
725         if (parent)     {                                               /* no parent for rootfs mount */
726                 kref_get(&parent->d_kref, 1);
727                 dentry->d_op = parent->d_op;    /* d_op set in init_sb for parentless */
728         } else {
729                 dentry->d_op = d_op;
730         }
731         dentry->d_parent = parent;
732         dentry->d_flags = DENTRY_USED;
733         dentry->d_fs_info = 0;
734         dentry_set_name(dentry, name);
735         /* Catch bugs by aggressively zeroing this (o/w we use old stuff) */
736         dentry->d_inode = 0;
737         return dentry;
738 }
739
740 /* Helper to alloc and initialize a generic dentry.  The following needs to be
741  * set still: d_op (if no parent), d_fs_info (opt), d_inode, connect the inode
742  * to the dentry (and up the d_kref again), maybe dcache_put().  The inode
743  * stitching is done in get_inode() or lookup (depending on the FS).
744  * The setting of the d_op might be problematic when dealing with mounts.  Just
745  * overwrite it.
746  *
747  * If the name is longer than the inline name, it will kmalloc a buffer, so
748  * don't worry about the storage for *name after calling this. */
749 struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
750                           char *name)
751 {
752         return get_dentry_with_ops(sb, parent, name, 0);
753 }
754
755 /* Called when the dentry is unreferenced (after kref == 0).  This works closely
756  * with the resurrection in dcache_get().
757  *
758  * The dentry is still in the dcache, but needs to be un-USED and added to the
759  * LRU dentry list.  Even dentries that were used in a failed lookup need to be
760  * cached - they ought to be the negative dentries.  Note that all dentries have
761  * parents, even negative ones (it is needed to find it in the dcache). */
762 void dentry_release(struct kref *kref)
763 {
764         struct dentry *dentry = container_of(kref, struct dentry, d_kref);
765
766         printd("'Releasing' dentry %p: %s\n", dentry, dentry->d_name.name);
767         /* DYING dentries (recently unlinked / rmdir'd) just get freed */
768         if (dentry->d_flags & DENTRY_DYING) {
769                 __dentry_free(dentry);
770                 return;
771         }
772         /* This lock ensures the USED state and the TAILQ membership is in sync.
773          * Also used to check the refcnt, though that might not be necessary. */
774         spin_lock(&dentry->d_lock);
775         /* While locked, we need to double check the kref, in case someone already
776          * reup'd it.  Re-up? you're crazy!  Reee-up, you're outta yo mind! */
777         if (!kref_refcnt(&dentry->d_kref)) {
778                 /* Note this is where negative dentries get set UNUSED */
779                 if (dentry->d_flags & DENTRY_USED) {
780                         dentry->d_flags &= ~DENTRY_USED;
781                         spin_lock(&dentry->d_sb->s_lru_lock);
782                         TAILQ_INSERT_TAIL(&dentry->d_sb->s_lru_d, dentry, d_lru);
783                         spin_unlock(&dentry->d_sb->s_lru_lock);
784                 } else {
785                         /* and make sure it wasn't USED, then UNUSED again */
786                         /* TODO: think about issues with this */
787                         warn("This should be rare.  Tell brho this happened.");
788                 }
789         }
790         spin_unlock(&dentry->d_lock);
791 }
792
793 /* Called when we really dealloc and get rid of a dentry (like when it is
794  * removed from the dcache, either for memory or correctness reasons)
795  *
796  * This has to handle two types of dentries: full ones (ones that had been used)
797  * and ones that had been just for lookups - hence the check for d_inode.
798  *
799  * Note that dentries pin and kref their inodes.  When all the dentries are
800  * gone, we want the inode to be released via kref.  The inode has internal /
801  * weak references to the dentry, which are not refcounted. */
802 void __dentry_free(struct dentry *dentry)
803 {
804         if (dentry->d_inode)
805                 printd("Freeing dentry %p: %s\n", dentry, dentry->d_name.name);
806         assert(dentry->d_op);   /* catch bugs.  a while back, some lacked d_op */
807         dentry->d_op->d_release(dentry);
808         /* TODO: check/test the boundaries on this. */
809         if (dentry->d_name.len > DNAME_INLINE_LEN)
810                 kfree((void*)dentry->d_name.name);
811         kref_put(&dentry->d_sb->s_kref);
812         if (dentry->d_parent)
813                 kref_put(&dentry->d_parent->d_kref);
814         if (dentry->d_mounted_fs)
815                 kref_put(&dentry->d_mounted_fs->mnt_kref);
816         if (dentry->d_inode) {
817                 TAILQ_REMOVE(&dentry->d_inode->i_dentry, dentry, d_alias);
818                 kref_put(&dentry->d_inode->i_kref);     /* dentries kref inodes */
819         }
820         kmem_cache_free(dentry_kcache, dentry);
821 }
822
823 /* Looks up the dentry for the given path, returning a refcnt'd dentry (or 0).
824  * Permissions are applied for the current user, which is quite a broken system
825  * at the moment.  Flags are lookup flags. */
826 struct dentry *lookup_dentry(char *path, int flags)
827 {
828         struct dentry *dentry;
829         struct nameidata nd_r = {0}, *nd = &nd_r;
830         int error;
831
832         error = path_lookup(path, flags, nd);
833         if (error) {
834                 path_release(nd);
835                 set_errno(-error);
836                 return 0;
837         }
838         dentry = nd->dentry;
839         kref_get(&dentry->d_kref, 1);
840         path_release(nd);
841         return dentry;
842 }
843
844 /* Get a dentry from the dcache.  At a minimum, we need the name hash and parent
845  * in what_i_want, though most uses will probably be from a get_dentry() call.
846  * We pass in the SB in the off chance that we don't want to use a get'd dentry.
847  *
848  * The unusual variable name (instead of just "key" or something) is named after
849  * ex-SPC Castro's porn folder.  Caller deals with the memory for what_i_want.
850  *
851  * If the dentry is negative, we don't return the actual result - instead, we
852  * set the negative flag in 'what i want'.  The reason is we don't want to
853  * kref_get() and then immediately put (causing dentry_release()).  This also
854  * means that dentry_release() should never get someone who wasn't USED (barring
855  * the race, which it handles).  And we don't need to ever have a dentry set as
856  * USED and NEGATIVE (which is always wrong, but would be needed for a cleaner
857  * dentry_release()).
858  *
859  * This is where we do the "kref resurrection" - we are returning a kref'd
860  * object, even if it wasn't kref'd before.  This means the dcache does NOT hold
861  * krefs (it is a weak/internal ref), but it is a source of kref generation.  We
862  * sync up with the possible freeing of the dentry by locking the table.  See
863  * Doc/kref for more info. */
864 struct dentry *dcache_get(struct super_block *sb, struct dentry *what_i_want)
865 {
866         struct dentry *found;
867         /* This lock protects the hash, as well as ensures the returned object
868          * doesn't get deleted/freed out from under us */
869         spin_lock(&sb->s_dcache_lock);
870         found = hashtable_search(sb->s_dcache, what_i_want);
871         if (found) {
872                 if (found->d_flags & DENTRY_NEGATIVE) {
873                         what_i_want->d_flags |= DENTRY_NEGATIVE;
874                         spin_unlock(&sb->s_dcache_lock);
875                         return 0;
876                 }
877                 spin_lock(&found->d_lock);
878                 __kref_get(&found->d_kref, 1);  /* prob could be done outside the lock*/
879                 /* If we're here (after kreffing) and it is not USED, we are the one who
880                  * should resurrect */
881                 if (!(found->d_flags & DENTRY_USED)) {
882                         found->d_flags |= DENTRY_USED;
883                         spin_lock(&sb->s_lru_lock);
884                         TAILQ_REMOVE(&sb->s_lru_d, found, d_lru);
885                         spin_unlock(&sb->s_lru_lock);
886                 }
887                 spin_unlock(&found->d_lock);
888         }
889         spin_unlock(&sb->s_dcache_lock);
890         return found;
891 }
892
893 /* Adds a dentry to the dcache.  Note the *dentry is both the key and the value.
894  * If the value was already in there (which can happen iff it was negative), for
895  * now we'll remove it and put the new one in there. */
896 void dcache_put(struct super_block *sb, struct dentry *key_val)
897 {
898         struct dentry *old;
899         int retval;
900         spin_lock(&sb->s_dcache_lock);
901         old = hashtable_remove(sb->s_dcache, key_val);
902         /* if it is old and non-negative, our caller lost a race with someone else
903          * adding the dentry.  but since we yanked it out, like a bunch of idiots,
904          * we still have to put it back.  should be fairly rare. */
905         if (old && (old->d_flags & DENTRY_NEGATIVE)) {
906                 /* This is possible, but rare for now (about to be put on the LRU) */
907                 assert(!(old->d_flags & DENTRY_USED));
908                 assert(!kref_refcnt(&old->d_kref));
909                 spin_lock(&sb->s_lru_lock);
910                 TAILQ_REMOVE(&sb->s_lru_d, old, d_lru);
911                 spin_unlock(&sb->s_lru_lock);
912                 /* TODO: this seems suspect.  isn't this the same memory as key_val?
913                  * in which case, we just adjust the flags (remove NEG) and reinsert? */
914                 assert(old != key_val); // checking TODO comment
915                 __dentry_free(old);
916         }
917         /* this returns 0 on failure (TODO: Fix this ghetto shit) */
918         retval = hashtable_insert(sb->s_dcache, key_val, key_val);
919         assert(retval);
920         spin_unlock(&sb->s_dcache_lock);
921 }
922
923 /* Will remove and return the dentry.  Caller deallocs the key, but the retval
924  * won't have a reference.  * Returns 0 if it wasn't found.  Callers can't
925  * assume much - they should not use the reference they *get back*, (if they
926  * already had one for key, they can use that).  There may be other users out
927  * there. */
928 struct dentry *dcache_remove(struct super_block *sb, struct dentry *key)
929 {
930         struct dentry *retval;
931         spin_lock(&sb->s_dcache_lock);
932         retval = hashtable_remove(sb->s_dcache, key);
933         spin_unlock(&sb->s_dcache_lock);
934         return retval;
935 }
936
937 /* This will clean out the LRU list, which are the unused dentries of the dentry
938  * cache.  This will optionally only free the negative ones.  Note that we grab
939  * the hash lock for the time we traverse the LRU list - this prevents someone
940  * from getting a kref from the dcache, which could cause us trouble (we rip
941  * someone off the list, who isn't unused, and they try to rip them off the
942  * list). */
943 void dcache_prune(struct super_block *sb, bool negative_only)
944 {
945         struct dentry *d_i, *temp;
946         struct dentry_tailq victims = TAILQ_HEAD_INITIALIZER(victims);
947
948         spin_lock(&sb->s_dcache_lock);
949         spin_lock(&sb->s_lru_lock);
950         TAILQ_FOREACH_SAFE(d_i, &sb->s_lru_d, d_lru, temp) {
951                 if (!(d_i->d_flags & DENTRY_USED)) {
952                         if (negative_only && !(d_i->d_flags & DENTRY_NEGATIVE))
953                                 continue;
954                         /* another place where we'd be better off with tools, not sol'ns */
955                         hashtable_remove(sb->s_dcache, d_i);
956                         TAILQ_REMOVE(&sb->s_lru_d, d_i, d_lru);
957                         TAILQ_INSERT_HEAD(&victims, d_i, d_lru);
958                 }
959         }
960         spin_unlock(&sb->s_lru_lock);
961         spin_unlock(&sb->s_dcache_lock);
962         /* Now do the actual freeing, outside of the hash/LRU list locks.  This is
963          * necessary since __dentry_free() will decref its parent, which may get
964          * released and try to add itself to the LRU. */
965         TAILQ_FOREACH_SAFE(d_i, &victims, d_lru, temp) {
966                 TAILQ_REMOVE(&victims, d_i, d_lru);
967                 assert(!kref_refcnt(&d_i->d_kref));
968                 __dentry_free(d_i);
969         }
970         /* It is possible at this point that there are new items on the LRU.  We
971          * could loop back until that list is empty, if we care about this. */
972 }
973
974 /* Inode Functions */
975
976 /* Creates and initializes a new inode.  Generic fields are filled in.
977  * FS-specific fields are filled in by the callout.  Specific fields are filled
978  * in in read_inode() based on what's on the disk for a given i_no, or when the
979  * inode is created (for new objects).
980  *
981  * i_no is set by the caller.  Note that this means this inode can be for an
982  * inode that is already on disk, or it can be used when creating. */
983 struct inode *get_inode(struct dentry *dentry)
984 {
985         struct super_block *sb = dentry->d_sb;
986         /* FS allocs and sets the following: i_op, i_fop, i_pm.pm_op, and any FS
987          * specific stuff. */
988         struct inode *inode = sb->s_op->alloc_inode(sb);
989         if (!inode) {
990                 set_errno(ENOMEM);
991                 return 0;
992         }
993         TAILQ_INSERT_HEAD(&sb->s_inodes, inode, i_sb_list);             /* weak inode ref */
994         TAILQ_INIT(&inode->i_dentry);
995         TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);   /* weak dentry ref*/
996         /* one for the dentry->d_inode, one passed out */
997         kref_init(&inode->i_kref, inode_release, 2);
998         dentry->d_inode = inode;
999         inode->i_ino = 0;                                       /* set by caller later */
1000         inode->i_blksize = sb->s_blocksize;
1001         spinlock_init(&inode->i_lock);
1002         kref_get(&sb->s_kref, 1);                       /* could allow the dentry to pin it */
1003         inode->i_sb = sb;
1004         inode->i_rdev = 0;                                      /* this has no real meaning yet */
1005         inode->i_bdev = sb->s_bdev;                     /* storing an uncounted ref */
1006         inode->i_state = 0;                                     /* need real states, like I_NEW */
1007         inode->dirtied_when = 0;
1008         inode->i_flags = 0;
1009         atomic_set(&inode->i_writecount, 0);
1010         /* Set up the page_map structures.  Default is to use the embedded one.
1011          * Might push some of this back into specific FSs.  For now, the FS tells us
1012          * what pm_op they want via i_pm.pm_op, which we set again in pm_init() */
1013         inode->i_mapping = &inode->i_pm;
1014         pm_init(inode->i_mapping, inode->i_pm.pm_op, inode);
1015         return inode;
1016 }
1017
1018 /* Helper: loads/ reads in the inode numbered ino and attaches it to dentry */
1019 void load_inode(struct dentry *dentry, unsigned long ino)
1020 {
1021         struct inode *inode;
1022
1023         /* look it up in the inode cache first */
1024         inode = icache_get(dentry->d_sb, ino);
1025         if (inode) {
1026                 /* connect the dentry to its inode */
1027                 TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);
1028                 dentry->d_inode = inode;        /* storing the ref we got from icache_get */
1029                 return;
1030         }
1031         /* otherwise, we need to do it manually */
1032         inode = get_inode(dentry);
1033         inode->i_ino = ino;
1034         dentry->d_sb->s_op->read_inode(inode);
1035         /* TODO: race here, two creators could miss in the cache, and then get here.
1036          * need a way to sync across a blocking call.  needs to be either at this
1037          * point in the code or per the ino (dentries could be different) */
1038         icache_put(dentry->d_sb, inode);
1039         kref_put(&inode->i_kref);
1040 }
1041
1042 /* Helper op, used when creating regular files, directories, symlinks, etc.
1043  * Note we make a distinction between the mode and the file type (for now).
1044  * After calling this, call the FS specific version (create or mkdir), which
1045  * will set the i_ino, the filetype, and do any other FS-specific stuff.  Also
1046  * note that a lot of inode stuff was initialized in get_inode/alloc_inode.  The
1047  * stuff here is pertinent to the specific creator (user), mode, and time.  Also
1048  * note we don't pass this an nd, like Linux does... */
1049 static struct inode *create_inode(struct dentry *dentry, int mode)
1050 {
1051         /* note it is the i_ino that uniquely identifies a file in the specific
1052          * filesystem.  there's a diff between creating an inode (even for an in-use
1053          * ino) and then filling it in, and vs creating a brand new one.
1054          * get_inode() sets it to 0, and it should be filled in later in an
1055          * FS-specific manner. */
1056         struct inode *inode = get_inode(dentry);
1057         if (!inode)
1058                 return 0;
1059         inode->i_mode = mode & S_PMASK; /* note that after this, we have no type */
1060         inode->i_nlink = 1;
1061         inode->i_size = 0;
1062         inode->i_blocks = 0;
1063         set_acmtime(inode, VFS_MTIME);
1064         inode->i_bdev = inode->i_sb->s_bdev;
1065         /* when we have notions of users, do something here: */
1066         inode->i_uid = 0;
1067         inode->i_gid = 0;
1068         return inode;
1069 }
1070
1071 /* Create a new disk inode in dir associated with dentry, with the given mode.
1072  * called when creating a regular file.  dir is the directory/parent.  dentry is
1073  * the dentry of the inode we are creating.  Note the lack of the nd... */
1074 int create_file(struct inode *dir, struct dentry *dentry, int mode)
1075 {
1076         struct inode *new_file = create_inode(dentry, mode);
1077         if (!new_file)
1078                 return -1;
1079         dir->i_op->create(dir, dentry, mode, 0);
1080         set_acmtime(dir, VFS_MTIME);
1081         icache_put(new_file->i_sb, new_file);
1082         kref_put(&new_file->i_kref);
1083         return 0;
1084 }
1085
1086 /* Creates a new inode for a directory associated with dentry in dir with the
1087  * given mode. */
1088 int create_dir(struct inode *dir, struct dentry *dentry, int mode)
1089 {
1090         struct inode *new_dir = create_inode(dentry, mode);
1091         if (!new_dir)
1092                 return -1;
1093         dir->i_op->mkdir(dir, dentry, mode);
1094         dir->i_nlink++;         /* Directories get a hardlink for every child dir */
1095         /* Make sure my parent tracks me.  This is okay, since no directory (dir)
1096          * can have more than one dentry */
1097         struct dentry *parent = TAILQ_FIRST(&dir->i_dentry);
1098         assert(parent && parent == TAILQ_LAST(&dir->i_dentry, dentry_tailq));
1099         /* parent dentry tracks dentry as a subdir, weak reference */
1100         TAILQ_INSERT_TAIL(&parent->d_subdirs, dentry, d_subdirs_link);
1101         set_acmtime(dir, VFS_MTIME);
1102         icache_put(new_dir->i_sb, new_dir);
1103         kref_put(&new_dir->i_kref);
1104         return 0;
1105 }
1106
1107 /* Creates a new inode for a symlink associated with dentry in dir, containing
1108  * the symlink symname */
1109 int create_symlink(struct inode *dir, struct dentry *dentry,
1110                    const char *symname, int mode)
1111 {
1112         struct inode *new_sym = create_inode(dentry, mode);
1113         if (!new_sym)
1114                 return -1;
1115         dir->i_op->symlink(dir, dentry, symname);
1116         set_acmtime(dir, VFS_MTIME);
1117         icache_put(new_sym->i_sb, new_sym);
1118         kref_put(&new_sym->i_kref);
1119         return 0;
1120 }
1121
1122 /* Returns 0 if the given mode is acceptable for the inode, and an appropriate
1123  * error code if not.  Needs to be writen, based on some sensible rules, and
1124  * will also probably use 'current' */
1125 int check_perms(struct inode *inode, int access_mode)
1126 {
1127         return 0;       /* anything goes! */
1128 }
1129
1130 /* Called after all external refs are gone to clean up the inode.  Once this is
1131  * called, all dentries pointing here are already done (one of them triggered
1132  * this via kref_put(). */
1133 void inode_release(struct kref *kref)
1134 {
1135         struct inode *inode = container_of(kref, struct inode, i_kref);
1136         TAILQ_REMOVE(&inode->i_sb->s_inodes, inode, i_sb_list);
1137         icache_remove(inode->i_sb, inode->i_ino);
1138         /* Might need to write back or delete the file/inode */
1139         if (inode->i_nlink) {
1140                 if (inode->i_state & I_STATE_DIRTY)
1141                         inode->i_sb->s_op->write_inode(inode, TRUE);
1142         } else {
1143                 inode->i_sb->s_op->delete_inode(inode);
1144         }
1145         if (S_ISFIFO(inode->i_mode)) {
1146                 page_decref(kva2page(inode->i_pipe->p_buf));
1147                 kfree(inode->i_pipe);
1148         }
1149         /* TODO: (BDEV) */
1150         // kref_put(inode->i_bdev->kref); /* assuming it's a bdev, could be a pipe*/
1151         /* Either way, we dealloc the in-memory version */
1152         inode->i_sb->s_op->dealloc_inode(inode);        /* FS-specific clean-up */
1153         kref_put(&inode->i_sb->s_kref);
1154         /* TODO: clean this up */
1155         assert(inode->i_mapping == &inode->i_pm);
1156         kmem_cache_free(inode_kcache, inode);
1157 }
1158
1159 /* Fills in kstat with the stat information for the inode */
1160 void stat_inode(struct inode *inode, struct kstat *kstat)
1161 {
1162         kstat->st_dev = inode->i_sb->s_dev;
1163         kstat->st_ino = inode->i_ino;
1164         kstat->st_mode = inode->i_mode;
1165         kstat->st_nlink = inode->i_nlink;
1166         kstat->st_uid = inode->i_uid;
1167         kstat->st_gid = inode->i_gid;
1168         kstat->st_rdev = inode->i_rdev;
1169         kstat->st_size = inode->i_size;
1170         kstat->st_blksize = inode->i_blksize;
1171         kstat->st_blocks = inode->i_blocks;
1172         kstat->st_atim = inode->i_atime;
1173         kstat->st_mtim = inode->i_mtime;
1174         kstat->st_ctim = inode->i_ctime;
1175 }
1176
1177 void print_kstat(struct kstat *kstat)
1178 {
1179         printk("kstat info for %p:\n", kstat);
1180         printk("\tst_dev    : %p\n", kstat->st_dev);
1181         printk("\tst_ino    : %p\n", kstat->st_ino);
1182         printk("\tst_mode   : %p\n", kstat->st_mode);
1183         printk("\tst_nlink  : %p\n", kstat->st_nlink);
1184         printk("\tst_uid    : %p\n", kstat->st_uid);
1185         printk("\tst_gid    : %p\n", kstat->st_gid);
1186         printk("\tst_rdev   : %p\n", kstat->st_rdev);
1187         printk("\tst_size   : %p\n", kstat->st_size);
1188         printk("\tst_blksize: %p\n", kstat->st_blksize);
1189         printk("\tst_blocks : %p\n", kstat->st_blocks);
1190         printk("\tst_atime  : %p\n", kstat->st_atim);
1191         printk("\tst_mtime  : %p\n", kstat->st_mtim);
1192         printk("\tst_ctime  : %p\n", kstat->st_ctim);
1193 }
1194
1195 /* Inode Cache management.  In general, search on the ino, get a refcnt'd value
1196  * back.  Remove does not give you a reference back - it should only be called
1197  * in inode_release(). */
1198 struct inode *icache_get(struct super_block *sb, unsigned long ino)
1199 {
1200         /* This is the same style as in pid2proc, it's the "safely create a strong
1201          * reference from a weak one, so long as other strong ones exist" pattern */
1202         spin_lock(&sb->s_icache_lock);
1203         struct inode *inode = hashtable_search(sb->s_icache, (void*)ino);
1204         if (inode)
1205                 if (!kref_get_not_zero(&inode->i_kref, 1))
1206                         inode = 0;
1207         spin_unlock(&sb->s_icache_lock);
1208         return inode;
1209 }
1210
1211 void icache_put(struct super_block *sb, struct inode *inode)
1212 {
1213         spin_lock(&sb->s_icache_lock);
1214         /* there's a race in load_ino() that could trigger this */
1215         assert(!hashtable_search(sb->s_icache, (void*)inode->i_ino));
1216         hashtable_insert(sb->s_icache, (void*)inode->i_ino, inode);
1217         spin_unlock(&sb->s_icache_lock);
1218 }
1219
1220 struct inode *icache_remove(struct super_block *sb, unsigned long ino)
1221 {
1222         struct inode *inode;
1223         /* Presumably these hashtable removals could be easier since callers
1224          * actually know who they are (same with the pid2proc hash) */
1225         spin_lock(&sb->s_icache_lock);
1226         inode = hashtable_remove(sb->s_icache, (void*)ino);
1227         spin_unlock(&sb->s_icache_lock);
1228         assert(inode && !kref_refcnt(&inode->i_kref));
1229         return inode;
1230 }
1231
1232 /* File functions */
1233
1234 /* Read count bytes from the file into buf, starting at *offset, which is
1235  * increased accordingly, returning the number of bytes transfered.  Most
1236  * filesystems will use this function for their f_op->read.
1237  * Note, this uses the page cache. */
1238 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
1239                           off64_t *offset)
1240 {
1241         struct page *page;
1242         int error;
1243         off64_t page_off;
1244         unsigned long first_idx, last_idx;
1245         size_t copy_amt;
1246         char *buf_end;
1247         /* read in offset, in case of a concurrent reader/writer, so we don't screw
1248          * up our math for count, the idxs, etc. */
1249         off64_t orig_off = ACCESS_ONCE(*offset);
1250
1251         /* Consider pushing some error checking higher in the VFS */
1252         if (!count)
1253                 return 0;
1254         if (!(file->f_flags & O_READ)) {
1255                 set_errno(EBADF);
1256                 return 0;
1257         }
1258         if (orig_off >= file->f_dentry->d_inode->i_size)
1259                 return 0; /* EOF */
1260         /* Make sure we don't go past the end of the file */
1261         if (orig_off + count > file->f_dentry->d_inode->i_size) {
1262                 count = file->f_dentry->d_inode->i_size - orig_off;
1263         }
1264         assert((long)count > 0);
1265         page_off = orig_off & (PGSIZE - 1);
1266         first_idx = orig_off >> PGSHIFT;
1267         last_idx = (orig_off + count) >> PGSHIFT;
1268         buf_end = buf + count;
1269         /* For each file page, make sure it's in the page cache, then copy it out.
1270          * TODO: will probably need to consider concurrently truncated files here.*/
1271         for (int i = first_idx; i <= last_idx; i++) {
1272                 error = pm_load_page(file->f_mapping, i, &page);
1273                 assert(!error); /* TODO: handle ENOMEM and friends */
1274                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1275                 /* TODO: (KFOP) Probably shouldn't do this.  Either memcpy directly, or
1276                  * split out the is_user_r(w)addr from copy_{to,from}_user() */
1277                 if (!is_ktask(per_cpu_info[core_id()].cur_kthread))
1278                         memcpy_to_user(current, buf, page2kva(page) + page_off, copy_amt);
1279                 else
1280                         memcpy(buf, page2kva(page) + page_off, copy_amt);
1281                 buf += copy_amt;
1282                 page_off = 0;
1283                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1284         }
1285         assert(buf == buf_end);
1286         /* could have concurrent file ops that screw with offset, so userspace isn't
1287          * safe.  but at least it'll be a value that one of the concurrent ops could
1288          * have produced (compared to *offset_changed_concurrently += count. */
1289         *offset = orig_off + count;
1290         set_acmtime(file->f_dentry->d_inode, VFS_ATIME);
1291         return count;
1292 }
1293
1294 /* Write count bytes from buf to the file, starting at *offset, which is
1295  * increased accordingly, returning the number of bytes transfered.  Most
1296  * filesystems will use this function for their f_op->write.  Note, this uses
1297  * the page cache.
1298  *
1299  * Changes don't get flushed to disc til there is an fsync, page cache eviction,
1300  * or other means of trying to writeback the pages. */
1301 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
1302                            off64_t *offset)
1303 {
1304         struct page *page;
1305         int error;
1306         off64_t page_off;
1307         unsigned long first_idx, last_idx;
1308         size_t copy_amt;
1309         const char *buf_end;
1310         off64_t orig_off = ACCESS_ONCE(*offset);
1311
1312         /* Consider pushing some error checking higher in the VFS */
1313         if (!count)
1314                 return 0;
1315         if (!(file->f_flags & O_WRITE)) {
1316                 set_errno(EBADF);
1317                 return 0;
1318         }
1319         if (file->f_flags & O_APPEND) {
1320                 spin_lock(&file->f_dentry->d_inode->i_lock);
1321                 orig_off = file->f_dentry->d_inode->i_size;
1322                 /* setting the filesize here, instead of during the extend-check, since
1323                  * we need to atomically reserve space and set our write position. */
1324                 file->f_dentry->d_inode->i_size += count;
1325                 spin_unlock(&file->f_dentry->d_inode->i_lock);
1326         } else {
1327                 if (orig_off + count > file->f_dentry->d_inode->i_size) {
1328                         /* lock for writes to i_size.  we allow lockless reads.  recheck
1329                          * i_size in case of concurrent writers since our orig check.  */
1330                         spin_lock(&file->f_dentry->d_inode->i_lock);
1331                         if (orig_off + count > file->f_dentry->d_inode->i_size)
1332                                 file->f_dentry->d_inode->i_size = orig_off + count;
1333                         spin_unlock(&file->f_dentry->d_inode->i_lock);
1334                 }
1335         }
1336         page_off = orig_off & (PGSIZE - 1);
1337         first_idx = orig_off >> PGSHIFT;
1338         last_idx = (orig_off + count) >> PGSHIFT;
1339         buf_end = buf + count;
1340         /* For each file page, make sure it's in the page cache, then write it.*/
1341         for (int i = first_idx; i <= last_idx; i++) {
1342                 error = pm_load_page(file->f_mapping, i, &page);
1343                 assert(!error); /* TODO: handle ENOMEM and friends */
1344                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
1345                 /* TODO: (UMEM) (KFOP) think about this. */
1346                 if (!is_ktask(per_cpu_info[core_id()].cur_kthread))
1347                         memcpy_from_user(current, page2kva(page) + page_off, buf, copy_amt);
1348                 else
1349                         memcpy(page2kva(page) + page_off, buf, copy_amt);
1350                 buf += copy_amt;
1351                 page_off = 0;
1352                 atomic_or(&page->pg_flags, PG_DIRTY);
1353                 pm_put_page(page);      /* it's still in the cache, we just don't need it */
1354         }
1355         assert(buf == buf_end);
1356         *offset = orig_off + count;
1357         set_acmtime(file->f_dentry->d_inode, VFS_MTIME);
1358         return count;
1359 }
1360
1361 /* Directories usually use this for their read method, which is the way glibc
1362  * currently expects us to do a readdir (short of doing linux's getdents).  Will
1363  * probably need work, based on whatever real programs want. */
1364 ssize_t generic_dir_read(struct file *file, char *u_buf, size_t count,
1365                          off64_t *offset)
1366 {
1367         struct kdirent dir_r = {0}, *dirent = &dir_r;
1368         int retval = 1;
1369         size_t amt_copied = 0;
1370         char *buf_end = u_buf + count;
1371
1372         if (!S_ISDIR(file->f_dentry->d_inode->i_mode)) {
1373                 set_errno(ENOTDIR);
1374                 return -1;
1375         }
1376         if (!count)
1377                 return 0;
1378         if (!(file->f_flags & O_READ)) {
1379                 set_errno(EBADF);
1380                 return 0;
1381         }
1382         /* start readdir from where it left off: */
1383         dirent->d_off = *offset;
1384         for (   ;
1385                 u_buf + sizeof(struct kdirent) <= buf_end;
1386                 u_buf += sizeof(struct kdirent)) {
1387                 /* TODO: UMEM/KFOP (pin the u_buf in the syscall, ditch the local copy,
1388                  * get rid of this memcpy and reliance on current, etc).  Might be
1389                  * tricky with the dirent->d_off and trust issues */
1390                 retval = file->f_op->readdir(file, dirent);
1391                 if (retval < 0) {
1392                         set_errno(-retval);
1393                         break;
1394                 }
1395                 /* Slight info exposure: could be extra crap after the name in the
1396                  * dirent (like the name of a deleted file) */
1397                 if (!is_ktask(per_cpu_info[core_id()].cur_kthread))
1398                         memcpy_to_user(current, u_buf, dirent, sizeof(struct kdirent));
1399                 else
1400                         memcpy(u_buf, dirent, sizeof(struct kdirent));
1401                 amt_copied += sizeof(struct kdirent);
1402                 /* 0 signals end of directory */
1403                 if (retval == 0)
1404                         break;
1405         }
1406         /* Next time read is called, we pick up where we left off */
1407         *offset = dirent->d_off;        /* UMEM */
1408         /* important to tell them how much they got.  they often keep going til they
1409          * get 0 back (in the case of ls).  It's also how much has been read, but it
1410          * isn't how much the f_pos has moved (which is opaque to the VFS). */
1411         set_acmtime(file->f_dentry->d_inode, VFS_ATIME);
1412         return amt_copied;
1413 }
1414
1415 /* Opens the file, using permissions from current for lack of a better option.
1416  * It will attempt to create the file if it does not exist and O_CREAT is
1417  * specified.  This will return 0 on failure, and set errno.  TODO: There's some
1418  * stuff that we don't do, esp related file truncating/creation.  flags are for
1419  * opening, the mode is for creating.  The flags related to how to create
1420  * (O_CREAT_FLAGS) are handled in this function, not in create_file().
1421  *
1422  * It's tempting to split this into a do_file_create and a do_file_open, based
1423  * on the O_CREAT flag, but the O_CREAT flag can be ignored if the file exists
1424  * already and O_EXCL isn't specified.  We could have open call create if it
1425  * fails, but for now we'll keep it as is. */
1426 struct file *do_file_open(char *path, int flags, int mode)
1427 {
1428         struct file *file = 0;
1429         struct dentry *file_d;
1430         struct inode *parent_i;
1431         struct nameidata nd_r = {0}, *nd = &nd_r;
1432         int error;
1433         unsigned long nr_pages;
1434
1435         /* The file might exist, lets try to just open it right away */
1436         nd->intent = LOOKUP_OPEN;
1437         error = path_lookup(path, LOOKUP_FOLLOW, nd);
1438         if (!error) {
1439                 if (S_ISDIR(nd->dentry->d_inode->i_mode) && (flags & O_WRITE)) {
1440                         set_errno(EISDIR);
1441                         goto out_path_only;
1442                 }
1443                 /* Also need to make sure we didn't want to O_EXCL create */
1444                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1445                         set_errno(EEXIST);
1446                         goto out_path_only;
1447                 }
1448                 file_d = nd->dentry;
1449                 kref_get(&file_d->d_kref, 1);
1450                 goto open_the_file;
1451         }
1452         if (!(flags & O_CREAT)) {
1453                 set_errno(-error);
1454                 goto out_path_only;
1455         }
1456         /* So it didn't already exist, release the path from the previous lookup,
1457          * and then we try to create it. */
1458         path_release(nd);
1459         /* get the parent, following links.  this means you get the parent of the
1460          * final link (which may not be in 'path' in the first place. */
1461         nd->intent = LOOKUP_CREATE;
1462         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1463         if (error) {
1464                 set_errno(-error);
1465                 goto out_path_only;
1466         }
1467         /* see if the target is there (shouldn't be), and handle accordingly */
1468         file_d = do_lookup(nd->dentry, nd->last.name);
1469         if (!file_d) {
1470                 if (!(flags & O_CREAT)) {
1471                         warn("Extremely unlikely race, probably a bug");
1472                         set_errno(ENOENT);
1473                         goto out_path_only;
1474                 }
1475                 /* Create the inode/file.  get a fresh dentry too: */
1476                 file_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1477                 if (!file_d)
1478                         goto out_path_only;
1479                 parent_i = nd->dentry->d_inode;
1480                 /* Note that the mode technically should only apply to future opens,
1481                  * but we apply it immediately. */
1482                 if (create_file(parent_i, file_d, mode))        /* sets errno */
1483                         goto out_file_d;
1484                 dcache_put(file_d->d_sb, file_d);
1485         } else {        /* something already exists */
1486                 /* this can happen due to concurrent access, but needs to be thought
1487                  * through */
1488                 panic("File shouldn't be here!");
1489                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
1490                         /* wanted to create, not open, bail out */
1491                         set_errno(EEXIST);
1492                         goto out_file_d;
1493                 }
1494         }
1495 open_the_file:
1496         /* now open the file (freshly created or if it already existed).  At this
1497          * point, file_d is a refcnt'd dentry, regardless of which branch we took.*/
1498         if (flags & O_TRUNC) {
1499                 spin_lock(&file_d->d_inode->i_lock);
1500                 nr_pages = ROUNDUP(file_d->d_inode->i_size, PGSIZE) >> PGSHIFT;
1501                 file_d->d_inode->i_size = 0;
1502                 spin_unlock(&file_d->d_inode->i_lock);
1503                 pm_remove_contig(file_d->d_inode->i_mapping, 0, nr_pages);
1504         }
1505         file = dentry_open(file_d, flags);                              /* sets errno */
1506         /* Note the fall through to the exit paths.  File is 0 by default and if
1507          * dentry_open fails. */
1508 out_file_d:
1509         kref_put(&file_d->d_kref);
1510 out_path_only:
1511         path_release(nd);
1512         return file;
1513 }
1514
1515 /* Path is the location of the symlink, sometimes called the "new path", and
1516  * symname is who we link to, sometimes called the "old path". */
1517 int do_symlink(char *path, const char *symname, int mode)
1518 {
1519         struct dentry *sym_d;
1520         struct inode *parent_i;
1521         struct nameidata nd_r = {0}, *nd = &nd_r;
1522         int error;
1523         int retval = -1;
1524
1525         nd->intent = LOOKUP_CREATE;
1526         /* get the parent, but don't follow links */
1527         error = path_lookup(path, LOOKUP_PARENT, nd);
1528         if (error) {
1529                 set_errno(-error);
1530                 goto out_path_only;
1531         }
1532         /* see if the target is already there, handle accordingly */
1533         sym_d = do_lookup(nd->dentry, nd->last.name);
1534         if (sym_d) {
1535                 set_errno(EEXIST);
1536                 goto out_sym_d;
1537         }
1538         /* Doesn't already exist, let's try to make it: */
1539         sym_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1540         if (!sym_d)
1541                 goto out_path_only;
1542         parent_i = nd->dentry->d_inode;
1543         if (create_symlink(parent_i, sym_d, symname, mode))
1544                 goto out_sym_d;
1545         set_acmtime(parent_i, VFS_MTIME);
1546         dcache_put(sym_d->d_sb, sym_d);
1547         retval = 0;                             /* Note the fall through to the exit paths */
1548 out_sym_d:
1549         kref_put(&sym_d->d_kref);
1550 out_path_only:
1551         path_release(nd);
1552         return retval;
1553 }
1554
1555 /* Makes a hard link for the file behind old_path to new_path */
1556 int do_link(char *old_path, char *new_path)
1557 {
1558         struct dentry *link_d, *old_d;
1559         struct inode *inode, *parent_dir;
1560         struct nameidata nd_r = {0}, *nd = &nd_r;
1561         int error;
1562         int retval = -1;
1563
1564         nd->intent = LOOKUP_CREATE;
1565         /* get the absolute parent of the new_path */
1566         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_FOLLOW, nd);
1567         if (error) {
1568                 set_errno(-error);
1569                 goto out_path_only;
1570         }
1571         parent_dir = nd->dentry->d_inode;
1572         /* see if the new target is already there, handle accordingly */
1573         link_d = do_lookup(nd->dentry, nd->last.name);
1574         if (link_d) {
1575                 set_errno(EEXIST);
1576                 goto out_link_d;
1577         }
1578         /* Doesn't already exist, let's try to make it.  Still need to stitch it to
1579          * an inode and set its FS-specific stuff after this.*/
1580         link_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1581         if (!link_d)
1582                 goto out_path_only;
1583         /* Now let's get the old_path target */
1584         old_d = lookup_dentry(old_path, LOOKUP_FOLLOW);
1585         if (!old_d)                                     /* errno set by lookup_dentry */
1586                 goto out_link_d;
1587         /* For now, can only link to files */
1588         if (!S_ISREG(old_d->d_inode->i_mode)) {
1589                 set_errno(EPERM);
1590                 goto out_both_ds;
1591         }
1592         /* Must be on the same FS */
1593         if (old_d->d_sb != link_d->d_sb) {
1594                 set_errno(EXDEV);
1595                 goto out_both_ds;
1596         }
1597         /* Do whatever FS specific stuff there is first (which is also a chance to
1598          * bail out). */
1599         error = parent_dir->i_op->link(old_d, parent_dir, link_d);
1600         if (error) {
1601                 set_errno(-error);
1602                 goto out_both_ds;
1603         }
1604         set_acmtime(parent_dir, VFS_MTIME);
1605         /* Finally stitch it up */
1606         inode = old_d->d_inode;
1607         kref_get(&inode->i_kref, 1);
1608         link_d->d_inode = inode;
1609         inode->i_nlink++;
1610         TAILQ_INSERT_TAIL(&inode->i_dentry, link_d, d_alias);   /* weak ref */
1611         dcache_put(link_d->d_sb, link_d);
1612         retval = 0;                             /* Note the fall through to the exit paths */
1613 out_both_ds:
1614         kref_put(&old_d->d_kref);
1615 out_link_d:
1616         kref_put(&link_d->d_kref);
1617 out_path_only:
1618         path_release(nd);
1619         return retval;
1620 }
1621
1622 /* Unlinks path from the directory tree.  Read the Documentation for more info.
1623  */
1624 int do_unlink(char *path)
1625 {
1626         struct dentry *dentry;
1627         struct inode *parent_dir;
1628         struct nameidata nd_r = {0}, *nd = &nd_r;
1629         int error;
1630         int retval = -1;
1631
1632         /* get the parent of the target, and don't follow a final link */
1633         error = path_lookup(path, LOOKUP_PARENT, nd);
1634         if (error) {
1635                 set_errno(-error);
1636                 goto out_path_only;
1637         }
1638         parent_dir = nd->dentry->d_inode;
1639         /* make sure the target is there */
1640         dentry = do_lookup(nd->dentry, nd->last.name);
1641         if (!dentry) {
1642                 set_errno(ENOENT);
1643                 goto out_path_only;
1644         }
1645         /* Make sure the target is not a directory */
1646         if (S_ISDIR(dentry->d_inode->i_mode)) {
1647                 set_errno(EISDIR);
1648                 goto out_dentry;
1649         }
1650         /* Remove the dentry from its parent */
1651         error = parent_dir->i_op->unlink(parent_dir, dentry);
1652         if (error) {
1653                 set_errno(-error);
1654                 goto out_dentry;
1655         }
1656         set_acmtime(parent_dir, VFS_MTIME);
1657         /* Now that our parent doesn't track us, we need to make sure we aren't
1658          * findable via the dentry cache.  DYING, so we will be freed in
1659          * dentry_release() */
1660         dentry->d_flags |= DENTRY_DYING;
1661         dcache_remove(dentry->d_sb, dentry);
1662         dentry->d_inode->i_nlink--;     /* TODO: race here, esp with a decref */
1663         /* At this point, the dentry is unlinked from the FS, and the inode has one
1664          * less link.  When the in-memory objects (dentry, inode) are going to be
1665          * released (after all open files are closed, and maybe after entries are
1666          * evicted from the cache), then nlinks will get checked and the FS-file
1667          * will get removed from the disk */
1668         retval = 0;                             /* Note the fall through to the exit paths */
1669 out_dentry:
1670         kref_put(&dentry->d_kref);
1671 out_path_only:
1672         path_release(nd);
1673         return retval;
1674 }
1675
1676 /* Checks to see if path can be accessed via mode.  Need to actually send the
1677  * mode along somehow, so this doesn't do much now.  This is an example of
1678  * decent error propagation from the lower levels via int retvals. */
1679 int do_access(char *path, int mode)
1680 {
1681         struct nameidata nd_r = {0}, *nd = &nd_r;
1682         int retval = 0;
1683         nd->intent = LOOKUP_ACCESS;
1684         retval = path_lookup(path, 0, nd);
1685         path_release(nd);
1686         return retval;
1687 }
1688
1689 int do_file_chmod(struct file *file, int mode)
1690 {
1691         int old_mode_ftype = file->f_dentry->d_inode->i_mode & __S_IFMT;
1692         #if 0
1693         /* TODO: when we have notions of uid, check for the proc's uid */
1694         if (file->f_dentry->d_inode->i_uid != UID_OF_ME)
1695                 retval = -EPERM;
1696         else
1697         #endif
1698                 file->f_dentry->d_inode->i_mode = (mode & S_PMASK) | old_mode_ftype;
1699         set_acmtime(file->f_dentry->d_inode, VFS_CTIME);
1700         return 0;
1701 }
1702
1703 /* Make a directory at path with mode.  Returns -1 and sets errno on errors */
1704 int do_mkdir(char *path, int mode)
1705 {
1706         struct dentry *dentry;
1707         struct inode *parent_i;
1708         struct nameidata nd_r = {0}, *nd = &nd_r;
1709         int error;
1710         int retval = -1;
1711
1712         /* The dir might exist and might be /, so we can't look for the parent */
1713         nd->intent = LOOKUP_OPEN;
1714         error = path_lookup(path, LOOKUP_FOLLOW, nd);
1715         path_release(nd);
1716         if (!error) {
1717                 set_errno(EEXIST);
1718                 return -1;
1719         }
1720         nd->intent = LOOKUP_CREATE;
1721         /* get the parent, but don't follow links */
1722         error = path_lookup(path, LOOKUP_PARENT, nd);
1723         if (error) {
1724                 set_errno(-error);
1725                 goto out_path_only;
1726         }
1727         /* Doesn't already exist, let's try to make it: */
1728         dentry = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
1729         if (!dentry)
1730                 goto out_path_only;
1731         parent_i = nd->dentry->d_inode;
1732         if (create_dir(parent_i, dentry, mode))
1733                 goto out_dentry;
1734         set_acmtime(parent_i, VFS_MTIME);
1735         dcache_put(dentry->d_sb, dentry);
1736         retval = 0;                             /* Note the fall through to the exit paths */
1737 out_dentry:
1738         kref_put(&dentry->d_kref);
1739 out_path_only:
1740         path_release(nd);
1741         return retval;
1742 }
1743
1744 int do_rmdir(char *path)
1745 {
1746         struct dentry *dentry;
1747         struct inode *parent_i;
1748         struct nameidata nd_r = {0}, *nd = &nd_r;
1749         int error;
1750         int retval = -1;
1751
1752         /* get the parent, following links (probably want this), and we must get a
1753          * directory.  Note, current versions of path_lookup can't handle both
1754          * PARENT and DIRECTORY, at least, it doesn't check that *path is a
1755          * directory. */
1756         error = path_lookup(path, LOOKUP_PARENT | LOOKUP_FOLLOW | LOOKUP_DIRECTORY,
1757                             nd);
1758         if (error) {
1759                 set_errno(-error);
1760                 goto out_path_only;
1761         }
1762         /* make sure the target is already there, handle accordingly */
1763         dentry = do_lookup(nd->dentry, nd->last.name);
1764         if (!dentry) {
1765                 set_errno(ENOENT);
1766                 goto out_path_only;
1767         }
1768         if (!S_ISDIR(dentry->d_inode->i_mode)) {
1769                 set_errno(ENOTDIR);
1770                 goto out_dentry;
1771         }
1772         if (dentry->d_mount_point) {
1773                 set_errno(EBUSY);
1774                 goto out_dentry;
1775         }
1776         /* TODO: make sure we aren't a mount or processes root (EBUSY) */
1777         /* Now for the removal.  the FSs will check if they are empty */
1778         parent_i = nd->dentry->d_inode;
1779         error = parent_i->i_op->rmdir(parent_i, dentry);
1780         if (error < 0) {
1781                 set_errno(-error);
1782                 goto out_dentry;
1783         }
1784         set_acmtime(parent_i, VFS_MTIME);
1785         /* Now that our parent doesn't track us, we need to make sure we aren't
1786          * findable via the dentry cache.  DYING, so we will be freed in
1787          * dentry_release() */
1788         dentry->d_flags |= DENTRY_DYING;
1789         dcache_remove(dentry->d_sb, dentry);
1790         /* Decref ourselves, so inode_release() knows we are done */
1791         dentry->d_inode->i_nlink--;
1792         TAILQ_REMOVE(&nd->dentry->d_subdirs, dentry, d_subdirs_link);
1793         parent_i->i_nlink--;            /* TODO: race on this, esp since its a decref */
1794         /* we still have d_parent and a kref on our parent, which will go away when
1795          * the in-memory dentry object goes away. */
1796         retval = 0;                             /* Note the fall through to the exit paths */
1797 out_dentry:
1798         kref_put(&dentry->d_kref);
1799 out_path_only:
1800         path_release(nd);
1801         return retval;
1802 }
1803
1804 /* Pipes: Doing a simple buffer with reader and writer offsets.  Size is power
1805  * of two, so we can easily compute its status and whatnot. */
1806
1807 #define PIPE_SZ                                 (1 << PGSHIFT)
1808
1809 static size_t pipe_get_rd_idx(struct pipe_inode_info *pii)
1810 {
1811         return pii->p_rd_off & (PIPE_SZ - 1);
1812 }
1813
1814 static size_t pipe_get_wr_idx(struct pipe_inode_info *pii)
1815 {
1816
1817         return pii->p_wr_off & (PIPE_SZ - 1);
1818 }
1819
1820 static bool pipe_is_empty(struct pipe_inode_info *pii)
1821 {
1822         return __ring_empty(pii->p_wr_off, pii->p_rd_off);
1823 }
1824
1825 static bool pipe_is_full(struct pipe_inode_info *pii)
1826 {
1827         return __ring_full(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1828 }
1829
1830 static size_t pipe_nr_full(struct pipe_inode_info *pii)
1831 {
1832         return __ring_nr_full(pii->p_wr_off, pii->p_rd_off);
1833 }
1834
1835 static size_t pipe_nr_empty(struct pipe_inode_info *pii)
1836 {
1837         return __ring_nr_empty(PIPE_SZ, pii->p_wr_off, pii->p_rd_off);
1838 }
1839
1840 ssize_t pipe_file_read(struct file *file, char *buf, size_t count,
1841                        off64_t *offset)
1842 {
1843         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1844         size_t copy_amt, amt_copied = 0;
1845
1846         cv_lock(&pii->p_cv);
1847         while (pipe_is_empty(pii)) {
1848                 /* We wait til the pipe is drained before sending EOF if there are no
1849                  * writers (instead of aborting immediately) */
1850                 if (!pii->p_nr_writers) {
1851                         cv_unlock(&pii->p_cv);
1852                         return 0;
1853                 }
1854                 if (file->f_flags & O_NONBLOCK) {
1855                         cv_unlock(&pii->p_cv);
1856                         set_errno(EAGAIN);
1857                         return -1;
1858                 }
1859                 cv_wait(&pii->p_cv);
1860                 cpu_relax();
1861         }
1862         /* We might need to wrap-around with our copy, so we'll do the copy in two
1863          * passes.  This will copy up to the end of the buffer, then on the next
1864          * pass will copy the rest to the beginning of the buffer (if necessary) */
1865         for (int i = 0; i < 2; i++) {
1866                 copy_amt = MIN(PIPE_SZ - pipe_get_rd_idx(pii),
1867                                MIN(pipe_nr_full(pii), count));
1868                 assert(current);        /* shouldn't pipe from the kernel */
1869                 memcpy_to_user(current, buf, pii->p_buf + pipe_get_rd_idx(pii),
1870                                copy_amt);
1871                 buf += copy_amt;
1872                 count -= copy_amt;
1873                 pii->p_rd_off += copy_amt;
1874                 amt_copied += copy_amt;
1875         }
1876         /* Just using one CV for both readers and writers.  We should rarely have
1877          * multiple readers or writers. */
1878         if (amt_copied)
1879                 __cv_broadcast(&pii->p_cv);
1880         cv_unlock(&pii->p_cv);
1881         set_acmtime(file->f_dentry->d_inode, VFS_ATIME);
1882         return amt_copied;
1883 }
1884
1885 /* Note: we're not dealing with PIPE_BUF and minimum atomic chunks, unless I
1886  * have to later. */
1887 ssize_t pipe_file_write(struct file *file, const char *buf, size_t count,
1888                         off64_t *offset)
1889 {
1890         struct pipe_inode_info *pii = file->f_dentry->d_inode->i_pipe;
1891         size_t copy_amt, amt_copied = 0;
1892
1893         cv_lock(&pii->p_cv);
1894         /* Write aborts right away if there are no readers, regardless of pipe
1895          * status. */
1896         if (!pii->p_nr_readers) {
1897                 cv_unlock(&pii->p_cv);
1898                 set_errno(EPIPE);
1899                 return -1;
1900         }
1901         while (pipe_is_full(pii)) {
1902                 if (file->f_flags & O_NONBLOCK) {
1903                         cv_unlock(&pii->p_cv);
1904                         set_errno(EAGAIN);
1905                         return -1;
1906                 }
1907                 cv_wait(&pii->p_cv);
1908                 cpu_relax();
1909                 /* Still need to check in the loop, in case the last reader left while
1910                  * we slept. */
1911                 if (!pii->p_nr_readers) {
1912                         cv_unlock(&pii->p_cv);
1913                         set_errno(EPIPE);
1914                         return -1;
1915                 }
1916         }
1917         /* We might need to wrap-around with our copy, so we'll do the copy in two
1918          * passes.  This will copy up to the end of the buffer, then on the next
1919          * pass will copy the rest to the beginning of the buffer (if necessary) */
1920         for (int i = 0; i < 2; i++) {
1921                 copy_amt = MIN(PIPE_SZ - pipe_get_wr_idx(pii),
1922                                MIN(pipe_nr_empty(pii), count));
1923                 assert(current);        /* shouldn't pipe from the kernel */
1924                 memcpy_from_user(current, pii->p_buf + pipe_get_wr_idx(pii), buf,
1925                                  copy_amt);
1926                 buf += copy_amt;
1927                 count -= copy_amt;
1928                 pii->p_wr_off += copy_amt;
1929                 amt_copied += copy_amt;
1930         }
1931         /* Just using one CV for both readers and writers.  We should rarely have
1932          * multiple readers or writers. */
1933         if (amt_copied)
1934                 __cv_broadcast(&pii->p_cv);
1935         cv_unlock(&pii->p_cv);
1936         set_acmtime(file->f_dentry->d_inode, VFS_MTIME);
1937         return amt_copied;
1938 }
1939
1940 /* In open and release, we need to track the number of readers and writers,
1941  * which we can differentiate by the file flags. */
1942 int pipe_open(struct inode *inode, struct file *file)
1943 {
1944         struct pipe_inode_info *pii = inode->i_pipe;
1945         cv_lock(&pii->p_cv);
1946         /* Ugliness due to not using flags for O_RDONLY and friends... */
1947         if (file->f_mode == S_IRUSR) {
1948                 pii->p_nr_readers++;
1949         } else if (file->f_mode == S_IWUSR) {
1950                 pii->p_nr_writers++;
1951         } else {
1952                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1953         }
1954         cv_unlock(&pii->p_cv);
1955         return 0;
1956 }
1957
1958 int pipe_release(struct inode *inode, struct file *file)
1959 {
1960         struct pipe_inode_info *pii = inode->i_pipe;
1961         cv_lock(&pii->p_cv);
1962         /* Ugliness due to not using flags for O_RDONLY and friends... */
1963         if (file->f_mode == S_IRUSR) {
1964                 pii->p_nr_readers--;
1965         } else if (file->f_mode == S_IWUSR) {
1966                 pii->p_nr_writers--;
1967         } else {
1968                 warn("Bad pipe file flags 0x%x\n", file->f_flags);
1969         }
1970         /* need to wake up any sleeping readers/writers, since we might be done */
1971         __cv_broadcast(&pii->p_cv);
1972         cv_unlock(&pii->p_cv);
1973         return 0;
1974 }
1975
1976 struct file_operations pipe_f_op = {
1977         .read = pipe_file_read,
1978         .write = pipe_file_write,
1979         .open = pipe_open,
1980         .release = pipe_release,
1981         0
1982 };
1983
1984 void pipe_debug(struct file *f)
1985 {
1986         struct pipe_inode_info *pii = f->f_dentry->d_inode->i_pipe;
1987         assert(pii);
1988         printk("PIPE %p\n", pii);
1989         printk("\trdoff %p\n", pii->p_rd_off);
1990         printk("\twroff %p\n", pii->p_wr_off);
1991         printk("\tnr_rds %d\n", pii->p_nr_readers);
1992         printk("\tnr_wrs %d\n", pii->p_nr_writers);
1993         printk("\tcv waiters %d\n", pii->p_cv.nr_waiters);
1994
1995 }
1996
1997 /* General plan: get a dentry/inode to represent the pipe.  We'll alloc it from
1998  * the default_ns SB, but won't actually link it anywhere.  It'll only be held
1999  * alive by the krefs, til all the FDs are closed. */
2000 int do_pipe(struct file **pipe_files, int flags)
2001 {
2002         struct dentry *pipe_d;
2003         struct inode *pipe_i;
2004         struct file *pipe_f_read, *pipe_f_write;
2005         struct super_block *def_sb = default_ns.root->mnt_sb;
2006         struct pipe_inode_info *pii;
2007
2008         pipe_d = get_dentry(def_sb, 0, "pipe");
2009         if (!pipe_d)
2010                 return -1;
2011         pipe_d->d_op = &dummy_d_op;
2012         pipe_i = get_inode(pipe_d);
2013         if (!pipe_i)
2014                 goto error_post_dentry;
2015         /* preemptively mark the dentry for deletion.  we have an unlinked dentry
2016          * right off the bat, held in only by the kref chain (pipe_d is the ref). */
2017         pipe_d->d_flags |= DENTRY_DYING;
2018         /* pipe_d->d_inode still has one ref to pipe_i, keeping the inode alive */
2019         kref_put(&pipe_i->i_kref);
2020         /* init inode fields.  note we're using the dummy ops for i_op and d_op */
2021         pipe_i->i_mode = S_IRWXU | S_IRWXG | S_IRWXO;
2022         SET_FTYPE(pipe_i->i_mode, __S_IFIFO);   /* using type == FIFO */
2023         pipe_i->i_nlink = 1;                    /* one for the dentry */
2024         pipe_i->i_uid = 0;
2025         pipe_i->i_gid = 0;
2026         pipe_i->i_size = PGSIZE;
2027         pipe_i->i_blocks = 0;
2028         pipe_i->i_atime.tv_sec = 0;
2029         pipe_i->i_atime.tv_nsec = 0;
2030         pipe_i->i_mtime.tv_sec = 0;
2031         pipe_i->i_mtime.tv_nsec = 0;
2032         pipe_i->i_ctime.tv_sec = 0;
2033         pipe_i->i_ctime.tv_nsec = 0;
2034         pipe_i->i_fs_info = 0;
2035         pipe_i->i_op = &dummy_i_op;
2036         pipe_i->i_fop = &pipe_f_op;
2037         pipe_i->i_socket = FALSE;
2038         /* Actually build the pipe.  We're using one page, hanging off the
2039          * pipe_inode_info struct.  When we release the inode, we free the pipe
2040          * memory too */
2041         pipe_i->i_pipe = kmalloc(sizeof(struct pipe_inode_info), MEM_WAIT);
2042         pii = pipe_i->i_pipe;
2043         if (!pii) {
2044                 set_errno(ENOMEM);
2045                 goto error_kmalloc;
2046         }
2047         pii->p_buf = kpage_zalloc_addr();
2048         if (!pii->p_buf) {
2049                 set_errno(ENOMEM);
2050                 goto error_kpage;
2051         }
2052         pii->p_rd_off = 0;
2053         pii->p_wr_off = 0;
2054         pii->p_nr_readers = 0;
2055         pii->p_nr_writers = 0;
2056         cv_init(&pii->p_cv);    /* must do this before dentry_open / pipe_open */
2057         /* Now we have an inode for the pipe.  We need two files for the read and
2058          * write ends of the pipe. */
2059         flags &= ~(O_ACCMODE);  /* avoid user bugs */
2060         pipe_f_read = dentry_open(pipe_d, flags | O_RDONLY);
2061         if (!pipe_f_read)
2062                 goto error_f_read;
2063         pipe_f_write = dentry_open(pipe_d, flags | O_WRONLY);
2064         if (!pipe_f_write)
2065                 goto error_f_write;
2066         pipe_files[0] = pipe_f_read;
2067         pipe_files[1] = pipe_f_write;
2068         return 0;
2069
2070 error_f_write:
2071         kref_put(&pipe_f_read->f_kref);
2072 error_f_read:
2073         page_decref(kva2page(pii->p_buf));
2074 error_kpage:
2075         kfree(pipe_i->i_pipe);
2076 error_kmalloc:
2077         /* We don't need to free the pipe_i; putting the dentry will free it */
2078 error_post_dentry:
2079         /* Note we only free the dentry on failure. */
2080         kref_put(&pipe_d->d_kref);
2081         return -1;
2082 }
2083
2084 int do_rename(char *old_path, char *new_path)
2085 {
2086         struct nameidata nd_old = {0}, *nd_o = &nd_old;
2087         struct nameidata nd_new = {0}, *nd_n = &nd_new;
2088         struct dentry *old_dir_d, *new_dir_d;
2089         struct inode *old_dir_i, *new_dir_i;
2090         struct dentry *old_d, *new_d, *unlink_d;
2091         int error;
2092         int retval = 0;
2093
2094         nd_o->intent = LOOKUP_ACCESS; /* maybe, might need another type */
2095
2096         /* get the parent, but don't follow links */
2097         error = path_lookup(old_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_o);
2098         if (error) {
2099                 set_errno(-error);
2100                 retval = -1;
2101                 goto out_old_path;
2102         }
2103         old_dir_d = nd_o->dentry;
2104         old_dir_i = old_dir_d->d_inode;
2105
2106         old_d = do_lookup(old_dir_d, nd_o->last.name);
2107         if (!old_d) {
2108                 set_errno(ENOENT);
2109                 retval = -1;
2110                 goto out_old_path;
2111         }
2112
2113         nd_n->intent = LOOKUP_CREATE;
2114         error = path_lookup(new_path, LOOKUP_PARENT | LOOKUP_DIRECTORY, nd_n);
2115         if (error) {
2116                 set_errno(-error);
2117                 retval = -1;
2118                 goto out_paths_and_src;
2119         }
2120         new_dir_d = nd_n->dentry;
2121         new_dir_i = new_dir_d->d_inode;
2122         /* TODO if new_dir == old_dir, we might be able to simplify things */
2123
2124         if (new_dir_i->i_sb != old_dir_i->i_sb) {
2125                 set_errno(EXDEV);
2126                 retval = -1;
2127                 goto out_paths_and_src;
2128         }
2129         /* TODO: check_perms is lousy, want to just say "writable" here */
2130         if (check_perms(old_dir_i, S_IWUSR) || check_perms(new_dir_i, S_IWUSR)) {
2131                 set_errno(EPERM);
2132                 retval = -1;
2133                 goto out_paths_and_src;
2134         }
2135         /* TODO: if we're doing a rename that moves a directory, we need to make
2136          * sure the new_path doesn't include the old_path.  It's not as simple as
2137          * just checking, since there could be a concurrent rename that breaks the
2138          * check later.  e.g. what if new_dir's parent is being moved into a child
2139          * of old_dir?
2140          *
2141          * linux has a per-fs rename mutex for these scenarios, so only one can
2142          * proceed at a time.  i don't see another way to deal with it either.
2143          * maybe something like flagging all dentries on the new_path with "do not
2144          * move". */
2145
2146         /* TODO: this is all very racy.  right after we do a new_d lookup, someone
2147          * else could create or unlink new_d.  need to lock here, or else push this
2148          * into the sub-FS.
2149          *
2150          * For any locking scheme, we probably need to lock both the old and new
2151          * dirs.  To prevent deadlock, we need a total ordering of all inodes (or
2152          * dentries, if we locking them instead).  inode number or struct inode*
2153          * will work for this. */
2154         new_d = do_lookup(new_dir_d, nd_n->last.name);
2155         if (new_d) {
2156                 if (new_d->d_inode == old_d->d_inode)
2157                         goto out_paths_and_refs;        /* rename does nothing */
2158                 /* TODO: Here's a bunch of other racy checks we need to do, maybe in the
2159                  * sub-FS:
2160                  *
2161                  * if src is a dir, dst must be an empty dir if it exists (RACYx2)
2162                  *              racing on dst being created and it getting new entries
2163                  * if src is a file, dst must be a file if it exists (RACY)
2164                  *              racing on dst being created and still being a file
2165                  *              racing on dst being unlinked and a new one being added
2166                  */
2167                 /* TODO: we should allow empty dirs */
2168                 if (S_ISDIR(new_d->d_inode->i_mode)) {
2169                         set_errno(EISDIR);
2170                         retval = -1;
2171                         goto out_paths_and_refs;
2172                 }
2173                 /* TODO: need this to be atomic with rename */
2174                 error = new_dir_i->i_op->unlink(new_dir_i, new_d);
2175                 if (error) {
2176                         set_errno(-error);
2177                         retval = -1;
2178                         goto out_paths_and_refs;
2179                 }
2180                 new_d->d_flags |= DENTRY_DYING;
2181                 /* TODO: racy with other lookups on new_d */
2182                 dcache_remove(new_d->d_sb, new_d);
2183                 new_d->d_inode->i_nlink--;  /* TODO: race here, esp with a decref */
2184                 kref_put(&new_d->d_kref);
2185         }
2186         /* new_d is just a vessel for the name.  somewhat lousy. */
2187         new_d = get_dentry(new_dir_d->d_sb, new_dir_d, nd_n->last.name);
2188
2189         /* TODO: more races.  need to remove old_d from the dcache, since we're
2190          * about to change its parentage.  could be readded concurrently. */
2191         dcache_remove(old_dir_d->d_sb, old_d);
2192         error = new_dir_i->i_op->rename(old_dir_i, old_d, new_dir_i, new_d);
2193         if (error) {
2194                 /* TODO: oh crap, we already unlinked!  now we're screwed, and violated
2195                  * our atomicity requirements. */
2196                 printk("[kernel] rename failed, you might have lost data\n");
2197                 set_errno(-error);
2198                 retval = -1;
2199                 goto out_paths_and_refs;
2200         }
2201
2202         /* old_dir loses old_d, new_dir gains old_d, renamed to new_d.  this is
2203          * particularly cumbersome since there are two levels here: the FS has its
2204          * info about where things are, and the VFS has its dentry tree.  and it's
2205          * all racy (TODO). */
2206         dentry_set_name(old_d, new_d->d_name.name);
2207         old_d->d_parent = new_d->d_parent;
2208         if (S_ISDIR(old_d->d_inode->i_mode)) {
2209                 TAILQ_REMOVE(&old_dir_d->d_subdirs, old_d, d_subdirs_link);
2210                 old_dir_i->i_nlink--; /* TODO: racy, etc */
2211                 TAILQ_INSERT_TAIL(&new_dir_d->d_subdirs, old_d, d_subdirs_link);
2212                 new_dir_i->i_nlink--; /* TODO: racy, etc */
2213         }
2214
2215         /* and then the third level: dcache stuff.  we could have old versions of
2216          * old_d or negative versions of new_d sitting around.  dcache_put should
2217          * replace a potentially negative dentry for new_d (now called old_d) */
2218         dcache_put(old_dir_d->d_sb, old_d);
2219
2220         set_acmtime(old_dir_i, VFS_MTIME);
2221         set_acmtime(new_dir_i, VFS_MTIME);
2222         set_acmtime(old_d->d_inode, VFS_CTIME);
2223
2224         /* fall-through */
2225 out_paths_and_refs:
2226         kref_put(&new_d->d_kref);
2227 out_paths_and_src:
2228         kref_put(&old_d->d_kref);
2229 out_paths:
2230         path_release(nd_n);
2231 out_old_path:
2232         path_release(nd_o);
2233         return retval;
2234 }
2235
2236 int do_truncate(struct inode *inode, off64_t len)
2237 {
2238         off64_t old_len;
2239
2240         if (len < 0) {
2241                 set_errno(EINVAL);
2242                 return -1;
2243         }
2244         if (len > PiB) {
2245                 printk("[kernel] truncate for > petabyte, probably a bug\n");
2246                 /* continuing, not too concerned.  could set EINVAL or EFBIG */
2247         }
2248         spin_lock(&inode->i_lock);
2249         old_len = inode->i_size;
2250         if (old_len == len) {
2251                 spin_unlock(&inode->i_lock);
2252                 return 0;
2253         }
2254         inode->i_size = len;
2255         /* truncate can't block, since we're holding the spinlock.  but it can rely
2256          * on that lock being held */
2257         inode->i_op->truncate(inode);
2258         spin_unlock(&inode->i_lock);
2259
2260         if (old_len < len) {
2261                 pm_remove_contig(inode->i_mapping, old_len >> PGSHIFT,
2262                                  (len >> PGSHIFT) - (old_len >> PGSHIFT));
2263         }
2264         set_acmtime(inode, VFS_MTIME);
2265         return 0;
2266 }
2267
2268 struct file *alloc_file(void)
2269 {
2270         struct file *file = kmem_cache_alloc(file_kcache, 0);
2271         if (!file) {
2272                 set_errno(ENOMEM);
2273                 return 0;
2274         }
2275         /* one for the ref passed out*/
2276         kref_init(&file->f_kref, file_release, 1);
2277         return file;
2278 }
2279
2280 /* Opens and returns the file specified by dentry */
2281 struct file *dentry_open(struct dentry *dentry, int flags)
2282 {
2283         struct inode *inode;
2284         struct file *file;
2285         int desired_mode;
2286         inode = dentry->d_inode;
2287         /* f_mode stores how the OS file is open, which can be more restrictive than
2288          * the i_mode */
2289         desired_mode = omode_to_rwx(flags & O_ACCMODE);
2290         if (check_perms(inode, desired_mode))
2291                 goto error_access;
2292         file = alloc_file();
2293         if (!file)
2294                 return 0;
2295         file->f_mode = desired_mode;
2296         /* Add to the list of all files of this SB */
2297         TAILQ_INSERT_TAIL(&inode->i_sb->s_files, file, f_list);
2298         kref_get(&dentry->d_kref, 1);
2299         file->f_dentry = dentry;
2300         kref_get(&inode->i_sb->s_mount->mnt_kref, 1);
2301         file->f_vfsmnt = inode->i_sb->s_mount;          /* saving a ref to the vmnt...*/
2302         file->f_op = inode->i_fop;
2303         /* Don't store creation flags */
2304         file->f_flags = flags & ~O_CREAT_FLAGS;
2305         file->f_pos = 0;
2306         file->f_uid = inode->i_uid;
2307         file->f_gid = inode->i_gid;
2308         file->f_error = 0;
2309 //      struct event_poll_tailq         f_ep_links;
2310         spinlock_init(&file->f_ep_lock);
2311         file->f_privdata = 0;                                           /* prob overriden by the fs */
2312         file->f_mapping = inode->i_mapping;
2313         file->f_op->open(inode, file);
2314         return file;
2315 error_access:
2316         set_errno(EACCES);
2317         return 0;
2318 }
2319
2320 /* Closes a file, fsync, whatever else is necessary.  Called when the kref hits
2321  * 0.  Note that the file is not refcounted on the s_files list, nor is the
2322  * f_mapping refcounted (it is pinned by the i_mapping). */
2323 void file_release(struct kref *kref)
2324 {
2325         struct file *file = container_of(kref, struct file, f_kref);
2326
2327         struct super_block *sb = file->f_dentry->d_sb;
2328         spin_lock(&sb->s_lock);
2329         TAILQ_REMOVE(&sb->s_files, file, f_list);
2330         spin_unlock(&sb->s_lock);
2331
2332         /* TODO: fsync (BLK).  also, we may want to parallelize the blocking that
2333          * could happen in here (spawn kernel threads)... */
2334         file->f_op->release(file->f_dentry->d_inode, file);
2335         /* Clean up the other refs we hold */
2336         kref_put(&file->f_dentry->d_kref);
2337         kref_put(&file->f_vfsmnt->mnt_kref);
2338         kmem_cache_free(file_kcache, file);
2339 }
2340
2341 ssize_t kread_file(struct file_or_chan *file, void *buf, size_t sz)
2342 {
2343         /* TODO: (KFOP) (VFS kernel read/writes need to be from a ktask) */
2344         uintptr_t old_ret = switch_to_ktask();
2345         off64_t dummy = 0;
2346         ssize_t cpy_amt = foc_read(file, buf, sz, dummy);
2347
2348         switch_back_from_ktask(old_ret);
2349         return cpy_amt;
2350 }
2351
2352 /* Reads the contents of an entire file into a buffer, returning that buffer.
2353  * On error, prints something useful and returns 0 */
2354 void *kread_whole_file(struct file_or_chan *file)
2355 {
2356         size_t size;
2357         void *contents;
2358         ssize_t cpy_amt;
2359
2360         size = foc_get_len(file);
2361         contents = kmalloc(size, MEM_WAIT);
2362         cpy_amt = kread_file(file, contents, size);
2363         if (cpy_amt < 0) {
2364                 printk("Error %d reading file %s\n", get_errno(), foc_to_name(file));
2365                 kfree(contents);
2366                 return 0;
2367         }
2368         if (cpy_amt != size) {
2369                 printk("Read %d, needed %d for file %s\n", cpy_amt, size,
2370                        foc_to_name(file));
2371                 kfree(contents);
2372                 return 0;
2373         }
2374         return contents;
2375 }
2376
2377 /* Process-related File management functions */
2378
2379 /* Given any FD, get the appropriate object, 0 o/w.  Set vfs if you're looking
2380  * for a file, o/w a chan.  Set incref if you want a reference count (which is a
2381  * 9ns thing, you can't use the pointer if you didn't incref). */
2382 void *lookup_fd(struct fd_table *fdt, int fd, bool incref, bool vfs)
2383 {
2384         void *retval = 0;
2385         if (fd < 0)
2386                 return 0;
2387         spin_lock(&fdt->lock);
2388         if (fdt->closed) {
2389                 spin_unlock(&fdt->lock);
2390                 return 0;
2391         }
2392         if (fd < fdt->max_fdset) {
2393                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, fd)) {
2394                         /* while max_files and max_fdset might not line up, we should never
2395                          * have a valid fdset higher than files */
2396                         assert(fd < fdt->max_files);
2397                         if (vfs)
2398                                 retval = fdt->fd[fd].fd_file;
2399                         else
2400                                 retval = fdt->fd[fd].fd_chan;
2401                         /* retval could be 0 if we asked for the wrong one (e.g. it's a
2402                          * file, but we asked for a chan) */
2403                         if (retval && incref) {
2404                                 if (vfs)
2405                                         kref_get(&((struct file*)retval)->f_kref, 1);
2406                                 else
2407                                         chan_incref((struct chan*)retval);
2408                         }
2409                 }
2410         }
2411         spin_unlock(&fdt->lock);
2412         return retval;
2413 }
2414
2415 /* Given any FD, get the appropriate file, 0 o/w */
2416 struct file *get_file_from_fd(struct fd_table *open_files, int file_desc)
2417 {
2418         return lookup_fd(open_files, file_desc, TRUE, TRUE);
2419 }
2420
2421 /* Grow the vfs fd set */
2422 static int grow_fd_set(struct fd_table *open_files)
2423 {
2424         int n;
2425         struct file_desc *nfd, *ofd;
2426
2427         /* Only update open_fds once. If currently pointing to open_fds_init, then
2428          * update it to point to a newly allocated fd_set with space for
2429          * NR_FILE_DESC_MAX */
2430         if (open_files->open_fds == (struct fd_set*)&open_files->open_fds_init) {
2431                 open_files->open_fds = kzmalloc(sizeof(struct fd_set), 0);
2432                 memmove(open_files->open_fds, &open_files->open_fds_init,
2433                         sizeof(struct small_fd_set));
2434         }
2435
2436         /* Grow the open_files->fd array in increments of NR_OPEN_FILES_DEFAULT */
2437         n = open_files->max_files + NR_OPEN_FILES_DEFAULT;
2438         if (n > NR_FILE_DESC_MAX)
2439                 return -EMFILE;
2440         nfd = kzmalloc(n * sizeof(struct file_desc), 0);
2441         if (nfd == NULL)
2442                 return -ENOMEM;
2443
2444         /* Move the old array on top of the new one */
2445         ofd = open_files->fd;
2446         memmove(nfd, ofd, open_files->max_files * sizeof(struct file_desc));
2447
2448         /* Update the array and the maxes for both max_files and max_fdset */
2449         open_files->fd = nfd;
2450         open_files->max_files = n;
2451         open_files->max_fdset = n;
2452
2453         /* Only free the old one if it wasn't pointing to open_files->fd_array */
2454         if (ofd != open_files->fd_array)
2455                 kfree(ofd);
2456         return 0;
2457 }
2458
2459 /* Free the vfs fd set if necessary */
2460 static void free_fd_set(struct fd_table *open_files)
2461 {
2462         void *free_me;
2463         if (open_files->open_fds != (struct fd_set*)&open_files->open_fds_init) {
2464                 assert(open_files->fd != open_files->fd_array);
2465                 /* need to reset the pointers to the internal addrs, in case we take a
2466                  * look while debugging.  0 them out, since they have old data.  our
2467                  * current versions should all be closed. */
2468                 memset(&open_files->open_fds_init, 0, sizeof(struct small_fd_set));
2469                 memset(&open_files->fd_array, 0, sizeof(open_files->fd_array));
2470
2471                 free_me = open_files->open_fds;
2472                 open_files->open_fds = (struct fd_set*)&open_files->open_fds_init;
2473                 kfree(free_me);
2474
2475                 free_me = open_files->fd;
2476                 open_files->fd = open_files->fd_array;
2477                 kfree(free_me);
2478         }
2479 }
2480
2481 /* If FD is in the group, remove it, decref it, and return TRUE. */
2482 bool close_fd(struct fd_table *fdt, int fd)
2483 {
2484         struct file *file = 0;
2485         struct chan *chan = 0;
2486         struct fd_tap *tap = 0;
2487         bool ret = FALSE;
2488         if (fd < 0)
2489                 return FALSE;
2490         spin_lock(&fdt->lock);
2491         if (fd < fdt->max_fdset) {
2492                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, fd)) {
2493                         /* while max_files and max_fdset might not line up, we should never
2494                          * have a valid fdset higher than files */
2495                         assert(fd < fdt->max_files);
2496                         file = fdt->fd[fd].fd_file;
2497                         chan = fdt->fd[fd].fd_chan;
2498                         tap = fdt->fd[fd].fd_tap;
2499                         fdt->fd[fd].fd_file = 0;
2500                         fdt->fd[fd].fd_chan = 0;
2501                         fdt->fd[fd].fd_tap = 0;
2502                         CLR_BITMASK_BIT(fdt->open_fds->fds_bits, fd);
2503                         if (fd < fdt->hint_min_fd)
2504                                 fdt->hint_min_fd = fd;
2505                         ret = TRUE;
2506                 }
2507         }
2508         spin_unlock(&fdt->lock);
2509         /* Need to decref/cclose outside of the lock; they could sleep */
2510         if (file)
2511                 kref_put(&file->f_kref);
2512         else
2513                 cclose(chan);
2514         if (tap)
2515                 kref_put(&tap->kref);
2516         return ret;
2517 }
2518
2519 void put_file_from_fd(struct fd_table *open_files, int file_desc)
2520 {
2521         close_fd(open_files, file_desc);
2522 }
2523
2524 static int __get_fd(struct fd_table *open_files, int low_fd, bool must_use_low)
2525 {
2526         int slot = -1;
2527         int error;
2528         bool update_hint = TRUE;
2529         if ((low_fd < 0) || (low_fd > NR_FILE_DESC_MAX))
2530                 return -EINVAL;
2531         if (open_files->closed)
2532                 return -EINVAL; /* won't matter, they are dying */
2533         if (must_use_low && GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
2534                 return -ENFILE;
2535         if (low_fd > open_files->hint_min_fd)
2536                 update_hint = FALSE;
2537         else
2538                 low_fd = open_files->hint_min_fd;
2539         /* Loop until we have a valid slot (we grow the fd_array at the bottom of
2540          * the loop if we haven't found a slot in the current array */
2541         while (slot == -1) {
2542                 for (low_fd; low_fd < open_files->max_fdset; low_fd++) {
2543                         if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, low_fd))
2544                                 continue;
2545                         slot = low_fd;
2546                         SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
2547                         assert(slot < open_files->max_files &&
2548                                open_files->fd[slot].fd_file == 0);
2549                         /* We know slot >= hint, since we started with the hint */
2550                         if (update_hint)
2551                                 open_files->hint_min_fd = slot + 1;
2552                         break;
2553                 }
2554                 if (slot == -1) {
2555                         if ((error = grow_fd_set(open_files)))
2556                                 return error;
2557                 }
2558         }
2559         return slot;
2560 }
2561
2562 /* Insert a file or chan (obj, chosen by vfs) into the fd group with fd_flags.
2563  * If must_use_low, then we have to insert at FD = low_fd.  o/w we start looking
2564  * for empty slots at low_fd. */
2565 int insert_obj_fdt(struct fd_table *fdt, void *obj, int low_fd, int fd_flags,
2566                    bool must_use_low, bool vfs)
2567 {
2568         int slot;
2569         spin_lock(&fdt->lock);
2570         slot = __get_fd(fdt, low_fd, must_use_low);
2571         if (slot < 0) {
2572                 spin_unlock(&fdt->lock);
2573                 return slot;
2574         }
2575         assert(slot < fdt->max_files &&
2576                fdt->fd[slot].fd_file == 0);
2577         if (vfs) {
2578                 kref_get(&((struct file*)obj)->f_kref, 1);
2579                 fdt->fd[slot].fd_file = obj;
2580                 fdt->fd[slot].fd_chan = 0;
2581         } else {
2582                 chan_incref((struct chan*)obj);
2583                 fdt->fd[slot].fd_file = 0;
2584                 fdt->fd[slot].fd_chan = obj;
2585         }
2586         fdt->fd[slot].fd_flags = fd_flags;
2587         spin_unlock(&fdt->lock);
2588         return slot;
2589 }
2590
2591 /* Inserts the file in the fd_table, returning the corresponding new file
2592  * descriptor, or an error code.  We start looking for open fds from low_fd.
2593  *
2594  * Passing cloexec is a bit cheap, since we might want to expand it to support
2595  * more FD options in the future. */
2596 int insert_file(struct fd_table *open_files, struct file *file, int low_fd,
2597                 bool must, bool cloexec)
2598 {
2599         return insert_obj_fdt(open_files, file, low_fd, cloexec ? FD_CLOEXEC : 0,
2600                               must, TRUE);
2601 }
2602
2603 /* Closes all open files.  Mostly just a "put" for all files.  If cloexec, it
2604  * will only close the FDs with FD_CLOEXEC (opened with O_CLOEXEC or fcntld).
2605  *
2606  * Notes on concurrency:
2607  * - Can't hold spinlocks while we call cclose, since it might sleep eventually.
2608  * - We're called from proc_destroy, so we could have concurrent openers trying
2609  *   to add to the group (other syscalls), hence the "closed" flag.
2610  * - dot and slash chans are dealt with in proc_free.  its difficult to close
2611  *   and zero those with concurrent syscalls, since those are a source of krefs.
2612  * - Once we lock and set closed, no further additions can happen.  To simplify
2613  *   our closes, we also allow multiple calls to this func (though that should
2614  *   never happen with the current code). */
2615 void close_fdt(struct fd_table *fdt, bool cloexec)
2616 {
2617         struct file *file;
2618         struct chan *chan;
2619         struct file_desc *to_close;
2620         int idx = 0;
2621
2622         to_close = kzmalloc(sizeof(struct file_desc) * fdt->max_files,
2623                             MEM_WAIT);
2624         spin_lock(&fdt->lock);
2625         if (fdt->closed) {
2626                 spin_unlock(&fdt->lock);
2627                 kfree(to_close);
2628                 return;
2629         }
2630         for (int i = 0; i < fdt->max_fdset; i++) {
2631                 if (GET_BITMASK_BIT(fdt->open_fds->fds_bits, i)) {
2632                         /* while max_files and max_fdset might not line up, we should never
2633                          * have a valid fdset higher than files */
2634                         assert(i < fdt->max_files);
2635                         if (cloexec && !(fdt->fd[i].fd_flags & FD_CLOEXEC))
2636                                 continue;
2637                         file = fdt->fd[i].fd_file;
2638                         chan = fdt->fd[i].fd_chan;
2639                         to_close[idx].fd_tap = fdt->fd[i].fd_tap;
2640                         fdt->fd[i].fd_tap = 0;
2641                         if (file) {
2642                                 fdt->fd[i].fd_file = 0;
2643                                 to_close[idx++].fd_file = file;
2644                         } else {
2645                                 fdt->fd[i].fd_chan = 0;
2646                                 to_close[idx++].fd_chan = chan;
2647                         }
2648                         CLR_BITMASK_BIT(fdt->open_fds->fds_bits, i);
2649                 }
2650         }
2651         /* it's just a hint, we can build back up from being 0 */
2652         fdt->hint_min_fd = 0;
2653         if (!cloexec) {
2654                 free_fd_set(fdt);
2655                 fdt->closed = TRUE;
2656         }
2657         spin_unlock(&fdt->lock);
2658         /* We go through some hoops to close/decref outside the lock.  Nice for not
2659          * holding the lock for a while; critical in case the decref/cclose sleeps
2660          * (it can) */
2661         for (int i = 0; i < idx; i++) {
2662                 if (to_close[i].fd_file)
2663                         kref_put(&to_close[i].fd_file->f_kref);
2664                 else
2665                         cclose(to_close[i].fd_chan);
2666                 if (to_close[i].fd_tap)
2667                         kref_put(&to_close[i].fd_tap->kref);
2668         }
2669         kfree(to_close);
2670 }
2671
2672 /* Inserts all of the files from src into dst, used by sys_fork(). */
2673 void clone_fdt(struct fd_table *src, struct fd_table *dst)
2674 {
2675         struct file *file;
2676         struct chan *chan;
2677         int ret;
2678
2679         spin_lock(&src->lock);
2680         if (src->closed) {
2681                 spin_unlock(&src->lock);
2682                 return;
2683         }
2684         spin_lock(&dst->lock);
2685         if (dst->closed) {
2686                 warn("Destination closed before it opened");
2687                 spin_unlock(&dst->lock);
2688                 spin_unlock(&src->lock);
2689                 return;
2690         }
2691         while (src->max_files > dst->max_files) {
2692                 ret = grow_fd_set(dst);
2693                 if (ret < 0) {
2694                         set_error(-ret, "Failed to grow for a clone_fdt");
2695                         spin_unlock(&dst->lock);
2696                         spin_unlock(&src->lock);
2697                         return;
2698                 }
2699         }
2700         for (int i = 0; i < src->max_fdset; i++) {
2701                 if (GET_BITMASK_BIT(src->open_fds->fds_bits, i)) {
2702                         /* while max_files and max_fdset might not line up, we should never
2703                          * have a valid fdset higher than files */
2704                         assert(i < src->max_files);
2705                         file = src->fd[i].fd_file;
2706                         chan = src->fd[i].fd_chan;
2707                         assert(i < dst->max_files && dst->fd[i].fd_file == 0);
2708                         SET_BITMASK_BIT(dst->open_fds->fds_bits, i);
2709                         dst->fd[i].fd_file = file;
2710                         dst->fd[i].fd_chan = chan;
2711                         if (file)
2712                                 kref_get(&file->f_kref, 1);
2713                         else
2714                                 chan_incref(chan);
2715                 }
2716         }
2717         dst->hint_min_fd = src->hint_min_fd;
2718         spin_unlock(&dst->lock);
2719         spin_unlock(&src->lock);
2720 }
2721
2722 static void __chpwd(struct fs_struct *fs_env, struct dentry *new_pwd)
2723 {
2724         struct dentry *old_pwd;
2725         kref_get(&new_pwd->d_kref, 1);
2726         /* writer lock, make sure we replace pwd with ours.  could also CAS.
2727          * readers don't lock at all, so they need to either loop, or we need to
2728          * delay releasing old_pwd til an RCU grace period. */
2729         spin_lock(&fs_env->lock);
2730         old_pwd = fs_env->pwd;
2731         fs_env->pwd = new_pwd;
2732         spin_unlock(&fs_env->lock);
2733         kref_put(&old_pwd->d_kref);
2734 }
2735
2736 /* Change the working directory of the given fs env (one per process, at this
2737  * point).  Returns 0 for success, sets errno and returns -1 otherwise. */
2738 int do_chdir(struct fs_struct *fs_env, char *path)
2739 {
2740         struct nameidata nd_r = {0}, *nd = &nd_r;
2741         int error;
2742         error = path_lookup(path, LOOKUP_DIRECTORY, nd);
2743         if (error) {
2744                 set_errno(-error);
2745                 path_release(nd);
2746                 return -1;
2747         }
2748         /* nd->dentry is the place we want our PWD to be */
2749         __chpwd(fs_env, nd->dentry);
2750         path_release(nd);
2751         return 0;
2752 }
2753
2754 int do_fchdir(struct fs_struct *fs_env, struct file *file)
2755 {
2756         if ((file->f_dentry->d_inode->i_mode & __S_IFMT) != __S_IFDIR) {
2757                 set_errno(ENOTDIR);
2758                 return -1;
2759         }
2760         __chpwd(fs_env, file->f_dentry);
2761         return 0;
2762 }
2763
2764 /* Returns a null-terminated string of up to length cwd_l containing the
2765  * absolute path of fs_env, (up to fs_env's root).  Be sure to kfree the char*
2766  * "kfree_this" when you are done with it.  We do this since it's easier to
2767  * build this string going backwards.  Note cwd_l is not a strlen, it's an
2768  * absolute size. */
2769 char *do_getcwd(struct fs_struct *fs_env, char **kfree_this, size_t cwd_l)
2770 {
2771         struct dentry *dentry = fs_env->pwd;
2772         size_t link_len;
2773         char *path_start, *kbuf;
2774
2775         if (cwd_l < 2) {
2776                 set_errno(ERANGE);
2777                 return 0;
2778         }
2779         kbuf = kmalloc(cwd_l, 0);
2780         if (!kbuf) {
2781                 set_errno(ENOMEM);
2782                 return 0;
2783         }
2784         *kfree_this = kbuf;
2785         kbuf[cwd_l - 1] = '\0';
2786         kbuf[cwd_l - 2] = '/';
2787         /* for each dentry in the path, all the way back to the root of fs_env, we
2788          * grab the dentry name, push path_start back enough, and write in the name,
2789          * using /'s to terminate.  We skip the root, since we don't want its
2790          * actual name, just "/", which is set before each loop. */
2791         path_start = kbuf + cwd_l - 2;  /* the last byte written */
2792         while (dentry != fs_env->root) {
2793                 link_len = dentry->d_name.len;          /* this does not count the \0 */
2794                 if (path_start - (link_len + 2) < kbuf) {
2795                         kfree(kbuf);
2796                         set_errno(ERANGE);
2797                         return 0;
2798                 }
2799                 path_start -= link_len;
2800                 memmove(path_start, dentry->d_name.name, link_len);
2801                 path_start--;
2802                 *path_start = '/';
2803                 dentry = dentry->d_parent;
2804         }
2805         return path_start;
2806 }
2807
2808 static void print_dir(struct dentry *dentry, char *buf, int depth)
2809 {
2810         struct dentry *child_d;
2811         struct kdirent next = {0};
2812         struct file *dir;
2813         int retval;
2814
2815         if (!S_ISDIR(dentry->d_inode->i_mode)) {
2816                 warn("Thought this was only directories!!");
2817                 return;
2818         }
2819         /* Print this dentry */
2820         printk("%s%s/ nlink: %d\n", buf, dentry->d_name.name,
2821                dentry->d_inode->i_nlink);
2822         if (dentry->d_mount_point) {
2823                 dentry = dentry->d_mounted_fs->mnt_root;
2824         }
2825         if (depth >= 32)
2826                 return;
2827         /* Set buffer for our kids */
2828         buf[depth] = '\t';
2829         dir = dentry_open(dentry, 0);
2830         if (!dir)
2831                 panic("Filesystem seems inconsistent - unable to open a dir!");
2832         /* Process every child, recursing on directories */
2833         while (1) {
2834                 retval = dir->f_op->readdir(dir, &next);
2835                 if (retval >= 0) {
2836                         /* Skip .., ., and empty entries */
2837                         if (!strcmp("..", next.d_name) || !strcmp(".", next.d_name) ||
2838                             next.d_ino == 0)
2839                                 goto loop_next;
2840                         /* there is an entry, now get its dentry */
2841                         child_d = do_lookup(dentry, next.d_name);
2842                         if (!child_d)
2843                                 panic("Inconsistent FS, dirent doesn't have a dentry!");
2844                         /* Recurse for directories, or just print the name for others */
2845                         switch (child_d->d_inode->i_mode & __S_IFMT) {
2846                                 case (__S_IFDIR):
2847                                         print_dir(child_d, buf, depth + 1);
2848                                         break;
2849                                 case (__S_IFREG):
2850                                         printk("%s%s size(B): %d nlink: %d\n", buf, next.d_name,
2851                                                child_d->d_inode->i_size, child_d->d_inode->i_nlink);
2852                                         break;
2853                                 case (__S_IFLNK):
2854                                         printk("%s%s -> %s\n", buf, next.d_name,
2855                                                child_d->d_inode->i_op->readlink(child_d));
2856                                         break;
2857                                 case (__S_IFCHR):
2858                                         printk("%s%s (char device) nlink: %d\n", buf, next.d_name,
2859                                                child_d->d_inode->i_nlink);
2860                                         break;
2861                                 case (__S_IFBLK):
2862                                         printk("%s%s (block device) nlink: %d\n", buf, next.d_name,
2863                                                child_d->d_inode->i_nlink);
2864                                         break;
2865                                 default:
2866                                         warn("Look around you!  Unknown filetype!");
2867                         }
2868                         kref_put(&child_d->d_kref);
2869                 }
2870 loop_next:
2871                 if (retval <= 0)
2872                         break;
2873         }
2874         /* Reset buffer to the way it was */
2875         buf[depth] = '\0';
2876         kref_put(&dir->f_kref);
2877 }
2878
2879 /* Debugging */
2880 int ls_dash_r(char *path)
2881 {
2882         struct nameidata nd_r = {0}, *nd = &nd_r;
2883         int error;
2884         char buf[32] = {0};
2885
2886         error = path_lookup(path, LOOKUP_ACCESS | LOOKUP_DIRECTORY, nd);
2887         if (error) {
2888                 path_release(nd);
2889                 return error;
2890         }
2891         print_dir(nd->dentry, buf, 0);
2892         path_release(nd);
2893         return 0;
2894 }
2895
2896 /* Dummy ops, to catch weird operations we weren't expecting */
2897 int dummy_create(struct inode *dir, struct dentry *dentry, int mode,
2898                  struct nameidata *nd)
2899 {
2900         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2901         return -1;
2902 }
2903
2904 struct dentry *dummy_lookup(struct inode *dir, struct dentry *dentry,
2905                           struct nameidata *nd)
2906 {
2907         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2908         return 0;
2909 }
2910
2911 int dummy_link(struct dentry *old_dentry, struct inode *dir,
2912              struct dentry *new_dentry)
2913 {
2914         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2915         return -1;
2916 }
2917
2918 int dummy_unlink(struct inode *dir, struct dentry *dentry)
2919 {
2920         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2921         return -1;
2922 }
2923
2924 int dummy_symlink(struct inode *dir, struct dentry *dentry, const char *symname)
2925 {
2926         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2927         return -1;
2928 }
2929
2930 int dummy_mkdir(struct inode *dir, struct dentry *dentry, int mode)
2931 {
2932         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2933         return -1;
2934 }
2935
2936 int dummy_rmdir(struct inode *dir, struct dentry *dentry)
2937 {
2938         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2939         return -1;
2940 }
2941
2942 int dummy_mknod(struct inode *dir, struct dentry *dentry, int mode, dev_t rdev)
2943 {
2944         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2945         return -1;
2946 }
2947
2948 int dummy_rename(struct inode *old_dir, struct dentry *old_dentry,
2949                struct inode *new_dir, struct dentry *new_dentry)
2950 {
2951         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2952         return -1;
2953 }
2954
2955 char *dummy_readlink(struct dentry *dentry)
2956 {
2957         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2958         return 0;
2959 }
2960
2961 void dummy_truncate(struct inode *inode)
2962 {
2963         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2964 }
2965
2966 int dummy_permission(struct inode *inode, int mode, struct nameidata *nd)
2967 {
2968         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2969         return -1;
2970 }
2971
2972 int dummy_d_revalidate(struct dentry *dir, struct nameidata *nd)
2973 {
2974         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2975         return -1;
2976 }
2977
2978 int dummy_d_hash(struct dentry *dentry, struct qstr *name)
2979 {
2980         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2981         return -1;
2982 }
2983
2984 int dummy_d_compare(struct dentry *dir, struct qstr *name1, struct qstr *name2)
2985 {
2986         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2987         return -1;
2988 }
2989
2990 int dummy_d_delete(struct dentry *dentry)
2991 {
2992         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2993         return -1;
2994 }
2995
2996 int dummy_d_release(struct dentry *dentry)
2997 {
2998         printk("Dummy VFS function %s called!\n", __FUNCTION__);
2999         return -1;
3000 }
3001
3002 void dummy_d_iput(struct dentry *dentry, struct inode *inode)
3003 {
3004         printk("Dummy VFS function %s called!\n", __FUNCTION__);
3005 }
3006
3007 struct inode_operations dummy_i_op = {
3008         dummy_create,
3009         dummy_lookup,
3010         dummy_link,
3011         dummy_unlink,
3012         dummy_symlink,
3013         dummy_mkdir,
3014         dummy_rmdir,
3015         dummy_mknod,
3016         dummy_rename,
3017         dummy_readlink,
3018         dummy_truncate,
3019         dummy_permission,
3020 };
3021
3022 struct dentry_operations dummy_d_op = {
3023         dummy_d_revalidate,
3024         dummy_d_hash,
3025         dummy_d_compare,
3026         dummy_d_delete,
3027         dummy_d_release,
3028         dummy_d_iput,
3029 };