9339f2acf269bbe25e2cb71ea04fcb55d40f0d56
[akaros.git] / kern / src / vfs.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Default implementations and global values for the VFS. */
6
7 #include <vfs.h> // keep this first
8 #include <sys/queue.h>
9 #include <assert.h>
10 #include <stdio.h>
11 #include <atomic.h>
12 #include <slab.h>
13 #include <kmalloc.h>
14 #include <kfs.h>
15 #include <pmap.h>
16 #include <umem.h>
17
18 struct sb_tailq super_blocks = TAILQ_HEAD_INITIALIZER(super_blocks);
19 spinlock_t super_blocks_lock = SPINLOCK_INITIALIZER;
20 struct fs_type_tailq file_systems = TAILQ_HEAD_INITIALIZER(file_systems);
21 struct namespace default_ns;
22 // TODO: temp dcache, holds all dentries ever for now
23 struct dentry_slist dcache = SLIST_HEAD_INITIALIZER(dcache);
24 spinlock_t dcache_lock = SPINLOCK_INITIALIZER;
25
26 struct kmem_cache *dentry_kcache; // not to be confused with the dcache
27 struct kmem_cache *inode_kcache;
28 struct kmem_cache *file_kcache;
29
30 /* Mounts fs from dev_name at mnt_pt in namespace ns.  There could be no mnt_pt,
31  * such as with the root of (the default) namespace.  Not sure how it would work
32  * with multiple namespaces on the same FS yet.  Note if you mount the same FS
33  * multiple times, you only have one FS still (and one SB).  If we ever support
34  * that... */
35 struct vfsmount *mount_fs(struct fs_type *fs, char *dev_name,
36                           struct dentry *mnt_pt, int flags,
37                           struct namespace *ns)
38 {
39         struct super_block *sb;
40         struct vfsmount *vmnt = kmalloc(sizeof(struct vfsmount), 0);
41
42         /* this first ref is stored in the NS tailq below */
43         kref_init(&vmnt->mnt_kref, fake_release, 1);
44         /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for now).
45          * fields related to the actual FS, like the sb and the mnt_root are set in
46          * the fs-specific get_sb() call. */
47         if (!mnt_pt) {
48                 vmnt->mnt_parent = NULL;
49                 vmnt->mnt_mountpoint = NULL;
50         } else { /* common case, but won't be tested til we try to mount another FS */
51                 mnt_pt->d_mount_point = TRUE;
52                 mnt_pt->d_mounted_fs = vmnt;
53                 kref_get(&vmnt->mnt_kref, 1); /* held by mnt_pt */
54                 vmnt->mnt_parent = mnt_pt->d_sb->s_mount;
55                 vmnt->mnt_mountpoint = mnt_pt;
56         }
57         TAILQ_INIT(&vmnt->mnt_child_mounts);
58         vmnt->mnt_flags = flags;
59         vmnt->mnt_devname = dev_name;
60         vmnt->mnt_namespace = ns;
61         kref_get(&ns->kref, 1); /* held by vmnt */
62
63         /* Read in / create the SB */
64         sb = fs->get_sb(fs, flags, dev_name, vmnt);
65         if (!sb)
66                 panic("You're FS sucks");
67
68         /* TODO: consider moving this into get_sb or something, in case the SB
69          * already exists (mounting again) (if we support that) */
70         spin_lock(&super_blocks_lock);
71         TAILQ_INSERT_TAIL(&super_blocks, sb, s_list); /* storing a ref here... */
72         spin_unlock(&super_blocks_lock);
73
74         /* Update holding NS */
75         spin_lock(&ns->lock);
76         TAILQ_INSERT_TAIL(&ns->vfsmounts, vmnt, mnt_list);
77         spin_unlock(&ns->lock);
78         /* note to self: so, right after this point, the NS points to the root FS
79          * mount (we return the mnt, which gets assigned), the root mnt has a dentry
80          * for /, backed by an inode, with a SB prepped and in memory. */
81         return vmnt;
82 }
83
84 void vfs_init(void)
85 {
86         struct fs_type *fs;
87
88         dentry_kcache = kmem_cache_create("dentry", sizeof(struct dentry),
89                                           __alignof__(struct dentry), 0, 0, 0);
90         inode_kcache = kmem_cache_create("inode", sizeof(struct inode),
91                                          __alignof__(struct inode), 0, 0, 0);
92         file_kcache = kmem_cache_create("file", sizeof(struct file),
93                                         __alignof__(struct file), 0, 0, 0);
94         /* default NS never dies, +1 to exist */
95         kref_init(&default_ns.kref, fake_release, 1);
96         spinlock_init(&default_ns.lock);
97         default_ns.root = NULL;
98         TAILQ_INIT(&default_ns.vfsmounts);
99
100         /* build list of all FS's in the system.  put yours here.  if this is ever
101          * done on the fly, we'll need to lock. */
102         TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
103         TAILQ_FOREACH(fs, &file_systems, list)
104                 printk("Supports the %s Filesystem\n", fs->name);
105
106         /* mounting KFS at the root (/), pending root= parameters */
107         // TODO: linux creates a temp root_fs, then mounts the real root onto that
108         default_ns.root = mount_fs(&kfs_fs_type, "RAM", NULL, 0, &default_ns);
109
110         printk("vfs_init() completed\n");
111 }
112
113 /* Builds / populates the qstr of a dentry based on its d_iname.  If there is an
114  * l_name, (long), it will use that instead of the inline name.  This will
115  * probably change a bit. */
116 void qstr_builder(struct dentry *dentry, char *l_name)
117 {
118         dentry->d_name.name = l_name ? l_name : dentry->d_iname;
119         // TODO: pending what we actually do in d_hash
120         //dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name); 
121         dentry->d_name.hash = 0xcafebabe;
122         dentry->d_name.len = strnlen(dentry->d_name.name, MAX_FILENAME_SZ);
123 }
124
125 /* Useful little helper - return the string ptr for a given file */
126 char *file_name(struct file *file)
127 {
128         return file->f_dentry->d_name.name;
129 }
130
131 /* Some issues with this, coupled closely to fs_lookup.  This assumes that
132  * negative dentries are not returned (might differ from linux) */
133 static struct dentry *do_lookup(struct dentry *parent, char *name)
134 {
135         struct dentry *dentry;
136         /* TODO: look up in the dentry cache first */
137         dentry = get_dentry(parent->d_sb, parent, name);
138         dentry = parent->d_inode->i_op->lookup(parent->d_inode, dentry, 0);
139         /* insert in dentry cache */
140         /* TODO: if the following are done by us, how do we know the i_ino?
141          * also need to handle inodes that are already read in!  For now, we're
142          * going to have the FS handle it in it's lookup() method: 
143          * - get a new inode
144          * - read in the inode
145          * - put in the inode cache */
146         return dentry;
147 }
148
149 /* Walk up one directory, being careful of mountpoints, namespaces, and the top
150  * of the FS */
151 static int climb_up(struct nameidata *nd)
152 {
153         // TODO
154         warn("Climbing up (../) in path lookup not supported yet!");
155         return 0;
156 }
157
158 /* Update ND such that it represents having followed dentry.  IAW the nd
159  * refcnting rules, we need to decref any references that were in there before
160  * they get clobbered. */
161 static int next_link(struct dentry *dentry, struct nameidata *nd)
162 {
163         assert(nd->dentry && nd->mnt);
164         /* update the dentry */
165         kref_get(&dentry->d_kref, 1);
166         kref_put(&nd->dentry->d_kref);
167         nd->dentry = dentry;
168         /* update the mount, if we need to */
169         if (dentry->d_sb->s_mount != nd->mnt) {
170                 kref_get(&dentry->d_sb->s_mount->mnt_kref, 1);
171                 kref_put(&nd->mnt->mnt_kref);
172                 nd->mnt = dentry->d_sb->s_mount;
173         }
174         return 0;
175 }
176
177 static int follow_mount(struct nameidata *nd)
178 {
179         /* Detect mount, follow, etc... (TODO!) */
180         return 0;
181 }
182
183 static int follow_symlink(struct nameidata *nd)
184 {
185         /* Detect symlink, LOOKUP_FOLLOW, follow it, etc... (TODO!) */
186         return 0;
187 }
188
189 /* Resolves the links in a basic path walk.  0 for success, -EWHATEVER
190  * otherwise.  The final lookup is returned via nd. */
191 static int link_path_walk(char *path, struct nameidata *nd)
192 {
193         struct dentry *link_dentry;
194         struct inode *link_inode, *nd_inode;
195         char *next_slash;
196         char *link = path;
197         int error;
198
199         /* skip all leading /'s */
200         while (*link == '/')
201                 link++;
202         /* if there's nothing left (null terminated), we're done */
203         if (*link == '\0')
204                 return 0;
205         /* TODO: deal with depth and LOOKUP_FOLLOW, important for symlinks */
206
207         /* iterate through each intermediate link of the path.  in general, nd
208          * tracks where we are in the path, as far as dentries go.  once we have the
209          * next dentry, we try to update nd based on that dentry.  link is the part
210          * of the path string that we are looking up */
211         while (1) {
212                 nd_inode = nd->dentry->d_inode;
213                 if ((error = check_perms(nd_inode, nd->intent)))
214                         return error;
215                 /* find the next link, break out if it is the end */
216                 next_slash = strchr(link, '/');
217                 if (!next_slash)
218                         break;
219                 else
220                         if (*(next_slash + 1) == '\0') {
221                                 /* trailing slash on the path meant the target is a dir */
222                                 nd->flags |= LOOKUP_DIRECTORY;
223                                 *next_slash = '\0';
224                                 break;
225                         }
226                 /* skip over any interim ./ */
227                 if (!strncmp("./", link, 2)) {
228                         link = next_slash + 1;
229                         continue;
230                 }
231                 /* Check for "../", walk up */
232                 if (!strncmp("../", link, 3)) {
233                         climb_up(nd);
234                         link = next_slash + 2;
235                         continue;
236                 }
237                 *next_slash = '\0';
238                 link_dentry = do_lookup(nd->dentry, link);
239                 *next_slash = '/';
240                 if (!link_dentry)
241                         return -ENOENT;
242                 /* make link_dentry the current step/answer */
243                 next_link(link_dentry, nd);
244                 kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt dentry */
245                 /* we could be on a mountpoint or a symlink - need to follow them */
246                 follow_mount(nd);
247                 follow_symlink(nd);
248                 if (!(nd->dentry->d_inode->i_type & FS_I_DIR))
249                         return -ENOTDIR;
250                 /* move through the path string to the next entry */
251                 link = next_slash + 1;
252         }
253         /* now, we're on the last link of the path */
254         /* if we just want the parent, leave now.  and save the name of the link
255          * (last) and the type (last_type).  Note that using the qstr in this manner
256          * only allows us to use the qstr as long as the path is a valid string. */
257         if (nd->flags & LOOKUP_PARENT) {
258                 /* consider using a slimmer qstr_builder for this */
259                 nd->last.name = link;
260                 nd->last.len = strlen(link);
261                 nd->last.hash = nd->dentry->d_op->d_hash(nd->dentry, &nd->last);
262                 return 0;
263         }
264         /* deal with some weird cases with . and .. (completely untested) */
265         if (!strcmp(".", link))
266                 return 0;
267         if (!strcmp("..", link))
268                 return climb_up(nd);
269         link_dentry = do_lookup(nd->dentry, link);
270         if (!link_dentry)
271                 return -ENOENT;
272         next_link(link_dentry, nd);
273         kref_put(&link_dentry->d_kref); /* do_lookup gave us a refcnt dentry */
274         follow_mount(nd);
275         follow_symlink(nd);
276         /* If we wanted a directory, but didn't get one, error out */
277         if ((nd->flags & LOOKUP_DIRECTORY) &&
278            !(nd->dentry->d_inode->i_type & FS_I_DIR))
279                 return -ENOTDIR;
280         return 0;
281 }
282
283 /* Given path, return the inode for the final dentry.  The ND should be
284  * initialized for the first call - specifically, we need the intent. 
285  * LOOKUP_PARENT and friends go in this flags var.
286  *
287  * TODO: this should consider the intent.  Note that creating requires writing
288  * to the last directory.
289  *
290  * Need to be careful too.  While the path has been copied-in to the kernel,
291  * it's still user input.  */
292 int path_lookup(char *path, int flags, struct nameidata *nd)
293 {
294         printd("Path lookup for %s\n", path);
295         /* we allow absolute lookups with no process context */
296         if (path[0] == '/') {                   /* absolute lookup */
297                 if (!current)
298                         nd->dentry = default_ns.root->mnt_root;
299                 else
300                         nd->dentry = current->fs_env.root;      
301         } else {                                                /* relative lookup */
302                 assert(current);
303                 /* Don't need to lock on the fs_env since we're reading one item */
304                 nd->dentry = current->fs_env.pwd;       
305         }
306         nd->mnt = nd->dentry->d_sb->s_mount;
307         /* Whenever references get put in the nd, incref them.  Whenever they are
308          * removed, decref them. */
309         kref_get(&nd->mnt->mnt_kref, 1);
310         kref_get(&nd->dentry->d_kref, 1);
311         nd->flags = flags;
312         nd->depth = 0;                                  /* used in symlink following */
313         return link_path_walk(path, nd);        
314 }
315
316 /* Call this after any use of path_lookup when you are done with its results,
317  * regardless of whether it succeeded or not.  It will free any references */
318 void path_release(struct nameidata *nd)
319 {
320         kref_put(&nd->dentry->d_kref);
321         kref_put(&nd->mnt->mnt_kref);
322 }
323
324 /* Superblock functions */
325
326 /* Helper to alloc and initialize a generic superblock.  This handles all the
327  * VFS related things, like lists.  Each FS will need to handle its own things
328  * in it's *_get_sb(), usually involving reading off the disc. */
329 struct super_block *get_sb(void)
330 {
331         struct super_block *sb = kmalloc(sizeof(struct super_block), 0);
332         sb->s_dirty = FALSE;
333         spinlock_init(&sb->s_lock);
334         kref_init(&sb->s_kref, fake_release, 1); /* for the ref passed out */
335         TAILQ_INIT(&sb->s_inodes);
336         TAILQ_INIT(&sb->s_dirty_i);
337         TAILQ_INIT(&sb->s_io_wb);
338         SLIST_INIT(&sb->s_anon_d);
339         TAILQ_INIT(&sb->s_files);
340         sb->s_fs_info = 0; // can override somewhere else
341         return sb;
342 }
343
344 /* Final stages of initializing a super block, including creating and linking
345  * the root dentry, root inode, vmnt, and sb.  The d_op and root_ino are
346  * FS-specific, but otherwise it's FS-independent, tricky, and not worth having
347  * around multiple times.
348  *
349  * Not the world's best interface, so it's subject to change, esp since we're
350  * passing (now 3) FS-specific things. */
351 void init_sb(struct super_block *sb, struct vfsmount *vmnt,
352              struct dentry_operations *d_op, unsigned long root_ino,
353              void *d_fs_info)
354 {
355         /* Build and init the first dentry / inode.  The dentry ref is stored later
356          * by vfsmount's mnt_root.  The parent is dealt with later. */
357         struct dentry *d_root = get_dentry(sb, 0,  "/");        /* probably right */
358
359         /* a lot of here on down is normally done in lookup() or create, since
360          * get_dentry isn't a fully usable dentry.  The two FS-specific settings are
361          * normally inherited from a parent within the same FS in get_dentry, but we
362          * have none here. */
363         d_root->d_op = d_op;
364         d_root->d_fs_info = d_fs_info;
365         struct inode *inode = get_inode(d_root);
366         if (!inode)
367                 panic("This FS sucks!");
368         d_root->d_inode = inode;                                /* storing the inode's kref here */
369         TAILQ_INSERT_TAIL(&inode->i_dentry, d_root, d_alias);   /* weak ref */
370         inode->i_ino = root_ino;
371         /* TODO: add the inode to the appropriate list (off i_list) */
372         /* TODO: do we need to read in the inode?  can we do this on demand? */
373         /* if this FS is already mounted, we'll need to do something different. */
374         sb->s_op->read_inode(inode);
375         /* Link the dentry and SB to the VFS mount */
376         vmnt->mnt_root = d_root;                                /* ref comes from get_dentry */
377         vmnt->mnt_sb = sb;
378         /* If there is no mount point, there is no parent.  This is true only for
379          * the rootfs. */
380         if (vmnt->mnt_mountpoint) {
381                 kref_get(&vmnt->mnt_mountpoint->d_kref, 1);     /* held by d_root */
382                 d_root->d_parent = vmnt->mnt_mountpoint;        /* dentry of the root */
383         }
384         /* insert the dentry into the dentry cache.  when's the earliest we can?
385          * when's the earliest we should?  what about concurrent accesses to the
386          * same dentry?  should be locking the dentry... */
387         dcache_put(d_root); // TODO: should set a d_flag too
388 }
389
390 /* Dentry Functions */
391
392 /* Helper to alloc and initialize a generic dentry.  The following needs to be
393  * set still: d_op (if no parent), d_fs_info (opt), d_inode, connect the inode
394  * to the dentry (and up the d_kref again), maybe dcache_put().  The inode
395  * stitching is done in get_inode() or lookup (depending on the FS).
396  *
397  * If the name is longer than the inline name, it will kmalloc a buffer, so
398  * don't worry about the storage for *name after calling this. */
399 struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
400                           char *name)
401 {
402         assert(name);
403         size_t name_len = strnlen(name, MAX_FILENAME_SZ);       /* not including \0! */
404         struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
405         char *l_name = 0;
406
407         //memset(dentry, 0, sizeof(struct dentry));
408         kref_init(&dentry->d_kref, dentry_release, 1);  /* this ref is returned */
409         spinlock_init(&dentry->d_lock);
410         TAILQ_INIT(&dentry->d_subdirs);
411         dentry->d_time = 0;
412         kref_get(&sb->s_kref, 1);
413         dentry->d_sb = sb;                                      /* storing a ref here... */
414         dentry->d_mount_point = FALSE;
415         dentry->d_mounted_fs = 0;
416         if (parent)     {                                               /* no parent for rootfs mount */
417                 kref_get(&parent->d_kref, 1);
418                 dentry->d_op = parent->d_op;    /* d_op set in init_sb for parentless */
419         }
420         dentry->d_parent = parent;
421         dentry->d_flags = 0;                            /* related to its dcache state */
422         dentry->d_fs_info = 0;
423         SLIST_INIT(&dentry->d_bucket);
424         if (name_len < DNAME_INLINE_LEN) {
425                 strncpy(dentry->d_iname, name, name_len);
426                 dentry->d_iname[name_len] = '\0';
427                 qstr_builder(dentry, 0);
428         } else {
429                 l_name = kmalloc(name_len + 1, 0);
430                 assert(l_name);
431                 strncpy(l_name, name, name_len);
432                 l_name[name_len] = '\0';
433                 qstr_builder(dentry, l_name);
434         }
435         /* Catch bugs by aggressively zeroing this (o/w we use old stuff) */
436         dentry->d_inode = 0;
437         return dentry;
438 }
439
440 /* Adds a dentry to the dcache. */
441 void dcache_put(struct dentry *dentry)
442 {
443 #if 0 /* pending a more thorough review of the dcache */
444         /* TODO: should set a d_flag too */
445         spin_lock(&dcache_lock);
446         SLIST_INSERT_HEAD(&dcache, dentry, d_hash);
447         spin_unlock(&dcache_lock);
448 #endif
449 }
450
451 /* Cleans up the dentry (after ref == 0).  We still may want it, and this is
452  * where we should add it to the dentry cache.  (TODO).  For now, we do nothing,
453  * since we don't have a dcache.
454  * 
455  * This has to handle two types of dentries: full ones (ones that had been used)
456  * and ones that had been just for lookups - hence the check for d_inode.
457  *
458  * Note that dentries pin and kref their inodes.  When all the dentries are
459  * gone, we want the inode to be released via kref.  The inode has internal /
460  * weak references to the dentry, which are not refcounted. */
461 void dentry_release(struct kref *kref)
462 {
463         struct dentry *dentry = container_of(kref, struct dentry, d_kref);
464         printd("Freeing dentry %08p: %s\n", dentry, dentry->d_name.name);
465         assert(dentry->d_op);   /* catch bugs.  a while back, some lacked d_op */
466         dentry->d_op->d_release(dentry);
467         /* TODO: check/test the boundaries on this. */
468         if (dentry->d_name.len > DNAME_INLINE_LEN)
469                 kfree((void*)dentry->d_name.name);
470         kref_put(&dentry->d_sb->s_kref);
471         if (dentry->d_mounted_fs)
472                 kref_put(&dentry->d_mounted_fs->mnt_kref);
473         if (dentry->d_inode) {
474                 TAILQ_REMOVE(&dentry->d_inode->i_dentry, dentry, d_alias);
475                 kref_put(&dentry->d_inode->i_kref);     /* but dentries kref inodes */
476         }
477         kmem_cache_free(dentry_kcache, dentry);
478 }
479
480 /* Inode Functions */
481
482 /* Creates and initializes a new inode.  Generic fields are filled in.
483  * FS-specific fields are filled in by the callout.  Specific fields are filled
484  * in in read_inode() based on what's on the disk for a given i_no, or when the
485  * inode is created (for new objects).
486  *
487  * i_no is set by the caller.  Note that this means this inode can be for an
488  * inode that is already on disk, or it can be used when creating. */
489 struct inode *get_inode(struct dentry *dentry)
490 {
491         struct super_block *sb = dentry->d_sb;
492         /* FS allocs and sets the following: i_op, i_fop, i_pm.pm_op, and any FS
493          * specific stuff. */
494         struct inode *inode = sb->s_op->alloc_inode(sb);
495         if (!inode) {
496                 set_errno(current_tf, ENOMEM);
497                 return 0;
498         }
499         TAILQ_INSERT_HEAD(&sb->s_inodes, inode, i_sb_list);             /* weak inode ref */
500         TAILQ_INIT(&inode->i_dentry);
501         TAILQ_INSERT_TAIL(&inode->i_dentry, dentry, d_alias);   /* weak dentry ref*/
502         /* one for the dentry->d_inode, one passed out */
503         kref_init(&inode->i_kref, inode_release, 2);
504         dentry->d_inode = inode;
505         inode->i_ino = 0;                                       /* set by caller later */
506         inode->i_blksize = sb->s_blocksize;
507         spinlock_init(&inode->i_lock);
508         inode->i_sb = sb;
509         inode->i_state = 0;                                     /* need real states, like I_NEW */
510         inode->dirtied_when = 0;
511         inode->i_flags = 0;
512         atomic_set(&inode->i_writecount, 0);
513         /* Set up the page_map structures.  Default is to use the embedded one.
514          * Might push some of this back into specific FSs.  For now, the FS tells us
515          * what pm_op they want via i_pm.pm_op, which we use when we point i_mapping
516          * to i_pm. */
517         inode->i_mapping = &inode->i_pm;
518         inode->i_mapping->pm_host = inode;
519         radix_tree_init(&inode->i_mapping->pm_tree);
520         spinlock_init(&inode->i_mapping->pm_tree_lock);
521         inode->i_mapping->pm_flags = 0;
522         return inode;
523 }
524
525 /* Helper op, used when creating regular files and directories.  Note we make a
526  * distinction between the mode and the file type (for now).  After calling
527  * this, call the FS specific version (create or mkdir), which will set the
528  * i_ino, the filetype, and do any other FS-specific stuff.  Also note that a
529  * lot of inode stuff was initialized in get_inode/alloc_inode.  The stuff here
530  * is pertinent to the specific creator (user), mode, and time.  Also note we
531  * don't pass this an nd, like Linux does... */
532 static struct inode *create_inode(struct dentry *dentry, int mode)
533 {
534         /* note it is the i_ino that uniquely identifies a file in the system.
535          * there's a diff between creating an inode (even for an in-use ino) and
536          * then filling it in, and vs creating a brand new one */
537         struct inode *inode = get_inode(dentry);
538         if (!inode)
539                 return 0;
540         inode->i_mode = mode;
541         inode->i_nlink = 1;
542         inode->i_size = 0;
543         inode->i_blocks = 0;
544         inode->i_atime.tv_sec = 0;              /* TODO: now! */
545         inode->i_ctime.tv_sec = 0;
546         inode->i_mtime.tv_sec = 0;
547         inode->i_atime.tv_nsec = 0;             /* are these supposed to be the extra ns? */
548         inode->i_ctime.tv_nsec = 0;
549         inode->i_mtime.tv_nsec = 0;
550         inode->i_bdev = inode->i_sb->s_bdev;
551         return inode;
552 }
553
554 /* Create a new disk inode in dir associated with dentry, with the given mode.
555  * called when creating a regular file.  dir is the directory/parent.  dentry is
556  * the dentry of the inode we are creating.  Note the lack of the nd... */
557 int create_file(struct inode *dir, struct dentry *dentry, int mode)
558 {
559         struct inode *new_file = create_inode(dentry, mode);
560         if (!new_file)
561                 return -1;
562         dir->i_op->create(dir, dentry, mode, 0);
563         /* when we have notions of users, do something here: */
564         new_file->i_uid = 0;
565         new_file->i_gid = 0;
566         kref_put(&new_file->i_kref);
567         return 0;
568 }
569
570 /* Creates a new inode for a directory associated with dentry in dir with the
571  * given mode. */
572 int create_dir(struct inode *dir, struct dentry *dentry, int mode)
573 {
574         struct inode *new_dir = create_inode(dentry, mode);
575         if (!new_dir)
576                 return -1;
577         dir->i_op->mkdir(dir, dentry, mode);
578         /* Make sure my parent tracks me.  This is okay, since no directory (dir)
579          * can have more than one dentry */
580         struct dentry *parent = TAILQ_FIRST(&dir->i_dentry);
581         assert(parent && parent == TAILQ_LAST(&dir->i_dentry, dentry_tailq));
582         /* parent dentry tracks dentry as a subdir, weak reference */
583         TAILQ_INSERT_TAIL(&parent->d_subdirs, dentry, d_subdirs_link);
584         kref_put(&new_dir->i_kref);
585         return 0;
586 }
587
588 /* Returns 0 if the given mode is acceptable for the inode, and an appropriate
589  * error code if not.  Needs to be writen, based on some sensible rules, and
590  * will also probably use 'current' */
591 int check_perms(struct inode *inode, int access_mode)
592 {
593         return 0;       /* anything goes! */
594 }
595
596 /* Called after all external refs are gone to clean up the inode.  Once this is
597  * called, all dentries pointing here are already done (one of them triggered
598  * this via kref_put(). */
599 void inode_release(struct kref *kref)
600 {
601         struct inode *inode = container_of(kref, struct inode, i_kref);
602         inode->i_sb->s_op->destroy_inode(inode);
603         kref_put(&inode->i_sb->s_kref);
604         assert(inode->i_mapping == &inode->i_pm);
605         kmem_cache_free(inode_kcache, inode);
606         /* TODO: (BDEV) */
607         // kref_put(inode->i_bdev->kref); /* assuming it's a bdev */
608 }
609
610 /* Looks up the inode for the given path, returning a refcnt'd inode (or 0).
611  * Permissions are applied for the current user, which is quite a broken system
612  * at the moment.  Flags are lookup flags. */
613 struct inode *lookup_inode(char *path, int flags)
614 {
615         struct inode *inode;
616         struct nameidata nd_r = {0}, *nd = &nd_r;
617         int error;
618
619         error = path_lookup(path, flags, nd);
620         if (error) {
621                 path_release(nd);
622                 set_errno(current_tf, -error);
623                 return 0;
624         }
625         inode = nd->dentry->d_inode;
626         kref_get(&inode->i_kref, 1);
627         path_release(nd);
628         return inode;
629 }
630
631 /* Fills in kstat with the stat information for the inode */
632 void stat_inode(struct inode *inode, struct kstat *kstat)
633 {
634         kstat->st_dev = inode->i_sb->s_dev;
635         kstat->st_ino = inode->i_ino;
636         kstat->st_mode = inode->i_mode;
637         kstat->st_nlink = inode->i_nlink;
638         kstat->st_uid = inode->i_uid;
639         kstat->st_gid = inode->i_gid;
640         kstat->st_rdev = inode->i_rdev;
641         kstat->st_size = inode->i_size;
642         kstat->st_blksize = inode->i_blksize;
643         kstat->st_blocks = inode->i_blocks;
644         kstat->st_atime = inode->i_atime;
645         kstat->st_mtime = inode->i_mtime;
646         kstat->st_ctime = inode->i_ctime;
647 }
648
649 /* File functions */
650
651 /* Read count bytes from the file into buf, starting at *offset, which is increased
652  * accordingly, returning the number of bytes transfered.  Most filesystems will
653  * use this function for their f_op->read.  Note, this uses the page cache.
654  * Want to try out page remapping later on... */
655 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
656                           off_t *offset)
657 {
658         struct page *page;
659         int error;
660         off_t page_off;
661         unsigned long first_idx, last_idx;
662         size_t copy_amt;
663         char *buf_end;
664
665         /* Consider pushing some error checking higher in the VFS */
666         if (!count)
667                 return 0;
668         if (*offset == file->f_dentry->d_inode->i_size)
669                 return 0; /* EOF */
670         /* Make sure we don't go past the end of the file */
671         if (*offset + count > file->f_dentry->d_inode->i_size) {
672                 count = file->f_dentry->d_inode->i_size - *offset;
673         }
674         page_off = *offset & (PGSIZE - 1);
675         first_idx = *offset >> PGSHIFT;
676         last_idx = (*offset + count) >> PGSHIFT;
677         buf_end = buf + count;
678         /* For each file page, make sure it's in the page cache, then copy it out.
679          * TODO: will probably need to consider concurrently truncated files here.*/
680         for (int i = first_idx; i <= last_idx; i++) {
681                 error = file_load_page(file, i, &page);
682                 assert(!error); /* TODO: handle ENOMEM and friends */
683                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
684                 /* TODO: (UMEM) think about this.  if it's a user buffer, we're relying
685                  * on current to detect whose it is (which should work for async calls).
686                  * Also, need to propagate errors properly...  Probably should do a
687                  * user_mem_check, then free, and also to make a distinction between
688                  * when the kernel wants a read/write (TODO: KFOP) */
689                 if (current) {
690                         memcpy_to_user(current, buf, page2kva(page) + page_off, copy_amt);
691                 } else {
692                         memcpy(buf, page2kva(page) + page_off, copy_amt);
693                 }
694                 buf += copy_amt;
695                 page_off = 0;
696                 page_decref(page);      /* it's still in the cache, we just don't need it */
697         }
698         assert(buf == buf_end);
699         *offset += count;
700         return count;
701 }
702
703 /* Write count bytes from buf to the file, starting at *offset, which is increased
704  * accordingly, returning the number of bytes transfered.  Most filesystems will
705  * use this function for their f_op->write.  Note, this uses the page cache.
706  * Changes don't get flushed to disc til there is an fsync, page cache eviction,
707  * or other means of trying to writeback the pages. */
708 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
709                            off_t *offset)
710 {
711         struct page *page;
712         int error;
713         off_t page_off;
714         unsigned long first_idx, last_idx;
715         size_t copy_amt;
716         const char *buf_end;
717
718         /* Consider pushing some error checking higher in the VFS */
719         if (!count)
720                 return 0;
721         /* Extend the file.  Should put more checks in here, and maybe do this per
722          * page in the for loop below. */
723         if (*offset + count > file->f_dentry->d_inode->i_size)
724                 file->f_dentry->d_inode->i_size = *offset + count;
725         page_off = *offset & (PGSIZE - 1);
726         first_idx = *offset >> PGSHIFT;
727         last_idx = (*offset + count) >> PGSHIFT;
728         buf_end = buf + count;
729         /* For each file page, make sure it's in the page cache, then write it.*/
730         for (int i = first_idx; i <= last_idx; i++) {
731                 error = file_load_page(file, i, &page);
732                 assert(!error); /* TODO: handle ENOMEM and friends */
733                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
734                 /* TODO: (UMEM) (KFOP) think about this.  if it's a user buffer, we're
735                  * relying on current to detect whose it is (which should work for async
736                  * calls). */
737                 if (current) {
738                         memcpy_from_user(current, page2kva(page) + page_off, buf, copy_amt);
739                 } else {
740                         memcpy(page2kva(page) + page_off, buf, copy_amt);
741                 }
742                 buf += copy_amt;
743                 page_off = 0;
744                 page_decref(page);      /* it's still in the cache, we just don't need it */
745         }
746         assert(buf == buf_end);
747         *offset += count;
748         return count;
749 }
750
751 /* Opens the file, using permissions from current for lack of a better option.
752  * It will attempt to create the file if it does not exist and O_CREAT is
753  * specified.  This will return 0 on failure, and set errno.  TODO: There's some
754  * stuff that we don't do, esp related file truncating/creation.  flags are for
755  * opening, the mode is for creating.  The flags related to how to create
756  * (O_CREAT_FLAGS) are handled in this function, not in create_file() */
757 struct file *do_file_open(char *path, int flags, int mode)
758 {
759         struct file *file = 0;
760         struct dentry *file_d;
761         struct inode *parent_i;
762         struct nameidata nd_r = {0}, *nd = &nd_r;
763         int lookup_flags = LOOKUP_PARENT;
764         int error;
765
766         /* lookup the parent */
767         nd->intent = flags & (O_RDONLY|O_WRONLY|O_RDWR);
768         if (flags & O_CREAT)
769                 lookup_flags |= LOOKUP_CREATE;
770         error = path_lookup(path, lookup_flags, nd);
771         if (error) {
772                 path_release(nd);
773                 set_errno(current_tf, -error);
774                 return 0;
775         }
776         /* see if the target is there, handle accordingly */
777         file_d = do_lookup(nd->dentry, nd->last.name); 
778         if (!file_d) {
779                 if (!(flags & O_CREAT)) {
780                         path_release(nd);
781                         set_errno(current_tf, ENOENT);
782                         return 0;
783                 }
784                 /* Create the inode/file.  get a fresh dentry too: */
785                 file_d = get_dentry(nd->dentry->d_sb, nd->dentry, nd->last.name);
786                 parent_i = nd->dentry->d_inode;
787                 /* TODO: mode should be & ~umask.  Note that mode technically should
788                  * only apply to future opens, though we apply it immediately. */
789                 if (create_file(parent_i, file_d, mode)) {
790                         kref_put(&file_d->d_kref);
791                         path_release(nd);
792                         return 0;
793                 }
794                 dcache_put(file_d);
795         } else {        /* the file exists */
796                 if ((flags & O_CREAT) && (flags & O_EXCL)) {
797                         /* wanted to create, not open, bail out */
798                         kref_put(&file_d->d_kref);
799                         path_release(nd);
800                         set_errno(current_tf, EACCES);
801                         return 0;
802                 }
803         }
804         /* now open the file (freshly created or if it already existed).  At this
805          * point, file_d is a refcnt'd dentry, regardless of which branch we took.*/
806         if (flags & O_TRUNC)
807                 warn("File truncation not supported yet.");
808         file = dentry_open(file_d, flags);              /* sets errno */
809         if (!file) {
810                 kref_put(&file_d->d_kref);
811                 path_release(nd);
812                 return 0;
813         }
814         kref_put(&file_d->d_kref);
815         path_release(nd);
816         return file;
817 }
818
819 /* Checks to see if path can be accessed via mode.  Doesn't do much now.  This
820  * is an example of decent error propagation from the lower levels via int
821  * retvals. */
822 int do_file_access(char *path, int mode)
823 {
824         struct nameidata nd_r = {0}, *nd = &nd_r;
825         int retval = 0;
826         /* TODO: when we care about access, do stuff here.  Need to be a bit careful
827          * about how intent works with access (F_OK, R_OK, etc) and open (O_RDONLY)
828          */
829         nd->intent = mode;
830         retval = path_lookup(path, 0, nd);
831         path_release(nd);       
832         return retval;
833 }
834
835 /* Opens and returns the file specified by dentry */
836 struct file *dentry_open(struct dentry *dentry, int flags)
837 {
838         struct inode *inode;
839         int desired_mode;
840         struct file *file = kmem_cache_alloc(file_kcache, 0);
841         if (!file) {
842                 set_errno(current_tf, ENOMEM);
843                 return 0;
844         }
845         inode = dentry->d_inode;
846         /* Do the mode first, since we can still error out.  f_mode stores how the
847          * OS file is open, which can be more restrictive than the i_mode */
848         switch (flags & (O_RDONLY | O_WRONLY | O_RDWR)) {
849                 case O_RDONLY:
850                         desired_mode = S_IRUSR;
851                         break;
852                 case O_WRONLY:
853                         desired_mode = S_IWUSR;
854                         break;
855                 case O_RDWR:
856                         desired_mode = S_IRUSR | S_IWUSR;
857                         break;
858                 default:
859                         goto error_access;
860         }
861         if (check_perms(inode, desired_mode))
862                 goto error_access;
863         file->f_mode = desired_mode;
864         /* one for the ref passed out, and *none* for the sb TAILQ */
865         kref_init(&file->f_kref, file_release, 1);
866         /* Add to the list of all files of this SB */
867         TAILQ_INSERT_TAIL(&inode->i_sb->s_files, file, f_list);
868         kref_get(&dentry->d_kref, 1);
869         file->f_dentry = dentry;
870         kref_get(&inode->i_sb->s_mount->mnt_kref, 1);
871         file->f_vfsmnt = inode->i_sb->s_mount;          /* saving a ref to the vmnt...*/
872         file->f_op = inode->i_fop;
873         /* Don't store open mode or creation flags */
874         file->f_flags = flags & ~(O_ACCMODE | O_CREAT_FLAGS);
875         file->f_pos = 0;
876         file->f_uid = inode->i_uid;
877         file->f_gid = inode->i_gid;
878         file->f_error = 0;
879 //      struct event_poll_tailq         f_ep_links;
880         spinlock_init(&file->f_ep_lock);
881         file->f_fs_info = 0;                                            /* prob overriden by the fs */
882         file->f_mapping = inode->i_mapping;
883         file->f_op->open(inode, file);
884         return file;
885 error_access:
886         set_errno(current_tf, EACCES);
887         kmem_cache_free(file_kcache, file);
888         return 0;
889 }
890
891 /* Closes a file, fsync, whatever else is necessary.  Called when the kref hits
892  * 0.  Note that the file is not refcounted on the s_files list, nor is the
893  * f_mapping refcounted (it is pinned by the i_mapping). */
894 void file_release(struct kref *kref)
895 {
896         struct file *file = container_of(kref, struct file, f_kref);
897
898         struct super_block *sb = file->f_dentry->d_sb;
899         spin_lock(&sb->s_lock);
900         TAILQ_REMOVE(&sb->s_files, file, f_list);
901         spin_unlock(&sb->s_lock);
902
903         /* TODO: fsync (BLK).  also, we may want to parallelize the blocking that
904          * could happen in here (spawn kernel threads)... */
905         file->f_op->release(file->f_dentry->d_inode, file);
906         /* Clean up the other refs we hold */
907         kref_put(&file->f_dentry->d_kref);
908         kref_put(&file->f_vfsmnt->mnt_kref);
909         kmem_cache_free(file_kcache, file);
910 }
911
912 /* Page cache functions */
913
914 /* Looks up the index'th page in the page map, returning an incref'd reference,
915  * or 0 if it was not in the map. */
916 struct page *pm_find_page(struct page_map *pm, unsigned long index)
917 {
918         spin_lock(&pm->pm_tree_lock);
919         struct page *page = (struct page*)radix_lookup(&pm->pm_tree, index);
920         if (page)
921                 page_incref(page);
922         spin_unlock(&pm->pm_tree_lock);
923         return page;
924 }
925
926 /* Attempts to insert the page into the page_map, returns 0 for success, or an
927  * error code if there was one already (EEXIST) or we ran out of memory
928  * (ENOMEM).  On success, this will preemptively lock the page, and will also
929  * store a reference to the page in the pm. */
930 int pm_insert_page(struct page_map *pm, unsigned long index, struct page *page)
931 {
932         int error = 0;
933         spin_lock(&pm->pm_tree_lock);
934         error = radix_insert(&pm->pm_tree, index, page);
935         if (!error) {
936                 page_incref(page);
937                 page->pg_flags |= PG_LOCKED;
938                 page->pg_mapping = pm;
939                 page->pg_index = index;
940                 pm->pm_num_pages++;
941         }
942         spin_unlock(&pm->pm_tree_lock);
943         return error;
944 }
945
946 /* Removes the page, including its reference.  Not sure yet what interface we
947  * want to this (pm and index or page), and this has never been used.  There are
948  * also issues with when you want to call this, since a page in the cache may be
949  * mmap'd by someone else. */
950 int pm_remove_page(struct page_map *pm, struct page *page)
951 {
952         void *retval;
953         warn("pm_remove_page() hasn't been thought through or tested.");
954         spin_lock(&pm->pm_tree_lock);
955         retval = radix_delete(&pm->pm_tree, page->pg_index);
956         spin_unlock(&pm->pm_tree_lock);
957         assert(retval == (void*)page);
958         page_decref(page);
959         page->pg_mapping = 0;
960         page->pg_index = 0;
961         pm->pm_num_pages--;
962         return 0;
963 }
964
965 /* Makes sure the index'th page from file is loaded in the page cache and
966  * returns its location via **pp.  Note this will give you a refcnt'd reference.
967  * This may block! TODO: (BLK) */
968 int file_load_page(struct file *file, unsigned long index, struct page **pp)
969 {
970         struct page_map *pm = file->f_mapping;
971         struct page *page;
972         int error;
973         bool page_was_mapped = TRUE;
974
975         page = pm_find_page(pm, index);
976         while (!page) {
977                 /* kpage_alloc, since we want the page to persist after the proc
978                  * dies (can be used by others, until the inode shuts down). */
979                 if (kpage_alloc(&page))
980                         return -ENOMEM;
981                 /* might want to initialize other things, perhaps in page_alloc() */
982                 page->pg_flags = 0;
983                 error = pm_insert_page(pm, index, page);
984                 switch (error) {
985                         case 0:
986                                 page_was_mapped = FALSE;
987                                 break;
988                         case -EEXIST:
989                                 /* the page was mapped already (benign race), just get rid of
990                                  * our page and try again (the only case that uses the while) */
991                                 page_decref(page);
992                                 page = pm_find_page(pm, index);
993                                 break;
994                         default:
995                                 /* something is wrong, bail out! */
996                                 page_decref(page);
997                                 return error;
998                 }
999         }
1000         *pp = page;
1001         /* if the page was in the map, we need to do some checks, and might have to
1002          * read in the page later.  If the page was freshly inserted to the pm by
1003          * us, we skip this since we are the one doing the readpage(). */
1004         if (page_was_mapped) {
1005                 /* is it already here and up to date?  if so, we're done */
1006                 if (page->pg_flags & PG_UPTODATE)
1007                         return 0;
1008                 /* if not, try to lock the page (could BLOCK) */
1009                 lock_page(page);
1010                 /* we got it, is our page still in the cache?  check the mapping.  if
1011                  * not, start over, perhaps with EAGAIN and outside support */
1012                 if (!page->pg_mapping)
1013                         panic("Page is not in the mapping!  Haven't implemented this!");
1014                 /* double check, are we up to date?  if so, we're done */
1015                 if (page->pg_flags & PG_UPTODATE) {
1016                         unlock_page(page);
1017                         return 0;
1018                 }
1019         }
1020         /* if we're here, the page is locked by us, and it needs to be read in */
1021         assert(page->pg_mapping == pm);
1022         error = pm->pm_op->readpage(file, page);
1023         assert(!error);
1024         /* Try to sleep on the IO.  The page will be unlocked when the IO is done */
1025         lock_page(page);
1026         unlock_page(page);
1027         assert(page->pg_flags & PG_UPTODATE);
1028         return 0;
1029 }
1030
1031 /* Process-related File management functions */
1032
1033 /* Given any FD, get the appropriate file, 0 o/w */
1034 struct file *get_file_from_fd(struct files_struct *open_files, int file_desc)
1035 {
1036         struct file *retval = 0;
1037         if (file_desc < 0)
1038                 return 0;
1039         spin_lock(&open_files->lock);
1040         if (file_desc < open_files->max_fdset) {
1041                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
1042                         /* while max_files and max_fdset might not line up, we should never
1043                          * have a valid fdset higher than files */
1044                         assert(file_desc < open_files->max_files);
1045                         retval = open_files->fd[file_desc];
1046                         assert(retval);
1047                         kref_get(&retval->f_kref, 1);
1048                 }
1049         }
1050         spin_unlock(&open_files->lock);
1051         return retval;
1052 }
1053
1054 /* Remove FD from the open files, if it was there, and return f.  Currently,
1055  * this decref's f, so the return value is not consumable or even usable.  This
1056  * hasn't been thought through yet. */
1057 struct file *put_file_from_fd(struct files_struct *open_files, int file_desc)
1058 {
1059         struct file *file = 0;
1060         if (file_desc < 0)
1061                 return 0;
1062         spin_lock(&open_files->lock);
1063         if (file_desc < open_files->max_fdset) {
1064                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
1065                         /* while max_files and max_fdset might not line up, we should never
1066                          * have a valid fdset higher than files */
1067                         assert(file_desc < open_files->max_files);
1068                         file = open_files->fd[file_desc];
1069                         open_files->fd[file_desc] = 0;
1070                         CLR_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc);
1071                         /* the if case is due to files (stdin) without a *file yet */
1072                         if (file)
1073                                 kref_put(&file->f_kref);
1074                 }
1075         }
1076         spin_unlock(&open_files->lock);
1077         return file;
1078 }
1079
1080 /* Inserts the file in the files_struct, returning the corresponding new file
1081  * descriptor, or an error code.  We currently grab the first open FD. */
1082 int insert_file(struct files_struct *open_files, struct file *file)
1083 {
1084         int slot = -1;
1085         spin_lock(&open_files->lock);
1086         for (int i = 0; i < open_files->max_fdset; i++) {
1087                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, i))
1088                         continue;
1089                 slot = i;
1090                 SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
1091                 assert(slot < open_files->max_files && open_files->fd[slot] == 0);
1092                 kref_get(&file->f_kref, 1);
1093                 open_files->fd[slot] = file;
1094                 if (slot >= open_files->next_fd)
1095                         open_files->next_fd = slot + 1;
1096                 break;
1097         }
1098         if (slot == -1) /* should expand the FD array and fd_set */
1099                 warn("Ran out of file descriptors, deal with me!");
1100         spin_unlock(&open_files->lock);
1101         return slot;
1102 }
1103
1104 /* Closes all open files.  Mostly just a "put" for all files.  If cloexec, it
1105  * will only close files that are opened with O_CLOEXEC. */
1106 void close_all_files(struct files_struct *open_files, bool cloexec)
1107 {
1108         struct file *file;
1109         spin_lock(&open_files->lock);
1110         for (int i = 0; i < open_files->max_fdset; i++) {
1111                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, i)) {
1112                         /* while max_files and max_fdset might not line up, we should never
1113                          * have a valid fdset higher than files */
1114                         assert(i < open_files->max_files);
1115                         file = open_files->fd[i];
1116                         if (cloexec && !(file->f_flags | O_CLOEXEC))
1117                                 continue;
1118                         open_files->fd[i] = 0;
1119                         /* the if case is due to files (stdin) without a *file yet */
1120                         if (file)
1121                                 kref_put(&file->f_kref);
1122                         CLR_BITMASK_BIT(open_files->open_fds->fds_bits, i);
1123                 }
1124         }
1125         spin_unlock(&open_files->lock);
1126 }
1127
1128 /* Inserts all of the files from src into dst, used by sys_fork(). */
1129 void clone_files(struct files_struct *src, struct files_struct *dst)
1130 {
1131         struct file *file;
1132         spin_lock(&src->lock);
1133         spin_lock(&dst->lock);
1134         for (int i = 0; i < src->max_fdset; i++) {
1135                 if (GET_BITMASK_BIT(src->open_fds->fds_bits, i)) {
1136                         /* while max_files and max_fdset might not line up, we should never
1137                          * have a valid fdset higher than files */
1138                         assert(i < src->max_files);
1139                         file = src->fd[i];
1140                         SET_BITMASK_BIT(dst->open_fds->fds_bits, i);
1141                         assert(i < dst->max_files && dst->fd[i] == 0);
1142                         dst->fd[i] = file;
1143                         /* the if case is due to files (stdin) without a *file yet */
1144                         if (file)
1145                                 kref_get(&file->f_kref, 1);
1146                 }
1147         }
1148         spin_unlock(&dst->lock);
1149         spin_unlock(&src->lock);
1150 }