kfs_run and friends use the FS and s/kfs/bin/
[akaros.git] / kern / src / vfs.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * Default implementations and global values for the VFS. */
6
7 #include <vfs.h> // keep this first
8 #include <sys/queue.h>
9 #include <assert.h>
10 #include <stdio.h>
11 #include <atomic.h>
12 #include <slab.h>
13 #include <kmalloc.h>
14 #include <kfs.h>
15 #include <pmap.h>
16
17 struct sb_tailq super_blocks = TAILQ_HEAD_INITIALIZER(super_blocks);
18 spinlock_t super_blocks_lock = SPINLOCK_INITIALIZER;
19 struct fs_type_tailq file_systems = TAILQ_HEAD_INITIALIZER(file_systems);
20 struct namespace default_ns;
21 // TODO: temp dcache, holds all dentries ever for now
22 struct dentry_slist dcache = SLIST_HEAD_INITIALIZER(dcache);
23 spinlock_t dcache_lock = SPINLOCK_INITIALIZER;
24
25 struct kmem_cache *dentry_kcache; // not to be confused with the dcache
26 struct kmem_cache *inode_kcache;
27 struct kmem_cache *file_kcache;
28
29 /* Mounts fs from dev_name at mnt_pt in namespace ns.  There could be no mnt_pt,
30  * such as with the root of (the default) namespace.  Not sure how it would work
31  * with multiple namespaces on the same FS yet.  Note if you mount the same FS
32  * multiple times, you only have one FS still (and one SB).  If we ever support
33  * that... */
34 struct vfsmount *mount_fs(struct fs_type *fs, char *dev_name,
35                           struct dentry *mnt_pt, int flags,
36                           struct namespace *ns)
37 {
38         struct super_block *sb;
39         struct vfsmount *vmnt = kmalloc(sizeof(struct vfsmount), 0);
40
41         /* Build the vfsmount, if there is no mnt_pt, mnt is the root vfsmount (for now).
42          * fields related to the actual FS, like the sb and the mnt_root are set in
43          * the fs-specific get_sb() call. */
44         if (!mnt_pt) {
45                 vmnt->mnt_parent = NULL;
46                 vmnt->mnt_mountpoint = NULL;
47         } else { /* common case, but won't be tested til we try to mount another FS */
48                 mnt_pt->d_mount_point = TRUE;
49                 mnt_pt->d_mounted_fs = vmnt;
50                 atomic_inc(&vmnt->mnt_refcnt); /* held by mnt_pt */
51                 vmnt->mnt_parent = mnt_pt->d_sb->s_mount;
52                 vmnt->mnt_mountpoint = mnt_pt;
53         }
54         TAILQ_INIT(&vmnt->mnt_child_mounts);
55         vmnt->mnt_flags = flags;
56         vmnt->mnt_devname = dev_name;
57         vmnt->mnt_namespace = ns;
58         atomic_inc(&ns->refcnt); /* held by vmnt */
59         atomic_set(&vmnt->mnt_refcnt, 1); /* for the ref in the NS tailq below */
60
61         /* Read in / create the SB */
62         sb = fs->get_sb(fs, flags, dev_name, vmnt);
63         if (!sb)
64                 panic("You're FS sucks");
65
66         /* TODO: consider moving this into get_sb or something, in case the SB
67          * already exists (mounting again) (if we support that) */
68         spin_lock(&super_blocks_lock);
69         TAILQ_INSERT_TAIL(&super_blocks, sb, s_list); /* storing a ref here... */
70         spin_unlock(&super_blocks_lock);
71
72         /* Update holding NS */
73         spin_lock(&ns->lock);
74         TAILQ_INSERT_TAIL(&ns->vfsmounts, vmnt, mnt_list);
75         spin_unlock(&ns->lock);
76         /* note to self: so, right after this point, the NS points to the root FS
77          * mount (we return the mnt, which gets assigned), the root mnt has a dentry
78          * for /, backed by an inode, with a SB prepped and in memory. */
79         return vmnt;
80 }
81
82 void vfs_init(void)
83 {
84         struct fs_type *fs;
85
86         dentry_kcache = kmem_cache_create("dentry", sizeof(struct dentry),
87                                           __alignof__(struct dentry), 0, 0, 0);
88         inode_kcache = kmem_cache_create("inode", sizeof(struct inode),
89                                          __alignof__(struct inode), 0, 0, 0);
90         file_kcache = kmem_cache_create("file", sizeof(struct file),
91                                         __alignof__(struct file), 0, 0, 0);
92
93         atomic_set(&default_ns.refcnt, 1); // default NS never dies, +1 to exist
94         spinlock_init(&default_ns.lock);
95         default_ns.root = NULL;
96         TAILQ_INIT(&default_ns.vfsmounts);
97
98         /* build list of all FS's in the system.  put yours here.  if this is ever
99          * done on the fly, we'll need to lock. */
100         TAILQ_INSERT_TAIL(&file_systems, &kfs_fs_type, list);
101         TAILQ_FOREACH(fs, &file_systems, list)
102                 printk("Supports the %s Filesystem\n", fs->name);
103
104         /* mounting KFS at the root (/), pending root= parameters */
105         // TODO: linux creates a temp root_fs, then mounts the real root onto that
106         default_ns.root = mount_fs(&kfs_fs_type, "RAM", NULL, 0, &default_ns);
107
108         printk("vfs_init() completed\n");
109         /*
110         put structs and friends in struct proc, and init in proc init
111         */
112         // LOOKUP: follow_mount, follow_link, etc
113         // pains in the ass for having .. or . in the middle of the path
114 }
115
116 /* Builds / populates the qstr of a dentry based on its d_iname.  If there is an
117  * l_name, (long), it will use that instead of the inline name.  This will
118  * probably change a bit. */
119 void qstr_builder(struct dentry *dentry, char *l_name)
120 {
121         dentry->d_name.name = l_name ? l_name : dentry->d_iname;
122         // TODO: pending what we actually do in d_hash
123         //dentry->d_name.hash = dentry->d_op->d_hash(dentry, &dentry->d_name); 
124         dentry->d_name.hash = 0xcafebabe;
125         dentry->d_name.len = strnlen(dentry->d_name.name, MAX_FILENAME_SZ);
126 }
127
128 /* Useful little helper - return the string ptr for a given file */
129 char *file_name(struct file *file)
130 {
131         return (char*)TAILQ_FIRST(&file->f_inode->i_dentry)->d_name.name;
132 }
133
134 /* Some issues with this, coupled closely to fs_lookup.  This assumes that
135  * negative dentries are not returned (might differ from linux) */
136 static struct dentry *do_lookup(struct dentry *parent, char *name)
137 {
138         struct dentry *dentry;
139         /* TODO: look up in the dentry cache first */
140         dentry = get_dentry(parent->d_sb, parent, name);
141         dentry = parent->d_inode->i_op->lookup(parent->d_inode, dentry, 0);
142         /* insert in dentry cache */
143         /* TODO: if the following are done by us, how do we know the i_ino?
144          * also need to handle inodes that are already read in!  For now, we're
145          * going to have the FS handle it in it's lookup() method: 
146          * - get a new inode
147          * - read in the inode
148          * - put in the inode cache */
149         return dentry;
150 }
151
152 /* Walk up one directory, being careful of mountpoints, namespaces, and the top
153  * of the FS */
154 static int climb_up(struct nameidata *nd)
155 {
156         // TODO
157         warn("Climbing up (../) in path lookup not supported yet!");
158         return 0;
159 }
160
161 /* Update ND such that it represents having followed dentry.  IAW the nd
162  * refcnting rules, we need to decref any references that were in there before
163  * they get clobbered. */
164 static int next_link(struct dentry *dentry, struct nameidata *nd)
165 {
166         assert(nd->dentry && nd->mnt);
167         atomic_dec(&nd->dentry->d_refcnt);
168         atomic_dec(&nd->mnt->mnt_refcnt);
169         nd->dentry = dentry;
170         nd->mnt = dentry->d_sb->s_mount;
171         return 0;
172 }
173
174 static int follow_mount(struct nameidata *nd)
175 {
176         /* Detect mount, follow, etc... (TODO!) */
177         return 0;
178 }
179
180 static int follow_symlink(struct nameidata *nd)
181 {
182         /* Detect symlink, LOOKUP_FOLLOW, follow it, etc... (TODO!) */
183         return 0;
184 }
185
186 /* Resolves the links in a basic path walk.  0 for success, -EWHATEVER
187  * otherwise.  The final lookup is returned via nd. */
188 static int link_path_walk(char *path, struct nameidata *nd)
189 {
190         struct dentry *link_dentry;
191         struct inode *link_inode, *nd_inode;
192         char *next_slash;
193         char *link = path;
194         int error;
195
196         /* skip all leading /'s */
197         while (*link == '/')
198                 link++;
199         /* if there's nothing left (null terminated), we're done */
200         if (*link == '\0')
201                 return 0;
202         /* TODO: deal with depth and LOOKUP_FOLLOW, important for symlinks */
203
204         /* iterate through each intermediate link of the path.  in general, nd
205          * tracks where we are in the path, as far as dentries go.  once we have the
206          * next dentry, we try to update nd based on that dentry.  link is the part
207          * of the path string that we are looking up */
208         while (1) {
209                 nd_inode = nd->dentry->d_inode;
210                 if ((error = check_perms(nd_inode, nd->intent)))
211                         return error;
212                 /* find the next link, break out if it is the end */
213                 next_slash = strchr(link, '/');
214                 if (!next_slash)
215                         break;
216                 else
217                         if (*(next_slash + 1) == '\0') {
218                                 /* trailing slash on the path meant the target is a dir */
219                                 nd->flags |= LOOKUP_DIRECTORY;
220                                 *next_slash = '\0';
221                                 break;
222                         }
223                 /* skip over any interim ./ */
224                 if (!strncmp("./", link, 2)) {
225                         link = next_slash + 1;
226                         continue;
227                 }
228                 /* Check for "../", walk up */
229                 if (!strncmp("../", link, 3)) {
230                         climb_up(nd);
231                         link = next_slash + 2;
232                         continue;
233                 }
234                 *next_slash = '\0';
235                 link_dentry = do_lookup(nd->dentry, link);
236                 *next_slash = '/';
237                 if (!link_dentry)
238                         return -ENOENT;
239                 /* make link_dentry the current step/answer */
240                 next_link(link_dentry, nd);
241                 /* we could be on a mountpoint or a symlink - need to follow them */
242                 follow_mount(nd);
243                 follow_symlink(nd);
244                 if (!(nd->dentry->d_inode->i_type & FS_I_DIR))
245                         return -ENOTDIR;
246                 /* move through the path string to the next entry */
247                 link = next_slash + 1;
248         }
249         /* now, we're on the last link of the path */
250         /* if we just want the parent, leave now.  linux does some stuff with saving
251          * the name of the link (last) and the type (last_type), which we'll do once
252          * i see the need for it. */
253         if (nd->flags & LOOKUP_PARENT)
254                 return 0;
255         /* deal with some weird cases with . and .. (completely untested) */
256         if (!strcmp(".", link))
257                 return 0;
258         if (!strcmp("..", link))
259                 return climb_up(nd);
260         link_dentry = do_lookup(nd->dentry, link);
261         if (!link_dentry)
262                 return -ENOENT;
263         next_link(link_dentry, nd);
264         follow_mount(nd);
265         follow_symlink(nd);
266         /* If we wanted a directory, but didn't get one, error out */
267         if ((nd->flags & LOOKUP_DIRECTORY) &&
268            !(nd->dentry->d_inode->i_type & FS_I_DIR))
269                 return -ENOTDIR;
270         return 0;
271 }
272
273 /* Given path, return the inode for the final dentry.  The ND should be
274  * initialized for the first call - specifically, we need the intent and
275  * potentially a LOOKUP_PARENT.
276  *
277  * Need to be careful too.  While the path has been copied-in to the kernel,
278  * it's still user input.  */
279 int path_lookup(char *path, int flags, struct nameidata *nd)
280 {
281         /* we allow absolute lookups with no process context */
282         if (path[0] == '/') {                   /* absolute lookup */
283                 if (!current)
284                         nd->dentry = default_ns.root->mnt_root;
285                 else
286                         nd->dentry = current->fs_env.root;      
287         } else {                                                /* relative lookup */
288                 assert(current);
289                 /* Don't need to lock on the fs_env since we're reading one item */
290                 nd->dentry = current->fs_env.pwd;       
291         }
292         nd->mnt = nd->dentry->d_sb->s_mount;
293         /* Whenever references get put in the nd, incref them.  Whenever they are
294          * removed, decref them. */
295         atomic_inc(&nd->mnt->mnt_refcnt);
296         atomic_inc(&nd->dentry->d_refcnt);
297         nd->flags = flags;
298         nd->depth = 0;                                  /* used in symlink following */
299         return link_path_walk(path, nd);        
300 }
301
302 /* Call this after any use of path_lookup when you are done with its results,
303  * regardless of whether it succeeded or not.  It will free any references */
304 void path_release(struct nameidata *nd)
305 {
306         /* TODO: (REF), do something when we hit 0, etc... */
307         atomic_dec(&nd->dentry->d_refcnt);
308         atomic_dec(&nd->mnt->mnt_refcnt);
309 }
310
311 /* Seems convenient: Given a path, return the appropriate file.  The reference
312  * returned is refcounted (which is done by open()). */
313 struct file *path_to_file(char *path)
314 {
315         struct file *f = 0;
316         struct nameidata nd = {0};
317         if (path_lookup(path, 0, &nd))
318                 return 0;
319         f = kmem_cache_alloc(file_kcache, 0);
320         if (!f) {
321                 path_release(&nd);
322                 return 0;
323         }
324         if (nd.dentry->d_inode->i_fop->open(nd.dentry->d_inode, f)) {
325                 path_release(&nd);
326                 kmem_cache_free(file_kcache, f);
327                 return 0;
328         }
329         path_release(&nd);
330         return f;
331 }
332
333 /* Superblock functions */
334
335 /* Helper to alloc and initialize a generic superblock.  This handles all the
336  * VFS related things, like lists.  Each FS will need to handle its own things
337  * in it's *_get_sb(), usually involving reading off the disc. */
338 struct super_block *get_sb(void)
339 {
340         struct super_block *sb = kmalloc(sizeof(struct super_block), 0);
341         sb->s_dirty = FALSE;
342         spinlock_init(&sb->s_lock);
343         atomic_set(&sb->s_refcnt, 1); // for the ref passed out
344         TAILQ_INIT(&sb->s_inodes);
345         TAILQ_INIT(&sb->s_dirty_i);
346         TAILQ_INIT(&sb->s_io_wb);
347         SLIST_INIT(&sb->s_anon_d);
348         TAILQ_INIT(&sb->s_files);
349         sb->s_fs_info = 0; // can override somewhere else
350         return sb;
351 }
352
353 /* Final stages of initializing a super block, including creating and linking
354  * the root dentry, root inode, vmnt, and sb.  The d_op and root_ino are
355  * FS-specific, but otherwise it's FS-independent, tricky, and not worth having
356  * around multiple times.
357  *
358  * Not the world's best interface, so it's subject to change, esp since we're
359  * passing (now 3) FS-specific things. */
360 void init_sb(struct super_block *sb, struct vfsmount *vmnt,
361              struct dentry_operations *d_op, unsigned long root_ino,
362              void *d_fs_info)
363 {
364         /* Build and init the first dentry / inode.  The dentry ref is stored later
365          * by vfsmount's mnt_root.  The parent is dealt with later. */
366         struct dentry *d_root = get_dentry(sb, 0,  "/");        /* probably right */
367
368         /* a lot of here on down is normally done in lookup() */
369         d_root->d_op = d_op;
370         d_root->d_fs_info = d_fs_info;
371         struct inode *inode = sb->s_op->alloc_inode(sb);
372         if (!inode)
373                 panic("This FS sucks!");
374         d_root->d_inode = inode;
375         TAILQ_INSERT_TAIL(&inode->i_dentry, d_root, d_alias);
376         atomic_inc(&d_root->d_refcnt);                  /* held by the inode */
377         inode->i_ino = root_ino;
378         /* TODO: add the inode to the appropriate list (off i_list) */
379         /* TODO: do we need to read in the inode?  can we do this on demand? */
380         /* if this FS is already mounted, we'll need to do something different. */
381         sb->s_op->read_inode(inode);
382         /* Link the dentry and SB to the VFS mount */
383         vmnt->mnt_root = d_root;                                /* refcnt'd above */
384         vmnt->mnt_sb = sb;
385         /* If there is no mount point, there is no parent.  This is true only for
386          * the rootfs. */
387         if (vmnt->mnt_mountpoint) {
388                 d_root->d_parent = vmnt->mnt_mountpoint;        /* dentry of the root */
389                 atomic_inc(&vmnt->mnt_mountpoint->d_refcnt);/* held by d_root */
390         }
391         /* insert the dentry into the dentry cache.  when's the earliest we can?
392          * when's the earliest we should?  what about concurrent accesses to the
393          * same dentry?  should be locking the dentry... */
394         dcache_put(d_root); // TODO: should set a d_flag too
395 }
396
397 /* Dentry Functions */
398
399 /* Helper to alloc and initialize a generic dentry.
400  *
401  * If the name is longer than the inline name, it will kmalloc a buffer, so
402  * don't worry about the storage for *name after calling this. */
403 struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
404                           char *name)
405 {
406         assert(name);
407         size_t name_len = strnlen(name, MAX_FILENAME_SZ);       /* not including \0! */
408         struct dentry *dentry = kmem_cache_alloc(dentry_kcache, 0);
409         char *l_name = 0;
410
411         //memset(dentry, 0, sizeof(struct dentry));
412         atomic_set(&dentry->d_refcnt, 1);       /* this ref is returned */
413         spinlock_init(&dentry->d_lock);
414         TAILQ_INIT(&dentry->d_subdirs);
415         dentry->d_time = 0;
416         dentry->d_sb = sb;                                      /* storing a ref here... */
417         dentry->d_mount_point = FALSE;
418         dentry->d_mounted_fs = 0;
419         dentry->d_parent = parent;
420         if (parent)                                                     /* no parent for rootfs mount */
421                 atomic_inc(&parent->d_refcnt);
422         dentry->d_flags = 0;                            /* related to its dcache state */
423         dentry->d_fs_info = 0;
424         SLIST_INIT(&dentry->d_bucket);
425         if (name_len < DNAME_INLINE_LEN) {
426                 strncpy(dentry->d_iname, name, name_len);
427                 dentry->d_iname[name_len] = '\0';
428                 qstr_builder(dentry, 0);
429         } else {
430                 l_name = kmalloc(name_len + 1, 0);
431                 assert(l_name);
432                 strncpy(l_name, name, name_len);
433                 l_name[name_len] = '\0';
434                 qstr_builder(dentry, l_name);
435         }
436         return dentry;
437 }
438
439 /* Adds a dentry to the dcache. */
440 void dcache_put(struct dentry *dentry)
441 {
442         // TODO: prob should do something with the dentry flags
443         spin_lock(&dcache_lock);
444         SLIST_INSERT_HEAD(&dcache, dentry, d_hash);
445         spin_unlock(&dcache_lock);
446 }
447
448 /* Inode Functions */
449
450 /* Returns 0 if the given mode is acceptable for the inode, and an appropriate
451  * error code if not.  Needs to be writen, based on some sensible rules, and
452  * will also probably use 'current' */
453 int check_perms(struct inode *inode, int access_mode)
454 {
455         return 0;       /* anything goes! */
456 }
457
458 /* File functions */
459
460 /* Read count bytes from the file into buf, starting at *offset, which is increased
461  * accordingly, returning the number of bytes transfered.  Most filesystems will
462  * use this function for their f_op->read.  Note, this uses the page cache.
463  * Want to try out page remapping later on... */
464 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
465                           off_t *offset)
466 {
467         struct page *page;
468         int error;
469         off_t page_off;
470         unsigned long first_idx, last_idx;
471         size_t copy_amt;
472         char *buf_end;
473
474         /* Consider pushing some error checking higher in the VFS */
475         if (!count)
476                 return 0;
477         if (*offset == file->f_inode->i_size)
478                 return 0; /* EOF */
479         /* Make sure we don't go past the end of the file */
480         if (*offset + count > file->f_inode->i_size) {
481                 count = file->f_inode->i_size - *offset;
482         }
483         page_off = *offset & (PGSIZE - 1);
484         first_idx = *offset >> PGSHIFT;
485         last_idx = (*offset + count) >> PGSHIFT;
486         buf_end = buf + count;
487         /* For each file page, make sure it's in the page cache, then copy it out.
488          * TODO: will probably need to consider concurrently truncated files here.*/
489         for (int i = first_idx; i <= last_idx; i++) {
490                 error = file_load_page(file, i, &page);
491                 assert(!error); /* TODO: handle ENOMEM and friends */
492                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
493                 /* TODO: think about this.  if it's a user buffer, we're relying on
494                  * current to detect whose it is (which should work for async calls). */
495                 if (current) {
496                         memcpy_to_user(current, buf, page2kva(page) + page_off, copy_amt);
497                 } else {
498                         memcpy(buf, page2kva(page) + page_off, copy_amt);
499                 }
500                 buf += copy_amt;
501                 page_off = 0;
502                 page_decref(page);      /* it's still in the cache, we just don't need it */
503         }
504         assert(buf == buf_end);
505         *offset += count;
506         return count;
507 }
508
509 /* Write count bytes from buf to the file, starting at *offset, which is increased
510  * accordingly, returning the number of bytes transfered.  Most filesystems will
511  * use this function for their f_op->write.  Note, this uses the page cache.
512  * Changes don't get flushed to disc til there is an fsync, page cache eviction,
513  * or other means of trying to writeback the pages. */
514 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
515                            off_t *offset)
516 {
517         struct page *page;
518         int error;
519         off_t page_off;
520         unsigned long first_idx, last_idx;
521         size_t copy_amt;
522         const char *buf_end;
523
524         /* Consider pushing some error checking higher in the VFS */
525         if (!count)
526                 return 0;
527         /* Extend the file.  Should put more checks in here, and maybe do this per
528          * page in the for loop below. */
529         if (*offset + count > file->f_inode->i_size)
530                 file->f_inode->i_size = *offset + count;
531         page_off = *offset & (PGSIZE - 1);
532         first_idx = *offset >> PGSHIFT;
533         last_idx = (*offset + count) >> PGSHIFT;
534         buf_end = buf + count;
535         /* For each file page, make sure it's in the page cache, then write it.*/
536         for (int i = first_idx; i <= last_idx; i++) {
537                 error = file_load_page(file, i, &page);
538                 assert(!error); /* TODO: handle ENOMEM and friends */
539                 copy_amt = MIN(PGSIZE - page_off, buf_end - buf);
540                 /* TODO: think about this.  if it's a user buffer, we're relying on
541                  * current to detect whose it is (which should work for async calls). */
542                 if (current) {
543                         memcpy_to_user(current, page2kva(page) + page_off, buf, copy_amt);
544                 } else {
545                         memcpy(page2kva(page) + page_off, buf, copy_amt);
546                 }
547                 buf += copy_amt;
548                 page_off = 0;
549                 page_decref(page);      /* it's still in the cache, we just don't need it */
550         }
551         assert(buf == buf_end);
552         *offset += count;
553         return count;
554 }
555
556 /* Page cache functions */
557
558 /* Looks up the index'th page in the page map, returning an incref'd reference,
559  * or 0 if it was not in the map. */
560 struct page *pm_find_page(struct page_map *pm, unsigned long index)
561 {
562         spin_lock(&pm->pm_tree_lock);
563         struct page *page = (struct page*)radix_lookup(&pm->pm_tree, index);
564         if (page)
565                 page_incref(page);
566         spin_unlock(&pm->pm_tree_lock);
567         return page;
568 }
569
570 /* Attempts to insert the page into the page_map, returns 0 for success, or an
571  * error code if there was one already (EEXIST) or we ran out of memory
572  * (ENOMEM).  On success, this will preemptively lock the page, and will also
573  * store a reference to the page in the pm. */
574 int pm_insert_page(struct page_map *pm, unsigned long index, struct page *page)
575 {
576         int error = 0;
577         spin_lock(&pm->pm_tree_lock);
578         error = radix_insert(&pm->pm_tree, index, page);
579         if (!error) {
580                 page_incref(page);
581                 page->pg_flags |= PG_LOCKED;
582                 page->pg_mapping = pm;
583                 page->pg_index = index;
584                 pm->pm_num_pages++;
585         }
586         spin_unlock(&pm->pm_tree_lock);
587         return error;
588 }
589
590 /* Removes the page, including its reference.  Not sure yet what interface we
591  * want to this (pm and index or page), and this has never been used.  There are
592  * also issues with when you want to call this, since a page in the cache may be
593  * mmap'd by someone else. */
594 int pm_remove_page(struct page_map *pm, struct page *page)
595 {
596         void *retval;
597         warn("pm_remove_page() hasn't been thought through or tested.");
598         spin_lock(&pm->pm_tree_lock);
599         retval = radix_delete(&pm->pm_tree, page->pg_index);
600         spin_unlock(&pm->pm_tree_lock);
601         assert(retval == (void*)page);
602         page_decref(page);
603         page->pg_mapping = 0;
604         page->pg_index = 0;
605         pm->pm_num_pages--;
606         return 0;
607 }
608
609 /* Makes sure the index'th page from file is loaded in the page cache and
610  * returns its location via **pp.  Note this will give you a refcnt'd reference.
611  * This may block! TODO: (BLK) */
612 int file_load_page(struct file *file, unsigned long index, struct page **pp)
613 {
614         struct page_map *pm = file->f_mapping;
615         struct page *page;
616         int error;
617         bool page_was_mapped = TRUE;
618
619         page = pm_find_page(pm, index);
620         while (!page) {
621                 /* kpage_alloc, since we want the page to persist after the proc
622                  * dies (can be used by others, until the inode shuts down). */
623                 if (kpage_alloc(&page))
624                         return -ENOMEM;
625                 /* might want to initialize other things, perhaps in page_alloc() */
626                 page->pg_flags = 0;
627                 error = pm_insert_page(pm, index, page);
628                 switch (error) {
629                         case 0:
630                                 page_was_mapped = FALSE;
631                                 break;
632                         case -EEXIST:
633                                 /* the page was mapped already (benign race), just get rid of
634                                  * our page and try again (the only case that uses the while) */
635                                 page_decref(page);
636                                 page = pm_find_page(pm, index);
637                                 break;
638                         default:
639                                 /* something is wrong, bail out! */
640                                 page_decref(page);
641                                 return error;
642                 }
643         }
644         *pp = page;
645         /* if the page was in the map, we need to do some checks, and might have to
646          * read in the page later.  If the page was freshly inserted to the pm by
647          * us, we skip this since we are the one doing the readpage(). */
648         if (page_was_mapped) {
649                 /* is it already here and up to date?  if so, we're done */
650                 if (page->pg_flags & PG_UPTODATE)
651                         return 0;
652                 /* if not, try to lock the page (could BLOCK) */
653                 lock_page(page);
654                 /* we got it, is our page still in the cache?  check the mapping.  if
655                  * not, start over, perhaps with EAGAIN and outside support */
656                 if (!page->pg_mapping)
657                         panic("Page is not in the mapping!  Haven't implemented this!");
658                 /* double check, are we up to date?  if so, we're done */
659                 if (page->pg_flags & PG_UPTODATE) {
660                         unlock_page(page);
661                         return 0;
662                 }
663         }
664         /* if we're here, the page is locked by us, and it needs to be read in */
665         assert(page->pg_mapping == pm);
666         error = pm->pm_op->readpage(file, page);
667         assert(!error);
668         /* Try to sleep on the IO.  The page will be unlocked when the IO is done */
669         lock_page(page);
670         unlock_page(page);
671         assert(page->pg_flags & PG_UPTODATE);
672         return 0;
673 }
674
675 /* Process-related File management functions */
676
677 /* Given any FD, get the appropriate file, 0 o/w */
678 struct file *get_file_from_fd(struct files_struct *open_files, int file_desc)
679 {
680         struct file *retval = 0;
681         spin_lock(&open_files->lock);
682         if (file_desc < open_files->max_fdset) {
683                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
684                         /* while max_files and max_fdset might not line up, we should never
685                          * have a valid fdset higher than files */
686                         assert(file_desc < open_files->max_files);
687                         retval = open_files->fd[file_desc];
688                         assert(retval);
689                         atomic_inc(&retval->f_refcnt);
690                 }
691         }
692         spin_unlock(&open_files->lock);
693         return retval;
694 }
695
696 /* Remove FD from the open files, if it was there, and return f.  Currently,
697  * this decref's f, so the return value is not consumable or even usable.  This
698  * hasn't been thought through yet. */
699 struct file *put_file_from_fd(struct files_struct *open_files, int file_desc)
700 {
701         struct file *f = 0;
702         spin_lock(&open_files->lock);
703         if (file_desc < open_files->max_fdset) {
704                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, file_desc)) {
705                         /* while max_files and max_fdset might not line up, we should never
706                          * have a valid fdset higher than files */
707                         assert(file_desc < open_files->max_files);
708                         f = open_files->fd[file_desc];
709                         open_files->fd[file_desc] = 0;
710                         /* TODO: (REF) need to make sure we free if we hit 0 (might do this
711                          * in the caller */
712                         if (f)
713                                 atomic_dec(&f->f_refcnt);
714                         // if 0, drop, decref from higher, sync, whatever
715                 }
716         }
717         spin_unlock(&open_files->lock);
718         return f;
719 }
720
721 /* Inserts the file in the files_struct, returning the corresponding new file
722  * descriptor, or an error code.  We currently grab the first open FD. */
723 int insert_file(struct files_struct *open_files, struct file *file)
724 {
725         int slot = -1;
726         spin_lock(&open_files->lock);
727         for (int i = 0; i < open_files->max_fdset; i++) {
728                 if (GET_BITMASK_BIT(open_files->open_fds->fds_bits, i))
729                         continue;
730                 slot = i;
731                 SET_BITMASK_BIT(open_files->open_fds->fds_bits, slot);
732                 assert(slot < open_files->max_files && open_files->fd[slot] == 0);
733                 open_files->fd[slot] = file;
734                 atomic_inc(&file->f_refcnt);
735                 if (slot >= open_files->next_fd)
736                         open_files->next_fd = slot + 1;
737                 break;
738         }
739         if (slot == -1) /* should expand the FD array and fd_set */
740                 warn("Ran out of file descriptors, deal with me!");
741         spin_unlock(&open_files->lock);
742         return slot;
743 }