Fork and exec handle files better
[akaros.git] / kern / include / vfs.h
1 /* Barret Rhoden <brho@cs.berkeley.edu>
2  *
3  * VFS, based on the Linux VFS as described in LKD 2nd Ed (Robert Love) and in
4  * UTLK (Bovet/Cesati) , which was probably written by Linus.  A lot of it was
5  * changed (reduced) to handle what ROS will need, at least initially.
6  * Hopefully it'll be similar enough to interface with ext2 and other Linux
7  * FSs.
8  *
9  * struct qstr came directly from Linux.
10  * Lawyers can sort out the copyrights and whatnot with these interfaces and
11  * structures. */
12
13 #ifndef ROS_KERN_VFS_H
14 #define ROS_KERN_VFS_H
15
16 #include <ros/common.h>
17 #include <sys/queue.h>
18 #include <arch/bitmask.h>
19 #include <kref.h>
20 #include <timing.h>
21 #include <radix.h>
22
23 /* ghetto preprocessor hacks (since proc includes vfs) */
24 struct page;
25 struct vm_region;
26
27 // TODO: temp typedefs, etc.  remove when we support this stuff.
28 typedef int dev_t;
29 typedef int kdev_t;
30 typedef int ino_t;
31 typedef long off_t; // out there in other .h's, but not in the kernel yet
32 struct block_device     {int x;};
33 struct io_writeback     {int x;};
34 struct event_poll {int x;};
35 struct poll_table_struct {int x;};
36 // end temp typedefs
37
38 struct page_map;        /* analagous to linux's address_space object */
39 struct page_map_operations;
40 struct super_block;
41 struct super_operations;
42 struct dentry;
43 struct dentry_operations;
44 struct inode;
45 struct inode_operations;
46 struct file;
47 struct file_operations;
48 struct fs_type;
49 struct vfsmount;
50
51 /* part of the kernel interface, ripped from man pages, ought to work. */
52 // TODO: eventually move this to ros/fs.h or something.
53 #define MAX_FILENAME_SZ 255
54 struct dirent { // or maybe something else to not conflict with userspace
55         ino_t          d_ino;       /* inode number */
56         off_t          d_off;       /* offset to the next dirent */
57         unsigned short d_reclen;    /* length of this record */
58         char           d_name[MAX_FILENAME_SZ + 1]; /* filename */
59 };
60
61 struct iovec {
62     void *iov_base;
63     size_t iov_len;
64 };
65
66 /* List def's we need */
67 TAILQ_HEAD(sb_tailq, super_block);
68 TAILQ_HEAD(dentry_tailq, dentry);
69 SLIST_HEAD(dentry_slist, dentry);
70 TAILQ_HEAD(inode_tailq, inode);
71 SLIST_HEAD(inode_slist, inode);
72 TAILQ_HEAD(file_tailq, file);
73 TAILQ_HEAD(io_wb_tailq, io_writeback);
74 TAILQ_HEAD(event_poll_tailq, event_poll);
75 TAILQ_HEAD(vfsmount_tailq, vfsmount);
76 TAILQ_HEAD(fs_type_tailq, fs_type);
77
78 /* Linux's quickstring - saves recomputing the hash and length.  Note the length
79  * is the non-null-terminated length, as you'd get from strlen(). (for now) */
80 struct qstr {
81     unsigned int hash;
82     unsigned int len;
83     char *name;
84 };
85
86 /* Helpful structure to pass around during lookup operations.  At each point,
87  * it tracks the the answer, the name of the previous, how deep the symlink
88  * following has gone, and the symlink pathnames.  *dentry and *mnt up the
89  * refcnt of those objects too, so whoever 'receives; this will need to decref.
90  * This is meant to be pinning only the 'answer' to a path_lookup, and not the
91  * intermediate steps.  The intermediates get pinned due to the existence of
92  * their children in memory.  Internally, the VFS will refcnt any item whenever
93  * it is in this struct. */
94 #define MAX_SYMLINK_DEPTH 6 // arbitrary.
95 struct nameidata {
96         struct dentry                           *dentry;                /* dentry of the obj */
97         struct vfsmount                         *mnt;                   /* its mount pt */
98         struct qstr                                     last;                   /* last component in search */
99         int                                                     flags;                  /* lookup flags */
100         int                                                     last_type;              /* type of last component */
101         unsigned int                            depth;                  /* search's symlink depth */
102         char                                            *saved_names[MAX_SYMLINK_DEPTH];
103         int                                                     intent;                 /* access type for the file */
104 };
105
106 /* nameidata lookup flags and access type fields */
107 #define LOOKUP_FOLLOW           0x01    /* if the last is a symlink, follow */
108 #define LOOKUP_DIRECTORY        0x02    /* last component must be a directory */
109 #define LOOKUP_CONTINUE         0x04    /* still filenames to go */
110 #define LOOKUP_PARENT           0x08    /* lookup the dir that includes the item */
111 #define LOOKUP_OPEN             0x10    /* intent is to open a file */
112 #define LOOKUP_CREATE           0x11    /* create a file if it doesn't exist */
113 #define LOOKUP_ACCESS           0x12    /* access / check user permissions */
114
115 /* TODO: make our own versions (fucking octal) and put it in fcntl.h */
116 /* File access modes for open and fcntl. */
117 #define O_RDONLY                0                       /* Open read-only. */
118 #define O_WRONLY                1                       /* Open write-only. */
119 #define O_RDWR                  2                       /* Open read/write. */
120 #define O_ACCMODE               3
121
122 /* Bits OR'd into the second argument to open. */
123 #define O_CREAT                 00000100        /* not fcntl */
124 #define O_EXCL                  00000200        /* not fcntl */
125 #define O_NOCTTY                00000400        /* not fcntl */
126 #define O_TRUNC                 00001000        /* not fcntl */
127 #define O_APPEND                00002000
128 #define O_NONBLOCK              00004000
129 #define O_SYNC                  00010000
130 #define O_FSYNC                 O_SYNC
131 #define O_ASYNC                 00020000
132 #define O_DIRECT                00040000        /* Direct disk access. */
133 #define O_DIRECTORY             00200000        /* Must be a directory. */
134 #define O_NOFOLLOW              00400000        /* Do not follow links. */
135 #define O_NOATIME               01000000        /* Do not set atime. */
136 #define O_CLOEXEC               02000000        /* Set close_on_exec. */
137
138 /* Every object that has pages, like an inode or the swap (or even direct block
139  * devices) has a page_map, tracking which of its pages are currently in memory.
140  * It is a map, per object, from index to physical page frame. */
141 struct page_map {
142         struct inode                            *pm_host;               /* inode of the owner, if any */
143         struct radix_tree                       pm_tree;                /* tracks present pages */
144         spinlock_t                                      pm_tree_lock;   /* spinlock => we can't block */
145         unsigned long                           pm_num_pages;   /* how many pages are present */
146         struct page_map_operations      *pm_op;
147         unsigned int                            pm_flags;
148         /*... and private lists, backing block dev info, other mappings, etc. */
149 };
150
151 /* Operations performed on a page_map.  These are usually FS specific, which
152  * get assigned when the inode is created.
153  * Will fill these in as they are created/needed/used. */
154 struct page_map_operations {
155         int (*readpage) (struct file *, struct page *); /* read from backing store*/
156 /*      readpages: read a list of pages
157         writepage: write from a page to its backing store
158         writepages: write a list of pages
159         sync_page: start the IO of already scheduled ops
160         set_page_dirty: mark the given page dirty
161         prepare_write: prepare to write (disk backed pages)
162         commit_write: complete a write (disk backed pages)
163         bmap: get a logical block number from a file block index
164         invalidate page: invalidate, part of truncating
165         release page: prepare to release 
166         direct_io: bypass the page cache */
167 };
168
169 /* Superblock: Specific instance of a mounted filesystem.  All synchronization
170  * is done with the one spinlock. */
171
172 struct super_block {
173         TAILQ_ENTRY(super_block)        s_list;                 /* list of all sbs */
174         dev_t                                           s_dev;                  /* id */
175         unsigned long                           s_blocksize;
176         bool                                            s_dirty;
177         unsigned long long                      s_maxbytes;             /* max file size */
178         struct fs_type                          *s_type;
179         struct super_operations         *s_op;
180         unsigned long                           s_flags;
181         unsigned long                           s_magic;
182         struct vfsmount                         *s_mount;               /* vfsmount point */
183         spinlock_t                                      s_lock;                 /* used for all sync */
184         struct kref                                     s_kref;
185         bool                                            s_syncing;              /* currently syncing metadata */
186         struct inode_tailq                      s_inodes;               /* all inodes */
187         struct inode_tailq                      s_dirty_i;              /* dirty inodes */
188         struct io_wb_tailq                      s_io_wb;                /* writebacks */
189         struct dentry_slist                     s_anon_d;               /* anonymous dentries */
190         struct file_tailq                       s_files;                /* assigned files */
191         struct block_device                     *s_bdev;
192         TAILQ_ENTRY(super_block)        s_instances;    /* list of sbs of this fs type*/
193         char                                            s_name[32];
194         void                                            *s_fs_info;
195 };
196
197 struct super_operations {
198         struct inode *(*alloc_inode) (struct super_block *sb);
199         void (*destroy_inode) (struct inode *);         /* dealloc.  might need more */
200         void (*read_inode) (struct inode *);
201         void (*dirty_inode) (struct inode *);
202         void (*write_inode) (struct inode *, bool);
203         void (*put_inode) (struct inode *);                     /* when decreffed */
204         void (*drop_inode) (struct inode *);            /* when about to destroy */
205         void (*delete_inode) (struct inode *);          /* deleted from disk */
206         void (*put_super) (struct super_block *);       /* releases sb */
207         void (*write_super) (struct super_block *);     /* sync with sb on disk */
208         int (*sync_fs) (struct super_block *, bool);
209         int (*remount_fs) (struct super_block *, int, char *);
210         void (*umount_begin) (struct super_block *);/* called by NFS */
211 };
212
213 #define FS_I_FILE                               0x01
214 #define FS_I_DIR                                0x02
215
216 /* Inode: represents a specific file */
217 struct inode {
218         SLIST_ENTRY(inode)                      i_hash;                 /* inclusion in a hash table */
219         TAILQ_ENTRY(inode)                      i_sb_list;              /* all inodes in the FS */
220         TAILQ_ENTRY(inode)                      i_list;                 /* describes state (dirty) */
221         struct dentry_tailq                     i_dentry;               /* all dentries pointing here*/
222         unsigned long                           i_ino;
223         struct kref                                     i_kref;
224         int                                                     i_mode;                 /* access mode */
225         unsigned short                          i_type;                 /* file type */
226         unsigned int                            i_nlink;                /* hard links */
227         uid_t                                           i_uid;
228         gid_t                                           i_gid;
229         kdev_t                                          i_rdev;                 /* real device node */
230         size_t                                          i_size;
231         unsigned long                           i_blksize;
232         unsigned long                           i_blocks;               /* filesize in blocks */
233         struct timespec                         i_atime;
234         struct timespec                         i_mtime;
235         struct timespec                         i_ctime;
236         spinlock_t                                      i_lock;
237         struct inode_operations         *i_op;
238         struct file_operations          *i_fop;
239         struct super_block                      *i_sb;
240         struct page_map                         *i_mapping;             /* usually points to i_data */
241         struct page_map                         i_pm;                   /* this inode's page cache */
242         union {
243                 struct pipe_inode_info          *i_pipe;
244                 struct block_device                     *i_bdev;
245                 struct char_device                      *i_cdev;
246         };
247         unsigned long                           i_state;
248         unsigned long                           dirtied_when;   /* in jiffies */
249         unsigned int                            i_flags;                /* filesystem mount flags */
250         bool                                            i_socket;
251         atomic_t                                        i_writecount;   /* number of writers */
252         void                                            *i_fs_info;
253 };
254
255 struct inode_operations {
256         int (*create) (struct inode *, struct dentry *, int, struct nameidata *);
257         struct dentry *(*lookup) (struct inode *, struct dentry *,
258                                   struct nameidata *);
259         int (*link) (struct dentry *, struct inode *, struct dentry *);
260         int (*unlink) (struct inode *, struct dentry *);
261         int (*symlink) (struct inode *, struct dentry *, const char *);
262         int (*mkdir) (struct inode *, struct dentry *, int);
263         int (*rmdir) (struct inode *, struct dentry *);
264         int (*mknod) (struct inode *, struct dentry *, int, dev_t);
265         int (*rename) (struct inode *, struct dentry *,
266                        struct inode *, struct dentry *);
267         int (*readlink) (struct dentry *, char *, size_t);
268         int (*follow_link) (struct dentry *, struct nameidata *);
269         int (*put_link) (struct dentry *, struct nameidata *);
270         void (*truncate) (struct inode *);                      /* set i_size before calling */
271         int (*permission) (struct inode *, int, struct nameidata *);
272 };
273
274 #define DNAME_INLINE_LEN 32
275 /* Dentry: in memory object, corresponding to an element of a path.  E.g. /,
276  * usr, bin, and vim are all dentries.  All have inodes.  Vim happens to be a
277  * file instead of a directory.
278  * They can be used (valid inode, currently in use), unused (valid, not used),
279  * or negative (not a valid inode (deleted or bad path), but kept to resolve
280  * requests quickly.  If none of these, dealloc it back to the slab cache.
281  * Unused and negatives go in the LRU list. */
282 struct dentry {
283         struct kref                                     d_kref;                 /* don't discard when 0 */
284         unsigned long                           d_flags;                /* dentry cache flags */
285         spinlock_t                                      d_lock;
286         struct inode                            *d_inode;
287         TAILQ_ENTRY(dentry)                     d_lru;                  /* unused list */
288         TAILQ_ENTRY(dentry)                     d_alias;                /* linkage for i_dentry */
289         struct dentry_tailq                     d_subdirs;
290         TAILQ_ENTRY(dentry)                     d_subdirs_link;
291         unsigned long                           d_time;                 /* revalidate time (jiffies)*/
292         struct dentry_operations        *d_op;
293         struct super_block                      *d_sb;
294         bool                                            d_mount_point;  /* is an FS mounted over here */
295         struct vfsmount                         *d_mounted_fs;  /* fs mounted here */
296         struct dentry                           *d_parent;
297         struct qstr                                     d_name;                 /* pts to iname and holds hash*/
298         SLIST_ENTRY(dentry)                     d_hash;                 /* link for the dcache */
299         struct dentry_slist                     d_bucket;               /* hash bucket of this dentry */
300         char                                            d_iname[DNAME_INLINE_LEN];
301         void                                            *d_fs_info;
302 };
303
304 /* not sure yet if we want to call delete when refcnt == 0 (move it to LRU) or
305  * when its time to remove it from the dcache. */
306 struct dentry_operations {
307         int (*d_revalidate) (struct dentry *, struct nameidata *);
308         int (*d_hash) (struct dentry *, struct qstr *);
309         int (*d_compare) (struct dentry *, struct qstr *, struct qstr *);
310         int (*d_delete) (struct dentry *);
311         int (*d_release) (struct dentry *);
312         void (*d_iput) (struct dentry *, struct inode *);
313 };
314
315 /* Yanked from glibc-2.11.1/posix/unistd.h */
316 #define SEEK_SET   0   /* Seek from beginning of file.  */
317 #define SEEK_CUR   1   /* Seek from current position.  */
318 #define SEEK_END   2   /* Seek from end of file.  */
319
320 /* File: represents a file opened by a process. */
321 struct file {
322         TAILQ_ENTRY(file)                       f_list;                 /* list of all files */
323         struct dentry                           *f_dentry;              /* definitely not inode.  =( */
324         struct vfsmount                         *f_vfsmnt;
325         struct file_operations          *f_op;
326         struct kref                                     f_kref;
327         unsigned int                            f_flags;                /* O_APPEND, etc */
328         int                                                     f_mode;                 /* O_RDONLY, etc */
329         off_t                                           f_pos;                  /* offset / file pointer */
330         unsigned int                            f_uid;
331         unsigned int                            f_gid;
332         int                                                     f_error;
333         struct event_poll_tailq         f_ep_links;
334         spinlock_t                                      f_ep_lock;
335         void                                            *f_fs_info;             /* tty driver hook */
336         struct page_map                         *f_mapping;             /* page cache mapping */
337
338         /* Ghetto appserver support */
339         int fd; // all it contains is an appserver fd (for pid 0, aka kernel)
340         int refcnt;
341         spinlock_t lock;
342 };
343
344 struct file_operations {
345         off_t (*llseek) (struct file *, off_t, int);
346         ssize_t (*read) (struct file *, char *, size_t, off_t *);
347         ssize_t (*write) (struct file *, const char *, size_t, off_t *);
348         int (*readdir) (struct file *, struct dirent *);
349         int (*mmap) (struct file *, struct vm_region *);
350         int (*open) (struct inode *, struct file *);
351         int (*flush) (struct file *);
352         int (*release) (struct inode *, struct file *);
353         int (*fsync) (struct file *, struct dentry *, int);
354         unsigned int (*poll) (struct file *, struct poll_table_struct *);
355         ssize_t (*readv) (struct file *, const struct iovec *, unsigned long,
356                           off_t *);
357         ssize_t (*writev) (struct file *, const struct iovec *, unsigned long,
358                           off_t *);
359         ssize_t (*sendpage) (struct file *, struct page *, int, size_t, off_t, int);
360         int (*check_flags) (int flags);                         /* most FS's ignore this */
361 };
362
363 /* FS structs.  One of these per FS (e.g., ext2) */
364 struct fs_type {
365         const char                                      *name;
366         int                                                     fs_flags;
367         struct super_block                      *(*get_sb) (struct fs_type *, int,
368                                                 char *, struct vfsmount *);
369         void                                            (*kill_sb) (struct super_block *);
370         TAILQ_ENTRY(fs_type)            list;
371         struct sb_tailq                         fs_supers;              /* all of this FS's sbs */
372 };
373
374 /* A mount point: more focused on the mounting, and solely in memory, compared
375  * to the SB which is focused on FS definitions (and exists on disc). */
376 struct vfsmount {
377         TAILQ_ENTRY(vfsmount)           mnt_list;
378         struct vfsmount                         *mnt_parent;
379         struct dentry                           *mnt_mountpoint;/* parent dentry where mnted */
380         struct dentry                           *mnt_root;              /* dentry of root of this fs */
381         struct super_block                      *mnt_sb;
382         struct vfsmount_tailq           mnt_child_mounts;
383         TAILQ_ENTRY(vfsmount)           mnt_child_link;
384         struct kref                                     mnt_kref;
385         int                                                     mnt_flags;
386         char                                            *mnt_devname;
387         struct namespace                        *mnt_namespace;
388 };
389
390 /* Per-process structs */
391 #define NR_OPEN_FILES_DEFAULT 32
392 #define NR_FILE_DESC_DEFAULT 32
393 #define NR_FILE_DESC_MAX 1024
394
395 /* Bitmask for file descriptors, big for when we exceed the initial small.  We
396  * could just use the fd_array to check for openness instead of the bitmask,
397  * but eventually we might want to use the bitmasks for other things (like
398  * which files are close_on_exec. */
399 struct fd_set {
400     uint8_t fds_bits[BYTES_FOR_BITMASK(NR_FILE_DESC_MAX)];
401 };
402 struct small_fd_set {
403     uint8_t fds_bits[BYTES_FOR_BITMASK(NR_FILE_DESC_DEFAULT)];
404 };
405
406 /* All open files for a process */
407 struct files_struct {
408         spinlock_t                                      lock;
409         int                                                     max_files;              /* max files ptd to by fd */
410         int                                                     max_fdset;              /* max of the current fd_set */
411         int                                                     next_fd;                /* next number available */
412         struct file                                     **fd;                   /* initially pts to fd_array */
413         struct fd_set                           *open_fds;              /* init, pts to open_fds_init */
414         struct small_fd_set                     open_fds_init;
415         struct file                                     *fd_array[NR_OPEN_FILES_DEFAULT];
416 };
417
418 /* Process specific filesysten info */
419 struct fs_struct {
420         spinlock_t                                      lock;
421         int                                                     umask;
422         struct dentry                           *root;
423         struct dentry                           *pwd;
424 };
425
426 /* Each process can have its own (eventually), but default to the same NS */
427 struct namespace {
428         struct kref                                     kref;
429         spinlock_t                                      lock;
430         struct vfsmount                         *root;
431         struct vfsmount_tailq           vfsmounts;      /* all vfsmounts in this ns */
432 };
433
434 /* Global Structs */
435 extern struct sb_tailq super_blocks;                    /* list of all sbs */
436 extern spinlock_t super_blocks_lock;
437 extern struct fs_type_tailq file_systems;               /* lock this if it's dynamic */
438 extern struct namespace default_ns;
439 // TODO: should have a dentry_htable or something.  we have the structs built
440 // in to the dentry right now (linux style).
441 extern struct dentry_slist dcache;
442 extern spinlock_t dcache_lock;
443
444 /* Slab caches for common objects */
445 extern struct kmem_cache *dentry_kcache;
446 extern struct kmem_cache *inode_kcache;
447 extern struct kmem_cache *file_kcache;
448
449 /* Misc VFS functions */
450 void vfs_init(void);
451 void qstr_builder(struct dentry *dentry, char *l_name);
452 char *file_name(struct file *file);
453 int path_lookup(char *path, int flags, struct nameidata *nd);
454 void path_release(struct nameidata *nd);
455
456 /* Superblock functions */
457 struct super_block *get_sb(void);
458 void init_sb(struct super_block *sb, struct vfsmount *vmnt,
459              struct dentry_operations *d_op, unsigned long root_ino,
460              void *d_fs_info);
461
462 /* Dentry Functions */
463 struct dentry *get_dentry(struct super_block *sb, struct dentry *parent,
464                           char *name);
465 void dcache_put(struct dentry *dentry);
466 void dentry_release(struct kref *kref);
467
468 /* Inode Functions */
469 struct inode *get_inode(struct dentry *dentry);
470 int create_file(struct inode *dir, struct dentry *dentry, int flags, int mode);
471 int create_dir(struct inode *dir, struct dentry *dentry, int mode);
472 int check_perms(struct inode *inode, int access_mode);
473 void inode_release(struct kref *kref);
474
475 /* File functions */
476 ssize_t generic_file_read(struct file *file, char *buf, size_t count,
477                           off_t *offset);
478 ssize_t generic_file_write(struct file *file, const char *buf, size_t count,
479                            off_t *offset);
480 struct file *do_file_open(char *path, int flags, int mode);
481 struct file *dentry_open(struct dentry *dentry);
482 void file_release(struct kref *kref);
483
484 /* Page cache functions */
485 struct page *pm_find_page(struct page_map *pm, unsigned long index);
486 int pm_insert_page(struct page_map *pm, unsigned long index, struct page *page);
487 int pm_remove_page(struct page_map *pm, struct page *page);
488 int file_load_page(struct file *file, unsigned long index, struct page **pp);
489
490 /* Process-related File management functions */
491 struct file *get_file_from_fd(struct files_struct *open_files, int fd);
492 struct file *put_file_from_fd(struct files_struct *open_files, int file_desc);
493 int insert_file(struct files_struct *open_files, struct file *file);
494 void close_all_files(struct files_struct *open_files, bool cloexec);
495 void clone_files(struct files_struct *src, struct files_struct *dst);
496
497 #endif /* ROS_KERN_VFS_H */