x86 thread local storage tweaks
[akaros.git] / kern / arch / i386 / mmu.h
1 #ifndef ROS_INC_MMU_H
2 #define ROS_INC_MMU_H
3
4 #ifndef __ASSEMBLER__
5 #include <ros/common.h>
6 #endif
7
8 #include <ros/arch/mmu.h>
9
10 /*
11  * This file contains definitions for the x86 memory management unit (MMU),
12  * including paging- and segmentation-related data structures and constants,
13  * the %cr0, %cr4, and %eflags registers, and traps.
14  */
15
16 /*
17  *
18  *      Part 1.  Paging data structures and constants.
19  *
20  */
21
22 // A linear address 'la' has a three-part structure as follows:
23 //
24 // +--------10------+-------10-------+---------12----------+
25 // | Page Directory |   Page Table   | Offset within Page  |
26 // |      Index     |      Index     |                     |
27 // +----------------+----------------+---------------------+
28 //  \--- PDX(la) --/ \--- PTX(la) --/ \---- PGOFF(la) ----/
29 //  \----------- PPN(la) -----------/
30 //
31 // The PDX, PTX, PGOFF, and PPN macros decompose linear addresses as shown.
32 // To construct a linear address la from PDX(la), PTX(la), and PGOFF(la),
33 // use PGADDR(PDX(la), PTX(la), PGOFF(la)).
34
35 // page number field of address
36 #define LA2PPN(la)      (((uintptr_t) (la)) >> PTXSHIFT)
37 #define PTE2PPN(pte)    LA2PPN(pte)
38 #define VPN(la)         PPN(la)         // used to index into vpt[]
39
40 // page directory index
41 #define PDX(la)         ((((uintptr_t) (la)) >> PDXSHIFT) & 0x3FF)
42 #define VPD(la)         PDX(la)         // used to index into vpd[]
43
44 // page table index
45 #define PTX(la)         ((((uintptr_t) (la)) >> PTXSHIFT) & 0x3FF)
46
47 // offset in page
48 #define PGOFF(la)       (((uintptr_t) (la)) & 0xFFF)
49
50 // offset in jumbo page
51 #define JPGOFF(la)      (((uintptr_t) (la)) & 0x003FFFFF)
52
53 // construct PTE from PPN and flags
54 #define PTE(ppn, flags) ((ppn) << PTXSHIFT | (flags))
55
56 // construct linear address from indexes and offset
57 #define PGADDR(d, t, o) ((void*SNT) ((d) << PDXSHIFT | (t) << PTXSHIFT | (o)))
58
59 // Page directory and page table constants.
60 #define NPDENTRIES      1024            // page directory entries per page directory
61 #define NPTENTRIES      1024            // page table entries per page table
62
63 #define PTXSHIFT        12              // offset of PTX in a linear address
64 #define PDXSHIFT        22              // offset of PDX in a linear address
65
66 // Page table/directory entry flags.
67 #define PTE_P           0x001   // Present
68 #define PTE_W           0x002   // Writeable
69 #define PTE_U           0x004   // User
70 #define PTE_PWT         0x008   // Write-Through
71 #define PTE_PCD         0x010   // Cache-Disable
72 #define PTE_A           0x020   // Accessed
73 #define PTE_D           0x040   // Dirty
74 #define PTE_PS          0x080   // Page Size (only applies to PDEs)
75 #define PTE_PAT         0x080   // PAT (only applies to second layer PTEs)
76 #define PTE_G           0x100   // Global Page
77
78 // commly used access modes
79 #define PTE_KERN_RW     PTE_W           // Kernel Read/Write
80 #define PTE_KERN_RO     0               // Kernel Read-Only
81 #define PTE_USER_RW     (PTE_W | PTE_U) // Kernel/User Read/Write
82 #define PTE_USER_RO     PTE_U           // Kernel/User Read-Only
83
84 // The PTE_AVAIL bits aren't used by the kernel or interpreted by the
85 // hardware, so user processes are allowed to set them arbitrarily.
86 #define PTE_AVAIL       0xE00   // Available for software use
87
88 // Only flags in PTE_USER may be used in system calls.
89 #define PTE_USER        (PTE_AVAIL | PTE_P | PTE_W | PTE_U)
90
91 // address in page table entry
92 #define PTE_ADDR(pte)   ((physaddr_t) (pte) & ~0xFFF)
93
94 // Control Register flags
95 #define CR0_PE          0x00000001      // Protection Enable
96 #define CR0_MP          0x00000002      // Monitor coProcessor
97 #define CR0_EM          0x00000004      // Emulation
98 #define CR0_TS          0x00000008      // Task Switched
99 #define CR0_ET          0x00000010      // Extension Type
100 #define CR0_NE          0x00000020      // Numeric Error
101 #define CR0_WP          0x00010000      // Write Protect
102 #define CR0_AM          0x00040000      // Alignment Mask
103 #define CR0_NW          0x20000000      // Not Writethrough - more tricky than it sounds
104 #define CR0_CD          0x40000000      // Cache Disable
105 #define CR0_PG          0x80000000      // Paging
106
107 // These two relate to the cacheability (L1, etc) of the page directory
108 #define CR3_PWT         0x00000008      // Page directory caching write through
109 #define CR3_PCD         0x00000010      // Page directory caching disabled
110
111 #define CR4_VME         0x00000001      // V86 Mode Extensions
112 #define CR4_PVI         0x00000002      // Protected-Mode Virtual Interrupts
113 #define CR4_TSD         0x00000004      // Time Stamp Disable
114 #define CR4_DE          0x00000008      // Debugging Extensions
115 #define CR4_PSE         0x00000010      // Page Size Extensions
116 #define CR4_PAE         0x00000020      // Physical Address Extensions
117 #define CR4_MCE         0x00000040      // Machine Check Enable
118 #define CR4_PGE         0x00000080      // Global Pages Enabled
119 #define CR4_PCE         0x00000100      // Performance counter enable
120 #define CR4_OSFXSR      0x00000200      // OS support for FXSAVE/FXRSTOR
121 #define CR4_OSXMME      0x00000400      // OS support for unmasked SIMD FP exceptions
122 #define CR4_VMXE        0x00002000      // VMX enable
123 #define CR4_SMXE        0x00004000      // SMX enable
124 #define CR4_OSXSAVE     0x00040000      // XSAVE and processor extended states-enabled
125
126 // Eflags register
127 #define FL_CF           0x00000001      // Carry Flag
128 #define FL_PF           0x00000004      // Parity Flag
129 #define FL_AF           0x00000010      // Auxiliary carry Flag
130 #define FL_ZF           0x00000040      // Zero Flag
131 #define FL_SF           0x00000080      // Sign Flag
132 #define FL_TF           0x00000100      // Trap Flag
133 #define FL_IF           0x00000200      // Interrupt Flag
134 #define FL_DF           0x00000400      // Direction Flag
135 #define FL_OF           0x00000800      // Overflow Flag
136 #define FL_IOPL_MASK    0x00003000      // I/O Privilege Level bitmask
137 #define FL_IOPL_0       0x00000000      //   IOPL == 0
138 #define FL_IOPL_1       0x00001000      //   IOPL == 1
139 #define FL_IOPL_2       0x00002000      //   IOPL == 2
140 #define FL_IOPL_3       0x00003000      //   IOPL == 3
141 #define FL_NT           0x00004000      // Nested Task
142 #define FL_RF           0x00010000      // Resume Flag
143 #define FL_VM           0x00020000      // Virtual 8086 mode
144 #define FL_AC           0x00040000      // Alignment Check
145 #define FL_VIF          0x00080000      // Virtual Interrupt Flag
146 #define FL_VIP          0x00100000      // Virtual Interrupt Pending
147 #define FL_ID           0x00200000      // ID flag
148
149 // Page fault error codes
150 #define FEC_PR          0x1     // Page fault caused by protection violation
151 #define FEC_WR          0x2     // Page fault caused by a write
152 #define FEC_U           0x4     // Page fault occured while in user mode
153
154
155 /*
156  *
157  *      Part 2.  Segmentation data structures and constants.
158  *
159  */
160
161 // Global descriptor numbers
162 #define GD_NULL   0x00     // NULL descriptor
163 #define GD_KT     0x08     // kernel text
164 #define GD_KD     0x10     // kernel data
165 #define GD_UT     0x18     // user text
166 #define GD_UD     0x20     // user data
167 #define GD_TSS    0x28     // Task segment selector
168 #define GD_LDT    0x30     // local descriptor table
169
170 #ifdef __ASSEMBLER__
171
172 /*
173  * Macros to build GDT entries in assembly.
174  */
175 #define SEG_NULL                                                \
176         .word 0, 0;                                             \
177         .byte 0, 0, 0, 0
178 #define SEG(type,base,lim)                                      \
179         .word (((lim) >> 12) & 0xffff), ((base) & 0xffff);      \
180         .byte (((base) >> 16) & 0xff), (0x90 | (type)),         \
181                 (0xC0 | (((lim) >> 28) & 0xf)), (((base) >> 24) & 0xff)
182
183 #else   // not __ASSEMBLER__
184
185 #include <ros/common.h>
186
187 // Segment Descriptors
188 typedef struct Segdesc {
189         unsigned sd_lim_15_0 : 16;  // Low bits of segment limit
190         unsigned sd_base_15_0 : 16; // Low bits of segment base address
191         unsigned sd_base_23_16 : 8; // Middle bits of segment base address
192         unsigned sd_type : 4;       // Segment type (see STS_ constants)
193         unsigned sd_s : 1;          // 0 = system, 1 = application
194         unsigned sd_dpl : 2;        // Descriptor Privilege Level
195         unsigned sd_p : 1;          // Present
196         unsigned sd_lim_19_16 : 4;  // High bits of segment limit
197         unsigned sd_avl : 1;        // Unused (available for software use)
198         unsigned sd_rsv1 : 1;       // Reserved
199         unsigned sd_db : 1;         // 0 = 16-bit segment, 1 = 32-bit segment
200         unsigned sd_g : 1;          // Granularity: limit scaled by 4K when set
201         unsigned sd_base_31_24 : 8; // High bits of segment base address
202 } segdesc_t;
203 // Null segment
204 #define SEG_NULL        { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 }
205 // Segment that is loadable but faults when used
206 #define SEG_FAULT       { 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0, 0 }
207 // Normal segment
208 #define SEG(type, base, lim, dpl)                                                                       \
209 { ((lim) >> 12) & 0xffff, (base) & 0xffff, ((base) >> 16) & 0xff,       \
210     type, 1, dpl, 1, (unsigned) (lim) >> 28, 0, 0, 1, 1,                        \
211     (unsigned) (base) >> 24 }
212 // System segment (LDT)
213 #define SEG_SYS(type, base, lim, dpl)                                                                   \
214 { ((lim) >> 12) & 0xffff, (base) & 0xffff, ((base) >> 16) & 0xff,       \
215     type, 0, dpl, 1, (unsigned) (lim) >> 28, 0, 0, 1, 1,                        \
216     (unsigned) (base) >> 24 }
217
218 #define SEG16(type, base, lim, dpl)                                                             \
219 { (lim) & 0xffff, (base) & 0xffff, ((base) >> 16) & 0xff,                       \
220     type, 1, dpl, 1, (unsigned) (lim) >> 16, 0, 0, 1, 0,                        \
221     (unsigned) (base) >> 24 }
222
223 #define SEG16ROINIT(seg,type,base,lim,dpl) \
224         {\
225                 (seg).sd_lim_15_0 = SINIT((lim) & 0xffff);\
226                 (seg).sd_base_15_0 = SINIT((base)&0xffff);\
227                 (seg).sd_base_23_16 = SINIT(((base)>>16)&0xff);\
228                 (seg).sd_type = SINIT(type);\
229                 (seg).sd_s = SINIT(1);\
230                 (seg).sd_dpl = SINIT(dpl);\
231                 (seg).sd_p = SINIT(1);\
232                 (seg).sd_lim_19_16 = SINIT((unsigned)(lim)>>16);\
233                 (seg).sd_avl = SINIT(0);\
234                 (seg).sd_rsv1 = SINIT(0);\
235                 (seg).sd_db = SINIT(1);\
236                 (seg).sd_g = SINIT(0);\
237                 (seg).sd_base_31_24 = SINIT((unsigned)(base)>> 24);\
238         }
239
240 #endif /* !__ASSEMBLER__ */
241
242 // Application segment type bits
243 #define STA_X           0x8         // Executable segment
244 #define STA_E           0x4         // Expand down (non-executable segments)
245 #define STA_C           0x4         // Conforming code segment (executable only)
246 #define STA_W           0x2         // Writeable (non-executable segments)
247 #define STA_R           0x2         // Readable (executable segments)
248 #define STA_A           0x1         // Accessed
249
250 // System segment type bits
251 #define STS_T16A        0x1         // Available 16-bit TSS
252 #define STS_LDT         0x2         // Local Descriptor Table
253 #define STS_T16B        0x3         // Busy 16-bit TSS
254 #define STS_CG16        0x4         // 16-bit Call Gate
255 #define STS_TG          0x5         // Task Gate / Coum Transmitions
256 #define STS_IG16        0x6         // 16-bit Interrupt Gate
257 #define STS_TG16        0x7         // 16-bit Trap Gate
258 #define STS_T32A        0x9         // Available 32-bit TSS
259 #define STS_T32B        0xB         // Busy 32-bit TSS
260 #define STS_CG32        0xC         // 32-bit Call Gate
261 #define STS_IG32        0xE         // 32-bit Interrupt Gate
262 #define STS_TG32        0xF         // 32-bit Trap Gate
263
264 #define SEG_COUNT       7               // Number of segments in the steady state
265 #define LDT_SIZE        (8192 * sizeof(segdesc_t))
266
267 /*
268  *
269  *      Part 3.  Traps.
270  *
271  */
272
273 #ifndef __ASSEMBLER__
274
275 // Task state segment format (as described by the Pentium architecture book)
276 typedef struct Taskstate {
277         uint32_t ts_link;       // Old ts selector
278         uintptr_t ts_esp0;      // Stack pointers and segment selectors
279         uint16_t ts_ss0;        //   after an increase in privilege level
280         uint16_t ts_padding1;
281         uintptr_t ts_esp1;
282         uint16_t ts_ss1;
283         uint16_t ts_padding2;
284         uintptr_t ts_esp2;
285         uint16_t ts_ss2;
286         uint16_t ts_padding3;
287         physaddr_t ts_cr3;      // Page directory base
288         uintptr_t ts_eip;       // Saved state from last task switch
289         uint32_t ts_eflags;
290         uint32_t ts_eax;        // More saved state (registers)
291         uint32_t ts_ecx;
292         uint32_t ts_edx;
293         uint32_t ts_ebx;
294         uintptr_t ts_esp;
295         uintptr_t ts_ebp;
296         uint32_t ts_esi;
297         uint32_t ts_edi;
298         uint16_t ts_es;         // Even more saved state (segment selectors)
299         uint16_t ts_padding4;
300         uint16_t ts_cs;
301         uint16_t ts_padding5;
302         uint16_t ts_ss;
303         uint16_t ts_padding6;
304         uint16_t ts_ds;
305         uint16_t ts_padding7;
306         uint16_t ts_fs;
307         uint16_t ts_padding8;
308         uint16_t ts_gs;
309         uint16_t ts_padding9;
310         uint16_t ts_ldt;
311         uint16_t ts_padding10;
312         uint16_t ts_t;          // Trap on task switch
313         uint16_t ts_iomb;       // I/O map base address
314 } taskstate_t;
315
316 // Gate descriptors for interrupts and traps
317 typedef struct Gatedesc {
318         unsigned gd_off_15_0 : 16;   // low 16 bits of offset in segment
319         unsigned gd_ss : 16;         // segment selector
320         unsigned gd_args : 5;        // # args, 0 for interrupt/trap gates
321         unsigned gd_rsv1 : 3;        // reserved(should be zero I guess)
322         unsigned gd_type : 4;        // type(STS_{TG,IG32,TG32})
323         unsigned gd_s : 1;           // must be 0 (system)
324         unsigned gd_dpl : 2;         // DPL - highest ring allowed to use this
325         unsigned gd_p : 1;           // Present
326         unsigned gd_off_31_16 : 16;  // high bits of offset in segment
327 } gatedesc_t;
328
329 // Set up a normal interrupt/trap gate descriptor.
330 // - istrap: 1 for a trap (= exception) gate, 0 for an interrupt gate.
331 //   - interrupt gates automatically disable interrupts (cli)
332 // - sel: Code segment selector for interrupt/trap handler
333 // - off: Offset in code segment for interrupt/trap handler
334 // - dpl: Descriptor Privilege Level -
335 //        the privilege level required for software to invoke
336 //        this interrupt/trap gate explicitly using an int instruction.
337 #define SETGATE(gate, istrap, sel, off, dpl)                    \
338 {                                                               \
339         (gate).gd_off_15_0 = (uint32_t) (off) & 0xffff;         \
340         (gate).gd_ss = (sel);                                   \
341         (gate).gd_args = 0;                                     \
342         (gate).gd_rsv1 = 0;                                     \
343         (gate).gd_type = (istrap) ? STS_TG32 : STS_IG32;        \
344         (gate).gd_s = 0;                                        \
345         (gate).gd_dpl = (dpl);                                  \
346         (gate).gd_p = 1;                                        \
347         (gate).gd_off_31_16 = (uint32_t) (off) >> 16;           \
348 }
349
350 #define ROSETGATE(gate, istrap, sel, off, dpl)                  \
351 {                                                               \
352         (gate).gd_off_15_0 = SINIT((uint32_t) (off) & 0xffff);          \
353         (gate).gd_ss = SINIT(sel);                                      \
354         (gate).gd_args = SINIT(0);                                      \
355         (gate).gd_rsv1 = SINIT(0);                                      \
356         (gate).gd_type = SINIT((istrap) ? STS_TG32 : STS_IG32); \
357         (gate).gd_s = SINIT(0);                                 \
358         (gate).gd_dpl = SINIT(dpl);                                     \
359         (gate).gd_p = SINIT(1);                                 \
360         (gate).gd_off_31_16 = SINIT((uint32_t) (off) >> 16);            \
361 }
362
363 // Set up a call gate descriptor.
364 #define SETCALLGATE(gate, ss, off, dpl)                         \
365 {                                                               \
366         (gate).gd_off_15_0 = (uint32_t) (off) & 0xffff;         \
367         (gate).gd_ss = (ss);                                    \
368         (gate).gd_args = 0;                                     \
369         (gate).gd_rsv1 = 0;                                     \
370         (gate).gd_type = STS_CG32;                              \
371         (gate).gd_s = 0;                                        \
372         (gate).gd_dpl = (dpl);                                  \
373         (gate).gd_p = 1;                                        \
374         (gate).gd_off_31_16 = (uint32_t) (off) >> 16;           \
375 }
376
377 // Pseudo-descriptors used for LGDT, LLDT and LIDT instructions.
378 typedef struct Pseudodesc {
379         uint16_t pd_lim;                // Limit
380         uint32_t pd_base;               // Base address
381 } __attribute__ ((packed)) pseudodesc_t;
382
383 extern segdesc_t (COUNT(SEG_COUNT) RO gdt)[];
384 extern pseudodesc_t gdt_pd;
385
386 #endif /* !__ASSEMBLER__ */
387
388 #endif /* !ROS_INC_MMU_H */