PCI device locking and synchronization
[akaros.git] / kern / arch / x86 / ros / mmu32.h
1 #ifndef ROS_INC_ARCH_MMU32_H
2 #define ROS_INC_ARCH_MMU32_H
3
4 #ifndef ROS_INC_ARCH_MMU_H
5 #error "Do not include include ros/arch/mmu32.h directly"
6 #endif
7
8 #ifndef __ASSEMBLER__
9 #include <ros/common.h>
10 typedef unsigned long pte_t;
11 typedef unsigned long pde_t;
12 #endif
13
14 /* x86's 32 bit Virtual Memory Map.  Symbols are similar on other archs
15  *
16  * Virtual memory map:                                Permissions
17  *                                                    kernel/user
18  *
19  *    4 Gig -------->  +------------------------------+
20  *                     :              .               :
21  *  KERN_VMAP_TOP      +------------------------------+ 0xfec00000
22  *                     |                              |
23  *                     ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ RW/--
24  *                     :              .               :
25  *                     :              .               :
26  *                     :              .               :
27  *                     |~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~| RW/--
28  *                     |                              | RW/--
29  *                     |   Remapped Physical Memory   | RW/--
30  *                     |                              | RW/--
31  *    KERNBASE ----->  +------------------------------+ 0xc0000000
32  *                     |  Cur. Page Table (Kern. RW)  | RW/--  PTSIZE
33  *    VPT          --> +------------------------------+ 0xbfc00000
34  *                     |          Local APIC          | RW/--  APIC_SIZE
35  *    LAPIC        --> +------------------------------+ 0xbfb00000
36  *                     |            IOAPIC            | RW/--  APIC_SIZE
37  *    IOAPIC,      --> +------------------------------+ 0xbfa00000
38  *  KERN_DYN_TOP       |   Kernel Dynamic Mappings    |
39  *                     |              .               |
40  *                     :              .               :
41  *                     ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ RW/--
42  *                     :                              :
43  *                     |      Invalid Memory (*)      | --/--
44  *    ULIM      ---->  +------------------------------+ 0x80000000      --+
45  *                     |  Cur. Page Table (User R-)   | R-/R-  PTSIZE     |
46  *    UVPT      ---->  +------------------------------+ 0x7fc00000      --+
47  *                     | Unmapped (expandable region) |                   |
48  *                     |                              | R-/R-            PTSIZE
49  *                     |     Per-Process R/O Info     |                   |
50  * UWLIM, UINFO ---->  +------------------------------+ 0x7f800000      --+
51  *                     | Unmapped (expandable region) |                   |
52  *                     |                              | RW/RW            PTSIZE
53  *                     |     Per-Process R/W Data     |                   |
54  *    UDATA     ---->  +------------------------------+ 0x7f400000      --+
55  *    UMAPTOP,         |    Global Shared R/W Data    | RW/RW  PGSIZE
56  *      UGDATA  ---->  +------------------------------+ 0x7f3ff000
57  *                     |     User Exception Stack     | RW/RW  PGSIZE
58  *                     +------------------------------+ 0x7f3fe000
59  *                     |       Empty Memory (*)       | --/--  PGSIZE
60  *    USTACKTOP  --->  +------------------------------+ 0x7f3fd000
61  *                     |      Normal User Stack       | RW/RW  256*PGSIZE (1MB)
62  *                     +------------------------------+ 0x7f2fd000
63  *                     |       Empty Memory (*)       | --/--  PGSIZE
64  *    USTACKBOT  --->  +------------------------------+ 0x7f2fc000
65  *                     |                              |
66  *                     |                              |
67  *                     ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
68  *                     .                              .
69  *                     .                              .
70  *                     .                              .
71  *                     |~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~|
72  *                     |     Program Data & Heap      |
73  *    UTEXT -------->  +------------------------------+ 0x00800000
74  *                     |                              |
75  *                     |       Empty Memory (*)       |
76  *                     |                              |
77  *                     +------------------------------+ 0x00000000
78  *
79  * (*) Note: The kernel ensures that "Invalid Memory" (ULIM) is *never*
80  *     mapped.  "Empty Memory" is normally unmapped, but user programs may
81  *     map pages there if desired.  ROS user programs map pages temporarily
82  *     at UTEMP.
83  *
84  *     KERN_VMAP_TOP is set to the IO_APIC_BASE, where we'll map in the IOAPIC
85  *     and LAPIC.  We need to not give out this region as free pages.
86  */
87
88
89 // At IOPHYSMEM (640K) there is a 384K hole for I/O.  From the kernel,
90 // IOPHYSMEM can be addressed at KERNBASE + IOPHYSMEM.  The hole ends
91 // at physical address EXTPHYSMEM.
92 #define IOPHYSMEM       0x0A0000
93 #define VGAPHYSMEM      0x0A0000
94 #define DEVPHYSMEM      0x0C0000
95 #define BIOSPHYSMEM     0x0F0000
96 #define EXTPHYSMEM      0x100000
97
98 /* **************************************** */
99 /* Kernel Virtual Memory Mapping  (not really an MMU thing) */
100
101 #define KERNBASE        0xC0000000
102 #define KERN_LOAD_ADDR  KERNBASE
103 /* Top of the kernel virtual mapping area (KERNBASE) */
104 /* For sanity reasons, I don't plan to map the top page */
105 #define KERN_VMAP_TOP                           0xfffff000
106
107 /* Static kernel mappings */
108 /* Virtual page table.  Entry PDX(VPT) in the PD contains a pointer to
109  * the page directory itself, thereby turning the PD into a page table,
110  * which maps all the PTEs containing the page mappings for the entire
111  * virtual address space into that 4 Meg region starting at VPT. */
112 #define VPT                             (KERNBASE - PTSIZE)
113 #define VPD (VPT + (VPT >> 10))
114 #define vpd VPD
115 #define APIC_SIZE               0x100000
116 #define LAPIC_BASE              (VPT - APIC_SIZE)
117 #define IOAPIC_BASE             (LAPIC_BASE - APIC_SIZE)
118
119 /* All arches must define this, which is the lower limit of their static
120  * mappings, and where the dynamic mappings will start. */
121 #define KERN_DYN_TOP    IOAPIC_BASE
122
123 #define ULIM            0x80000000
124
125 /* Same as VPT but read-only for users */
126 #define UVPT            (ULIM - PTSIZE)
127
128 /* Arbitrary boundary between the break and the start of
129  * memory returned by calls to mmap with addr = 0 */
130 #define BRK_END 0x40000000
131
132 // Use this if needed in annotations
133 #define IVY_KERNBASE (0xC000U << 16)
134
135 /* **************************************** */
136 /* Page table constants, macros, etc */
137
138 // A linear address 'la' has a three-part structure as follows:
139 //
140 // +--------10------+-------10-------+---------12----------+
141 // | Page Directory |   Page Table   | Offset within Page  |
142 // |      Index     |      Index     |                     |
143 // +----------------+----------------+---------------------+
144 //  \--- PDX(la) --/ \--- PTX(la) --/ \---- PGOFF(la) ----/
145 //  \----------- PPN(la) -----------/
146 //
147 // The PDX, PTX, PGOFF, and PPN macros decompose linear addresses as shown.
148 // To construct a linear address la from PDX(la), PTX(la), and PGOFF(la),
149 // use PGADDR(PDX(la), PTX(la), PGOFF(la)).
150
151 // page number field of address
152 #define LA2PPN(la)      (((uintptr_t) (la)) >> PGSHIFT)
153 #define PTE2PPN(pte)    LA2PPN(pte)
154
155 // page directory index
156 #define PDX(la)         ((((uintptr_t) (la)) >> PDXSHIFT) & 0x3FF)
157
158 // page table index
159 #define PTX(la)         ((((uintptr_t) (la)) >> PTXSHIFT) & 0x3FF)
160
161 // offset in page
162 #define PGOFF(la)       (((uintptr_t) (la)) & 0xFFF)
163
164 // offset in jumbo page
165 #define JPGOFF(la)      (((uintptr_t) (la)) & 0x003FFFFF)
166
167 // construct PTE from PPN and flags
168 #define PTE(ppn, flags) ((ppn) << PTXSHIFT | PGOFF(flags))
169
170 // construct linear address from indexes and offset
171 #define PGADDR(d, t, o) ((void*SNT) ((d) << PDXSHIFT | (t) << PTXSHIFT | (o)))
172
173 // Page directory and page table constants.
174 #define NPDENTRIES      1024            // page directory entries per page directory
175 #define NPTENTRIES      1024            // page table entries per page table
176
177 #define PTXSHIFT        12              // offset of PTX in a linear address
178 #define PDXSHIFT        22              // offset of PDX in a linear address
179
180 // Page table/directory entry flags.
181 #define PTE_P           0x001   // Present
182 #define PTE_W           0x002   // Writeable
183 #define PTE_U           0x004   // User
184 #define PTE_PWT         0x008   // Write-Through
185 #define PTE_PCD         0x010   // Cache-Disable
186 #define PTE_A           0x020   // Accessed
187 #define PTE_D           0x040   // Dirty
188 #define PTE_PS          0x080   // Page Size (only applies to PDEs)
189 #define PTE_PAT         0x080   // PAT (only applies to second layer PTEs)
190 #define PTE_G           0x100   // Global Page
191 #define PTE_NOCACHE     (PTE_PWT | PTE_PCD)
192
193 #define PTE_PERM        (PTE_W | PTE_U) // The permissions fields
194 // commly used access modes
195 #define PTE_KERN_RW     PTE_W           // Kernel Read/Write
196 #define PTE_KERN_RO     0               // Kernel Read-Only
197 #define PTE_USER_RW     (PTE_W | PTE_U) // Kernel/User Read/Write
198 #define PTE_USER_RO     PTE_U           // Kernel/User Read-Only
199
200 // The PTE_AVAIL bits aren't used by the kernel or interpreted by the
201 // hardware, so user processes are allowed to set them arbitrarily.
202 #define PTE_AVAIL       0xE00   // Available for software use
203
204 // Only flags in PTE_USER may be used in system calls.
205 #define PTE_USER        (PTE_AVAIL | PTE_P | PTE_W | PTE_U)
206
207 // address in page table entry
208 #define PTE_ADDR(pte)   ((physaddr_t) (pte) & ~0xFFF)
209
210 #define PTSHIFT 22
211 #define PTSIZE (1 << PTSHIFT)
212 #define PGSHIFT 12
213 #define PGSIZE (1 << PGSHIFT)
214 #define JPGSIZE PTSIZE
215
216 // we must guarantee that for any PTE, exactly one of the following is true
217 #define PAGE_PRESENT(pte) ((pte) & PTE_P)
218 #define PAGE_UNMAPPED(pte) ((pte) == 0)
219 #define PAGE_PAGED_OUT(pte) (!PAGE_PRESENT(pte) && !PAGE_UNMAPPED(pte))
220
221 /* **************************************** */
222 /* Segmentation */
223
224 // Global descriptor numbers
225 #define GD_NULL   0x00     // NULL descriptor
226 #define GD_KT     0x08     // kernel text
227 #define GD_KD     0x10     // kernel data
228 #define GD_UT     0x18     // user text
229 #define GD_UD     0x20     // user data
230 #define GD_TSS    0x28     // Task segment selector
231 #define GD_LDT    0x30     // local descriptor table
232
233 #ifdef __ASSEMBLER__
234
235 /*
236  * Macros to build GDT entries in assembly.
237  */
238 #define SEG_NULL                                                \
239         .word 0, 0;                                             \
240         .byte 0, 0, 0, 0
241 #define SEG(type,base,lim)                                      \
242         .word (((lim) >> 12) & 0xffff), ((base) & 0xffff);      \
243         .byte (((base) >> 16) & 0xff), (0x90 | (type)),         \
244                 (0xC0 | (((lim) >> 28) & 0xf)), (((base) >> 24) & 0xff)
245
246 #else   // not __ASSEMBLER__
247
248 // Segment Descriptors
249 typedef struct Segdesc {
250         unsigned sd_lim_15_0 : 16;  // Low bits of segment limit
251         unsigned sd_base_15_0 : 16; // Low bits of segment base address
252         unsigned sd_base_23_16 : 8; // Middle bits of segment base address
253         unsigned sd_type : 4;       // Segment type (see STS_ constants)
254         unsigned sd_s : 1;          // 0 = system, 1 = application
255         unsigned sd_dpl : 2;        // Descriptor Privilege Level
256         unsigned sd_p : 1;          // Present
257         unsigned sd_lim_19_16 : 4;  // High bits of segment limit
258         unsigned sd_avl : 1;        // Unused (available for software use)
259         unsigned sd_rsv1 : 1;       // Reserved
260         unsigned sd_db : 1;         // 0 = 16-bit segment, 1 = 32-bit segment
261         unsigned sd_g : 1;          // Granularity: limit scaled by 4K when set
262         unsigned sd_base_31_24 : 8; // High bits of segment base address
263 } segdesc_t;
264 typedef struct Segdesc syssegdesc_t;
265
266 // Null segment
267 #define SEG_NULL        { 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 }
268 // Segment that is loadable but faults when used
269 #define SEG_FAULT       { 0, 0, 0, 0, 1, 0, 1, 0, 0, 0, 1, 0, 0 }
270 // Normal segment
271 #define SEG(type, base, lim, dpl)                                                                       \
272 { ((lim) >> 12) & 0xffff, (base) & 0xffff, ((base) >> 16) & 0xff,       \
273     type, 1, dpl, 1, (unsigned) (lim) >> 28, 0, 0, 1, 1,                        \
274     (unsigned) (base) >> 24 }
275
276 #define SEG16(type, base, lim, dpl)                                                             \
277 { (lim) & 0xffff, (base) & 0xffff, ((base) >> 16) & 0xff,                       \
278     type, 1, dpl, 1, (unsigned) (lim) >> 16, 0, 0, 1, 0,                        \
279     (unsigned) (base) >> 24 }
280
281 // System segment (LDT)
282 #define SEG_SYS(type, base, lim, dpl)                                                           \
283 { ((lim) >> 12) & 0xffff, (base) & 0xffff, ((base) >> 16) & 0xff,       \
284     type, 0, dpl, 1, (unsigned) (lim) >> 28, 0, 0, 1, 1,                        \
285     (unsigned) (base) >> 24 }
286
287 #define SEG16_SYS(type, base, lim, dpl)                                                         \
288 { (lim) & 0xffff, (base) & 0xffff, ((base) >> 16) & 0xff,                       \
289     type, 0, dpl, 1, (unsigned) (lim) >> 16, 0, 0, 1, 0,                        \
290     (unsigned) (base) >> 24 }
291
292 #define SEG_SYS_SMALL(type, base, lim, dpl) \
293         SEG16_SYS(type, base, lim, dpl)
294
295 // Task state segment format (as described by the Pentium architecture book)
296 typedef struct taskstate {
297         uint32_t ts_link;       // Old ts selector
298         uintptr_t ts_esp0;      // Stack pointers and segment selectors
299         uint16_t ts_ss0;        //   after an increase in privilege level
300         uint16_t ts_padding1;
301         uintptr_t ts_esp1;
302         uint16_t ts_ss1;
303         uint16_t ts_padding2;
304         uintptr_t ts_esp2;
305         uint16_t ts_ss2;
306         uint16_t ts_padding3;
307         physaddr_t ts_cr3;      // Page directory base
308         uintptr_t ts_eip;       // Saved state from last task switch
309         uint32_t ts_eflags;
310         uint32_t ts_eax;        // More saved state (registers)
311         uint32_t ts_ecx;
312         uint32_t ts_edx;
313         uint32_t ts_ebx;
314         uintptr_t ts_esp;
315         uintptr_t ts_ebp;
316         uint32_t ts_esi;
317         uint32_t ts_edi;
318         uint16_t ts_es;         // Even more saved state (segment selectors)
319         uint16_t ts_padding4;
320         uint16_t ts_cs;
321         uint16_t ts_padding5;
322         uint16_t ts_ss;
323         uint16_t ts_padding6;
324         uint16_t ts_ds;
325         uint16_t ts_padding7;
326         uint16_t ts_fs;
327         uint16_t ts_padding8;
328         uint16_t ts_gs;
329         uint16_t ts_padding9;
330         uint16_t ts_ldt;
331         uint16_t ts_padding10;
332         uint16_t ts_t;          // Trap on task switch
333         uint16_t ts_iomb;       // I/O map base address
334 } taskstate_t;
335
336 // Gate descriptors for interrupts and traps
337 typedef struct Gatedesc {
338         unsigned gd_off_15_0 : 16;   // low 16 bits of offset in segment
339         unsigned gd_ss : 16;         // segment selector
340         unsigned gd_args : 5;        // # args, 0 for interrupt/trap gates
341         unsigned gd_rsv1 : 3;        // reserved(should be zero I guess)
342         unsigned gd_type : 4;        // type(STS_{TG,IG32,TG32})
343         unsigned gd_s : 1;           // must be 0 (system)
344         unsigned gd_dpl : 2;         // DPL - highest ring allowed to use this
345         unsigned gd_p : 1;           // Present
346         unsigned gd_off_31_16 : 16;  // high bits of offset in segment
347 } gatedesc_t;
348
349 // Set up a normal interrupt/trap gate descriptor.
350 // - istrap: 1 for a trap (= exception) gate, 0 for an interrupt gate.
351 //   - interrupt gates automatically disable interrupts (cli)
352 // - sel: Code segment selector for interrupt/trap handler
353 // - off: Offset in code segment for interrupt/trap handler
354 // - dpl: Descriptor Privilege Level -
355 //        the privilege level required for software to invoke
356 //        this interrupt/trap gate explicitly using an int instruction.
357 #define SETGATE(gate, istrap, sel, off, dpl)                    \
358 {                                                               \
359         (gate).gd_off_15_0 = (uint32_t) (off) & 0xffff;         \
360         (gate).gd_ss = (sel);                                   \
361         (gate).gd_args = 0;                                     \
362         (gate).gd_rsv1 = 0;                                     \
363         (gate).gd_type = (istrap) ? STS_TG32 : STS_IG32;        \
364         (gate).gd_s = 0;                                        \
365         (gate).gd_dpl = (dpl);                                  \
366         (gate).gd_p = 1;                                        \
367         (gate).gd_off_31_16 = (uint32_t) (off) >> 16;           \
368 }
369
370 #define ROSETGATE(gate, istrap, sel, off, dpl)                  \
371 {                                                               \
372         (gate).gd_off_15_0 = SINIT((uint32_t) (off) & 0xffff);          \
373         (gate).gd_ss = SINIT(sel);                                      \
374         (gate).gd_args = SINIT(0);                                      \
375         (gate).gd_rsv1 = SINIT(0);                                      \
376         (gate).gd_type = SINIT((istrap) ? STS_TG32 : STS_IG32); \
377         (gate).gd_s = SINIT(0);                                 \
378         (gate).gd_dpl = SINIT(dpl);                                     \
379         (gate).gd_p = SINIT(1);                                 \
380         (gate).gd_off_31_16 = SINIT((uint32_t) (off) >> 16);            \
381 }
382
383 // Set up a call gate descriptor.
384 #define SETCALLGATE(gate, ss, off, dpl)                         \
385 {                                                               \
386         (gate).gd_off_15_0 = (uint32_t) (off) & 0xffff;         \
387         (gate).gd_ss = (ss);                                    \
388         (gate).gd_args = 0;                                     \
389         (gate).gd_rsv1 = 0;                                     \
390         (gate).gd_type = STS_CG32;                              \
391         (gate).gd_s = 0;                                        \
392         (gate).gd_dpl = (dpl);                                  \
393         (gate).gd_p = 1;                                        \
394         (gate).gd_off_31_16 = (uint32_t) (off) >> 16;           \
395 }
396
397 // Pseudo-descriptors used for LGDT, LLDT and LIDT instructions.
398 typedef struct Pseudodesc {
399         uint16_t pd_lim;                // Limit
400         uint32_t pd_base;               // Base address
401 } __attribute__ ((packed)) pseudodesc_t;
402
403 #endif /* !__ASSEMBLER__ */
404
405 // Application segment type bits
406 #define STA_X           0x8         // Executable segment
407 #define STA_E           0x4         // Expand down (non-executable segments)
408 #define STA_C           0x4         // Conforming code segment (executable only)
409 #define STA_W           0x2         // Writeable (non-executable segments)
410 #define STA_R           0x2         // Readable (executable segments)
411 #define STA_A           0x1         // Accessed
412
413 // System segment type bits
414 #define STS_T16A        0x1         // Available 16-bit TSS
415 #define STS_LDT         0x2         // Local Descriptor Table
416 #define STS_T16B        0x3         // Busy 16-bit TSS
417 #define STS_CG16        0x4         // 16-bit Call Gate
418 #define STS_TG          0x5         // Task Gate / Coum Transmitions
419 #define STS_IG16        0x6         // 16-bit Interrupt Gate
420 #define STS_TG16        0x7         // 16-bit Trap Gate
421 #define STS_T32A        0x9         // Available 32-bit TSS
422 #define STS_T32B        0xB         // Busy 32-bit TSS
423 #define STS_CG32        0xC         // 32-bit Call Gate
424 #define STS_IG32        0xE         // 32-bit Interrupt Gate
425 #define STS_TG32        0xF         // 32-bit Trap Gate
426
427 #define SEG_COUNT       7               // Number of segments in the steady state
428 #define LDT_SIZE        (8192 * sizeof(segdesc_t))
429 #endif /* ROS_INC_ARCH_MMU32_H */