x86: set pcpui->{ts,gdt} early
[akaros.git] / kern / arch / x86 / trap64.h
1 /* Copyright (c) 2009-13 The Regents of the University of California
2  * Barret Rhoden <brho@cs.berkeley.edu>
3  * See LICENSE for details.
4  *
5  * x86 trap.h bit-specific functions.  This is included by trap.h, do not
6  * include it directly.  Any function beginning with x86_ is internal to x86,
7  * and not to be called by the main kernel.  Other functions are part of the
8  * kernel-arch interface. */
9
10 #pragma once
11
12 #ifndef ROS_KERN_ARCH_TRAP_H
13 #error "Do not include arch/trap64.h directly."
14 #endif
15
16 #include <arch/fsgsbase.h>
17
18 static inline bool in_kernel(struct hw_trapframe *hw_tf)
19 {
20         return (hw_tf->tf_cs & ~3) == GD_KT;
21 }
22
23 static inline void x86_advance_ip(struct hw_trapframe *hw_tf, size_t bytes)
24 {
25         hw_tf->tf_rip += bytes;
26 }
27
28 static inline void x86_fake_rdtscp(struct hw_trapframe *hw_tf)
29 {
30         uint64_t tsc_time = read_tsc();
31         hw_tf->tf_rip += 3;
32         hw_tf->tf_rax = tsc_time & 0xffffffff;
33         hw_tf->tf_rdx = tsc_time >> 32;
34         hw_tf->tf_rcx = core_id();
35 }
36
37 static inline void x86_sysenter_init(void)
38 {
39         /* check amd 2:6.1.1 for details.  they have some expectations about the GDT
40          * layout. */
41         write_msr(MSR_STAR, ((((uint64_t)GD_UD - 8) | 0x3) << 48) |
42                             ((uint64_t)GD_KT << 32));
43         write_msr(MSR_LSTAR, (uintptr_t)&sysenter_handler);
44         /* Masking all flags.  when we syscall, we'll get rflags = 0 */
45         write_msr(MSR_SFMASK, 0xffffffff);
46         write_msr(IA32_EFER_MSR, read_msr(IA32_EFER_MSR) | IA32_EFER_SYSCALL);
47 }
48
49 /* these are used for both sysenter and traps on 32 bit */
50 static inline void x86_set_sysenter_stacktop(uintptr_t stacktop)
51 {
52         asm volatile ("movq %0, %%gs:0" : : "r"(stacktop));
53 }
54
55 static inline long x86_get_sysenter_arg0(struct hw_trapframe *hw_tf)
56 {
57         return hw_tf->tf_rdi;
58 }
59
60 static inline long x86_get_sysenter_arg1(struct hw_trapframe *hw_tf)
61 {
62         return hw_tf->tf_rsi;
63 }
64
65 static inline long x86_get_systrap_arg0(struct hw_trapframe *hw_tf)
66 {
67         return hw_tf->tf_rdi;
68 }
69
70 static inline long x86_get_systrap_arg1(struct hw_trapframe *hw_tf)
71 {
72         return hw_tf->tf_rsi;
73 }
74
75 static inline uintptr_t x86_get_stacktop_tss(struct taskstate *tss)
76 {
77         return tss->ts_rsp0;
78 }
79
80 static inline void x86_set_stacktop_tss(struct taskstate *tss, uintptr_t top)
81 {
82         tss->ts_rsp0 = top;
83 }
84
85 /* Keep tf_padding0 in sync with trapentry64.S */
86 static inline bool x86_hwtf_is_partial(struct hw_trapframe *tf)
87 {
88         return tf->tf_padding0 == 1;
89 }
90
91 static inline bool x86_swtf_is_partial(struct sw_trapframe *tf)
92 {
93         return tf->tf_padding0 == 1;
94 }
95
96 static inline bool x86_vmtf_is_partial(struct vm_trapframe *tf)
97 {
98         return tf->tf_flags & VMCTX_FL_PARTIAL ? TRUE : FALSE;
99 }
100
101 static inline void x86_hwtf_clear_partial(struct hw_trapframe *tf)
102 {
103         tf->tf_padding0 = 0;
104 }
105
106 static inline void x86_swtf_clear_partial(struct sw_trapframe *tf)
107 {
108         tf->tf_padding0 = 0;
109 }
110
111 static inline void x86_vmtf_clear_partial(struct vm_trapframe *tf)
112 {
113         tf->tf_flags &= ~VMCTX_FL_PARTIAL;
114 }
115
116 static inline bool arch_ctx_is_partial(struct user_context *ctx)
117 {
118         switch (ctx->type) {
119         case ROS_HW_CTX:
120                 return x86_hwtf_is_partial(&ctx->tf.hw_tf);
121         case ROS_SW_CTX:
122                 return x86_swtf_is_partial(&ctx->tf.sw_tf);
123         case ROS_VM_CTX:
124                 return x86_vmtf_is_partial(&ctx->tf.vm_tf);
125         }
126         return FALSE;
127 }