x86: vmm: Finalize to owning_proc, not cur_proc.
[akaros.git] / kern / arch / x86 / init.c
1 /* See COPYRIGHT for copyright information. */
2
3 #include <ros/common.h>
4 #include <smp.h>
5 #include <arch/x86.h>
6 #include <arch/pci.h>
7 #include <arch/console.h>
8 #include <arch/perfmon.h>
9 #include <arch/init.h>
10 #include <monitor.h>
11 #include <arch/usb.h>
12 #include <assert.h>
13 #include <ros/procinfo.h>
14 #include <cpu_feat.h>
15
16
17 struct ancillary_state x86_default_fpu;
18 uint32_t kerndate;
19
20 #define capchar2ctl(x) ((x) - '@')
21
22 /* irq handler for the console (kb, serial, etc) */
23 static void irq_console(struct hw_trapframe *hw_tf, void *data)
24 {
25         uint8_t c;
26         struct cons_dev *cdev = (struct cons_dev*)data;
27         assert(cdev);
28         if (cons_get_char(cdev, &c))
29                 return;
30         /* Control code intercepts */
31         switch (c) {
32                 case capchar2ctl('G'):
33                         /* traditional 'ctrl-g', will put you in the monitor gracefully */
34                         send_kernel_message(core_id(), __run_mon, 0, 0, 0, KMSG_ROUTINE);
35                         return;
36                 case capchar2ctl('Q'):
37                         /* force you into the monitor.  you might deadlock. */
38                         printk("\nForcing entry to the monitor\n");
39                         monitor(hw_tf);
40                         return;
41                 case capchar2ctl('B'):
42                         /* backtrace / debugging for the core receiving the irq */
43                         printk("\nForced trapframe and backtrace for core %d\n", core_id());
44                         if (!hw_tf) {
45                                 printk("(no hw_tf, we probably polled the console)\n");
46                                 return;
47                         }
48                         print_trapframe(hw_tf);
49                         backtrace_hwtf(hw_tf);
50                         return;
51         }
52         cons_add_char(c);
53 }
54
55 static void cons_poller(void *arg)
56 {
57         while (1) {
58                 kthread_usleep(10000);
59                 irq_console(0, arg);
60         }
61 }
62
63 static void cons_irq_init(void)
64 {
65         struct cons_dev *i;
66         /* Register interrupt handlers for all console devices */
67         SLIST_FOREACH(i, &cdev_list, next) {
68                 register_irq(i->irq, irq_console, i, MKBUS(BusISA, 0, 0, 0));
69 #ifdef CONFIG_POLL_CONSOLE
70                 ktask("cons_poller", cons_poller, i);
71 #endif /* CONFIG_POLL_CONSOLE */
72         }
73 }
74
75 /* Init x86 processor extended state */
76 void ancillary_state_init(void)
77 {
78         uint32_t eax, ebx, ecx, edx;
79         uint64_t proc_supported_features; /* proc supported user state components */
80
81         // If you don't at least have FXSAVE and FXRSTOR
82         // (includes OSFXSR), you don't boot.
83         if (!cpu_has_feat(CPU_FEAT_X86_FXSR))
84                 panic("No FXSAVE/FXRSTOR (FXSR) support! Refusing to boot.");
85
86         if (cpu_has_feat(CPU_FEAT_X86_XSAVE)) {
87                 // Next determine the user state components supported
88                 // by the processor and set x86_default_xcr0 in proc_global_info.
89                 cpuid(0x0d, 0x00, &eax, 0, 0, &edx);
90                 proc_supported_features = ((uint64_t)edx << 32) | eax;
91
92                 // Intersection of processor-supported and Akaros-supported
93                 // features is the Akaros-wide default at runtime.
94                 __proc_global_info.x86_default_xcr0 = X86_MAX_XCR0 &
95                                                       proc_supported_features;
96
97                 /*
98                  * Make sure CR4.OSXSAVE is set and set the local xcr0 to the default.
99                  * We will do both of these things again during per-cpu init,
100                  * but we are about to use XSAVE to build our default extended state
101                  * record, so we need them enabled.
102                  * You must set CR4_OSXSAVE before setting xcr0, or a #UD fault occurs.
103                  */
104                 lcr4(rcr4() | CR4_OSXSAVE);
105                 lxcr0(__proc_global_info.x86_default_xcr0);
106
107                 /*
108                  * Build a default set of extended state values that we can later use
109                  * to initialize extended state on other cores, or restore on this
110                  * core. We need to use FNINIT to reset the FPU before saving, in case
111                  * boot agents used the FPU or it is dirty for some reason. An old
112                  * comment that used to be here said "had this happen on c89, which had
113                  * a full FP stack after booting." Note that FNINIT does not clear the
114                  * data registers, but it tags them all as empty (0b11).
115                  */
116
117                 // Zero the default extended state memory region before saving.
118                 // It may be possible for memset to clobber SSE registers.
119                 memset(&x86_default_fpu, 0x00, sizeof(struct ancillary_state));
120
121                 /*
122                  * FNINIT clears FIP and FDP and, even though it is technically a
123                  * control instruction, it clears FOP while initializing the FPU.
124                  *
125                  * This marks the STX/MMX registers as empty in the FPU tag word,
126                  * but does not actually clear the values in the registers,
127                  * so we manually clear them in the xsave area after saving.
128                  */
129                 asm volatile ("fninit");
130
131                 /*
132                  * Save only the x87 FPU state so that the extended state registers
133                  * remain zeroed in the default. The MXCSR is in a separate state
134                  * component (SSE), so we manually set its value in the default state.
135                  *
136                  * We use XSAVE64 instead of XSAVEOPT64 (save_fp_state uses
137                  * XSAVEOPT64), because XSAVEOPT64 may decide to skip saving a state
138                  * component if that state component is in its initial configuration,
139                  * and we just used FNINIT to put the x87 in its initial configuration.
140                  * We can be confident that the x87 bit (bit 0) is set in xcr0, because
141                  * Intel requires it to be set at all times.
142                  */
143                 edx = 0x0;
144                 eax = 0x1;
145                 asm volatile("xsave64 %0" : : "m"(x86_default_fpu), "a"(eax), "d"(edx));
146
147                 // Clear junk that might have been saved from STX/MMX registers
148                 memset(&(x86_default_fpu.st0_mm0), 0x00, 128);
149
150                 /* We must set the MXCSR field in the default state struct to its
151                  * power-on value of 0x1f80. This masks all SIMD floating
152                  * point exceptions and clears all SIMD floating-point exception
153                  * flags, sets rounding control to round-nearest, disables
154                  * flush-to-zero mode, and disables denormals-are-zero mode.
155                  *
156                  * We don't actually have to set the MXCSR itself here,
157                  * because it will be set from the default state struct when
158                  * we perform per-cpu init.
159                  *
160                  * Right now, we set the MXCSR through fp_head_64d. Since
161                  * the mxcsr is at the same offset in all fp header formats
162                  * implemented for Akaros, this will function correctly for
163                  * all supported operating modes.
164                  */
165                  x86_default_fpu.fp_head_64d.mxcsr = 0x1f80;
166         } else {
167                 // Since no program should try to use XSAVE features
168                 // on this processor, we set x86_default_xcr0 to 0x0
169                 __proc_global_info.x86_default_xcr0 = 0x0;
170
171                 /*
172                  * Build a default set of extended state values that we can later use to
173                  * initialize extended state on other cores, or restore on this core.
174                  * We need to use FNINIT to reset the FPU before saving, in case boot
175                  * agents used the FPU or it is dirty for some reason. An old comment
176                  * that used to be here said "had this happen on c89, which had a full
177                  * FP stack after booting." Note that FNINIT does not clear the data
178                  * registers, but it tags them all as empty (0b11).
179                  */
180
181                 // Zero the default extended state memory region before saving.
182                 // It may be possible for memset to clobber SSE registers.
183                 memset(&x86_default_fpu, 0x00, sizeof(struct ancillary_state));
184
185                 /*
186                  * FNINIT clears FIP and FDP and, even though it is technically a
187                  * control instruction, it clears FOP while initializing the FPU.
188                  *
189                  * This marks the STX/MMX registers as empty in the FPU tag word,
190                  * but does not actually clear the values in the registers,
191                  * so we manually clear them in the xsave area after saving.
192                  */
193                 asm volatile ("fninit");
194
195                 // Save the x87 FPU state
196                 asm volatile("fxsave64 %0" : : "m"(x86_default_fpu));
197
198                 /*
199                  * Clear junk that might have been saved from the STX/MMX registers.
200                  *
201                  * FXSAVE may have also saved junk from the XMM registers,
202                  * depending on how the hardware was implemented and the setting
203                  * of CR4.OSFXSR. So we clear that too.
204                  *
205                  * MMX: 128 bytes, XMM: 256 bytes
206                  */
207                 memset(&(x86_default_fpu.st0_mm0), 0x00, 128 + 256);
208
209                 /*
210                  * Finally, because Only the Paranoid Survive, we set the MXCSR
211                  * for our default state. It should have been saved by FXSAVE,
212                  * but who knows if the default value is still there at this
213                  * point in the boot process.
214                  */
215                 x86_default_fpu.fp_head_64d.mxcsr = 0x1f80;
216         }
217
218 }
219
220 void arch_init(void)
221 {
222         ancillary_state_init();
223         pci_init();
224         vmm_init();
225         perfmon_global_init();
226         // this returns when all other cores are done and ready to receive IPIs
227         #ifdef CONFIG_SINGLE_CORE
228                 smp_percpu_init();
229         #else
230                 smp_boot();
231         #endif
232         proc_init();
233
234         cons_irq_init();
235         intel_lpc_init();
236 #ifdef CONFIG_ENABLE_LEGACY_USB
237         printk("Legacy USB support enabled, expect SMM interference!\n");
238 #else
239         usb_disable_legacy();
240 #endif
241         check_timing_stability();
242 }