x86: Remove the POLL_CONSOLE hack
[akaros.git] / kern / arch / x86 / init.c
1 /* See COPYRIGHT for copyright information. */
2
3 #include <ros/common.h>
4 #include <smp.h>
5 #include <arch/x86.h>
6 #include <arch/pci.h>
7 #include <arch/console.h>
8 #include <arch/perfmon.h>
9 #include <arch/init.h>
10 #include <monitor.h>
11 #include <arch/usb.h>
12 #include <assert.h>
13 #include <ros/procinfo.h>
14 #include <cpu_feat.h>
15
16
17 struct ancillary_state x86_default_fpu;
18 uint32_t kerndate;
19
20 #define capchar2ctl(x) ((x) - '@')
21
22 /* irq handler for the console (kb, serial, etc) */
23 static void irq_console(struct hw_trapframe *hw_tf, void *data)
24 {
25         uint8_t c;
26         struct cons_dev *cdev = (struct cons_dev*)data;
27         assert(cdev);
28         if (cons_get_char(cdev, &c))
29                 return;
30         /* Control code intercepts */
31         switch (c) {
32                 case capchar2ctl('G'):
33                         /* traditional 'ctrl-g', will put you in the monitor gracefully */
34                         send_kernel_message(core_id(), __run_mon, 0, 0, 0, KMSG_ROUTINE);
35                         return;
36                 case capchar2ctl('Q'):
37                         /* force you into the monitor.  you might deadlock. */
38                         printk("\nForcing entry to the monitor\n");
39                         monitor(hw_tf);
40                         return;
41                 case capchar2ctl('B'):
42                         /* backtrace / debugging for the core receiving the irq */
43                         printk("\nForced trapframe and backtrace for core %d\n", core_id());
44                         if (!hw_tf) {
45                                 printk("(no hw_tf, we probably polled the console)\n");
46                                 return;
47                         }
48                         print_trapframe(hw_tf);
49                         backtrace_hwtf(hw_tf);
50                         return;
51         }
52         cons_add_char(c);
53 }
54
55 static void cons_poller(void *arg)
56 {
57         while (1) {
58                 kthread_usleep(10000);
59                 irq_console(0, arg);
60         }
61 }
62
63 static void cons_irq_init(void)
64 {
65         struct cons_dev *i;
66         /* Register interrupt handlers for all console devices */
67         SLIST_FOREACH(i, &cdev_list, next) {
68                 register_irq(i->irq, irq_console, i, MKBUS(BusISA, 0, 0, 0));
69                 irq_console(0, i);
70         }
71 }
72
73 /* Init x86 processor extended state */
74 void ancillary_state_init(void)
75 {
76         uint32_t eax, ebx, ecx, edx;
77         uint64_t proc_supported_features; /* proc supported user state components */
78
79         // If you don't at least have FXSAVE and FXRSTOR
80         // (includes OSFXSR), you don't boot.
81         if (!cpu_has_feat(CPU_FEAT_X86_FXSR))
82                 panic("No FXSAVE/FXRSTOR (FXSR) support! Refusing to boot.");
83
84         if (cpu_has_feat(CPU_FEAT_X86_XSAVE)) {
85                 // Next determine the user state components supported
86                 // by the processor and set x86_default_xcr0 in proc_global_info.
87                 cpuid(0x0d, 0x00, &eax, 0, 0, &edx);
88                 proc_supported_features = ((uint64_t)edx << 32) | eax;
89
90                 // Intersection of processor-supported and Akaros-supported
91                 // features is the Akaros-wide default at runtime.
92                 __proc_global_info.x86_default_xcr0 = X86_MAX_XCR0 &
93                                                       proc_supported_features;
94
95                 /*
96                  * Make sure CR4.OSXSAVE is set and set the local xcr0 to the default.
97                  * We will do both of these things again during per-cpu init,
98                  * but we are about to use XSAVE to build our default extended state
99                  * record, so we need them enabled.
100                  * You must set CR4_OSXSAVE before setting xcr0, or a #UD fault occurs.
101                  */
102                 lcr4(rcr4() | CR4_OSXSAVE);
103                 lxcr0(__proc_global_info.x86_default_xcr0);
104
105                 /*
106                  * Build a default set of extended state values that we can later use
107                  * to initialize extended state on other cores, or restore on this
108                  * core. We need to use FNINIT to reset the FPU before saving, in case
109                  * boot agents used the FPU or it is dirty for some reason. An old
110                  * comment that used to be here said "had this happen on c89, which had
111                  * a full FP stack after booting." Note that FNINIT does not clear the
112                  * data registers, but it tags them all as empty (0b11).
113                  */
114
115                 // Zero the default extended state memory region before saving.
116                 // It may be possible for memset to clobber SSE registers.
117                 memset(&x86_default_fpu, 0x00, sizeof(struct ancillary_state));
118
119                 /*
120                  * FNINIT clears FIP and FDP and, even though it is technically a
121                  * control instruction, it clears FOP while initializing the FPU.
122                  *
123                  * This marks the STX/MMX registers as empty in the FPU tag word,
124                  * but does not actually clear the values in the registers,
125                  * so we manually clear them in the xsave area after saving.
126                  */
127                 asm volatile ("fninit");
128
129                 /*
130                  * Save only the x87 FPU state so that the extended state registers
131                  * remain zeroed in the default. The MXCSR is in a separate state
132                  * component (SSE), so we manually set its value in the default state.
133                  *
134                  * We use XSAVE64 instead of XSAVEOPT64 (save_fp_state uses
135                  * XSAVEOPT64), because XSAVEOPT64 may decide to skip saving a state
136                  * component if that state component is in its initial configuration,
137                  * and we just used FNINIT to put the x87 in its initial configuration.
138                  * We can be confident that the x87 bit (bit 0) is set in xcr0, because
139                  * Intel requires it to be set at all times.
140                  */
141                 edx = 0x0;
142                 eax = 0x1;
143                 asm volatile("xsave64 %0" : : "m"(x86_default_fpu), "a"(eax), "d"(edx));
144
145                 // Clear junk that might have been saved from STX/MMX registers
146                 memset(&(x86_default_fpu.st0_mm0), 0x00, 128);
147
148                 /* We must set the MXCSR field in the default state struct to its
149                  * power-on value of 0x1f80. This masks all SIMD floating
150                  * point exceptions and clears all SIMD floating-point exception
151                  * flags, sets rounding control to round-nearest, disables
152                  * flush-to-zero mode, and disables denormals-are-zero mode.
153                  *
154                  * We don't actually have to set the MXCSR itself here,
155                  * because it will be set from the default state struct when
156                  * we perform per-cpu init.
157                  *
158                  * Right now, we set the MXCSR through fp_head_64d. Since
159                  * the mxcsr is at the same offset in all fp header formats
160                  * implemented for Akaros, this will function correctly for
161                  * all supported operating modes.
162                  */
163                  x86_default_fpu.fp_head_64d.mxcsr = 0x1f80;
164         } else {
165                 // Since no program should try to use XSAVE features
166                 // on this processor, we set x86_default_xcr0 to 0x0
167                 __proc_global_info.x86_default_xcr0 = 0x0;
168
169                 /*
170                  * Build a default set of extended state values that we can later use to
171                  * initialize extended state on other cores, or restore on this core.
172                  * We need to use FNINIT to reset the FPU before saving, in case boot
173                  * agents used the FPU or it is dirty for some reason. An old comment
174                  * that used to be here said "had this happen on c89, which had a full
175                  * FP stack after booting." Note that FNINIT does not clear the data
176                  * registers, but it tags them all as empty (0b11).
177                  */
178
179                 // Zero the default extended state memory region before saving.
180                 // It may be possible for memset to clobber SSE registers.
181                 memset(&x86_default_fpu, 0x00, sizeof(struct ancillary_state));
182
183                 /*
184                  * FNINIT clears FIP and FDP and, even though it is technically a
185                  * control instruction, it clears FOP while initializing the FPU.
186                  *
187                  * This marks the STX/MMX registers as empty in the FPU tag word,
188                  * but does not actually clear the values in the registers,
189                  * so we manually clear them in the xsave area after saving.
190                  */
191                 asm volatile ("fninit");
192
193                 // Save the x87 FPU state
194                 asm volatile("fxsave64 %0" : : "m"(x86_default_fpu));
195
196                 /*
197                  * Clear junk that might have been saved from the STX/MMX registers.
198                  *
199                  * FXSAVE may have also saved junk from the XMM registers,
200                  * depending on how the hardware was implemented and the setting
201                  * of CR4.OSFXSR. So we clear that too.
202                  *
203                  * MMX: 128 bytes, XMM: 256 bytes
204                  */
205                 memset(&(x86_default_fpu.st0_mm0), 0x00, 128 + 256);
206
207                 /*
208                  * Finally, because Only the Paranoid Survive, we set the MXCSR
209                  * for our default state. It should have been saved by FXSAVE,
210                  * but who knows if the default value is still there at this
211                  * point in the boot process.
212                  */
213                 x86_default_fpu.fp_head_64d.mxcsr = 0x1f80;
214         }
215
216 }
217
218 void arch_init(void)
219 {
220         ancillary_state_init();
221         pci_init();
222         vmm_init();
223         perfmon_global_init();
224         // this returns when all other cores are done and ready to receive IPIs
225         #ifdef CONFIG_SINGLE_CORE
226                 smp_percpu_init();
227         #else
228                 smp_boot();
229         #endif
230         proc_init();
231
232         cons_irq_init();
233         intel_lpc_init();
234 #ifdef CONFIG_ENABLE_LEGACY_USB
235         printk("Legacy USB support enabled, expect SMM interference!\n");
236 #else
237         usb_disable_legacy();
238 #endif
239         check_timing_stability();
240 }