GCC patch r233572 added to makefile. (XCC)
[akaros.git] / kern / arch / x86 / init.c
1 /* See COPYRIGHT for copyright information. */
2
3 #include <ros/common.h>
4 #include <smp.h>
5 #include <arch/x86.h>
6 #include <arch/pci.h>
7 #include <arch/console.h>
8 #include <arch/perfmon.h>
9 #include <arch/init.h>
10 #include <console.h>
11 #include <monitor.h>
12 #include <arch/usb.h>
13 #include <assert.h>
14 #include <ros/procinfo.h>
15 #include <cpu_feat.h>
16
17
18 struct ancillary_state x86_default_fpu;
19 uint32_t kerndate;
20
21 #define capchar2ctl(x) ((x) - '@')
22
23 /* irq handler for the console (kb, serial, etc) */
24 static void irq_console(struct hw_trapframe *hw_tf, void *data)
25 {
26         uint8_t c;
27         struct cons_dev *cdev = (struct cons_dev*)data;
28         assert(cdev);
29         if (cons_get_char(cdev, &c))
30                 return;
31         /* Control code intercepts */
32         switch (c) {
33                 case capchar2ctl('G'):
34                         /* traditional 'ctrl-g', will put you in the monitor gracefully */
35                         send_kernel_message(core_id(), __run_mon, 0, 0, 0, KMSG_ROUTINE);
36                         return;
37                 case capchar2ctl('Q'):
38                         /* force you into the monitor.  you might deadlock. */
39                         printk("\nForcing entry to the monitor\n");
40                         monitor(hw_tf);
41                         return;
42                 case capchar2ctl('B'):
43                         /* backtrace / debugging for the core receiving the irq */
44                         printk("\nForced trapframe and backtrace for core %d\n", core_id());
45                         if (!hw_tf) {
46                                 printk("(no hw_tf, we probably polled the console)\n");
47                                 return;
48                         }
49                         print_trapframe(hw_tf);
50                         backtrace_hwtf(hw_tf);
51                         return;
52         }
53         /* Do our work in an RKM, instead of interrupt context.  Note the RKM will
54          * cast 'c' to a char. */
55         send_kernel_message(core_id(), __cons_add_char, (long)&cons_buf, (long)c,
56                             0, KMSG_ROUTINE);
57 }
58
59 static void cons_poller(void *arg)
60 {
61         while (1) {
62                 kthread_usleep(10000);
63                 irq_console(0, arg);
64         }
65 }
66
67 static void cons_irq_init(void)
68 {
69         struct cons_dev *i;
70         /* Register interrupt handlers for all console devices */
71         SLIST_FOREACH(i, &cdev_list, next) {
72                 register_irq(i->irq, irq_console, i, MKBUS(BusISA, 0, 0, 0));
73 #ifdef CONFIG_POLL_CONSOLE
74                 ktask("cons_poller", cons_poller, i);
75 #endif /* CONFIG_POLL_CONSOLE */
76         }
77 }
78
79 /* Init x86 processor extended state */
80 void ancillary_state_init(void)
81 {
82         uint32_t eax, ebx, ecx, edx;
83         uint64_t proc_supported_features; /* proc supported user state components */
84
85         // If you don't at least have FXSAVE and FXRSTOR
86         // (includes OSFXSR), you don't boot.
87         if (!cpu_has_feat(CPU_FEAT_X86_FXSR))
88                 panic("No FXSAVE/FXRSTOR (FXSR) support! Refusing to boot.");
89
90         if (cpu_has_feat(CPU_FEAT_X86_XSAVE)) {
91                 // Next determine the user state components supported
92                 // by the processor and set x86_default_xcr0 in proc_global_info.
93                 cpuid(0x0d, 0x00, &eax, 0, 0, &edx);
94                 proc_supported_features = ((uint64_t)edx << 32) | eax;
95
96                 // Intersection of processor-supported and Akaros-supported
97                 // features is the Akaros-wide default at runtime.
98                 __proc_global_info.x86_default_xcr0 = X86_MAX_XCR0 &
99                                                       proc_supported_features;
100
101                 /*
102                  * Make sure CR4.OSXSAVE is set and set the local xcr0 to the default.
103                  * We will do both of these things again during per-cpu init,
104                  * but we are about to use XSAVE to build our default extended state
105                  * record, so we need them enabled.
106                  * You must set CR4_OSXSAVE before setting xcr0, or a #UD fault occurs.
107                  */
108                 lcr4(rcr4() | CR4_OSXSAVE);
109                 lxcr0(__proc_global_info.x86_default_xcr0);
110
111                 /*
112                  * Build a default set of extended state values that we can later use
113                  * to initialize extended state on other cores, or restore on this
114                  * core. We need to use FNINIT to reset the FPU before saving, in case
115                  * boot agents used the FPU or it is dirty for some reason. An old
116                  * comment that used to be here said "had this happen on c89, which had
117                  * a full FP stack after booting." Note that FNINIT does not clear the
118                  * data registers, but it tags them all as empty (0b11).
119                  */
120
121                 // Zero the default extended state memory region before saving.
122                 // It may be possible for memset to clobber SSE registers.
123                 memset(&x86_default_fpu, 0x00, sizeof(struct ancillary_state));
124
125                 // FNINIT clears FIP and FDP and, even though it is technically a
126                 // control instruction, it clears FOP while initializing the FPU.
127                 asm volatile ("fninit");
128
129                 /*
130                  * Save only the x87 FPU state so that the extended state registers
131                  * remain zeroed in the default. There is a caveat to this that
132                  * involves the MXCSR register, this is handled below.
133                  * We use XSAVE64 instead of XSAVEOPT64 (save_fp_state uses
134                  * XSAVEOPT64), because XSAVEOPT64 may decide to skip saving a state
135                  * component if that state component is in its initial configuration,
136                  * and we just used FNINIT to put the x87 in its initial configuration.
137                  * We can be confident that the x87 bit (bit 0) is set in xcr0, because
138                  * Intel requires it to be set at all times.
139                  */
140                 edx = 0x0;
141                 eax = 0x1;
142                 asm volatile("xsave64 %0" : : "m"(x86_default_fpu), "a"(eax), "d"(edx));
143
144                 /* We must set the MXCSR field in the default state struct to its
145                  * power-on value of 0x1f80. This masks all SIMD floating
146                  * point exceptions and clears all SIMD floating-point exception
147                  * flags, sets rounding control to round-nearest, disables
148                  * flush-to-zero mode, and disables denormals-are-zero mode.
149                  *
150                  * We don't actually have to set the MXCSR itself here,
151                  * because it will be set from the default state struct when
152                  * we perform per-cpu init.
153                  *
154                  * Right now, we set the MXCSR through fp_head_64d. Since
155                  * the mxcsr is at the same offset in all fp header formats
156                  * implemented for Akaros, this will function correctly for
157                  * all supported operating modes.
158                  */
159                  x86_default_fpu.fp_head_64d.mxcsr = 0x1f80;
160         } else {
161                 // Since no program should try to use XSAVE features
162                 // on this processor, we set x86_default_xcr0 to 0x0
163                 __proc_global_info.x86_default_xcr0 = 0x0;
164
165                 /*
166                  * Build a default set of extended state values that we can later use to
167                  * initialize extended state on other cores, or restore on this core.
168                  * We need to use FNINIT to reset the FPU before saving, in case boot
169                  * agents used the FPU or it is dirty for some reason. An old comment
170                  * that used to be here said "had this happen on c89, which had a full
171                  * FP stack after booting." Note that FNINIT does not clear the data
172                  * registers, but it tags them all as empty (0b11).
173                  */
174
175                 // Zero the default extended state memory region before saving.
176                 // It may be possible for memset to clobber SSE registers.
177                 memset(&x86_default_fpu, 0x00, sizeof(struct ancillary_state));
178
179                 // FNINIT clears FIP and FDP and, even though it is technically a
180                 // control instruction, it clears FOP while initializing the FPU.
181                 asm volatile ("fninit");
182
183                 // Save the x87 FPU state
184                 asm volatile("fxsave64 %0" : : "m"(x86_default_fpu));
185
186                 /*
187                  * Because FXSAVE may have also saved junk from the XMM registers,
188                  * depending on how the hardware was implemented and the setting
189                  * of CR4.OSFXSR, we manually zero the region of the ancillary_state
190                  * containing those registers after saving FPU state. There are 16
191                  * XMM registers, each 128 bits, for a total size of 256 bytes.
192                  */
193                 memset(&(x86_default_fpu.xmm0), 0x00, 256);
194
195                 /*
196                  * Finally, because Only the Paranoid Survive, we set the MXCSR
197                  * for our default state. It should have been saved by FXSAVE,
198                  * but who knows if the default value is still there at this
199                  * point in the boot process.
200                  */
201                 x86_default_fpu.fp_head_64d.mxcsr = 0x1f80;
202         }
203
204 }
205
206 void arch_init(void)
207 {
208         ancillary_state_init();
209         pci_init();
210         vmm_init();
211         perfmon_global_init();
212         // this returns when all other cores are done and ready to receive IPIs
213         #ifdef CONFIG_SINGLE_CORE
214                 smp_percpu_init();
215         #else
216                 smp_boot();
217         #endif
218         proc_init();
219
220         cons_irq_init();
221         intel_lpc_init();
222 #ifdef CONFIG_ENABLE_LEGACY_USB
223         printk("Legacy USB support enabled, expect SMM interference!\n");
224 #else
225         usb_disable_legacy();
226 #endif
227         check_timing_stability();
228 }