x86: Fixes PCI 8 and 16 byte accesses
[akaros.git] / kern / arch / x86 / pci.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * See LICENSE for details.
3  *
4  * Barret Rhoden <brho@cs.berkeley.edu>
5  * Original by Paul Pearce <pearce@eecs.berkeley.edu> */
6
7 #include <arch/x86.h>
8 #include <arch/pci.h>
9 #include <trap.h>
10 #include <stdio.h>
11 #include <string.h>
12 #include <assert.h>
13 #include <kmalloc.h>
14 #include <arch/pci_defs.h>
15
16 /* List of all discovered devices */
17 struct pcidev_stailq pci_devices = STAILQ_HEAD_INITIALIZER(pci_devices);
18
19 static char STD_PCI_DEV[] = "Standard PCI Device";
20 static char PCI2PCI[] = "PCI-to-PCI Bridge";
21 static char PCI2CARDBUS[] = "PCI-Cardbus Bridge";
22
23 /* memory bars have a little dance you go through to detect what the size of the
24  * memory region is.  for 64 bit bars, i'm assuming you only need to do this to
25  * the lower part (no device will need > 4GB, right?). */
26 uint32_t pci_membar_get_sz(struct pci_device *pcidev, int bar)
27 {
28         /* save the old value, write all 1s, invert, add 1, restore.
29          * http://wiki.osdev.org/PCI for details. */
30         uint32_t bar_off = PCI_BAR0_STD + bar * PCI_BAR_OFF;
31         uint32_t old_val = pcidev_read32(pcidev, bar_off);
32         uint32_t retval;
33         pcidev_write32(pcidev, bar_off, 0xffffffff);
34         /* Don't forget to mask the lower 3 bits! */
35         retval = pcidev_read32(pcidev, bar_off) & PCI_BAR_MEM_MASK;
36         retval = ~retval + 1;
37         pcidev_write32(pcidev, bar_off, old_val);
38         return retval;
39 }
40
41 /* process the bars.  these will tell us what address space (PIO or memory) and
42  * where the base is.  fills results into pcidev.  i don't know if you can have
43  * multiple bars with conflicting/different regions (like two separate PIO
44  * ranges).  I'm assuming you don't, and will warn if we see one. */
45 static void pci_handle_bars(struct pci_device *pcidev)
46 {
47         /* only handling standards for now */
48         uint32_t bar_val;
49         int max_bars = pcidev->header_type == STD_PCI_DEV ? MAX_PCI_BAR : 0;
50         /* TODO: consider aborting for classes 00, 05 (memory ctlr), 06 (bridge) */
51         for (int i = 0; i < max_bars; i++) {
52                 bar_val = pci_getbar(pcidev, i);
53                 pcidev->bar[i].raw_bar = bar_val;
54                 if (!bar_val)   /* (0 denotes no valid data) */
55                         continue;
56                 if (pci_is_iobar(bar_val)) {
57                         pcidev->bar[i].pio_base = pci_getiobar32(bar_val);
58                 } else {
59                         if (pci_is_membar32(bar_val)) {
60                                 pcidev->bar[i].mmio_base32 = bar_val & PCI_BAR_MEM_MASK;
61                                 pcidev->bar[i].mmio_sz = pci_membar_get_sz(pcidev, i);
62                         } else if (pci_is_membar64(bar_val)) {
63                                 /* 64 bit, the lower 32 are in this bar, the upper
64                                  * are in the next bar */
65                                 pcidev->bar[i].mmio_base64 = bar_val & PCI_BAR_MEM_MASK;
66                                 assert(i < max_bars - 1);
67                                 bar_val = pci_getbar(pcidev, i + 1);    /* read next bar */
68                                 /* note we don't check for IO or memsize.  the entire next bar
69                                  * is supposed to be for the upper 32 bits. */
70                                 pcidev->bar[i].mmio_base64 |= (uint64_t)bar_val << 32;
71                                 pcidev->bar[i].mmio_sz = pci_membar_get_sz(pcidev, i);
72                                 i++;
73                         }
74                 }
75                 /* this will track the maximum bar we've had.  it'll include the 64 bit
76                  * uppers, as well as devices that have only higher numbered bars. */
77                 pcidev->nr_bars = i + 1;
78         }
79 }
80
81 /* Scans the PCI bus.  Won't actually work for anything other than bus 0, til we
82  * sort out how to handle bridge devices. */
83 void pci_init(void) {
84         uint32_t result = 0;
85         uint16_t dev_id, ven_id;
86         struct pci_device *pcidev;
87         int max_nr_func;
88         for (int i = 0; i < PCI_MAX_BUS - 1; i++) {     /* phantoms at 0xff */
89                 for (int j = 0; j < PCI_MAX_DEV; j++) {
90                         max_nr_func = 1;
91                         for (int k = 0; k < max_nr_func; k++) {
92                                 result = pci_read32(i, j, k, PCI_DEV_VEND_REG);
93                                 dev_id = result >> 16;
94                                 ven_id = result & 0xffff;
95                                 /* Skip invalid IDs (not a device) */
96                                 if (ven_id == INVALID_VENDOR_ID) 
97                                         break;  /* skip functions too, they won't exist */
98                                 pcidev = kzmalloc(sizeof(struct pci_device), 0);
99                                 pcidev->bus = i;
100                                 pcidev->dev = j;
101                                 pcidev->func = k;
102                                 pcidev->dev_id = dev_id;
103                                 pcidev->ven_id = ven_id;
104                                 /* Get the Class/subclass */
105                                 pcidev->class = pcidev_read8(pcidev, PCI_CLASS_REG);
106                                 pcidev->subclass = pcidev_read8(pcidev, PCI_SUBCLASS_REG);
107                                 pcidev->progif = pcidev_read8(pcidev, PCI_PROGIF_REG);
108                                 /* All device types (0, 1, 2) have the IRQ in the same place */
109                                 /* This is the PIC IRQ the device is wired to */
110                                 pcidev->irqline = pcidev_read8(pcidev, PCI_IRQLINE_STD);
111                                 /* This is the interrupt pin the device uses (INTA# - INTD#) */
112                                 pcidev->irqpin = pcidev_read8(pcidev, PCI_IRQPIN_STD);
113                                 /* bottom 7 bits are header type */
114                                 switch (pcidev_read8(pcidev, PCI_HEADER_REG) & 0x7c) {
115                                         case 0x00:
116                                                 pcidev->header_type = STD_PCI_DEV;
117                                                 break;
118                                         case 0x01:
119                                                 pcidev->header_type = PCI2PCI;
120                                                 break;
121                                         case 0x02:
122                                                 pcidev->header_type = PCI2CARDBUS;
123                                                 break;
124                                         default:
125                                                 pcidev->header_type = "Unknown Header Type";
126                                 }
127                                 pci_handle_bars(pcidev);
128                                 STAILQ_INSERT_TAIL(&pci_devices, pcidev, all_dev);
129                                 #ifdef CONFIG_PCI_VERBOSE
130                                 pcidev_print_info(pcidev, 4);
131                                 #else
132                                 pcidev_print_info(pcidev, 0);
133                                 #endif /* CONFIG_PCI_VERBOSE */
134                                 /* Top bit determines if we have multiple functions on this
135                                  * device.  We can't just check for more functions, since
136                                  * non-multifunction devices exist that respond to different
137                                  * functions with the same underlying device (same bars etc).
138                                  * Note that this style allows for devices that only report
139                                  * multifunction in the first function's header. */
140                                 if (pcidev_read8(pcidev, PCI_HEADER_REG) & 0x80)
141                                         max_nr_func = PCI_MAX_FUNC;
142                         }
143                 }
144         }
145 }
146
147 uint32_t pci_config_addr(uint8_t bus, uint8_t dev, uint8_t func, uint32_t reg)
148 {
149         return (uint32_t)(((uint32_t)bus << 16) |
150                           ((uint32_t)dev << 11) |
151                           ((uint32_t)func << 8) |
152                           (reg & 0xfc) |
153                           ((reg & 0xf00) << 16) |       /* extended PCI CFG space... */
154                                           0x80000000);
155 }
156
157 /* Helper to read 32 bits from the config space of B:D:F.  'Offset' is how far
158  * into the config space we offset before reading, aka: where we are reading. */
159 uint32_t pci_read32(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
160 {
161         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
162         return inl(PCI_CONFIG_DATA);
163 }
164
165 /* Same, but writes (doing 32bit at a time).  Never actually tested (not sure if
166  * PCI lets you write back). */
167 void pci_write32(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
168                  uint32_t value)
169 {
170         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
171         outl(PCI_CONFIG_DATA, value);
172 }
173
174 uint32_t pci_read16(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
175 {
176         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
177         return inw(PCI_CONFIG_DATA + (offset & 2));
178 }
179
180 void pci_write16(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
181                  uint32_t value)
182 {
183         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
184         outw(PCI_CONFIG_DATA + (offset & 2), value);
185 }
186
187 uint32_t pci_read8(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
188 {
189         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
190         return inb(PCI_CONFIG_DATA + (offset & 3));
191 }
192
193 void pci_write8(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
194                 uint32_t value)
195 {
196         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
197         outb(PCI_CONFIG_DATA + (offset & 3), value);
198 }
199
200 uint32_t pcidev_read32(struct pci_device *pcidev, uint32_t offset)
201 {
202         return pci_read32(pcidev->bus, pcidev->dev, pcidev->func, offset);
203 }
204
205 void pcidev_write32(struct pci_device *pcidev, uint32_t offset, uint32_t value)
206 {
207         pci_write32(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
208 }
209
210 uint16_t pcidev_read16(struct pci_device *pcidev, uint32_t offset)
211 {
212         return pci_read16(pcidev->bus, pcidev->dev, pcidev->func, offset);
213 }
214
215 void pcidev_write16(struct pci_device *pcidev, uint32_t offset, uint16_t value)
216 {
217         pci_write16(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
218 }
219
220 uint8_t pcidev_read8(struct pci_device *pcidev, uint32_t offset)
221 {
222         return pci_read8(pcidev->bus, pcidev->dev, pcidev->func, offset);
223 }
224
225 void pcidev_write8(struct pci_device *pcidev, uint32_t offset, uint8_t value)
226 {
227         pci_write8(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
228 }
229
230 /* Gets any old raw bar, with some catches based on type. */
231 uint32_t pci_getbar(struct pci_device *pcidev, unsigned int bar)
232 {
233         uint8_t type;
234         if (bar >= MAX_PCI_BAR)
235                 panic("Nonexistant bar requested!");
236         type = pcidev_read8(pcidev, PCI_HEADER_REG);
237         /* Only types 0 and 1 have BARS */
238         if ((type != 0x00) && (type != 0x01))
239                 return 0;
240         /* Only type 0 has BAR2 - BAR5 */
241         if ((bar > 1) && (type != 0x00))
242                 return 0;
243         return pcidev_read32(pcidev, PCI_BAR0_STD + bar * PCI_BAR_OFF);
244 }
245
246 /* Determines if a given bar is IO (o/w, it's mem) */
247 bool pci_is_iobar(uint32_t bar)
248 {
249         return bar & PCI_BAR_IO;
250 }
251
252 bool pci_is_membar32(uint32_t bar)
253 {
254         if (pci_is_iobar(bar))
255                 return FALSE;
256         return (bar & PCI_MEMBAR_TYPE) == PCI_MEMBAR_32BIT;
257 }
258
259 bool pci_is_membar64(uint32_t bar)
260 {
261         if (pci_is_iobar(bar))
262                 return FALSE;
263         return (bar & PCI_MEMBAR_TYPE) == PCI_MEMBAR_64BIT;
264 }
265
266 /* Helper to get the address from a membar.  Check the type beforehand */
267 uint32_t pci_getmembar32(uint32_t bar)
268 {
269         uint8_t type = bar & PCI_MEMBAR_TYPE;
270         if (type != PCI_MEMBAR_32BIT) {
271                 warn("Unhandled PCI membar type: %02p\n", type >> 1);
272                 return 0;
273         }
274         return bar & 0xfffffff0;
275 }
276
277 /* Helper to get the address from an IObar.  Check the type beforehand */
278 uint32_t pci_getiobar32(uint32_t bar)
279 {
280         return bar & 0xfffffffc;
281 }
282
283 /* Helper to get the class description strings.  Adapted from
284  * http://www.pcidatabase.com/reports.php?type=c-header */
285 static void pcidev_get_cldesc(struct pci_device *pcidev, char **class,
286                               char **subclass, char **progif)
287 {
288         int     i ;
289         *class = *subclass = *progif = "";
290
291         for (i = 0; i < PCI_CLASSCODETABLE_LEN; i++) {
292                 if (PciClassCodeTable[i].BaseClass == pcidev->class) {
293                         if (!(**class))
294                                 *class = PciClassCodeTable[i].BaseDesc;
295                         if (PciClassCodeTable[i].SubClass == pcidev->subclass) {
296                                 if (!(**subclass))
297                                         *subclass = PciClassCodeTable[i].SubDesc;
298                                 if (PciClassCodeTable[i].ProgIf == pcidev->progif) {
299                                         *progif = PciClassCodeTable[i].ProgDesc;
300                                         break ;
301                                 }
302                         }
303                 }
304         }
305 }
306
307 /* Helper to get the vendor and device description strings */
308 static void pcidev_get_devdesc(struct pci_device *pcidev, char **vend_short,
309                                char **vend_full, char **chip, char **chip_desc)
310 {
311         int     i ;
312         *vend_short = *vend_full = *chip = *chip_desc = "";
313
314         for (i = 0; i < PCI_VENTABLE_LEN; i++) {
315                 if (PciVenTable[i].VenId == pcidev->ven_id) {
316                         *vend_short = PciVenTable[i].VenShort;
317                         *vend_full = PciVenTable[i].VenFull;
318                         break ;
319                 }
320         }
321         for (i = 0; i < PCI_DEVTABLE_LEN; i++) {
322                 if ((PciDevTable[i].VenId == pcidev->ven_id) &&
323                    (PciDevTable[i].DevId == pcidev->dev_id)) {
324                         *chip = PciDevTable[i].Chip;
325                         *chip_desc = PciDevTable[i].ChipDesc;
326                         break ;
327                 }
328         }
329 }
330
331 /* Prints info (like lspci) for a device */
332 void pcidev_print_info(struct pci_device *pcidev, int verbosity)
333 {
334         char *ven_sht, *ven_fl, *chip, *chip_txt, *class, *subcl, *progif;
335         pcidev_get_cldesc(pcidev, &class, &subcl, &progif);
336         pcidev_get_devdesc(pcidev, &ven_sht, &ven_fl, &chip, &chip_txt);
337
338         printk("%02x:%02x.%x %s: %s %s %s: %s\n",
339                pcidev->bus,
340                pcidev->dev,
341                pcidev->func,
342                subcl,
343                ven_sht,
344                chip,
345                chip_txt,
346                    pcidev->header_type);
347         if (verbosity < 1)      /* whatever */
348                 return;
349         printk("\tIRQ: %02d IRQ pin: 0x%02x\n",
350                pcidev->irqline,
351                pcidev->irqpin);
352         printk("\tVendor Id: 0x%04x Device Id: 0x%04x\n",
353                pcidev->ven_id,
354                pcidev->dev_id);
355         printk("\t%s %s %s\n",
356                class,
357                progif,
358                ven_fl);
359         for (int i = 0; i < pcidev->nr_bars; i++) {
360                 if (pcidev->bar[i].raw_bar == 0)
361                         continue;
362                 printk("\tBAR %d: ", i);
363                 if (pci_is_iobar(pcidev->bar[i].raw_bar)) {
364                         assert(pcidev->bar[i].pio_base);
365                         printk("IO port 0x%04x\n", pcidev->bar[i].pio_base);
366                 } else {
367                         bool bar_is_64 = pci_is_membar64(pcidev->bar[i].raw_bar);
368                         printk("MMIO Base %p, MMIO Size %p\n",
369                                bar_is_64 ? pcidev->bar[i].mmio_base64 :
370                                            pcidev->bar[i].mmio_base32,
371                                pcidev->bar[i].mmio_sz);
372                         /* Takes up two bars */
373                         if (bar_is_64) {
374                                 assert(!pcidev->bar[i].mmio_base32);    /* double-check */
375                                 i++;
376                         }
377                 }
378         }
379 }
380
381 void pci_set_bus_master(struct pci_device *pcidev)
382 {
383         pcidev_write16(pcidev, PCI_CMD_REG, pcidev_read16(pcidev, PCI_CMD_REG) |
384                                             PCI_CMD_BUS_MAS);
385 }
386
387 void pci_clr_bus_master(struct pci_device *pcidev)
388 {
389         uint16_t reg;
390         reg = pcidev_read16(pcidev, PCI_CMD_REG);
391         reg &= ~PCI_CMD_BUS_MAS;
392         pcidev_write16(pcidev, PCI_CMD_REG, reg);
393 }
394
395 /* Find up to 'need' unused bars. Needed for MSI-X */
396 int pci_find_unused_bars(struct pci_device *dev, int *bars, int need)
397 {
398         int i, found;
399         for(i = found = 0; found < need && i < ARRAY_SIZE(dev->bar); i++)
400                 if (!dev->bar[i].raw_bar)
401                         bars[found++] = i;
402         return found;
403
404 }
405
406 struct pci_device *pci_match_tbdf(int tbdf)
407 {
408         struct pci_device *search;
409         int bus, dev, func;
410         bus = BUSBNO(tbdf);
411         dev = BUSDNO(tbdf);
412         func = BUSFNO(tbdf);
413
414         STAILQ_FOREACH(search, &pci_devices, all_dev) {
415                 if ((search->bus == bus) &&
416                     (search->dev == dev) &&
417                     (search->func == func))
418                         return search;
419         }
420         return NULL;
421 }