PCI: handles BARs for PCI2PCI devices
[akaros.git] / kern / arch / x86 / pci.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * See LICENSE for details.
3  *
4  * Barret Rhoden <brho@cs.berkeley.edu>
5  * Original by Paul Pearce <pearce@eecs.berkeley.edu> */
6
7 #include <arch/x86.h>
8 #include <arch/pci.h>
9 #include <trap.h>
10 #include <stdio.h>
11 #include <string.h>
12 #include <assert.h>
13 #include <kmalloc.h>
14 #include <arch/pci_defs.h>
15
16 /* List of all discovered devices */
17 struct pcidev_stailq pci_devices = STAILQ_HEAD_INITIALIZER(pci_devices);
18
19 /* PCI accesses are two-stage PIO, which need to complete atomically */
20 spinlock_t pci_lock = SPINLOCK_INITIALIZER_IRQSAVE;
21
22 static char STD_PCI_DEV[] = "Standard PCI Device";
23 static char PCI2PCI[] = "PCI-to-PCI Bridge";
24 static char PCI2CARDBUS[] = "PCI-Cardbus Bridge";
25
26 /* memory bars have a little dance you go through to detect what the size of the
27  * memory region is.  for 64 bit bars, i'm assuming you only need to do this to
28  * the lower part (no device will need > 4GB, right?). */
29 uint32_t pci_membar_get_sz(struct pci_device *pcidev, int bar)
30 {
31         /* save the old value, write all 1s, invert, add 1, restore.
32          * http://wiki.osdev.org/PCI for details. */
33         uint32_t bar_off = PCI_BAR0_STD + bar * PCI_BAR_OFF;
34         uint32_t old_val = pcidev_read32(pcidev, bar_off);
35         uint32_t retval;
36         pcidev_write32(pcidev, bar_off, 0xffffffff);
37         /* Don't forget to mask the lower 3 bits! */
38         retval = pcidev_read32(pcidev, bar_off) & PCI_BAR_MEM_MASK;
39         retval = ~retval + 1;
40         pcidev_write32(pcidev, bar_off, old_val);
41         return retval;
42 }
43
44 /* process the bars.  these will tell us what address space (PIO or memory) and
45  * where the base is.  fills results into pcidev.  i don't know if you can have
46  * multiple bars with conflicting/different regions (like two separate PIO
47  * ranges).  I'm assuming you don't, and will warn if we see one. */
48 static void pci_handle_bars(struct pci_device *pcidev)
49 {
50         uint32_t bar_val;
51         int max_bars;
52         if (pcidev->header_type == STD_PCI_DEV)
53                 max_bars = MAX_PCI_BAR;
54         else if (pcidev->header_type == PCI2PCI)
55                 max_bars = 2;
56         else
57                 max_bars = 0;
58         /* TODO: consider aborting for classes 00, 05 (memory ctlr), 06 (bridge) */
59         for (int i = 0; i < max_bars; i++) {
60                 bar_val = pci_getbar(pcidev, i);
61                 pcidev->bar[i].raw_bar = bar_val;
62                 if (!bar_val)   /* (0 denotes no valid data) */
63                         continue;
64                 if (pci_is_iobar(bar_val)) {
65                         pcidev->bar[i].pio_base = pci_getiobar32(bar_val);
66                 } else {
67                         if (pci_is_membar32(bar_val)) {
68                                 pcidev->bar[i].mmio_base32 = bar_val & PCI_BAR_MEM_MASK;
69                                 pcidev->bar[i].mmio_sz = pci_membar_get_sz(pcidev, i);
70                         } else if (pci_is_membar64(bar_val)) {
71                                 /* 64 bit, the lower 32 are in this bar, the upper
72                                  * are in the next bar */
73                                 pcidev->bar[i].mmio_base64 = bar_val & PCI_BAR_MEM_MASK;
74                                 assert(i < max_bars - 1);
75                                 bar_val = pci_getbar(pcidev, i + 1);    /* read next bar */
76                                 /* note we don't check for IO or memsize.  the entire next bar
77                                  * is supposed to be for the upper 32 bits. */
78                                 pcidev->bar[i].mmio_base64 |= (uint64_t)bar_val << 32;
79                                 pcidev->bar[i].mmio_sz = pci_membar_get_sz(pcidev, i);
80                                 i++;
81                         }
82                 }
83                 /* this will track the maximum bar we've had.  it'll include the 64 bit
84                  * uppers, as well as devices that have only higher numbered bars. */
85                 pcidev->nr_bars = i + 1;
86         }
87 }
88
89 static void pci_parse_caps(struct pci_device *pcidev)
90 {
91         uint32_t cap_off;       /* not sure if this can be extended from u8 */
92         uint8_t cap_id;
93         if (!(pcidev_read16(pcidev, PCI_STATUS_REG) & (1 << 4)))
94                 return;
95         switch (pcidev_read8(pcidev, PCI_HEADER_REG) & 0x7f) {
96                 case 0:                         /* etc */
97                 case 1:                         /* pci to pci bridge */
98                         cap_off = 0x34;
99                         break;
100                 case 2:                         /* cardbus bridge */
101                         cap_off = 0x14;
102                         break;
103                 default:
104                         return;
105         }
106         /* initial offset points to the addr of the first cap */
107         cap_off = pcidev_read8(pcidev, cap_off);
108         cap_off &= ~0x3;        /* osdev says the lower 2 bits are reserved */
109         while (cap_off) {
110                 cap_id = pcidev_read8(pcidev, cap_off);
111                 if (cap_id > PCI_CAP_ID_MAX) {
112                         printk("PCI %x:%x:%x had bad cap 0x%x\n", pcidev->bus, pcidev->dev,
113                                pcidev->func, cap_id);
114                         return;
115                 }
116                 pcidev->caps[cap_id] = cap_off;
117                 cap_off = pcidev_read8(pcidev, cap_off + 1);
118                 /* not sure if subsequent caps must be aligned or not */
119                 if (cap_off & 0x3)
120                         printk("PCI %x:%x:%x had unaligned cap offset 0x%x\n", pcidev->bus,
121                                pcidev->dev, pcidev->func, cap_off);
122         }
123 }
124
125 /* Scans the PCI bus.  Won't actually work for anything other than bus 0, til we
126  * sort out how to handle bridge devices. */
127 void pci_init(void) {
128         uint32_t result = 0;
129         uint16_t dev_id, ven_id;
130         struct pci_device *pcidev;
131         int max_nr_func;
132         for (int i = 0; i < PCI_MAX_BUS - 1; i++) {     /* phantoms at 0xff */
133                 for (int j = 0; j < PCI_MAX_DEV; j++) {
134                         max_nr_func = 1;
135                         for (int k = 0; k < max_nr_func; k++) {
136                                 result = pci_read32(i, j, k, PCI_DEV_VEND_REG);
137                                 dev_id = result >> 16;
138                                 ven_id = result & 0xffff;
139                                 /* Skip invalid IDs (not a device) */
140                                 if (ven_id == INVALID_VENDOR_ID) 
141                                         break;  /* skip functions too, they won't exist */
142                                 pcidev = kzmalloc(sizeof(struct pci_device), 0);
143                                 pcidev->bus = i;
144                                 pcidev->dev = j;
145                                 pcidev->func = k;
146                                 pcidev->dev_id = dev_id;
147                                 pcidev->ven_id = ven_id;
148                                 /* Get the Class/subclass */
149                                 pcidev->class = pcidev_read8(pcidev, PCI_CLASS_REG);
150                                 pcidev->subclass = pcidev_read8(pcidev, PCI_SUBCLASS_REG);
151                                 pcidev->progif = pcidev_read8(pcidev, PCI_PROGIF_REG);
152                                 /* All device types (0, 1, 2) have the IRQ in the same place */
153                                 /* This is the PIC IRQ the device is wired to */
154                                 pcidev->irqline = pcidev_read8(pcidev, PCI_IRQLINE_STD);
155                                 /* This is the interrupt pin the device uses (INTA# - INTD#) */
156                                 pcidev->irqpin = pcidev_read8(pcidev, PCI_IRQPIN_STD);
157                                 /* bottom 7 bits are header type */
158                                 switch (pcidev_read8(pcidev, PCI_HEADER_REG) & 0x7c) {
159                                         case 0x00:
160                                                 pcidev->header_type = STD_PCI_DEV;
161                                                 break;
162                                         case 0x01:
163                                                 pcidev->header_type = PCI2PCI;
164                                                 break;
165                                         case 0x02:
166                                                 pcidev->header_type = PCI2CARDBUS;
167                                                 break;
168                                         default:
169                                                 pcidev->header_type = "Unknown Header Type";
170                                 }
171                                 pci_handle_bars(pcidev);
172                                 pci_parse_caps(pcidev);
173                                 STAILQ_INSERT_TAIL(&pci_devices, pcidev, all_dev);
174                                 #ifdef CONFIG_PCI_VERBOSE
175                                 pcidev_print_info(pcidev, 4);
176                                 #else
177                                 pcidev_print_info(pcidev, 0);
178                                 #endif /* CONFIG_PCI_VERBOSE */
179                                 /* Top bit determines if we have multiple functions on this
180                                  * device.  We can't just check for more functions, since
181                                  * non-multifunction devices exist that respond to different
182                                  * functions with the same underlying device (same bars etc).
183                                  * Note that this style allows for devices that only report
184                                  * multifunction in the first function's header. */
185                                 if (pcidev_read8(pcidev, PCI_HEADER_REG) & 0x80)
186                                         max_nr_func = PCI_MAX_FUNC;
187                         }
188                 }
189         }
190 }
191
192 uint32_t pci_config_addr(uint8_t bus, uint8_t dev, uint8_t func, uint32_t reg)
193 {
194         return (uint32_t)(((uint32_t)bus << 16) |
195                           ((uint32_t)dev << 11) |
196                           ((uint32_t)func << 8) |
197                           (reg & 0xfc) |
198                           ((reg & 0xf00) << 16) |       /* extended PCI CFG space... */
199                                           0x80000000);
200 }
201
202 /* Helper to read 32 bits from the config space of B:D:F.  'Offset' is how far
203  * into the config space we offset before reading, aka: where we are reading. */
204 uint32_t pci_read32(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
205 {
206         uint32_t ret;
207         spin_lock_irqsave(&pci_lock);
208         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
209         ret = inl(PCI_CONFIG_DATA);
210         spin_unlock_irqsave(&pci_lock);
211         return ret;
212 }
213
214 /* Same, but writes (doing 32bit at a time).  Never actually tested (not sure if
215  * PCI lets you write back). */
216 void pci_write32(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
217                  uint32_t value)
218 {
219         spin_lock_irqsave(&pci_lock);
220         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
221         outl(PCI_CONFIG_DATA, value);
222         spin_unlock_irqsave(&pci_lock);
223 }
224
225 uint16_t pci_read16(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
226 {
227         uint16_t ret;
228         spin_lock_irqsave(&pci_lock);
229         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
230         ret = inw(PCI_CONFIG_DATA + (offset & 2));
231         spin_unlock_irqsave(&pci_lock);
232         return ret;
233 }
234
235 void pci_write16(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
236                  uint16_t value)
237 {
238         spin_lock_irqsave(&pci_lock);
239         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
240         outw(PCI_CONFIG_DATA + (offset & 2), value);
241         spin_unlock_irqsave(&pci_lock);
242 }
243
244 uint8_t pci_read8(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
245 {
246         uint8_t ret;
247         spin_lock_irqsave(&pci_lock);
248         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
249         ret = inb(PCI_CONFIG_DATA + (offset & 3));
250         spin_unlock_irqsave(&pci_lock);
251         return ret;
252 }
253
254 void pci_write8(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
255                 uint8_t value)
256 {
257         spin_lock_irqsave(&pci_lock);
258         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
259         outb(PCI_CONFIG_DATA + (offset & 3), value);
260         spin_unlock_irqsave(&pci_lock);
261 }
262
263 uint32_t pcidev_read32(struct pci_device *pcidev, uint32_t offset)
264 {
265         return pci_read32(pcidev->bus, pcidev->dev, pcidev->func, offset);
266 }
267
268 void pcidev_write32(struct pci_device *pcidev, uint32_t offset, uint32_t value)
269 {
270         pci_write32(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
271 }
272
273 uint16_t pcidev_read16(struct pci_device *pcidev, uint32_t offset)
274 {
275         return pci_read16(pcidev->bus, pcidev->dev, pcidev->func, offset);
276 }
277
278 void pcidev_write16(struct pci_device *pcidev, uint32_t offset, uint16_t value)
279 {
280         pci_write16(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
281 }
282
283 uint8_t pcidev_read8(struct pci_device *pcidev, uint32_t offset)
284 {
285         return pci_read8(pcidev->bus, pcidev->dev, pcidev->func, offset);
286 }
287
288 void pcidev_write8(struct pci_device *pcidev, uint32_t offset, uint8_t value)
289 {
290         pci_write8(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
291 }
292
293 /* Gets any old raw bar, with some catches based on type. */
294 uint32_t pci_getbar(struct pci_device *pcidev, unsigned int bar)
295 {
296         uint8_t type;
297         if (bar >= MAX_PCI_BAR)
298                 panic("Nonexistant bar requested!");
299         type = pcidev_read8(pcidev, PCI_HEADER_REG);
300         type &= ~0x80;  /* drop the MF bit */
301         /* Only types 0 and 1 have BARS */
302         if ((type != 0x00) && (type != 0x01))
303                 return 0;
304         /* Only type 0 has BAR2 - BAR5 */
305         if ((bar > 1) && (type != 0x00))
306                 return 0;
307         return pcidev_read32(pcidev, PCI_BAR0_STD + bar * PCI_BAR_OFF);
308 }
309
310 /* Determines if a given bar is IO (o/w, it's mem) */
311 bool pci_is_iobar(uint32_t bar)
312 {
313         return bar & PCI_BAR_IO;
314 }
315
316 bool pci_is_membar32(uint32_t bar)
317 {
318         if (pci_is_iobar(bar))
319                 return FALSE;
320         return (bar & PCI_MEMBAR_TYPE) == PCI_MEMBAR_32BIT;
321 }
322
323 bool pci_is_membar64(uint32_t bar)
324 {
325         if (pci_is_iobar(bar))
326                 return FALSE;
327         return (bar & PCI_MEMBAR_TYPE) == PCI_MEMBAR_64BIT;
328 }
329
330 /* Helper to get the address from a membar.  Check the type beforehand */
331 uint32_t pci_getmembar32(uint32_t bar)
332 {
333         uint8_t type = bar & PCI_MEMBAR_TYPE;
334         if (type != PCI_MEMBAR_32BIT) {
335                 warn("Unhandled PCI membar type: %02p\n", type >> 1);
336                 return 0;
337         }
338         return bar & 0xfffffff0;
339 }
340
341 /* Helper to get the address from an IObar.  Check the type beforehand */
342 uint32_t pci_getiobar32(uint32_t bar)
343 {
344         return bar & 0xfffffffc;
345 }
346
347 /* Helper to get the membar value for BAR index bir */
348 uintptr_t pci_get_membar(struct pci_device *pcidev, int bir)
349 {
350         if (bir >= pcidev->nr_bars)
351                 return 0;
352         if (pci_is_iobar(pcidev->bar[bir].raw_bar))
353                 return 0;
354         return (pci_is_membar64(pcidev->bar[bir].raw_bar) ?
355                 pcidev->bar[bir].mmio_base64 :
356                 pcidev->bar[bir].mmio_base32);
357 }
358
359 /* Helper to get the class description strings.  Adapted from
360  * http://www.pcidatabase.com/reports.php?type=c-header */
361 static void pcidev_get_cldesc(struct pci_device *pcidev, char **class,
362                               char **subclass, char **progif)
363 {
364         int     i ;
365         *class = *subclass = *progif = "";
366
367         for (i = 0; i < PCI_CLASSCODETABLE_LEN; i++) {
368                 if (PciClassCodeTable[i].BaseClass == pcidev->class) {
369                         if (!(**class))
370                                 *class = PciClassCodeTable[i].BaseDesc;
371                         if (PciClassCodeTable[i].SubClass == pcidev->subclass) {
372                                 if (!(**subclass))
373                                         *subclass = PciClassCodeTable[i].SubDesc;
374                                 if (PciClassCodeTable[i].ProgIf == pcidev->progif) {
375                                         *progif = PciClassCodeTable[i].ProgDesc;
376                                         break ;
377                                 }
378                         }
379                 }
380         }
381 }
382
383 /* Helper to get the vendor and device description strings */
384 static void pcidev_get_devdesc(struct pci_device *pcidev, char **vend_short,
385                                char **vend_full, char **chip, char **chip_desc)
386 {
387         int     i ;
388         *vend_short = *vend_full = *chip = *chip_desc = "";
389
390         for (i = 0; i < PCI_VENTABLE_LEN; i++) {
391                 if (PciVenTable[i].VenId == pcidev->ven_id) {
392                         *vend_short = PciVenTable[i].VenShort;
393                         *vend_full = PciVenTable[i].VenFull;
394                         break ;
395                 }
396         }
397         for (i = 0; i < PCI_DEVTABLE_LEN; i++) {
398                 if ((PciDevTable[i].VenId == pcidev->ven_id) &&
399                    (PciDevTable[i].DevId == pcidev->dev_id)) {
400                         *chip = PciDevTable[i].Chip;
401                         *chip_desc = PciDevTable[i].ChipDesc;
402                         break ;
403                 }
404         }
405 }
406
407 /* Prints info (like lspci) for a device */
408 void pcidev_print_info(struct pci_device *pcidev, int verbosity)
409 {
410         char *ven_sht, *ven_fl, *chip, *chip_txt, *class, *subcl, *progif;
411         pcidev_get_cldesc(pcidev, &class, &subcl, &progif);
412         pcidev_get_devdesc(pcidev, &ven_sht, &ven_fl, &chip, &chip_txt);
413
414         printk("%02x:%02x.%x %s: %s %s %s: %s\n",
415                pcidev->bus,
416                pcidev->dev,
417                pcidev->func,
418                subcl,
419                ven_sht,
420                chip,
421                chip_txt,
422                    pcidev->header_type);
423         if (verbosity < 1)      /* whatever */
424                 return;
425         printk("\tIRQ: %02d IRQ pin: 0x%02x\n",
426                pcidev->irqline,
427                pcidev->irqpin);
428         printk("\tVendor Id: 0x%04x Device Id: 0x%04x\n",
429                pcidev->ven_id,
430                pcidev->dev_id);
431         printk("\t%s %s %s\n",
432                class,
433                progif,
434                ven_fl);
435         for (int i = 0; i < pcidev->nr_bars; i++) {
436                 if (pcidev->bar[i].raw_bar == 0)
437                         continue;
438                 printk("\tBAR %d: ", i);
439                 if (pci_is_iobar(pcidev->bar[i].raw_bar)) {
440                         assert(pcidev->bar[i].pio_base);
441                         printk("IO port 0x%04x\n", pcidev->bar[i].pio_base);
442                 } else {
443                         bool bar_is_64 = pci_is_membar64(pcidev->bar[i].raw_bar);
444                         printk("MMIO Base%s %p, MMIO Size %p\n",
445                                bar_is_64 ? "64" : "32",
446                                bar_is_64 ? pcidev->bar[i].mmio_base64 :
447                                            pcidev->bar[i].mmio_base32,
448                                pcidev->bar[i].mmio_sz);
449                         /* Takes up two bars */
450                         if (bar_is_64) {
451                                 assert(!pcidev->bar[i].mmio_base32);    /* double-check */
452                                 i++;
453                         }
454                 }
455         }
456         printk("\tCapabilities:");
457         for (int i = 0; i < PCI_CAP_ID_MAX + 1; i++) {
458                 if (pcidev->caps[i])
459                         printk(" 0x%02x", i);
460         }
461         printk("\n");
462 }
463
464 void pci_set_bus_master(struct pci_device *pcidev)
465 {
466         pcidev_write16(pcidev, PCI_CMD_REG, pcidev_read16(pcidev, PCI_CMD_REG) |
467                                             PCI_CMD_BUS_MAS);
468 }
469
470 void pci_clr_bus_master(struct pci_device *pcidev)
471 {
472         uint16_t reg;
473         reg = pcidev_read16(pcidev, PCI_CMD_REG);
474         reg &= ~PCI_CMD_BUS_MAS;
475         pcidev_write16(pcidev, PCI_CMD_REG, reg);
476 }
477
478 struct pci_device *pci_match_tbdf(int tbdf)
479 {
480         struct pci_device *search;
481         int bus, dev, func;
482         bus = BUSBNO(tbdf);
483         dev = BUSDNO(tbdf);
484         func = BUSFNO(tbdf);
485
486         STAILQ_FOREACH(search, &pci_devices, all_dev) {
487                 if ((search->bus == bus) &&
488                     (search->dev == dev) &&
489                     (search->func == func))
490                         return search;
491         }
492         return NULL;
493 }