Atomic PCI-space accesses
[akaros.git] / kern / arch / x86 / pci.c
1 /* Copyright (c) 2009, 2010 The Regents of the University of California
2  * See LICENSE for details.
3  *
4  * Barret Rhoden <brho@cs.berkeley.edu>
5  * Original by Paul Pearce <pearce@eecs.berkeley.edu> */
6
7 #include <arch/x86.h>
8 #include <arch/pci.h>
9 #include <trap.h>
10 #include <stdio.h>
11 #include <string.h>
12 #include <assert.h>
13 #include <kmalloc.h>
14 #include <arch/pci_defs.h>
15
16 /* List of all discovered devices */
17 struct pcidev_stailq pci_devices = STAILQ_HEAD_INITIALIZER(pci_devices);
18
19 /* PCI accesses are two-stage PIO, which need to complete atomically */
20 spinlock_t pci_lock = SPINLOCK_INITIALIZER_IRQSAVE;
21
22 static char STD_PCI_DEV[] = "Standard PCI Device";
23 static char PCI2PCI[] = "PCI-to-PCI Bridge";
24 static char PCI2CARDBUS[] = "PCI-Cardbus Bridge";
25
26 /* memory bars have a little dance you go through to detect what the size of the
27  * memory region is.  for 64 bit bars, i'm assuming you only need to do this to
28  * the lower part (no device will need > 4GB, right?). */
29 uint32_t pci_membar_get_sz(struct pci_device *pcidev, int bar)
30 {
31         /* save the old value, write all 1s, invert, add 1, restore.
32          * http://wiki.osdev.org/PCI for details. */
33         uint32_t bar_off = PCI_BAR0_STD + bar * PCI_BAR_OFF;
34         uint32_t old_val = pcidev_read32(pcidev, bar_off);
35         uint32_t retval;
36         pcidev_write32(pcidev, bar_off, 0xffffffff);
37         /* Don't forget to mask the lower 3 bits! */
38         retval = pcidev_read32(pcidev, bar_off) & PCI_BAR_MEM_MASK;
39         retval = ~retval + 1;
40         pcidev_write32(pcidev, bar_off, old_val);
41         return retval;
42 }
43
44 /* process the bars.  these will tell us what address space (PIO or memory) and
45  * where the base is.  fills results into pcidev.  i don't know if you can have
46  * multiple bars with conflicting/different regions (like two separate PIO
47  * ranges).  I'm assuming you don't, and will warn if we see one. */
48 static void pci_handle_bars(struct pci_device *pcidev)
49 {
50         /* only handling standards for now */
51         uint32_t bar_val;
52         int max_bars = pcidev->header_type == STD_PCI_DEV ? MAX_PCI_BAR : 0;
53         /* TODO: consider aborting for classes 00, 05 (memory ctlr), 06 (bridge) */
54         for (int i = 0; i < max_bars; i++) {
55                 bar_val = pci_getbar(pcidev, i);
56                 pcidev->bar[i].raw_bar = bar_val;
57                 if (!bar_val)   /* (0 denotes no valid data) */
58                         continue;
59                 if (pci_is_iobar(bar_val)) {
60                         pcidev->bar[i].pio_base = pci_getiobar32(bar_val);
61                 } else {
62                         if (pci_is_membar32(bar_val)) {
63                                 pcidev->bar[i].mmio_base32 = bar_val & PCI_BAR_MEM_MASK;
64                                 pcidev->bar[i].mmio_sz = pci_membar_get_sz(pcidev, i);
65                         } else if (pci_is_membar64(bar_val)) {
66                                 /* 64 bit, the lower 32 are in this bar, the upper
67                                  * are in the next bar */
68                                 pcidev->bar[i].mmio_base64 = bar_val & PCI_BAR_MEM_MASK;
69                                 assert(i < max_bars - 1);
70                                 bar_val = pci_getbar(pcidev, i + 1);    /* read next bar */
71                                 /* note we don't check for IO or memsize.  the entire next bar
72                                  * is supposed to be for the upper 32 bits. */
73                                 pcidev->bar[i].mmio_base64 |= (uint64_t)bar_val << 32;
74                                 pcidev->bar[i].mmio_sz = pci_membar_get_sz(pcidev, i);
75                                 i++;
76                         }
77                 }
78                 /* this will track the maximum bar we've had.  it'll include the 64 bit
79                  * uppers, as well as devices that have only higher numbered bars. */
80                 pcidev->nr_bars = i + 1;
81         }
82 }
83
84 /* Scans the PCI bus.  Won't actually work for anything other than bus 0, til we
85  * sort out how to handle bridge devices. */
86 void pci_init(void) {
87         uint32_t result = 0;
88         uint16_t dev_id, ven_id;
89         struct pci_device *pcidev;
90         int max_nr_func;
91         for (int i = 0; i < PCI_MAX_BUS - 1; i++) {     /* phantoms at 0xff */
92                 for (int j = 0; j < PCI_MAX_DEV; j++) {
93                         max_nr_func = 1;
94                         for (int k = 0; k < max_nr_func; k++) {
95                                 result = pci_read32(i, j, k, PCI_DEV_VEND_REG);
96                                 dev_id = result >> 16;
97                                 ven_id = result & 0xffff;
98                                 /* Skip invalid IDs (not a device) */
99                                 if (ven_id == INVALID_VENDOR_ID) 
100                                         break;  /* skip functions too, they won't exist */
101                                 pcidev = kzmalloc(sizeof(struct pci_device), 0);
102                                 pcidev->bus = i;
103                                 pcidev->dev = j;
104                                 pcidev->func = k;
105                                 pcidev->dev_id = dev_id;
106                                 pcidev->ven_id = ven_id;
107                                 /* Get the Class/subclass */
108                                 pcidev->class = pcidev_read8(pcidev, PCI_CLASS_REG);
109                                 pcidev->subclass = pcidev_read8(pcidev, PCI_SUBCLASS_REG);
110                                 pcidev->progif = pcidev_read8(pcidev, PCI_PROGIF_REG);
111                                 /* All device types (0, 1, 2) have the IRQ in the same place */
112                                 /* This is the PIC IRQ the device is wired to */
113                                 pcidev->irqline = pcidev_read8(pcidev, PCI_IRQLINE_STD);
114                                 /* This is the interrupt pin the device uses (INTA# - INTD#) */
115                                 pcidev->irqpin = pcidev_read8(pcidev, PCI_IRQPIN_STD);
116                                 /* bottom 7 bits are header type */
117                                 switch (pcidev_read8(pcidev, PCI_HEADER_REG) & 0x7c) {
118                                         case 0x00:
119                                                 pcidev->header_type = STD_PCI_DEV;
120                                                 break;
121                                         case 0x01:
122                                                 pcidev->header_type = PCI2PCI;
123                                                 break;
124                                         case 0x02:
125                                                 pcidev->header_type = PCI2CARDBUS;
126                                                 break;
127                                         default:
128                                                 pcidev->header_type = "Unknown Header Type";
129                                 }
130                                 pci_handle_bars(pcidev);
131                                 STAILQ_INSERT_TAIL(&pci_devices, pcidev, all_dev);
132                                 #ifdef CONFIG_PCI_VERBOSE
133                                 pcidev_print_info(pcidev, 4);
134                                 #else
135                                 pcidev_print_info(pcidev, 0);
136                                 #endif /* CONFIG_PCI_VERBOSE */
137                                 /* Top bit determines if we have multiple functions on this
138                                  * device.  We can't just check for more functions, since
139                                  * non-multifunction devices exist that respond to different
140                                  * functions with the same underlying device (same bars etc).
141                                  * Note that this style allows for devices that only report
142                                  * multifunction in the first function's header. */
143                                 if (pcidev_read8(pcidev, PCI_HEADER_REG) & 0x80)
144                                         max_nr_func = PCI_MAX_FUNC;
145                         }
146                 }
147         }
148 }
149
150 uint32_t pci_config_addr(uint8_t bus, uint8_t dev, uint8_t func, uint32_t reg)
151 {
152         return (uint32_t)(((uint32_t)bus << 16) |
153                           ((uint32_t)dev << 11) |
154                           ((uint32_t)func << 8) |
155                           (reg & 0xfc) |
156                           ((reg & 0xf00) << 16) |       /* extended PCI CFG space... */
157                                           0x80000000);
158 }
159
160 /* Helper to read 32 bits from the config space of B:D:F.  'Offset' is how far
161  * into the config space we offset before reading, aka: where we are reading. */
162 uint32_t pci_read32(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
163 {
164         uint32_t ret;
165         spin_lock_irqsave(&pci_lock);
166         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
167         ret = inl(PCI_CONFIG_DATA);
168         spin_unlock_irqsave(&pci_lock);
169         return ret;
170 }
171
172 /* Same, but writes (doing 32bit at a time).  Never actually tested (not sure if
173  * PCI lets you write back). */
174 void pci_write32(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
175                  uint32_t value)
176 {
177         spin_lock_irqsave(&pci_lock);
178         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
179         outl(PCI_CONFIG_DATA, value);
180         spin_unlock_irqsave(&pci_lock);
181 }
182
183 uint16_t pci_read16(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
184 {
185         uint16_t ret;
186         spin_lock_irqsave(&pci_lock);
187         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
188         ret = inw(PCI_CONFIG_DATA + (offset & 2));
189         spin_unlock_irqsave(&pci_lock);
190         return ret;
191 }
192
193 void pci_write16(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
194                  uint16_t value)
195 {
196         spin_lock_irqsave(&pci_lock);
197         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
198         outw(PCI_CONFIG_DATA + (offset & 2), value);
199         spin_unlock_irqsave(&pci_lock);
200 }
201
202 uint8_t pci_read8(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset)
203 {
204         uint8_t ret;
205         spin_lock_irqsave(&pci_lock);
206         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
207         ret = inb(PCI_CONFIG_DATA + (offset & 3));
208         spin_unlock_irqsave(&pci_lock);
209         return ret;
210 }
211
212 void pci_write8(uint8_t bus, uint8_t dev, uint8_t func, uint32_t offset,
213                 uint8_t value)
214 {
215         spin_lock_irqsave(&pci_lock);
216         outl(PCI_CONFIG_ADDR, pci_config_addr(bus, dev, func, offset));
217         outb(PCI_CONFIG_DATA + (offset & 3), value);
218         spin_unlock_irqsave(&pci_lock);
219 }
220
221 uint32_t pcidev_read32(struct pci_device *pcidev, uint32_t offset)
222 {
223         return pci_read32(pcidev->bus, pcidev->dev, pcidev->func, offset);
224 }
225
226 void pcidev_write32(struct pci_device *pcidev, uint32_t offset, uint32_t value)
227 {
228         pci_write32(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
229 }
230
231 uint16_t pcidev_read16(struct pci_device *pcidev, uint32_t offset)
232 {
233         return pci_read16(pcidev->bus, pcidev->dev, pcidev->func, offset);
234 }
235
236 void pcidev_write16(struct pci_device *pcidev, uint32_t offset, uint16_t value)
237 {
238         pci_write16(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
239 }
240
241 uint8_t pcidev_read8(struct pci_device *pcidev, uint32_t offset)
242 {
243         return pci_read8(pcidev->bus, pcidev->dev, pcidev->func, offset);
244 }
245
246 void pcidev_write8(struct pci_device *pcidev, uint32_t offset, uint8_t value)
247 {
248         pci_write8(pcidev->bus, pcidev->dev, pcidev->func, offset, value);
249 }
250
251 /* Gets any old raw bar, with some catches based on type. */
252 uint32_t pci_getbar(struct pci_device *pcidev, unsigned int bar)
253 {
254         uint8_t type;
255         if (bar >= MAX_PCI_BAR)
256                 panic("Nonexistant bar requested!");
257         type = pcidev_read8(pcidev, PCI_HEADER_REG);
258         type &= ~0x80;  /* drop the MF bit */
259         /* Only types 0 and 1 have BARS */
260         if ((type != 0x00) && (type != 0x01))
261                 return 0;
262         /* Only type 0 has BAR2 - BAR5 */
263         if ((bar > 1) && (type != 0x00))
264                 return 0;
265         return pcidev_read32(pcidev, PCI_BAR0_STD + bar * PCI_BAR_OFF);
266 }
267
268 /* Determines if a given bar is IO (o/w, it's mem) */
269 bool pci_is_iobar(uint32_t bar)
270 {
271         return bar & PCI_BAR_IO;
272 }
273
274 bool pci_is_membar32(uint32_t bar)
275 {
276         if (pci_is_iobar(bar))
277                 return FALSE;
278         return (bar & PCI_MEMBAR_TYPE) == PCI_MEMBAR_32BIT;
279 }
280
281 bool pci_is_membar64(uint32_t bar)
282 {
283         if (pci_is_iobar(bar))
284                 return FALSE;
285         return (bar & PCI_MEMBAR_TYPE) == PCI_MEMBAR_64BIT;
286 }
287
288 /* Helper to get the address from a membar.  Check the type beforehand */
289 uint32_t pci_getmembar32(uint32_t bar)
290 {
291         uint8_t type = bar & PCI_MEMBAR_TYPE;
292         if (type != PCI_MEMBAR_32BIT) {
293                 warn("Unhandled PCI membar type: %02p\n", type >> 1);
294                 return 0;
295         }
296         return bar & 0xfffffff0;
297 }
298
299 /* Helper to get the address from an IObar.  Check the type beforehand */
300 uint32_t pci_getiobar32(uint32_t bar)
301 {
302         return bar & 0xfffffffc;
303 }
304
305 /* Helper to get the class description strings.  Adapted from
306  * http://www.pcidatabase.com/reports.php?type=c-header */
307 static void pcidev_get_cldesc(struct pci_device *pcidev, char **class,
308                               char **subclass, char **progif)
309 {
310         int     i ;
311         *class = *subclass = *progif = "";
312
313         for (i = 0; i < PCI_CLASSCODETABLE_LEN; i++) {
314                 if (PciClassCodeTable[i].BaseClass == pcidev->class) {
315                         if (!(**class))
316                                 *class = PciClassCodeTable[i].BaseDesc;
317                         if (PciClassCodeTable[i].SubClass == pcidev->subclass) {
318                                 if (!(**subclass))
319                                         *subclass = PciClassCodeTable[i].SubDesc;
320                                 if (PciClassCodeTable[i].ProgIf == pcidev->progif) {
321                                         *progif = PciClassCodeTable[i].ProgDesc;
322                                         break ;
323                                 }
324                         }
325                 }
326         }
327 }
328
329 /* Helper to get the vendor and device description strings */
330 static void pcidev_get_devdesc(struct pci_device *pcidev, char **vend_short,
331                                char **vend_full, char **chip, char **chip_desc)
332 {
333         int     i ;
334         *vend_short = *vend_full = *chip = *chip_desc = "";
335
336         for (i = 0; i < PCI_VENTABLE_LEN; i++) {
337                 if (PciVenTable[i].VenId == pcidev->ven_id) {
338                         *vend_short = PciVenTable[i].VenShort;
339                         *vend_full = PciVenTable[i].VenFull;
340                         break ;
341                 }
342         }
343         for (i = 0; i < PCI_DEVTABLE_LEN; i++) {
344                 if ((PciDevTable[i].VenId == pcidev->ven_id) &&
345                    (PciDevTable[i].DevId == pcidev->dev_id)) {
346                         *chip = PciDevTable[i].Chip;
347                         *chip_desc = PciDevTable[i].ChipDesc;
348                         break ;
349                 }
350         }
351 }
352
353 /* Prints info (like lspci) for a device */
354 void pcidev_print_info(struct pci_device *pcidev, int verbosity)
355 {
356         char *ven_sht, *ven_fl, *chip, *chip_txt, *class, *subcl, *progif;
357         pcidev_get_cldesc(pcidev, &class, &subcl, &progif);
358         pcidev_get_devdesc(pcidev, &ven_sht, &ven_fl, &chip, &chip_txt);
359
360         printk("%02x:%02x.%x %s: %s %s %s: %s\n",
361                pcidev->bus,
362                pcidev->dev,
363                pcidev->func,
364                subcl,
365                ven_sht,
366                chip,
367                chip_txt,
368                    pcidev->header_type);
369         if (verbosity < 1)      /* whatever */
370                 return;
371         printk("\tIRQ: %02d IRQ pin: 0x%02x\n",
372                pcidev->irqline,
373                pcidev->irqpin);
374         printk("\tVendor Id: 0x%04x Device Id: 0x%04x\n",
375                pcidev->ven_id,
376                pcidev->dev_id);
377         printk("\t%s %s %s\n",
378                class,
379                progif,
380                ven_fl);
381         for (int i = 0; i < pcidev->nr_bars; i++) {
382                 if (pcidev->bar[i].raw_bar == 0)
383                         continue;
384                 printk("\tBAR %d: ", i);
385                 if (pci_is_iobar(pcidev->bar[i].raw_bar)) {
386                         assert(pcidev->bar[i].pio_base);
387                         printk("IO port 0x%04x\n", pcidev->bar[i].pio_base);
388                 } else {
389                         bool bar_is_64 = pci_is_membar64(pcidev->bar[i].raw_bar);
390                         printk("MMIO Base %p, MMIO Size %p\n",
391                                bar_is_64 ? pcidev->bar[i].mmio_base64 :
392                                            pcidev->bar[i].mmio_base32,
393                                pcidev->bar[i].mmio_sz);
394                         /* Takes up two bars */
395                         if (bar_is_64) {
396                                 assert(!pcidev->bar[i].mmio_base32);    /* double-check */
397                                 i++;
398                         }
399                 }
400         }
401 }
402
403 void pci_set_bus_master(struct pci_device *pcidev)
404 {
405         pcidev_write16(pcidev, PCI_CMD_REG, pcidev_read16(pcidev, PCI_CMD_REG) |
406                                             PCI_CMD_BUS_MAS);
407 }
408
409 void pci_clr_bus_master(struct pci_device *pcidev)
410 {
411         uint16_t reg;
412         reg = pcidev_read16(pcidev, PCI_CMD_REG);
413         reg &= ~PCI_CMD_BUS_MAS;
414         pcidev_write16(pcidev, PCI_CMD_REG, reg);
415 }
416
417 /* Find up to 'need' unused bars. Needed for MSI-X */
418 int pci_find_unused_bars(struct pci_device *dev, int *bars, int need)
419 {
420         int i, found;
421         for(i = found = 0; found < need && i < ARRAY_SIZE(dev->bar); i++)
422                 if (!dev->bar[i].raw_bar)
423                         bars[found++] = i;
424         return found;
425
426 }
427
428 struct pci_device *pci_match_tbdf(int tbdf)
429 {
430         struct pci_device *search;
431         int bus, dev, func;
432         bus = BUSBNO(tbdf);
433         dev = BUSDNO(tbdf);
434         func = BUSFNO(tbdf);
435
436         STAILQ_FOREACH(search, &pci_devices, all_dev) {
437                 if ((search->bus == bus) &&
438                     (search->dev == dev) &&
439                     (search->func == func))
440                         return search;
441         }
442         return NULL;
443 }