vmm: refactor userspace's emsr_fakewrite()
[akaros.git] / kern / include / cbdma_regs.h
1 /* Copyright (c) 2019 Google Inc
2  * Aditya Basu <mitthu@google.com>
3  * See LICENSE for details.
4  *
5  * Copy of CBDMA register definitions from Linux kernel (around v5.1)
6  * drivers/dma/ioat/registers.h
7  */
8 #ifndef _IOAT_REGISTERS_H_
9 #define _IOAT_REGISTERS_H_
10
11 #define ACCESS_PCIE_CONFIG_SPACE 1
12
13 bool cbdma_is_reset_pending(void);
14 void cbdma_reset_device(void);
15
16 /* file: drivers/dma/ioat/hw.h */
17 #define IOAT_VER_1_2            0x12    /* Version 1.2 */
18 #define IOAT_VER_2_0            0x20    /* Version 2.0 */
19 #define IOAT_VER_3_0            0x30    /* Version 3.0 */
20 #define IOAT_VER_3_2            0x32    /* Version 3.2 */
21 #define IOAT_VER_3_3            0x33    /* Version 3.3 */
22 #define IOAT_VER_3_4            0x34    /* Version 3.4 */
23 /* -------------------------------------- */
24
25 #define IOAT_PCI_DMACTRL_OFFSET                 0x48
26 #define IOAT_PCI_DMACTRL_DMA_EN                 0x00000001
27 #define IOAT_PCI_DMACTRL_MSI_EN                 0x00000002
28
29 #define IOAT_PCI_DEVICE_ID_OFFSET               0x02
30 #define IOAT_PCI_DMAUNCERRSTS_OFFSET            0x148
31 #define IOAT_PCI_CHANERR_INT_OFFSET             0x180
32 #define IOAT_PCI_CHANERRMASK_INT_OFFSET         0x184
33
34 /* MMIO Device Registers */
35 #define IOAT_CHANCNT_OFFSET                     0x00    /*  8-bit */
36
37 #define IOAT_XFERCAP_OFFSET                     0x01    /*  8-bit */
38 #define IOAT_XFERCAP_4KB                        12
39 #define IOAT_XFERCAP_8KB                        13
40 #define IOAT_XFERCAP_16KB                       14
41 #define IOAT_XFERCAP_32KB                       15
42 #define IOAT_XFERCAP_32GB                       0
43
44 #define IOAT_GENCTRL_OFFSET                     0x02    /*  8-bit */
45 #define IOAT_GENCTRL_DEBUG_EN                   0x01
46
47 #define IOAT_INTRCTRL_OFFSET                    0x03    /*  8-bit */
48 #define IOAT_INTRCTRL_MASTER_INT_EN             0x01    /* Master Interrupt Enable */
49 #define IOAT_INTRCTRL_INT_STATUS                0x02    /* ATTNSTATUS -or- Channel Int */
50 #define IOAT_INTRCTRL_INT                       0x04    /* INT_STATUS -and- MASTER_INT_EN */
51 #define IOAT_INTRCTRL_MSIX_VECTOR_CONTROL       0x08    /* Enable all MSI-X vectors */
52
53 #define IOAT_ATTNSTATUS_OFFSET                  0x04    /* Each bit is a channel */
54
55 #define IOAT_VER_OFFSET                         0x08    /*  8-bit */
56 #define IOAT_VER_MAJOR_MASK                     0xF0
57 #define IOAT_VER_MINOR_MASK                     0x0F
58 #define GET_IOAT_VER_MAJOR(x)                   (((x) & IOAT_VER_MAJOR_MASK) >> 4)
59 #define GET_IOAT_VER_MINOR(x)                   ((x) & IOAT_VER_MINOR_MASK)
60
61 #define IOAT_PERPORTOFFSET_OFFSET               0x0A    /* 16-bit */
62
63 #define IOAT_INTRDELAY_OFFSET                   0x0C    /* 16-bit */
64 #define IOAT_INTRDELAY_MASK                     0x3FFF  /* Interrupt Delay Time */
65 #define IOAT_INTRDELAY_COALESE_SUPPORT          0x8000  /* Interrupt Coalescing Supported */
66
67 #define IOAT_DEVICE_STATUS_OFFSET               0x0E    /* 16-bit */
68 #define IOAT_DEVICE_STATUS_DEGRADED_MODE        0x0001
69 #define IOAT_DEVICE_MMIO_RESTRICTED             0x0002
70 #define IOAT_DEVICE_MEMORY_BYPASS               0x0004
71 #define IOAT_DEVICE_ADDRESS_REMAPPING           0x0008
72
73 #define IOAT_DMA_CAP_OFFSET                     0x10    /* 32-bit */
74 #define IOAT_CAP_PAGE_BREAK                     0x00000001
75 #define IOAT_CAP_CRC                            0x00000002
76 #define IOAT_CAP_SKIP_MARKER                    0x00000004
77 #define IOAT_CAP_DCA                            0x00000010
78 #define IOAT_CAP_CRC_MOVE                       0x00000020
79 #define IOAT_CAP_FILL_BLOCK                     0x00000040
80 #define IOAT_CAP_APIC                           0x00000080
81 #define IOAT_CAP_XOR                            0x00000100
82 #define IOAT_CAP_PQ                             0x00000200
83 #define IOAT_CAP_DWBES                          0x00002000
84 #define IOAT_CAP_RAID16SS                       0x00020000
85
86 #define IOAT_CHANNEL_MMIO_SIZE                  0x80    /* Each Channel MMIO space is this size */
87
88 /* DMA Channel Registers */
89 #define IOAT_CHANCTRL_OFFSET                    0x00    /* 16-bit Channel Control Register */
90 #define IOAT_CHANCTRL_CHANNEL_PRIORITY_MASK     0xF000
91 #define IOAT3_CHANCTRL_COMPL_DCA_EN             0x0200
92 #define IOAT_CHANCTRL_CHANNEL_IN_USE            0x0100
93 #define IOAT_CHANCTRL_DESCRIPTOR_ADDR_SNOOP_CONTROL     0x0020
94 #define IOAT_CHANCTRL_ERR_INT_EN                0x0010
95 #define IOAT_CHANCTRL_ANY_ERR_ABORT_EN          0x0008
96 #define IOAT_CHANCTRL_ERR_COMPLETION_EN         0x0004
97 #define IOAT_CHANCTRL_INT_REARM                 0x0001
98 #define IOAT_CHANCTRL_RUN                       (IOAT_CHANCTRL_INT_REARM |\
99                                                  IOAT_CHANCTRL_ERR_INT_EN |\
100                                                  IOAT_CHANCTRL_ERR_COMPLETION_EN |\
101                                                  IOAT_CHANCTRL_ANY_ERR_ABORT_EN)
102
103 #define IOAT_DMA_COMP_OFFSET                    0x02    /* 16-bit DMA channel compatibility */
104 #define IOAT_DMA_COMP_V1                        0x0001  /* Compatibility with DMA version 1 */
105 #define IOAT_DMA_COMP_V2                        0x0002  /* Compatibility with DMA version 2 */
106
107
108 #define IOAT1_CHANSTS_OFFSET            0x04    /* 64-bit Channel Status Register */
109 #define IOAT2_CHANSTS_OFFSET            0x08    /* 64-bit Channel Status Register */
110 #define IOAT_CHANSTS_OFFSET(ver)                ((ver) < IOAT_VER_2_0 \
111                                                 ? IOAT1_CHANSTS_OFFSET : IOAT2_CHANSTS_OFFSET)
112 #define IOAT1_CHANSTS_OFFSET_LOW        0x04
113 #define IOAT2_CHANSTS_OFFSET_LOW        0x08
114 #define IOAT_CHANSTS_OFFSET_LOW(ver)            ((ver) < IOAT_VER_2_0 \
115                                                 ? IOAT1_CHANSTS_OFFSET_LOW : IOAT2_CHANSTS_OFFSET_LOW)
116 #define IOAT1_CHANSTS_OFFSET_HIGH       0x08
117 #define IOAT2_CHANSTS_OFFSET_HIGH       0x0C
118 #define IOAT_CHANSTS_OFFSET_HIGH(ver)           ((ver) < IOAT_VER_2_0 \
119                                                 ? IOAT1_CHANSTS_OFFSET_HIGH : IOAT2_CHANSTS_OFFSET_HIGH)
120 #define IOAT_CHANSTS_COMPLETED_DESCRIPTOR_ADDR  (~0x3fULL)
121 #define IOAT_CHANSTS_SOFT_ERR                   0x10ULL
122 #define IOAT_CHANSTS_UNAFFILIATED_ERR           0x8ULL
123 #define IOAT_CHANSTS_STATUS     0x7ULL
124 #define IOAT_CHANSTS_ACTIVE     0x0
125 #define IOAT_CHANSTS_DONE       0x1
126 #define IOAT_CHANSTS_SUSPENDED  0x2
127 #define IOAT_CHANSTS_HALTED     0x3
128
129
130
131 #define IOAT_CHAN_DMACOUNT_OFFSET       0x06    /* 16-bit DMA Count register */
132
133 #define IOAT_DCACTRL_OFFSET         0x30   /* 32 bit Direct Cache Access Control Register */
134 #define IOAT_DCACTRL_CMPL_WRITE_ENABLE 0x10000
135 #define IOAT_DCACTRL_TARGET_CPU_MASK   0xFFFF /* APIC ID */
136
137 /* CB DCA Memory Space Registers */
138 #define IOAT_DCAOFFSET_OFFSET       0x14
139 /* CB_BAR + IOAT_DCAOFFSET value */
140 #define IOAT_DCA_VER_OFFSET         0x00
141 #define IOAT_DCA_VER_MAJOR_MASK     0xF0
142 #define IOAT_DCA_VER_MINOR_MASK     0x0F
143
144 #define IOAT_DCA_COMP_OFFSET        0x02
145 #define IOAT_DCA_COMP_V1            0x1
146
147 #define IOAT_FSB_CAPABILITY_OFFSET  0x04
148 #define IOAT_FSB_CAPABILITY_PREFETCH    0x1
149
150 #define IOAT_PCI_CAPABILITY_OFFSET  0x06
151 #define IOAT_PCI_CAPABILITY_MEMWR   0x1
152
153 #define IOAT_FSB_CAP_ENABLE_OFFSET  0x08
154 #define IOAT_FSB_CAP_ENABLE_PREFETCH    0x1
155
156 #define IOAT_PCI_CAP_ENABLE_OFFSET  0x0A
157 #define IOAT_PCI_CAP_ENABLE_MEMWR   0x1
158
159 #define IOAT_APICID_TAG_MAP_OFFSET  0x0C
160 #define IOAT_APICID_TAG_MAP_TAG0    0x0000000F
161 #define IOAT_APICID_TAG_MAP_TAG0_SHIFT 0
162 #define IOAT_APICID_TAG_MAP_TAG1    0x000000F0
163 #define IOAT_APICID_TAG_MAP_TAG1_SHIFT 4
164 #define IOAT_APICID_TAG_MAP_TAG2    0x00000F00
165 #define IOAT_APICID_TAG_MAP_TAG2_SHIFT 8
166 #define IOAT_APICID_TAG_MAP_TAG3    0x0000F000
167 #define IOAT_APICID_TAG_MAP_TAG3_SHIFT 12
168 #define IOAT_APICID_TAG_MAP_TAG4    0x000F0000
169 #define IOAT_APICID_TAG_MAP_TAG4_SHIFT 16
170 #define IOAT_APICID_TAG_CB2_VALID   0x8080808080
171
172 #define IOAT_DCA_GREQID_OFFSET      0x10
173 #define IOAT_DCA_GREQID_SIZE        0x04
174 #define IOAT_DCA_GREQID_MASK        0xFFFF
175 #define IOAT_DCA_GREQID_IGNOREFUN   0x10000000
176 #define IOAT_DCA_GREQID_VALID       0x20000000
177 #define IOAT_DCA_GREQID_LASTID      0x80000000
178
179 #define IOAT3_CSI_CAPABILITY_OFFSET 0x08
180 #define IOAT3_CSI_CAPABILITY_PREFETCH    0x1
181
182 #define IOAT3_PCI_CAPABILITY_OFFSET 0x0A
183 #define IOAT3_PCI_CAPABILITY_MEMWR  0x1
184
185 #define IOAT3_CSI_CONTROL_OFFSET    0x0C
186 #define IOAT3_CSI_CONTROL_PREFETCH  0x1
187
188 #define IOAT3_PCI_CONTROL_OFFSET    0x0E
189 #define IOAT3_PCI_CONTROL_MEMWR     0x1
190
191 #define IOAT3_APICID_TAG_MAP_OFFSET 0x10
192 #define IOAT3_APICID_TAG_MAP_OFFSET_LOW  0x10
193 #define IOAT3_APICID_TAG_MAP_OFFSET_HIGH 0x14
194
195 #define IOAT3_DCA_GREQID_OFFSET     0x02
196
197 #define IOAT1_CHAINADDR_OFFSET          0x0C    /* 64-bit Descriptor Chain Address Register */
198 #define IOAT2_CHAINADDR_OFFSET          0x10    /* 64-bit Descriptor Chain Address Register */
199 #define IOAT_CHAINADDR_OFFSET(ver)              ((ver) < IOAT_VER_2_0 \
200                                                 ? IOAT1_CHAINADDR_OFFSET : IOAT2_CHAINADDR_OFFSET)
201 #define IOAT1_CHAINADDR_OFFSET_LOW      0x0C
202 #define IOAT2_CHAINADDR_OFFSET_LOW      0x10
203 #define IOAT_CHAINADDR_OFFSET_LOW(ver)          ((ver) < IOAT_VER_2_0 \
204                                                 ? IOAT1_CHAINADDR_OFFSET_LOW : IOAT2_CHAINADDR_OFFSET_LOW)
205 #define IOAT1_CHAINADDR_OFFSET_HIGH     0x10
206 #define IOAT2_CHAINADDR_OFFSET_HIGH     0x14
207 #define IOAT_CHAINADDR_OFFSET_HIGH(ver)         ((ver) < IOAT_VER_2_0 \
208                                                 ? IOAT1_CHAINADDR_OFFSET_HIGH : IOAT2_CHAINADDR_OFFSET_HIGH)
209
210 #define IOAT1_CHANCMD_OFFSET            0x14    /*  8-bit DMA Channel Command Register */
211 #define IOAT2_CHANCMD_OFFSET            0x04    /*  8-bit DMA Channel Command Register */
212 #define IOAT_CHANCMD_OFFSET(ver)                ((ver) < IOAT_VER_2_0 \
213                                                 ? IOAT1_CHANCMD_OFFSET : IOAT2_CHANCMD_OFFSET)
214 #define IOAT_CHANCMD_RESET                      0x20
215 #define IOAT_CHANCMD_RESUME                     0x10
216 #define IOAT_CHANCMD_ABORT                      0x08
217 #define IOAT_CHANCMD_SUSPEND                    0x04
218 #define IOAT_CHANCMD_APPEND                     0x02
219 #define IOAT_CHANCMD_START                      0x01
220
221 #define IOAT_CHANCMP_OFFSET                     0x18    /* 64-bit Channel Completion Address Register */
222 #define IOAT_CHANCMP_OFFSET_LOW                 0x18
223 #define IOAT_CHANCMP_OFFSET_HIGH                0x1C
224
225 #define IOAT_CDAR_OFFSET                        0x20    /* 64-bit Current Descriptor Address Register */
226 #define IOAT_CDAR_OFFSET_LOW                    0x20
227 #define IOAT_CDAR_OFFSET_HIGH                   0x24
228
229 #define IOAT_CHANERR_OFFSET                     0x28    /* 32-bit Channel Error Register */
230 #define IOAT_CHANERR_SRC_ADDR_ERR       0x0001
231 #define IOAT_CHANERR_DEST_ADDR_ERR      0x0002
232 #define IOAT_CHANERR_NEXT_ADDR_ERR      0x0004
233 #define IOAT_CHANERR_NEXT_DESC_ALIGN_ERR        0x0008
234 #define IOAT_CHANERR_CHAIN_ADDR_VALUE_ERR       0x0010
235 #define IOAT_CHANERR_CHANCMD_ERR                0x0020
236 #define IOAT_CHANERR_CHIPSET_UNCORRECTABLE_DATA_INTEGRITY_ERR   0x0040
237 #define IOAT_CHANERR_DMA_UNCORRECTABLE_DATA_INTEGRITY_ERR       0x0080
238 #define IOAT_CHANERR_READ_DATA_ERR              0x0100
239 #define IOAT_CHANERR_WRITE_DATA_ERR             0x0200
240 #define IOAT_CHANERR_CONTROL_ERR        0x0400
241 #define IOAT_CHANERR_LENGTH_ERR 0x0800
242 #define IOAT_CHANERR_COMPLETION_ADDR_ERR        0x1000
243 #define IOAT_CHANERR_INT_CONFIGURATION_ERR      0x2000
244 #define IOAT_CHANERR_SOFT_ERR                   0x4000
245 #define IOAT_CHANERR_UNAFFILIATED_ERR           0x8000
246 #define IOAT_CHANERR_XOR_P_OR_CRC_ERR           0x10000
247 #define IOAT_CHANERR_XOR_Q_ERR                  0x20000
248 #define IOAT_CHANERR_DESCRIPTOR_COUNT_ERR       0x40000
249
250 #define IOAT_CHANERR_HANDLE_MASK (IOAT_CHANERR_XOR_P_OR_CRC_ERR | IOAT_CHANERR_XOR_Q_ERR)
251
252 #define IOAT_CHANERR_MASK_OFFSET                0x2C    /* 32-bit Channel Error Register */
253
254 /* Extras: Added by Aditya Basu <mitthu@google.com> */
255 #define CBDMA_CHANCMD_OFFSET                            0x84
256 #define CBDMA_CHANSTS_OFFSET                            0x88
257 #define CBDMA_CHANCTRL_OFFSET                           0x80
258 #define CBDMA_DMACOUNT_OFFSET                           0x86
259 #define CBDMA_CHAINADDR_OFFSET                          0x90
260 #define CBDMA_CHANCMP_OFFSET                            0x98
261 #define CBDMA_CHANERR_OFFSET                            0xa8
262 #define CBDMA_DESC_CTRL_INTR_ON_COMPLETION              0x01 /* 32-bit field */
263 #define CBDMA_DESC_CTRL_WRITE_CHANCMP_ON_COMPLETION     0x08
264 #define CBDMA_DESC_CTRL_NULL_DESC                       0x20
265
266 #define IOAT_CHANSTS_ARMED                              0x4
267
268 #endif /* _IOAT_REGISTERS_H_ */