mlx4: /dev/ -> /dev_vfs/
[akaros.git] / kern / drivers / net / mlx4 / catas.c
1 /*
2  * Copyright (c) 2007 Cisco Systems, Inc. All rights reserved.
3  * Copyright (c) 2007, 2008 Mellanox Technologies. All rights reserved.
4  *
5  * This software is available to you under a choice of one of two
6  * licenses.  You may choose to be licensed under the terms of the GNU
7  * General Public License (GPL) Version 2, available from the file
8  * COPYING in the main directory of this source tree, or the
9  * OpenIB.org BSD license below:
10  *
11  *     Redistribution and use in source and binary forms, with or
12  *     without modification, are permitted provided that the following
13  *     conditions are met:
14  *
15  *      - Redistributions of source code must retain the above
16  *        copyright notice, this list of conditions and the following
17  *        disclaimer.
18  *
19  *      - Redistributions in binary form must reproduce the above
20  *        copyright notice, this list of conditions and the following
21  *        disclaimer in the documentation and/or other materials
22  *        provided with the distribution.
23  *
24  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
25  * EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
26  * MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
27  * NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS
28  * BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN
29  * ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN
30  * CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
31  * SOFTWARE.
32  */
33
34 #include <linux_compat.h>
35 #include "mlx4.h"
36
37 enum {
38         MLX4_CATAS_POLL_INTERVAL        = 5 * HZ,
39 };
40
41
42
43 int mlx4_internal_err_reset = 1;
44 module_param_named(internal_err_reset, mlx4_internal_err_reset,  int, 0644);
45 MODULE_PARM_DESC(internal_err_reset,
46                  "Reset device on internal errors if non-zero (default 1)");
47
48 static int read_vendor_id(struct mlx4_dev *dev)
49 {
50         uint16_t vendor_id = 0;
51         int ret;
52
53         ret = pci_read_config_word(dev->persist->pdev, 0, &vendor_id);
54         if (ret) {
55                 mlx4_err(dev, "Failed to read vendor ID, ret=%d\n", ret);
56                 return ret;
57         }
58
59         if (vendor_id == 0xffff) {
60                 mlx4_err(dev, "PCI can't be accessed to read vendor id\n");
61                 return -EINVAL;
62         }
63
64         return 0;
65 }
66
67 static int mlx4_reset_master(struct mlx4_dev *dev)
68 {
69         int err = 0;
70
71         if (mlx4_is_master(dev))
72                 mlx4_report_internal_err_comm_event(dev);
73
74         if (!pci_channel_offline(dev->persist->pdev)) {
75                 err = read_vendor_id(dev);
76                 /* If PCI can't be accessed to read vendor ID we assume that its
77                  * link was disabled and chip was already reset.
78                  */
79                 if (err)
80                         return 0;
81
82                 err = mlx4_reset(dev);
83                 if (err)
84                         mlx4_err(dev, "Fail to reset HCA\n");
85         }
86
87         return err;
88 }
89
90 static int mlx4_reset_slave(struct mlx4_dev *dev)
91 {
92         panic("Disabled");
93 #if 0 // AKAROS_PORT
94 #define COM_CHAN_RST_REQ_OFFSET 0x10
95 #define COM_CHAN_RST_ACK_OFFSET 0x08
96
97         uint32_t comm_flags;
98         uint32_t rst_req;
99         uint32_t rst_ack;
100         unsigned long end;
101         struct mlx4_priv *priv = mlx4_priv(dev);
102
103         if (pci_channel_offline(dev->persist->pdev))
104                 return 0;
105
106         comm_flags = swab32(read32((__iomem char *)priv->mfunc.comm +
107                                    MLX4_COMM_CHAN_FLAGS));
108         if (comm_flags == 0xffffffff) {
109                 mlx4_err(dev, "VF reset is not needed\n");
110                 return 0;
111         }
112
113         if (!(dev->caps.vf_caps & MLX4_VF_CAP_FLAG_RESET)) {
114                 mlx4_err(dev, "VF reset is not supported\n");
115                 return -EOPNOTSUPP;
116         }
117
118         rst_req = (comm_flags & (uint32_t)(1 << COM_CHAN_RST_REQ_OFFSET)) >>
119                 COM_CHAN_RST_REQ_OFFSET;
120         rst_ack = (comm_flags & (uint32_t)(1 << COM_CHAN_RST_ACK_OFFSET)) >>
121                 COM_CHAN_RST_ACK_OFFSET;
122         if (rst_req != rst_ack) {
123                 mlx4_err(dev, "Communication channel isn't sync, fail to send reset\n");
124                 return -EIO;
125         }
126
127         rst_req ^= 1;
128         mlx4_warn(dev, "VF is sending reset request to Firmware\n");
129         comm_flags = rst_req << COM_CHAN_RST_REQ_OFFSET;
130         __raw_write32((__force uint32_t)cpu_to_be32(comm_flags),
131                      (__iomem char *)priv->mfunc.comm + MLX4_COMM_CHAN_FLAGS);
132         /* Make sure that our comm channel write doesn't
133          * get mixed in with writes from another CPU.
134          */
135         bus_wmb();
136
137         end = msecs_to_jiffies(MLX4_COMM_TIME) + jiffies;
138         while (time_before(jiffies, end)) {
139                 comm_flags = swab32(read32((__iomem char *)priv->mfunc.comm +
140                                            MLX4_COMM_CHAN_FLAGS));
141                 rst_ack = (comm_flags & (uint32_t)(1 << COM_CHAN_RST_ACK_OFFSET)) >>
142                         COM_CHAN_RST_ACK_OFFSET;
143
144                 /* Reading rst_req again since the communication channel can
145                  * be reset at any time by the PF and all its bits will be
146                  * set to zero.
147                  */
148                 rst_req = (comm_flags & (uint32_t)(1 << COM_CHAN_RST_REQ_OFFSET)) >>
149                         COM_CHAN_RST_REQ_OFFSET;
150
151                 if (rst_ack == rst_req) {
152                         mlx4_warn(dev, "VF Reset succeed\n");
153                         return 0;
154                 }
155                 cond_resched();
156         }
157         mlx4_err(dev, "Fail to send reset over the communication channel\n");
158         return -ETIMEDOUT;
159 #endif
160 }
161
162 static int mlx4_comm_internal_err(uint32_t slave_read)
163 {
164         return (uint32_t)COMM_CHAN_EVENT_INTERNAL_ERR ==
165                 (slave_read & (uint32_t)COMM_CHAN_EVENT_INTERNAL_ERR) ? 1 : 0;
166 }
167
168 void mlx4_enter_error_state(struct mlx4_dev_persistent *persist)
169 {
170         int err;
171         struct mlx4_dev *dev;
172
173         if (!mlx4_internal_err_reset)
174                 return;
175
176         qlock(&persist->device_state_mutex);
177         if (persist->state & MLX4_DEVICE_STATE_INTERNAL_ERROR)
178                 goto out;
179
180         dev = persist->dev;
181         mlx4_err(dev, "device is going to be reset\n");
182         if (mlx4_is_slave(dev))
183                 err = mlx4_reset_slave(dev);
184         else
185                 err = mlx4_reset_master(dev);
186         assert(!(err != 0));
187
188         dev->persist->state |= MLX4_DEVICE_STATE_INTERNAL_ERROR;
189         mlx4_err(dev, "device was reset successfully\n");
190         qunlock(&persist->device_state_mutex);
191
192         /* At that step HW was already reset, now notify clients */
193         mlx4_dispatch_event(dev, MLX4_DEV_EVENT_CATASTROPHIC_ERROR, 0);
194         mlx4_cmd_wake_completions(dev);
195         return;
196
197 out:
198         qunlock(&persist->device_state_mutex);
199 }
200
201 static void mlx4_handle_error_state(struct mlx4_dev_persistent *persist)
202 {
203         int err = 0;
204
205         mlx4_enter_error_state(persist);
206         qlock(&persist->interface_state_mutex);
207         if (persist->interface_state & MLX4_INTERFACE_STATE_UP &&
208             !(persist->interface_state & MLX4_INTERFACE_STATE_DELETION)) {
209                 err = mlx4_restart_one(persist->pdev);
210                 mlx4_info(persist->dev, "mlx4_restart_one was ended, ret=%d\n",
211                           err);
212         }
213         qunlock(&persist->interface_state_mutex);
214 }
215
216 static void dump_err_buf(struct mlx4_dev *dev)
217 {
218         struct mlx4_priv *priv = mlx4_priv(dev);
219
220         int i;
221
222         mlx4_err(dev, "Internal error detected:\n");
223         for (i = 0; i < priv->fw.catas_size; ++i)
224                 mlx4_err(dev, "  buf[%02x]: %08x\n",
225                          i, swab32(read32(priv->catas_err.map + i)));
226 }
227
228 static void poll_catas(unsigned long dev_ptr)
229 {
230         struct mlx4_dev *dev = (struct mlx4_dev *) dev_ptr;
231         struct mlx4_priv *priv = mlx4_priv(dev);
232         uint32_t slave_read;
233
234         if (mlx4_is_slave(dev)) {
235                 slave_read = swab32(read32(&priv->mfunc.comm->slave_read));
236                 if (mlx4_comm_internal_err(slave_read)) {
237                         mlx4_warn(dev, "Internal error detected on the communication channel\n");
238                         goto internal_err;
239                 }
240         } else if (read32(priv->catas_err.map)) {
241                 dump_err_buf(dev);
242                 goto internal_err;
243         }
244
245         if (dev->persist->state & MLX4_DEVICE_STATE_INTERNAL_ERROR) {
246                 mlx4_warn(dev, "Internal error mark was detected on device\n");
247                 goto internal_err;
248         }
249
250 #if 0 // AKAROS_PORT
251         mod_timer(&priv->catas_err.timer,
252                   round_jiffies(jiffies + MLX4_CATAS_POLL_INTERVAL));
253 #else
254         mod_timer(&priv->catas_err.timer, MLX4_CATAS_POLL_INTERVAL);
255 #endif
256         return;
257
258 internal_err:
259         if (mlx4_internal_err_reset)
260                 queue_work(dev->persist->catas_wq, &dev->persist->catas_work);
261 }
262
263 static void catas_reset(struct work_struct *work)
264 {
265         struct mlx4_dev_persistent *persist =
266                 container_of(work, struct mlx4_dev_persistent,
267                              catas_work);
268
269         mlx4_handle_error_state(persist);
270 }
271
272 void mlx4_start_catas_poll(struct mlx4_dev *dev)
273 {
274         struct mlx4_priv *priv = mlx4_priv(dev);
275 #if 0 // AKAROS_PORT
276         phys_addr_t addr;
277 #else
278         void *addr;
279 #endif
280
281         INIT_LIST_HEAD(&priv->catas_err.list);
282         init_timer(&priv->catas_err.timer);
283         priv->catas_err.map = NULL;
284
285         if (!mlx4_is_slave(dev)) {
286                 addr = pci_resource_start(dev->persist->pdev,
287                                           priv->fw.catas_bar) +
288                                           priv->fw.catas_offset;
289
290                 priv->catas_err.map = ioremap(addr, priv->fw.catas_size * 4);
291                 if (!priv->catas_err.map) {
292                         mlx4_warn(dev, "Failed to map internal error buffer at 0x%llx\n",
293                                   (unsigned long long)addr);
294                         return;
295                 }
296         }
297
298         priv->catas_err.timer.data     = (unsigned long) dev;
299         priv->catas_err.timer.function = poll_catas;
300 #if 0 // AKAROS_PORT
301         priv->catas_err.timer.expires  =
302                 round_jiffies(jiffies + MLX4_CATAS_POLL_INTERVAL);
303 #else
304         priv->catas_err.timer.delay    = MLX4_CATAS_POLL_INTERVAL;
305 #endif
306         add_timer(&priv->catas_err.timer);
307 }
308
309 void mlx4_stop_catas_poll(struct mlx4_dev *dev)
310 {
311         struct mlx4_priv *priv = mlx4_priv(dev);
312
313         del_timer_sync(&priv->catas_err.timer);
314
315         if (priv->catas_err.map) {
316                 iounmap(priv->catas_err.map);
317                 priv->catas_err.map = NULL;
318         }
319
320         if (dev->persist->interface_state & MLX4_INTERFACE_STATE_DELETION)
321                 flush_workqueue(dev->persist->catas_wq);
322 }
323
324 int  mlx4_catas_init(struct mlx4_dev *dev)
325 {
326         INIT_WORK(&dev->persist->catas_work, catas_reset);
327         dev->persist->catas_wq = create_singlethread_workqueue("mlx4_health");
328         if (!dev->persist->catas_wq)
329                 return -ENOMEM;
330
331         return 0;
332 }
333
334 void mlx4_catas_end(struct mlx4_dev *dev)
335 {
336         if (dev->persist->catas_wq) {
337                 destroy_workqueue(dev->persist->catas_wq);
338                 dev->persist->catas_wq = NULL;
339         }
340 }