2 years agonet: rock: Read the connection status for getsockopt() (XCC)
Barret Rhoden [Wed, 20 Dec 2017 18:30:04 +0000 (13:30 -0500)]
net: rock: Read the connection status for getsockopt() (XCC)

Once a non-blocking connect() activates, either via select or epoll,
applications check if the connect() succeeded or not with getsockopt().
See man 2 connect for more details.

Rebuild glibc.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: rock: Use a helper for conversation filenames (XCC)
Barret Rhoden [Wed, 20 Dec 2017 18:28:03 +0000 (13:28 -0500)]
net: rock: Use a helper for conversation filenames (XCC)

This pops up a few times, and it is safer to use a common helper.

Rebuild glibc.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Support non-blocking connect() calls
Barret Rhoden [Wed, 20 Dec 2017 18:20:10 +0000 (13:20 -0500)]
net: Support non-blocking connect() calls

Dropbear's port forwarding requires support for non-blocking connect().
Specifically, they will attempt a connection, then go back to their service
loop.  Once select() returns for that FD (which is a Qdata FD), it'll check
the socket options - a spurious select() will break it.

Without non-blocking connect(), the entire DB connection would lock up.
For instance, if you port-forward to a host on the other side of a firewall
that doesn't send resets, your connection will hang in SYN_SENT until TCP
times out.  Your DB connection (e.g. the shell associated with the port
forward) will hang.

As far as tapping and polling for the connection being up, we can use the
Qdata FD.  It will become writable when we know one way or the other about
the connection: e.g. either established or reset.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Make select() not spurious
Barret Rhoden [Tue, 19 Dec 2017 23:12:48 +0000 (18:12 -0500)]
net: Make select() not spurious

Our old select() was spurious - in the event there was some race, or even
some potential race, we'd say that all of the FDs had some action.  For
instance, when we first added an FD to the epoll set, we could have missed
an event: say it happened!  Or if we might have had another thread consume
our event: say it happened!

This was OK for a while, but it break with non-blocking connect().  Calls
like read() and write() are often in a loop, so a spurious event isn't a
big deal.  But with connect(), once the app is told the connect is done,
they expect either completion or failure.

Originally, we never polled the FDs with fstat.  Over time, it turns out
that we needed to, such as for apps that call select() even though they
didn't drain them to empty (which would trigger an edge event later).  Now
that we have that polling method (fstat + appropriate support for
readable/writable bits) we can redo select such that we do not return
spurious events.

This might be broken, especially for FDs on devices that don't support the
necessary stat bits.  So far, it's been working with sshd and port
forwarding (which uses non-blocking connects).

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Report conversation-wide info in Qdata stats
Barret Rhoden [Tue, 19 Dec 2017 17:20:19 +0000 (12:20 -0500)]
net: Report conversation-wide info in Qdata stats

select() and other users of stat will check the Qdata file, but not the
other files such as Qlisten or possibly Qctl.

It's reasonable to merge the 'Connected' status with Qdata
readability/writability.  If a conversation is not connected, then the user
can't read or write yet, even if the qio queues have room/data.  This
applies for protocols that have a connect method, like TCP and also UDP.

This pops up as an issue for apps that want to tap the ctl FD for
non-blocking connect() calls.  They actually select on the socket, which
ends up being an epoll on the data FD, listen FD, and ctl FD.  However,
thanks to the Linux buggy epoll behavior, if you start epolling on a data
FD and the FD is ready, you'll get an epoll event.  An epoll/select on any
of the Rock FDs looks like the socket is ready - in this case writable.
That looks to the app as if select fired for a non-blocking connect.

Similarly, we could have situations where select() stats a Qdata instead of
a Qlisten.  Reporting on Qlisten for Qdata isn't ideal, but the socket
stuff should never use a socket for both listening and data at the same
time.  I think.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoepoll: Split out the guts of ctl_add and ctl_del
Barret Rhoden [Mon, 18 Dec 2017 16:21:38 +0000 (11:21 -0500)]
epoll: Split out the guts of ctl_add and ctl_del

This way we don't do sock lookups when we know they will fail.
Previously, whenever we recursively called __epoll_ctl_add() on the listen
FD, that sock lookup would always fail.

It's a little hard to see from the diff, but this only moves the actual
ctl_add and ctl_del functionality into separate helpers.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: rock: Look up the ctl FD with the listen FD (XCC)
Barret Rhoden [Fri, 15 Dec 2017 21:31:22 +0000 (16:31 -0500)]
net: rock: Look up the ctl FD with the listen FD (XCC)

Epoll may need to tap all three FDs when tapping a socket/rock.  This is
the glibc portion of the change - epoll still taps only the listen FD.
Even if we don't use this for epoll, tracking the ctlfd doesn't hurt and
may prove useful.

Rebuild glibc.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: rock: Mirror F_SETFL flags to all FDs (XCC)
Barret Rhoden [Fri, 15 Dec 2017 20:40:33 +0000 (15:40 -0500)]
net: rock: Mirror F_SETFL flags to all FDs (XCC)

When the application attempts a fcntl + F_SETFL on a Rock FD (which is a
data FD), we'll mirror those commands to the other FDs (ctl and listen).

The motivator for this is dropbear, which sets a socket O_NONBLOCK and then
polls with connect().  It expects the O_NONBLOCK set on the socket FD to
apply to the entire socket.  Recall that all of the files that make up a
Rock collectively are a socket.

Back before commit 765fc2a8270a ("Remove the O_NONBLOCK fcntl() intercept
(XCC)"), we handled O_NONBLOCK in userspace.  This commit is somewhat
similar in that we need to do special Rock processing, but we still just do

Rebuild glibc.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: rock: Keep the ctl FD open (XCC)
Barret Rhoden [Fri, 15 Dec 2017 20:08:10 +0000 (15:08 -0500)]
net: rock: Keep the ctl FD open (XCC)

Instead of reopening the ctl FD every time we want to use it, we can just
keep it open.

Notionally, all of the Rock's FDs (data, ctl, and listen) are part of the
same object.  The only downside is we have more open FDs, chans, and convs.

The motivator for this is fcntl operations on sockets - the application's
intent is to affect all of the FDs of the Rock, not just the data FD.

Note that you'll see more files in 'pip', and that the name of Qctl files
is usually 'listen' or clone.  For example, conversation 2's ctl file was
created by opening 1/listen:

FD: 08,  pathname: /net/tcp/1/listen
Dev: ip, Devinfo: Qctl, proto tcp, conv idx 2

The lesson is that the pathname is what was opened, not what the file is.
You need to look at the rest of the info for that.

Rebuild glibc.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agomlx4: Linearize large blocks to avoid dropping packets
Barret Rhoden [Thu, 14 Dec 2017 21:23:59 +0000 (16:23 -0500)]
mlx4: Linearize large blocks to avoid dropping packets

On occasion I would get the "Oversized header or SG list" error.  It might
have been due to having too few TXBB slots for the number of fragments.

Our TCP stack doesn't limit the number of EBDs it sends down the pipe yet.
In lieu of breaking the block into multiple blocks, we can linearize it.  I
had the same issue with r8169.

The longer term fixes:
- Maybe a helper that breaks a block, but it'd need to maintain the
  headers, to include the length fields.
- Peak at the first block in the queue or otherwise block until there is
  enough room.  Need to be careful that we don't get a block that has more
EBDs than the NIC has SG slots.
- Give TCP (and other block producers) a way to know the max number of
- Just use 16.

I somewhat like the notion of having a limit and then have the helper break
the block at the appropriate layer, since you might not know where a block
is going when you create it.  (Though TCP does - we do this with MSS

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agosched: Slightly fix up tests/prov
Barret Rhoden [Wed, 13 Dec 2017 21:23:10 +0000 (16:23 -0500)]
sched: Slightly fix up tests/prov

prov now takes core lists (e.g. "1,3-5") instead of just a core at a time,
just like perf.

prov also can spawn processes, just like perf and strace.

Other than that, it's still in need of an overhaul.  It doesn't let you
provision multiple resource types to a process at a time, such as cores and
memory.  'show' mode still uses the kernel hack.  Stylistically, it could
use some work too.

For now, since we only provision cores, it's OK.  When we update the kernel
interface, we'll update prov too.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoparlib: Move the provisioning of cores to a PID
Barret Rhoden [Wed, 13 Dec 2017 21:06:51 +0000 (16:06 -0500)]
parlib: Move the provisioning of cores to a PID

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoparlib: Move core_sets to parlib
Barret Rhoden [Wed, 13 Dec 2017 20:21:09 +0000 (15:21 -0500)]
parlib: Move core_sets to parlib

I converted xopen() -> open() and xstrdup() -> strdup().

I tried putting xlib in parlib, but a bunch of other projects use those
names for the same functions, and we run into conflicts.  This is why we
can't have nice things.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoperf: Rename the ros_ core_set code
Barret Rhoden [Wed, 13 Dec 2017 20:09:09 +0000 (15:09 -0500)]
perf: Rename the ros_ core_set code

I'll move it to parlib shortly.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoparlib: Make bitmask.h more compilable
Barret Rhoden [Wed, 13 Dec 2017 22:26:52 +0000 (17:26 -0500)]
parlib: Make bitmask.h more compilable

In an upcoming patch, parlib headers will include this more broadly, which
means glibc will include it too.

You can't include stdio.h widely throughout glibc, so that needs to go.
Similarly, the header is included in parts of gcc that don't like the c99
for loop declarations.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agosched: Touch up the packed scheduler
Barret Rhoden [Wed, 13 Dec 2017 19:02:52 +0000 (14:02 -0500)]
sched: Touch up the packed scheduler

These are from my code review from the initial posting of the packed

The biggest fix was the TAILQ bug, since alloc_next is used for two lists.
The other stuff is mostly for clarity.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agosched: When disabling SMT, turn off the odd cores
Barret Rhoden [Wed, 13 Dec 2017 18:02:28 +0000 (13:02 -0500)]
sched: When disabling SMT, turn off the odd cores

Previously, we were turning off the even cores, but that gave out core 1,
which was hyperthreaded with core 0.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agosched: Fix packed initialization
Barret Rhoden [Wed, 13 Dec 2017 17:57:11 +0000 (12:57 -0500)]
sched: Fix packed initialization

Setting alloc_proc = -1 blows up a few things, at least prov -s.  There's
probably other / future issues with it.

The new way a lot clearer too - one pass, make our decision, and move on.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agosched: Remove the idle core interface
Barret Rhoden [Wed, 13 Dec 2017 17:48:58 +0000 (12:48 -0500)]
sched: Remove the idle core interface

It's only used by ARSC code, which no one uses and probably needs a better

The code for the packed scheduler is buggy as hell:
- __get_any_idle_core doesn't return once it finds an item
- __get_any_idle_core uses uninitialized *spc
- There's no refcounting or interaction with the idle list.
- The UNNAMED_PROC is a problem too (prov -s crashes)

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoAdd implementation of packed core alloc strategy
Kevin Klues [Tue, 6 Oct 2015 02:42:22 +0000 (19:42 -0700)]
Add implementation of packed core alloc strategy

This core allocation strategy attempts to hand out cores to a process
based on the underlying topology of the machine. It's strategy is based
on trying to pack cores as tightly as possible when handing out cores to
a process.

The first time a process requests a core, the algorithm will try to find
an idle core as far away as possible from all other allocated cores on
the machine. Once the first core is established, subsequent requests
will try and pack cores as tightly as possible to cores it already owns.
Cores from a proc's list of provisioned cores are preferentially chosen,
followed by the remaining idle cores in the system.

The core allocation strategy to use can be chosen as a makeconfig

Signed-off-by: Kevin Klues <klueska@cs.berkeley.edu>
Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agox86: Fix topology detection
Barret Rhoden [Wed, 13 Dec 2017 17:02:50 +0000 (12:02 -0500)]
x86: Fix topology detection

The main thing is that we were off by one - the is_unique check would
compare us to ourselves, which will always fail.

The end result was that the number of numa nodes was always 0, which turns
off all of the other topology information.  I'm not sure how this ever

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agovmx: Squelch per-core startup messages
Barret Rhoden [Wed, 13 Dec 2017 17:48:29 +0000 (12:48 -0500)]
vmx: Squelch per-core startup messages

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agovmm: Provide a fast-path for IPIs in the kernel
Barret Rhoden [Tue, 12 Dec 2017 18:27:55 +0000 (13:27 -0500)]
vmm: Provide a fast-path for IPIs in the kernel

Handling the IPI in userspace takes a couple usec.  If the target guest
pcore is loaded and running, such as when in greedy mode or under load, the
kernel can inject the IPI.

This helped perf bench pipe sched on tinycore in greedy mode, where the
guest was sending IPIs every 8-10 usec.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agovmm: Check VPPR and interrupt-window-blocking with RVI
Barret Rhoden [Tue, 12 Dec 2017 18:24:02 +0000 (13:24 -0500)]
vmm: Check VPPR and interrupt-window-blocking with RVI

We had been checking just the full byte of RVI.  However, that is not what
the hardware will treat as a condition to trigger an interrupt in the

I didn't have a specific problem with this, but it popped up as a potential
issue when I was working on IPIs.

Note that vectors less than 16 in RVI won't trigger a wakeup, which is in
accordance with the SDM's algorithm.  The only time I've seen the RVI field
less than 16 so far is during an INIT/SIPI.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agovmm: Add mmio helper functions
Barret Rhoden [Tue, 12 Dec 2017 18:22:00 +0000 (13:22 -0500)]
vmm: Add mmio helper functions

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoFix Linux timers, jiffies, and HZ
Barret Rhoden [Mon, 4 Dec 2017 23:16:34 +0000 (18:16 -0500)]
Fix Linux timers, jiffies, and HZ

Since commit 2a991d374670 ("Treat jiffies as msec since boot"), we've been
waiting ten times longer than we should.  For Linux code, jiffies are one
msec, and HZ = 1000.

Similarly, some mlx4 code was using mod_timer() for relative changes.  Once
we started treating jiffies as non-zero, these timers broke.

This fixes some nastiness with mod_timer - there never should have been
'delay', since all callers expect to use absolute time.  We should have
just had jiffies == msec or whatever from the beginning.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoparlib: Fix signature for trace_printf()
Barret Rhoden [Fri, 1 Dec 2017 20:23:47 +0000 (15:23 -0500)]
parlib: Fix signature for trace_printf()

Commit 248d1a835700 ("Add printx to userspace (XCC)") moved the void
trace_printf() from one header to another.  But it turns out that 'void'
was wrong.  It conflicted with glibc's parlib-compat helper, which expected
an int.  The old code didn't notice since parlib/ros_debug.h wasn't
included by glibc's parlib-compat.c, but parlib/stdio.h is.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agovmm: Export the TSC freq via a vmcall (XCC)
Barret Rhoden [Wed, 22 Nov 2017 16:44:23 +0000 (11:44 -0500)]
vmm: Export the TSC freq via a vmcall (XCC)

This reduces the changes we make to the guest outside of akaros.c and
simplifies the commandline processing on our end.

Reinstall your kernel headers.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agovmm: Remove lapic_timer_frequency from the cmd line
Barret Rhoden [Wed, 22 Nov 2017 15:17:50 +0000 (10:17 -0500)]
vmm: Remove lapic_timer_frequency from the cmd line

Linux's lapic_timer_frequency isn't in raw Hz.  It's actually the lapic
freq divided by HZ, the Linux variable, e.g. 250 or 1000.

Linux's akaros.c will take care of this.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agovmm: Halt vcore 0 instead of spinning
Barret Rhoden [Mon, 20 Nov 2017 20:09:52 +0000 (15:09 -0500)]
vmm: Halt vcore 0 instead of spinning

Spinning limits the sibling core's performance and limits the turbo mode
potential of the rest of the machine.

Instead, we'll mwait on notif_pending or an IPI.  Our ev_qs are already set
up to send IPIs with the notification, so things like syscalls and timers
will work fine.  If the 2LS enqueues a task thread - which are handled by
VC 0 - it'll make sure the vcore wakes up.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoAllow sys_halt_core() to monitor notif_pending
Barret Rhoden [Mon, 20 Nov 2017 19:20:08 +0000 (14:20 -0500)]
Allow sys_halt_core() to monitor notif_pending

This lets the 2LS halt the core and wait for someone to touch
notif_pending, which is touched for any event delivery to the vcore.

2LSs that want to wake vcores without sending a full event will need to use
wake_vcore().  The force_ipi is to help them break out of spinning
uthreads.  We'll see if that's needed or not.  Some of this ties into the
long range 2LS changes I've been planning.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoMake cpu_halt() return with IRQs disabled
Barret Rhoden [Mon, 20 Nov 2017 19:12:47 +0000 (14:12 -0500)]
Make cpu_halt() return with IRQs disabled

And don't assume we woke from an IRQ that changed the kernel pcpui state.
Although that is always the case, it won't be if we woke due to an mwait.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agovmm: Let the VMM control mwait vmexits (XCC)
Barret Rhoden [Fri, 17 Nov 2017 15:59:27 +0000 (10:59 -0500)]
vmm: Let the VMM control mwait vmexits (XCC)

We can handle mwaits in software, but only for power management halts - the
monitor won't work.  We tell the guest (via cpuid) that monitor/mwait is
not supported, so the only VMs that should be making mwait calls are
paravirtualized guests.

The greedy 2LS sets mwait exiting in the same way that it controls whether
or not halts trigger a vmexit.

The end result should be that guests can mwait at whatever sleep state they
want - preferably at least C2 (mwait 0x10), which would allow other
physical cores to reach a higher turbo mode setting.

Reinstall your kernel headers.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agox86: Remove UNUSED_ARG #define
Barret Rhoden [Fri, 17 Nov 2017 17:35:07 +0000 (12:35 -0500)]
x86: Remove UNUSED_ARG #define

We aren't using it, and if we need it, we can put it in compiler.h.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoAdd printx to userspace (XCC)
Barret Rhoden [Wed, 22 Nov 2017 16:15:11 +0000 (11:15 -0500)]
Add printx to userspace (XCC)

Userspace now has printx (to stderr) and trace_printx (to dmesg).  We also
have all the variants of I_AM_HERE (_x, _t, _tx).

Reinstall your kernel headers.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoRemove i386 from glibc (XCC)
Barret Rhoden [Wed, 22 Nov 2017 15:45:12 +0000 (10:45 -0500)]
Remove i386 from glibc (XCC)

I plan to add a bool to procdata and noticed the unused ldt variable.  By
removing it and putting in padding, I can make that space and keep people
from needing a rebuild.

If you have weird problems, rebuild the world.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: tcp: Handle reseqs of length 0
Barret Rhoden [Tue, 21 Nov 2017 20:24:13 +0000 (15:24 -0500)]
net: tcp: Handle reseqs of length 0

The SACK code was panicking, but it is possible to have length = 0 (on a
SYN or FIN).  We can just ignore any potential SACK updates in those

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agomlx4: Use netif_stats for ifstat
Barret Rhoden [Thu, 16 Nov 2017 16:09:57 +0000 (11:09 -0500)]
mlx4: Use netif_stats for ifstat

Linux drivers have a way of exporting their stats to a struct netif_stats.
We have a way to parse netif_stats when we cat ether/ifstats.  Put those
together and you have a simple way to get stats from any Linux driver.

For mlx4, I had to turn on a few bits of code that we had commented out.
There were minor issues with the MAC address changing, but I think we can
ignore that for now.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoTreat jiffies as msec since boot
Barret Rhoden [Thu, 16 Nov 2017 17:17:56 +0000 (12:17 -0500)]
Treat jiffies as msec since boot

We had been treating jiffies as 0, and then using relative time in
mod_timer.  This is nasty, and breaks things that want to use jiffies for
other stuff, like mlx4 stats.

Instead, we'll pretend like we're a Linux machine with HZ = 1000 and a
jiffie being a millisecond.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoFix ttcp rate output string
Barret Rhoden [Thu, 16 Nov 2017 15:52:52 +0000 (10:52 -0500)]
Fix ttcp rate output string

Previously, we'd have output like:

ttcp-t: X bytes in Y real seconds = Z (null)/sec

Now it is:

ttcp-t: X bytes in Y real seconds = Z KB/sec

'unit' wasn't set.  It gets set as a byproduct of calling rate().  The old
code was assuming that the arguments to fprintf were processed in order.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Remove 9ns's rtl8169 driver
Barret Rhoden [Wed, 15 Nov 2017 18:55:16 +0000 (13:55 -0500)]
net: Remove 9ns's rtl8169 driver

It barely worked for a couple models.  The half-baked Linux driver is

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agor8169: Port the driver
Barret Rhoden [Wed, 15 Nov 2017 18:50:24 +0000 (13:50 -0500)]
r8169: Port the driver

It's better than bnx2x and mlx4, but there's still more for us to do to
properly port Linux drivers.  Here's a few things:

- Backpressure is sorted out with pokes and whatnot.  Linux's
  netif_stop/start might be a better way - handled at a higher layer in the

- Shutdown/detach/power management is pretty much unsupported.

- Multicast is missing.  Again, there's more support at higher levels of
  the stack than 9ns has.

- Our PCI MSI(X) support doesn't let the driver have a say in whether or
  not MSI is used.

Til next time...

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agor8169: Make the driver compile
Barret Rhoden [Thu, 2 Nov 2017 18:14:21 +0000 (14:14 -0400)]
r8169: Make the driver compile

I permanently commented out (AKAROS_PORT) things related to ethtool, ioctl,
and vlan.

I commented out and panicked (AKAROS_ROOT_TODO) things that will need to be
ported manually.  These things involve SKBs and NAPI.  For the most part,
they work, but they'll need some massaging.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agor8169: Spatch the driver
Barret Rhoden [Tue, 31 Oct 2017 19:36:39 +0000 (15:36 -0400)]
r8169: Spatch the driver

Ran the scripts/spatch/linux/*.cocci files.  I had to do the u64s and
{read,write}{b/l/w} manually, due to errors like:

 try to delete an expanded token: writeb

It has something to do with weird usages of macros.

Did a bunch of other spatches separately as I changed the coccis, such as
pci_dev->dev => pci_dev->device.

A bunch of u32, u16, and u8s also failed silently.  Some worked, some

Same with BUG_ON.

And a couple of struct net_device.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agor8169: Add Linux's RTL 8169 driver
Barret Rhoden [Tue, 31 Oct 2017 19:14:10 +0000 (15:14 -0400)]
r8169: Add Linux's RTL 8169 driver

From commit 569dbb88e80d ("Linux 4.13").

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Add rx_mode to ether/netif
Barret Rhoden [Wed, 15 Nov 2017 18:08:53 +0000 (13:08 -0500)]
net: Add rx_mode to ether/netif

It's only used in a Linux driver.  It simplifies the driver a bit, and is
likely to help all other Linux drivers.  It's the way of the future!

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Remove mbps from ipifc
Barret Rhoden [Wed, 15 Nov 2017 17:24:50 +0000 (12:24 -0500)]
net: Remove mbps from ipifc


Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Delay etherbind until the link is up
Barret Rhoden [Tue, 14 Nov 2017 19:26:20 +0000 (14:26 -0500)]
net: Delay etherbind until the link is up

On some drivers, at least r8169, the link auto-negotiation takes a few
seconds.  It starts during attach(), but we can't wait there.  Lots of NICs
get attached, including ones that will never have a link.  Note that
attach() happens when you try to cat \#ether.0/ether0/addr.

We can't wait at attach.  If we try to error out during transmit, that
actually breaks (error at ipifc.c L444).  The IP stack will try to send

So we have two choices: on every transmit, do a netif_wait_for_carrier(),
or catch it after attach, but before Ipifc initialization.  It turns out
that during etherbind() we can wait.  This is when we try to prepare the
NIC to use IPv4, v6, and ARP.

Note this means all 9ns drivers need to tell the rest of the stack that
their links are up.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Add a helper to parse netif_stats
Barret Rhoden [Mon, 13 Nov 2017 19:59:48 +0000 (14:59 -0500)]
net: Add a helper to parse netif_stats

NIC drivers can use this for their ifstats function.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Split hw_features out from feat
Barret Rhoden [Mon, 13 Nov 2017 19:20:57 +0000 (14:20 -0500)]
net: Split hw_features out from feat

hw_features is what is possible; feat is what is turned on *or* other Plan
9 characteristics.  Notably, NETF_PADMIN is more of a signal that the NIC
will pad to the mintu.  It's not something the hardware will turn on or

By #defining hw_features to feat, we were possibly turning on things that
shouldn't be on by default.  Likewise, an = (instead of |=) could clobber
values of feat.  It was all quite nasty.

Note that the name 'feat' is an ABI to some extent.  etherbind() looks for
that string when it decides which features get added to the Ipifc.  If we
have dynamic features and want them to actually take affect to IP stacks
bound to a NIC, then we'll need to propagate those changes to Ipifc.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Split up BCKSUM_FLAGS
Barret Rhoden [Fri, 10 Nov 2017 21:07:58 +0000 (16:07 -0500)]
net: Split up BCKSUM_FLAGS

Those flags were for more than block checksums - Btso was in there, which
isn't a checksum.

This clarifies the use of the block checksum flags, including being
explicit about when we are using the flag for transport layer checksum

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoEncapsulate block metadata better
Barret Rhoden [Fri, 10 Nov 2017 17:44:52 +0000 (12:44 -0500)]
Encapsulate block metadata better

Everytime I add something, like network_offset, I had to update a few
places.  Well, two places.  This way, we're slightly more clear about what
we're doing, instead of adding minor hacks each time.

A couple points:
- We had been copying the metadata over only if certain flags were set.  We
  should be able to copy that data over no matter what.
- It was probably buggy to only copy network_offset and transport_offset
  based on a flag.
- If you muck with a block, like in padblock(), you still need to adjust
  any offsets.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Clarify transport checksum offload
Barret Rhoden [Fri, 10 Nov 2017 17:14:50 +0000 (12:14 -0500)]
net: Clarify transport checksum offload

It turns out that checksum_start (an offset) was always the same as
transport_offset.  That's how these transport xsum offloads work.

The asserts are for sanity checks.  We can take those out once we're sure
I'm right about all this.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Remove block->checksum
Barret Rhoden [Fri, 10 Nov 2017 16:53:49 +0000 (11:53 -0500)]
net: Remove block->checksum

This was used to report the checksum computed by the NIC.  However, the
rest of the stack wasn't using it for anything.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoether: Add a field for the driver_name
Barret Rhoden [Thu, 9 Nov 2017 20:36:07 +0000 (15:36 -0500)]
ether: Add a field for the driver_name

For debugging and viewable in ether/stats.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Let ifconfig use NICs other than ether.0
Barret Rhoden [Thu, 9 Nov 2017 18:58:54 +0000 (13:58 -0500)]
net: Let ifconfig use NICs other than ether.0

To pick a different NIC, put its MAC address in a config block in

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoqio: Don't make extra empty EBDs
Barret Rhoden [Thu, 9 Nov 2017 17:22:40 +0000 (12:22 -0500)]
qio: Don't make extra empty EBDs

We overestimated the number of extra data blocks in a couple of ways, and
this was triggering issues with SG in the NICs.

First, we were counting (and pointing to) the headers of blocks even when
the headers were empty.  Excessive work, no gain, extra ebds.

We were also counting the entire blist, even if we were only extracting a
small amount of data.  I had a few blocks that had 80 ebds, but only one
valid block.

We continue to assume that EBDs are all valid, and thus it is still an
overestimate.  It's not a bad one though, since I think the only time we
have empty EBDs are a result of pullups or other one-off operations.  Not
sure though.

It might be worth tracking the number of valid EBDs (base && len), but it
might be tricky.  Note that we have some EBDs with no len but with a
refcounted base.  So you'd have to be careful how you count 'valid.'

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Add an option for RX checksum offload
Barret Rhoden [Wed, 8 Nov 2017 20:49:49 +0000 (15:49 -0500)]
net: Add an option for RX checksum offload

Plan 9 drivers assume that this feature is always on, if available, and it
is unqueryable.

Linux drivers have a flag for this, and by setting that flag to zero, NICs
(e.g. r8169) turn off their feature since they think the user doesn't want

It's likely this will turn on RX checksumming on bnx2x and mlx4.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: tcp: Fix TSO for incoming connections
Barret Rhoden [Wed, 8 Nov 2017 19:43:45 +0000 (14:43 -0500)]
net: tcp: Fix TSO for incoming connections

TSO was only being used on outbound connections.  The issue was that the
'flags' in tcpmtu for inbound connections was seg.flags, not tcb->flags.
So that bit we were setting was discarded.

The fix is to do the lookup (which requires the ifc) once we finally have
the tcb, which is after the conversation comes out of limbo.  Instead of
looking up the ifc twice, we can just store the uncounted ref.  We'll
probably have other uses for the ifc.

Note that the ifc->feat is not exactly the same as ether->netif->feat.  The
device's features are copied over to the IP interface during etherbind.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Add network_offset to blocks
Barret Rhoden [Wed, 8 Nov 2017 16:44:18 +0000 (11:44 -0500)]
net: Add network_offset to blocks

Similar to transport_offset, this is the offset from bp->rp to the
beginning of the network layer header, e.g. IP.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Change transport_header_end -> tranport_offset
Barret Rhoden [Mon, 6 Nov 2017 16:44:32 +0000 (11:44 -0500)]
net: Change transport_header_end -> tranport_offset

mlx4 wanted the size of a TCP packet, but other NICs want the start of the
TCP header.  We can go from "header start" -> "header end" easily, but not
the other way.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: tcp: Refactor the tcp header structs
Barret Rhoden [Mon, 6 Nov 2017 16:40:42 +0000 (11:40 -0500)]
net: tcp: Refactor the tcp header structs

v4 and v6 have the same TCP header (since it's the same protocol).  Plan 9
embeds them in TCP-IPv4 and TCP-IPv6 structs.  It behooves us to have a
common struct.  It could be used to clean up a bunch of tcp.c code, but for
now I just need it for a header helper.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoMove srch_linux_pci_tbl to linux_compat.h
Barret Rhoden [Thu, 2 Nov 2017 22:51:13 +0000 (18:51 -0400)]
Move srch_linux_pci_tbl to linux_compat.h

This was a helper used by bnx2x, but all users of Linux PCI tables can
use it.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agopci: Add a struct device field
Barret Rhoden [Wed, 1 Nov 2017 20:28:28 +0000 (16:28 -0400)]
pci: Add a struct device field

bnx2x has a lot of other places that are still using pcidev->dev, but it's
passing them to dont-care macros.  It's hokey, and spatch doesn't seem to
want to catch them all.  It's also a little hard to spatch after doing the
native conversion; some places have akaros_pcidev->dev, meaning the 'd' of

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agopci: Update pci_regs.h
Barret Rhoden [Wed, 1 Nov 2017 18:41:29 +0000 (14:41 -0400)]
pci: Update pci_regs.h

This file was originally from Linux.  This is the updated version, from
commit 569dbb88e80d ("Linux 4.13").

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agopci: Add cacheline and MWI helpers from Linux
Barret Rhoden [Wed, 1 Nov 2017 18:09:09 +0000 (14:09 -0400)]
pci: Add cacheline and MWI helpers from Linux

These were copied and ported from commit 569dbb88e80d ("Linux 4.13").

They are simple enough that we can use them too.  We weren't doing anything
with memory-write-invalidate, but it's a performance helper.  Eventually,
we might end up porting all of Linux's PCI infrastructure.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoether: Add Linux-compatible netif_stats
Barret Rhoden [Thu, 2 Nov 2017 16:34:23 +0000 (12:34 -0400)]
ether: Add Linux-compatible netif_stats

Instead of faking stat structs (like we did with mlx4) or completely
ignoring them (like bnx2x), we can just use the same struct and put it in
struct netif (anonymously in struct ether).  We can even have an ifstat()
function pointer that all the Linux drivers use to extract the info.

Given we probably won't have too many Plan 9 drivers, we might just yank
the Plan 9 stats and covert everyone to using netif_stats.

netif_stats is Linux's rtnl_link_stats64, from commit 569dbb88e80d ("Linux

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoether: Fix ETHERMAXTU calculations
Barret Rhoden [Wed, 1 Nov 2017 23:19:01 +0000 (19:19 -0400)]
ether: Fix ETHERMAXTU calculations

In commit f5e7ebb31ce7 ("Changes devether's Max Trans Unit to 1500")
I changed ETHERMAXTU to not account for the header size.  I changed places
that had maxmtu, but not places that directly used ETHERMAXMTU.

As a fun side note, I noticed the problem in devether, near the vlan case.
I was tempted to change it in a previous commit, but decided to do a
separate commit.  In doing so, I did a more thorough job and grepped for
ETHERMAXMTU and found the bugs in 8139 and 8169.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoether: Fix MTU control variables
Barret Rhoden [Wed, 1 Nov 2017 23:08:45 +0000 (19:08 -0400)]
ether: Fix MTU control variables

Plan 9 had maxmtu, but it was pretty much used as 'what is the current
MTU", not "what is the highest MTU we can have."  I had been spatching
Linux drivers from mtu -> maxmtu.

Instead, let's name the MTU we're using 'mtu' (like Linux).  We'll have
max_mtu and min_mtu, which are the highest and lowest possible settings.

Mostly this is a revert of commit a73aedb3c118 ("BNX2X: spatch ether->mtu
-> ether->maxmtu"), manually changing the mlx4 driver, and all of the

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoether: Port the Linux MII code
Barret Rhoden [Wed, 1 Nov 2017 15:09:17 +0000 (11:09 -0400)]
ether: Port the Linux MII code

Unfortunately, I had to comment out most of the file: all ethtool and ioctl

Maybe the next step will be to port the ethtool interfaces.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoether: Spatch Linux MII files
Barret Rhoden [Wed, 1 Nov 2017 14:56:38 +0000 (10:56 -0400)]
ether: Spatch Linux MII files

$ for i in scripts/spatch/linux/*.cocci; do echo $i; spatch -sp-file $i
-in-place kern/drivers/net/linux_mii.c; done

Looks like these had no spatch complaints either (unlike r8169).  We'll

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoether: Add Linux's MII code
Barret Rhoden [Tue, 31 Oct 2017 21:12:07 +0000 (17:12 -0400)]
ether: Add Linux's MII code

From commit 569dbb88e80d ("Linux 4.13").

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoUpdate Linux compatibility shims/coccis
Barret Rhoden [Thu, 2 Nov 2017 18:02:00 +0000 (14:02 -0400)]
Update Linux compatibility shims/coccis

These were updates I made for the r8169.

There's also a potential bugfix in there for mlx4.  wait_for_completion()
should sleep, not busywait.  This pops up later in the patchset when we
make netif_carrier_ok() not just return true.  Incidentally, if we're going
to busywait, we should be using udelay.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agomlx4: bnx2x: Use pci_set_bus_master()
Barret Rhoden [Wed, 1 Nov 2017 19:26:07 +0000 (15:26 -0400)]
mlx4: bnx2x: Use pci_set_bus_master()

Instead of the #define.  There will be an spatch for this.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agox86: Rename VPD (XCC)
Barret Rhoden [Wed, 1 Nov 2017 15:14:15 +0000 (11:14 -0400)]
x86: Rename VPD (XCC)

Conflicts with some device stuff (Vital Product Data).

Reinstall your kernel headers (not manadatory).

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoAdd variants to I_AM_HERE
Barret Rhoden [Wed, 8 Nov 2017 16:24:45 +0000 (11:24 -0500)]
Add variants to I_AM_HERE

For trace printing (viewable with dmesg) and/or printxing.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoMove uninitialized_var() to compiler.h
Barret Rhoden [Thu, 2 Nov 2017 16:21:23 +0000 (12:21 -0400)]
Move uninitialized_var() to compiler.h

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoAdd IS_ERR_OR_NULL helper
Barret Rhoden [Wed, 1 Nov 2017 20:29:52 +0000 (16:29 -0400)]
Add IS_ERR_OR_NULL helper

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoPort Linux's math64 headers
Barret Rhoden [Fri, 21 Jul 2017 23:21:55 +0000 (19:21 -0400)]
Port Linux's math64 headers

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoAdd Linux's math64.h
Barret Rhoden [Fri, 21 Jul 2017 23:12:23 +0000 (19:12 -0400)]
Add Linux's math64.h

k/a/x/div64.h is a truncated version of asm-generic/div64.h, which is
all that Linux's x86_64 is.

From Linux's commit 921edf312a6a ("ide: avoid warning for timings

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: tcp: Lowercase-ify struct names
Barret Rhoden [Fri, 21 Jul 2017 22:02:07 +0000 (18:02 -0400)]
net: tcp: Lowercase-ify struct names

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: tcp: Move TCP's headers into net/tcp.h
Barret Rhoden [Fri, 21 Jul 2017 19:22:37 +0000 (15:22 -0400)]
net: tcp: Move TCP's headers into net/tcp.h

We'll want these in their own file when we start using different
congestion avoidance modules.

This also makes most of the functions in tcp.c static, since they aren't
called from outside tcp.c.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: Move ip.h to net/ip.h
Barret Rhoden [Fri, 21 Jul 2017 19:00:18 +0000 (15:00 -0400)]
net: Move ip.h to net/ip.h

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agonet: tcp: Don't increment snd.nxt
Barret Rhoden [Thu, 16 Nov 2017 15:32:59 +0000 (10:32 -0500)]
net: tcp: Don't increment snd.nxt

Ever since commit 682b414ddb84 ("net: tcp: Support SACK"), we weren't
sending FINs when our connections were shutdown or closed.

For the sackless, normal case, that commit changed the from_seq from
snd.rtx to snd.nxt.  Those are supposed to be in sync for normal operation.
However, the old Plan 9 stack was incrementing snd.nxt whenever it wanted
to send a FIN.  It should *only* increment flgcnt, which is the weird
signal that means to send a FIN, since we end up trying to send one more
byte than we have bytes in the qio.  (And the extra byte is interpreted as
a FIN at some point).

Anyway, the old code, before the SACK overhaul, got away with it since it
was sending with from_seq being snd.rtx (the retrans point).  That's a
little messed up, but no one ever noticed since the old snd.rtx usually had
the value that snd.nxt *should* have had.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agolinuxemu: fix fcntl GETFL flags
Gan Shun Lim [Thu, 26 Oct 2017 07:19:49 +0000 (18:19 +1100)]
linuxemu: fix fcntl GETFL flags

GETFL returns the file flags, but akaros flags and linux flags are

Change-Id: I7ecdf605e2548f2a120bbea3f2375b7715cca7b5
Signed-off-by: Gan Shun Lim <ganshun@google.com>
Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoAdd support for attempting returns from panic
Barret Rhoden [Mon, 30 Oct 2017 18:35:39 +0000 (14:35 -0400)]
Add support for attempting returns from panic

If you ever wanted to keep going after a panic, it just got a little
easier.  You can exit the monitor ('exit' or 'e'), like always.  This
commit cleans up a little so the core doesn't keep panicking.

This will rarely work well, since the system is toasted, but I've been able
to get back to userspace with it.  You might lose the core that panicked,
(e.g. MCP triggers a racy panic), but at least that core won't keep polling
the console in the monitor.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agopm: Catch issues with page map pages
Barret Rhoden [Mon, 30 Oct 2017 18:14:25 +0000 (14:14 -0400)]
pm: Catch issues with page map pages

We had bugs with PM reference counts and pages being freed with PG_ flags
still set.  The PM code needs to clean up after itself.

The various asserts are probably paranoia, but there might be similar bugs
out there still.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agomm: Don't free pages in the page cache
Barret Rhoden [Mon, 30 Oct 2017 17:48:39 +0000 (13:48 -0400)]
mm: Don't free pages in the page cache

map_page_at_addr() should have had !page_is_pagemap() (note the !).
Instead, we were actually freeing page cache pages under those rare
circumstances where map_page_at_addr() frees a page.

Specifically, we had a case where we'd have multiple PFs at once, and we
hit the benign race.  But we accidentally freed the page cache page and
then reused it.  Reusing the page, which was a binary text page, destroyed
the program (crazy faults).  Also, when we reused the page, its PG_PAGEMAP
flag was still set, which caused it to be PM-decreffed without a
corresponding incref.  That led to a negative refcnt, and an assertion
flipped out when it didn't have a positive ref.

Fixes brho/akaros#42.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agopm: Fix uninitialized struct page semaphore
Barret Rhoden [Sat, 28 Oct 2017 00:38:00 +0000 (20:38 -0400)]
pm: Fix uninitialized struct page semaphore

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agox86: Add get_actual_pstate()
Barret Rhoden [Tue, 24 Oct 2017 20:04:34 +0000 (16:04 -0400)]
x86: Add get_actual_pstate()

This is useful for seeing what p-state a core is actually running at.  For

$ m monitor 4

(entered monitor on 4)

> kfunc get_actual_pstate

That'll tell you the p-state, and other cores won't be active, which can
interfere with the p-state the core can actually run at.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agox86: Use MSRs and model info for timer freqs (XCC)
Barret Rhoden [Tue, 24 Oct 2017 20:00:32 +0000 (16:00 -0400)]
x86: Use MSRs and model info for timer freqs (XCC)

We should be able to know from cpuid family/model what the bus frequency
is.  It's a minor pain.

On some machine (notably not my Qemu), you can read MSR_PLATFORM_INFO and
get the invariant TSC freq.  With that and the bus freq, we can get an
exact TSC frequency.

This helps FTQ slightly.  With slight errors in the invariant TSC freq,
our measurements would drift.  FTQ has an override for get_tsc_freq(), but
we can do the right thing on Akaros.

Plus this speeds up everyone's boot times!

Reinstall your kernel header, though it shouldn't matter.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoperf: x86: Fix GPF with bad events
Barret Rhoden [Thu, 26 Oct 2017 18:29:43 +0000 (14:29 -0400)]
perf: x86: Fix GPF with bad events

Userspace could give us a bad 'event' parameter with reserved bits set.
That would blow up write_msr() with a GPF.

I noticed this by looking at the code, but it turns out you can recreate
the bug in qemu by trying to use 'anythread' with a non-fixed counter.

perf stat -e TLB_FLUSH:t hello

will die.  Using -e cycles won't do it, since fixed counters were checking
the 'any thread' bit.  Hacking up perf and writing bits to the upper half
of the event / MSR would also trigger the GPF.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoperf: Fix perf event attr config
Barret Rhoden [Thu, 19 Oct 2017 18:32:42 +0000 (14:32 -0400)]
perf: Fix perf event attr config

The mask is supposed to be shifted 8.  The PMEV_GET_MASK helper doesn't
just return the field in place, it masks and shifts the field down to bit

This was causing certain raw and pfm events to be reported to perf
incorrectly.  For example, the HSW icache miss counter is 0x80 mask 0x2.
That was showing up as 0x82 instead of 0x280.  This didn't affect the
actual counter used - just the line from perf that says:

Samples: 6K of event 'raw 0x280:kuH'

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agoperf: Fix uninitialized core_set bug
Barret Rhoden [Thu, 19 Oct 2017 15:41:36 +0000 (11:41 -0400)]
perf: Fix uninitialized core_set bug

Depending on your machine, some bits in the core_set could be set already,
which would be treated as low-latency cores, and thus we wouldn't provision
them to the process.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
2 years agox86: Add a turbo mode helper
Barret Rhoden [Sat, 7 Oct 2017 18:59:58 +0000 (14:59 -0400)]
x86: Add a turbo mode helper

This commands disables or enables Turbo mode, or deals with the turbo

The ratio of APERF/MPERF is the amount of turbo mode boosting a processor
received while *unhalted*.  Since we're doing the two MSR reads with a
large gap in between, this will only be accurate over a larger time scale.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
3 years agoAdd a cpuid helper program
Barret Rhoden [Sat, 7 Oct 2017 18:58:57 +0000 (14:58 -0400)]
Add a cpuid helper program

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
3 years agofcntl: reduce noise on invalid arguments
Dmitry Vyukov [Tue, 17 Oct 2017 07:14:46 +0000 (09:14 +0200)]
fcntl: reduce noise on invalid arguments

Kernel generally should not print to console on every EINVAL.
This can produce lots of noise for programs intentionally
or unintentionally feeding garbage into kernel.
Don't print on invalid commands to fcntl syscall.

Change-Id: Ia921c588b670a61f6e647490875ad563ac8738e5
Signed-off-by: Dmitry Vyukov <dvyukov@google.com>
Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
3 years agoFix dup() of 9ns FDs
Barret Rhoden [Mon, 16 Oct 2017 17:49:57 +0000 (13:49 -0400)]
Fix dup() of 9ns FDs

Glibc uses dup() to implement dup2(), by way of sysdeps/posix/dup2.c.  VFS
dup() was handling the low_fd argument, but 9ns wasn't.  The fix is to
propagate the low_fd (and must_use_low) down through newfd() to

Note that fcntl's dup() doesn't force us to use the fd - it's a hint.  The
bigger issue is that glibc's implementation of dup2 might fail; a
concurrent thread could open newfd.  If this is an issue, we'll need an
in-kernel version of dup2().

Fixes brho/akaros#41.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
3 years agoClose FDs in test_open_lots_and_spawn()
Barret Rhoden [Mon, 16 Oct 2017 17:48:09 +0000 (13:48 -0400)]
Close FDs in test_open_lots_and_spawn()

This allows the following tests to assume a reasonable number of FDs alread

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>
3 years agopthread: Fix null attr for pthread_mutex_init()
Barret Rhoden [Mon, 16 Oct 2017 16:09:22 +0000 (12:09 -0400)]
pthread: Fix null attr for pthread_mutex_init()

Fixes brho/akaros#40.

Signed-off-by: Barret Rhoden <brho@cs.berkeley.edu>