5 years agovcore_idle(): halts a core
Barret Rhoden [Tue, 2 Dec 2014 22:49:21 +0000 (14:49 -0800)]
vcore_idle(): halts a core

MCPs can halt their cores, waiting on an interrupt.  An event sent to an
event queue with EVENT_IPI is sufficient to wake a vcore.  Other IRQs or
races can result in wakeups, either from a fresh vcore context or by
having vcore_idle() return.

5 years agoHelper, check for the existence of local RKMS
Barret Rhoden [Tue, 2 Dec 2014 22:43:03 +0000 (14:43 -0800)]
Helper, check for the existence of local RKMS

For the local core only.

5 years agoFixes loopback checksums
Barret Rhoden [Wed, 26 Nov 2014 00:14:15 +0000 (16:14 -0800)]
Fixes loopback checksums

The packet checksum finalization wasn't being performed for loopbacks,
preventing us from making any loopback connections.

5 years agoUpdates get_html
Barret Rhoden [Wed, 26 Nov 2014 00:11:35 +0000 (16:11 -0800)]
Updates get_html

Can handle non-port-80 ports and will request a connection close after
the one request.

5 years agoBCQ touch-ups (XCC)
Barret Rhoden [Thu, 23 Oct 2014 19:42:43 +0000 (12:42 -0700)]
BCQ touch-ups (XCC)

Weren't memsetting the entire structure, and I wasted an hour or so
debugging a BCQ with a non-power-of-2 number of elements.

Reinstall your kernel headers.

5 years agoHelper program: notify
Barret Rhoden [Thu, 23 Oct 2014 00:50:24 +0000 (17:50 -0700)]
Helper program: notify

Sends an event to a process.  You must control the process to be able to
send an event (everyone controls everything, for the most part), and the
process must have an event handler registered.  Similar to 'kill.'

This is similar to the kernel monitor command 'notify', except this has
payloads and that can bypass the event registration table.

6 years agos141 has been decommisioned. Development on a8 now
Kevin Klues [Tue, 25 Nov 2014 23:58:39 +0000 (15:58 -0800)]
s141 has been decommisioned. Development on a8 now

6 years agoFixes user makefiles
Barret Rhoden [Tue, 25 Nov 2014 23:35:39 +0000 (15:35 -0800)]
Fixes user makefiles

Previously, we had the library linking depend on a changed dependency.  That's
not enough if a header (like uthread.h) changes.  So the .o file creation needs
to depend on the headers, in some manner.  In lieu of depending directly on the
headers, we depend on the lib, which we know depends on the headers.

Additionally, the install target was triggering all the time, which kept
recopying (and updating the timestamp on) the installed libs.

6 years agoUser libraries depend on their dependencies .a's
Barret Rhoden [Wed, 19 Nov 2014 02:31:36 +0000 (18:31 -0800)]
User libraries depend on their dependencies .a's

The previous commit exposed an issue where libraries would not rebuild if their
dependency was newer.  The old style just made sure the dependencies rebuilt
first, but not that the libraries would actually rebuild.  Their linking needs
to depend on the dependencies output archive (e.g. libparlib.a).

6 years agoAttempts to fix uth_disable_notif()
Barret Rhoden [Wed, 19 Nov 2014 00:43:43 +0000 (16:43 -0800)]
Attempts to fix uth_disable_notif()

There were two problems with disabling notifs.  First, using the uthread's TLS
is a bad idea.  The uthread might not have it, and then it's using the vcore's
TLS.  That alone might be okay, since the uthread pins itself to the vcore
(we'd have to do the check after disabling migrations and other shit).

The bigger issue is with locks grabbed in uth context and unlocked in vcore
context.  When we reenable, we would not reenable notifs, nor even adjust the
depth counter.  Vcore context just blows past those checks.  Likewise, uthread
code will never unlock it, since the unlock calls typically happen in the
uthread_yield() callbacks.  We could try and have the vcore code figure out who
was locking and adjust the depth, but that's just a pain in the ass (and
doesn't work well with locks help by both vcore context and uth code (e.g. the
pthread runqueue lock)).

This commit changes three things: uses the uthread struct for the depth, has
vcore code reset the depth during yield, and does some cleanup/debugging.

The rule for uthread code that grabs locks (or otherwise disables notifs) is
that vcore context will reset the disabled depth to 0, and uthread code should
not try to reenable notifs past the yield point.  Vcore code will enable notifs
when it relaunches the uthread.  There might be issues with this, where some
uthread disables notifs, makes some call that yields (or blocks on a syscall!)
and then reenables notifs.  Note that PDR locks count as enable/disable sites.

For cleanup, I don't see why there would not be a current_uthread, and put in
an assert to catch things (for now).

6 years agoIncreases the op backtrace buffer
Barret Rhoden [Tue, 11 Nov 2014 22:42:25 +0000 (14:42 -0800)]
Increases the op backtrace buffer

Our callgraphs are often deeper than 8, which leads to not properly attributing
deep functions to their older ancestors.  The downside is the buffers (on the
stack) are bigger, increasing our chances of running off the stack, and
increasing the overhead of the backtrace.  If the stack is a problem, we can
malloc the buffer or something.

6 years agoFixes IRQ enabling when kthreads unblock
Barret Rhoden [Tue, 11 Nov 2014 21:32:34 +0000 (13:32 -0800)]
Fixes IRQ enabling when kthreads unblock

When kthreads unblocked, IRQs would be disabled, regardless of whether or not
they were on when the thread tried to down a semaphore.  (With the exception of
the sem_down_irqsave, which already managed that).

6 years agocs avoidance
Ron Minnich [Thu, 6 Nov 2014 20:53:25 +0000 (12:53 -0800)]
cs avoidance

if it's a numeric address don't bother with CS.

Does it work? I don't know.

Signed-off-by: Ron Minnich <rminnich@gmail.com>
6 years agoFixes devmnt syscall aborts
Barret Rhoden [Tue, 4 Nov 2014 23:25:09 +0000 (15:25 -0800)]
Fixes devmnt syscall aborts

Aborts are like Eintr.  Other than the one usage of Eintr in mountrpc(), we
could get rid of Eintr.  For now, we'll just treat them both the same way:
don't actually error out, just try to flush whatever you were doing.

6 years agoDon't blast out of mountio on a timeout
Ronald G. Minnich [Tue, 4 Nov 2014 22:13:24 +0000 (22:13 +0000)]
Don't blast out of mountio on a timeout

On timeout, we need to just continue.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
6 years agoFixes multiboot flag check
Barret Rhoden [Tue, 4 Nov 2014 22:11:57 +0000 (14:11 -0800)]
Fixes multiboot flag check

This check was using the wrong flag, as in Ron's 6deacfb0d commit.  The code
should have been using the helper anyway.

6 years agoFix incorrect test for whether multiboot info has a memory map.
Ron Minnich [Mon, 3 Nov 2014 16:50:14 +0000 (08:50 -0800)]
Fix incorrect test for whether multiboot info has a memory map.

It was testing the wrong flag.

Signed-off-by: Ron Minnich <rminnich@gmail.com>
6 years agoTrack program names better for ps
Barret Rhoden [Thu, 16 Oct 2014 19:32:27 +0000 (12:32 -0700)]
Track program names better for ps

Using the file's true name doesn't capture the use of symlinks, used
heavily by busybox.  Alternatively, we could save all the args.

6 years agoLock_test analysis: lock_test.R
Barret Rhoden [Mon, 13 Oct 2014 19:45:13 +0000 (12:45 -0700)]
Lock_test analysis: lock_test.R

R script for parsing the data files outputted from lock_test.

Also fixed a bug with the __mcs_pdro.  When I changed the threadids to
0, that messed up the "guessed" vcoreid, such that someone was -1
(eventual fault when ensuring vc -1 runs).

6 years agouth_disable_notifs() nests
Barret Rhoden [Mon, 13 Oct 2014 04:12:35 +0000 (21:12 -0700)]
uth_disable_notifs() nests

I'm not aware of any uthread context callers that nest these currently,
but if they did, they would be broken.

Of course, one easy way to nest would be to nest spinlocks from uthread

6 years agoFixes bug with EVENT_VCORE_MUST_RUN
Barret Rhoden [Fri, 10 Oct 2014 21:10:00 +0000 (14:10 -0700)]

Spamming list members would succeed for offline vcores, which breaks if
MUST_RUN was set.  The race was that a VC could have been on the online
list, but by the time we messaged it, it was preempted (and it still
can_rcv).  Likewise, checking the bulk-preempt and inactive lists could
be racy as well.

Four bugs found while writing a dissertation.  Not too bad.  =)

6 years agoFixes handle_indirs issue
Barret Rhoden [Fri, 10 Oct 2014 19:07:17 +0000 (12:07 -0700)]
Fixes handle_indirs issue

handle_indirs() can only proceed if the target vcore is guaranteed to
not be online.  VC_PREEMPTED is the commonly used flag for that, with
the added benefit of that flag turning off the first time a VC comes
back online - meaning we can skip handling their messages if its a moot

This change sets PREEMPTED for all cases of change_to_vcore, since the
"I don't plan to return" case needs to have its messages checked

6 years agohandle_events() unconditionally
Barret Rhoden [Fri, 10 Oct 2014 18:38:43 +0000 (11:38 -0700)]
handle_events() unconditionally

If we condition on notif_pending and we don't drain the event queue
completely (due to a handler not returning perhaps), then the next time
we try to handle_events, we would have bailed out - even if the mboxes
weren't empty.

Another concern is that if we handle_events, clear notif_pending, and
then we run a handler that doesn't return, that we someone slip out of
vcore context in the future without checking messages.  Any case
involving a handler that doesn't return should result in a fresh vcore
context starting up, which checks events.  This means that event
handlers cannot pop directly into uthreads.  ev_might_not_return() won't
help you with that, since it covers cases where we handle another vcores
mbox, not our own mbox.

6 years agoAdd test for verifying xmm state is preserved
Kevin Klues [Thu, 9 Oct 2014 17:13:38 +0000 (10:13 -0700)]
Add test for verifying xmm state is preserved

6 years agoFixes bug in cpu_relax_vc()
Barret Rhoden [Fri, 3 Oct 2014 01:09:38 +0000 (18:09 -0700)]
Fixes bug in cpu_relax_vc()

It would never ensure the other vcores run, since spun would be reset on
every invocation.

Note that since it is a TLS variable, it gets reused each time and never
get reset.  So if a spinner calls cpu_relax_vc() 100 times before
grabbing its lock (or whatever), then the next time that vcore relaxes,
it'll start at 100.  Only 900 to go!

I'm okay with this - it's a little easier to deal with than having the
caller pass in the spin variable.

6 years agoAdd TAGS to .gitignore
Ronald G. Minnich [Wed, 8 Oct 2014 01:04:41 +0000 (01:04 +0000)]
Add TAGS to .gitignore

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
6 years agoIfconfig uses the MAC for machine identification
Ronald G. Minnich [Tue, 7 Oct 2014 21:26:06 +0000 (21:26 +0000)]
Ifconfig uses the MAC for machine identification

Keys on MAC address.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
Git-fu-d-by: brho
6 years agoAdds script to build bootable USB drives
Barret Rhoden [Tue, 7 Oct 2014 21:00:08 +0000 (14:00 -0700)]
Adds script to build bootable USB drives

Requires extlinux.  See the script for more info.

6 years agoFixes kernel state tracking for 32 bit x86
Barret Rhoden [Tue, 7 Oct 2014 20:57:00 +0000 (13:57 -0700)]
Fixes kernel state tracking for 32 bit x86

In case we ever use that again.

6 years agoIncreases the maximum number of FDs
Barret Rhoden [Tue, 7 Oct 2014 02:29:33 +0000 (19:29 -0700)]
Increases the maximum number of FDs

I didn't bother syncing this with glibc.  We can, if its an issue.  I'd rather
just not use the struct fd_set in userspace.  It's a huge pain in the ass on

6 years agoFixes deadlock on growing the FD set
Barret Rhoden [Tue, 7 Oct 2014 02:01:27 +0000 (19:01 -0700)]
Fixes deadlock on growing the FD set

If we tried to grow beyond the max number of FDs, we'd set n == max and
kmalloc, memset, and memmove without making progress.  The loops would retry.

6 years agoAvoids deadlock in pip
Barret Rhoden [Tue, 7 Oct 2014 01:50:28 +0000 (18:50 -0700)]
Avoids deadlock in pip

If another core has the files lock and is stuck, we'll deadlock the kernel
spinning on the lock.

6 years agoFixes FD set freeing
Barret Rhoden [Mon, 6 Oct 2014 21:21:58 +0000 (14:21 -0700)]
Fixes FD set freeing

If a process is DYING and the number of FDs was greater than the default, we
would free the blobs, but keep pointers to the blobs.  Later, a pip would try
to read those and would be looking at re-alloced, garbage memory.

6 years agoks: monitor command for mucking with the ksched
Barret Rhoden [Mon, 6 Oct 2014 21:20:26 +0000 (14:20 -0700)]
ks: monitor command for mucking with the ksched

The only new functionality is the "sort" command, which will sort the idle core
list from 1..n.  "nc" is a hook to avoid calling kfunc next_core, which is a
minor pain.

6 years agoHelpful program, added by popular request
Barret Rhoden [Thu, 2 Oct 2014 01:49:38 +0000 (18:49 -0700)]
Helpful program, added by popular request

If you want to make your own, use jp2a, cut and paste into vi, and add
the printf(" and \n"); from block mode.

6 years agoPorts lock_test to Linux
Barret Rhoden [Thu, 2 Oct 2014 01:43:47 +0000 (18:43 -0700)]
Ports lock_test to Linux

Build from your AKAROS_ROOT directory with:

$ gcc -O2 -std=gnu99 -fno-stack-protector -g tests/lock_test.c \
  -lpthread -lm -o linux_lock_test

Linux only has the spin and mcs/mcscas available, so the others are
stubs.  It will attempt to pin the worker threads to physical cores
0..n.  If you do your own tasksetting after the program is running, you
can override that.  That might be useful if you want to fake preemption.

The ugliest thing is #including the lock source code in a .h file.
Doing it with measure.c is only slightly less nastry.  Maybe we can get
some linux make targets or something, and put this compat stuff in one

6 years agoUser spinlock speedups
Barret Rhoden [Thu, 2 Oct 2014 01:41:08 +0000 (18:41 -0700)]
User spinlock speedups

Test, then test-and-set avoids everyone writing EBUSY to the cacheline
when it is already locked.  This cuts down on cache line contention.

6 years agoVarious userspace Linux compat hacks
Barret Rhoden [Thu, 2 Oct 2014 00:47:27 +0000 (17:47 -0700)]
Various userspace Linux compat hacks

I'd like to build some of the tests for Linux without a lot of fuss.  We
can do it for pthread_test already.  Lock_test is next.

There are a variety of hacks for compatability all over the place: the
TSC stuff, a OS-independent parts of benchutil (measure.c), and more
coming soon.  If we're going to make microbenchmarks that mostly work on
both, then we should consolidate these hacks a bit.

6 years agolock_test: output results to a file
Barret Rhoden [Wed, 1 Oct 2014 20:45:59 +0000 (13:45 -0700)]
lock_test: output results to a file

Also tracks the number of loops performed.  Once one thread finishes,
the test is done.  On a VM with a small number of loops, some threads
won't perform any loops - in which case you're not really contending for
the lock.

6 years agoigbe: removes the receive buffer pool
Barret Rhoden [Tue, 30 Sep 2014 19:49:24 +0000 (12:49 -0700)]
igbe: removes the receive buffer pool

6 years ago82536: removes receive buffer pools
Barret Rhoden [Tue, 30 Sep 2014 19:24:40 +0000 (12:24 -0700)]
82536: removes receive buffer pools

There weren't enough receive buffers.  If we get a large burst of traffic, all
of the NICs RBs could be pushed into the network stack (TCP conv rqs).  Then
we're unable to receive new packets.  If the app (kweb) doesn't read, we never
receive packets.  Kweb would have all of its threads blocked on a write, and
that write was unable to receive an ACK.

Instead of just increasing the number, or even growing the pool, I just opted
to remove the pools completely.  If we need/want NIC pools in the future, we
can add them back (preferably with a helper subsystem, so not all NICs reinvent
the wheel).

6 years agoSyscall debugging touchups
Barret Rhoden [Tue, 30 Sep 2014 18:51:36 +0000 (11:51 -0700)]
Syscall debugging touchups

Syscall string saving was saving old strings, and the output of arguments was
imited to 32 bits.

6 years agomon_kpfret(): return from a kernel page fault
Barret Rhoden [Tue, 30 Sep 2014 18:41:16 +0000 (11:41 -0700)]
mon_kpfret(): return from a kernel page fault

In the off chance the kernel faults and you want to try to recover, pass kpfret
the HW tf pointer.  It'll try to smp_idle, abandoning the kernel context.  This
means that any locks that were held are still locked, so you might deadlock.

This can't handle a nested fault (like if you fault while trying to run

6 years ago82536: catch null blocks from qbread
Barret Rhoden [Mon, 29 Sep 2014 04:35:18 +0000 (21:35 -0700)]
82536: catch null blocks from qbread

This shouldn't happen, since we don't tear down interfaces or anything
like that.

6 years agoFixes #K open
Barret Rhoden [Mon, 29 Sep 2014 04:27:42 +0000 (21:27 -0700)]
Fixes #K open

You need to process omode with openmode() before doing an equality check
with OREAD/O_RDONLY (which == 0, btw...).

This was breaking the ability to bind #K or bind -b.  bind -a worked.
Similarly, ls \#K failed, but cat \#K worked.  The ls-cat check is the
usual way to detect this stuff (it's come up before).

6 years agoCleaned up some printking
Barret Rhoden [Mon, 29 Sep 2014 04:06:46 +0000 (21:06 -0700)]
Cleaned up some printking

The ifconfig is a bit tricky.  Somewhere we set errno in the kernel,
probably during the various bind internal calls.  It's probably fine,
but my BB echo hacks thinks it is an error.

The kprof extra printk isn't needed since echo now prints errors.

6 years agoBusybox echo prints error messages
Barret Rhoden [Mon, 29 Sep 2014 03:52:04 +0000 (20:52 -0700)]
Busybox echo prints error messages

It was ignoring any errors, depending on which version of echo_main was
being built.  It's a minor pain to detect errors too, due to how glibc
implements fputs, I think.  Clearing and checking errno suffices.

Now, when you echo garbage > /some/9ns/ctlfile, you'll hear about what
went wrong.

If we start building with writev, or whatever, then we may need another

You'll need to patch busybox, etc.

6 years agompstat - accounts for time in CPU states
Barret Rhoden [Mon, 29 Sep 2014 01:32:53 +0000 (18:32 -0700)]
mpstat - accounts for time in CPU states

For the pretty version, cat \#K/mpstat.

If you want to read the data with a program, you probably want
mpstat-raw.  All the lines are fixed size, so you should be able to seek
to a particular offset for a particular CPU.

You can reset the values by echoing reset into either mpstat or

Since the CG cores might be sitting idle, they won't update their state
unless they get an IPI.  By default, when you execute mpstat, it'll send
this IPI.  You can turn that off in the ctl message, which is probably
only useful if there is a program that is polling mpstat-raw.

I haven't implemented the for disabling the rdtsc yet.  I'll do that if
it turns out that there is a noticeable overhead, or maybe if it helps
with debugging.

6 years agoRISC-V broadcast IPI
Barret Rhoden [Mon, 29 Sep 2014 01:30:53 +0000 (18:30 -0700)]
RISC-V broadcast IPI

Needs a look, etc.  The RISC-V port needs a bit of work.

6 years agoCPU state tracking
Barret Rhoden [Mon, 29 Sep 2014 00:31:34 +0000 (17:31 -0700)]
CPU state tracking

Whenever the CPU transitions between states, we account for the amount
of time spent in the previous state in pcpui.  This will be useful for
accounting.  The downside is that we have a few more rdtsc calls, each
of which costs about 30 TSC ticks/cycles (Core i7-950, I think).

For example, given a process in userspace (state == USER), we take an
interrupt (change to IRQ), then after hard IRQ context, we go into the
kernel (change to KERN), and then eventually pop back to userspace
(change to USER).  Three rdtsc calls.  For a syscall, the transitions
are just USER->KERN, then KERN->USER.

In the future, we can add helpers to disable the rdtsc part, if it turns
into a pain.  I'll look into it more when I speed up syscalls.

6 years agox86: handling unregistered IRQs
Barret Rhoden [Sun, 28 Sep 2014 23:37:00 +0000 (16:37 -0700)]
x86: handling unregistered IRQs

If we receive an IRQ for a vector with no handler, then we don't know
how to send an EOI.  Before this commit, if you sent an I_TESTING, we
would just do nothing.  Since we don't send an EOI, we'd never receive
another interrupt.

In general, we probably shouldn't be receiving interrupts that we don't
have handlers registered for, but who knows.  For testing, at least, I
can imagine receiving more IRQs.

Note the bit about POKE too - those are racy and since poke doesn't go
through the main IRQ handling, it won't deal with the halt race

6 years agocs.c: install format specifier for %F
Ronald G. Minnich [Thu, 25 Sep 2014 03:06:29 +0000 (03:06 +0000)]
cs.c: install format specifier for %F

This makes the debug output usable:
CS:Twalk tag 1d fid 21 newfid 24 nwname 1 0:cs CS:Rwalk tag 1d nwqid 1d 0:(0000000000000001x 2d )  22CS:Job done
CS:Topen tag 1d fid 24d mode 2CS:Ropen tag 1d qid (0000000000000001x 2d ) iounit 0d  24CS:Job done
CS:Twrite tag 1d fid 24 offset 0 count 17d 'tcp!localhost!ssh'CS:write tcp!localhost!sshCS:Rwrite tag 1d count 17d 11CS:Job done
CS:Tread tag 1d fid 24 offset 0 count 127dCS:Rread tag 1d count 27d '/net/tcp/clone!22' 38CS:Job done
CS:Tread tag 1d fid 24 offset 27 count 127dCS:Rread tag 1d count 0d <no data> 11CS:Job done
CS:Tclunk tag 1d fid 24dCS:Rclunk tag 1d 7CS:Job done

This shows where we could make things better: an addition to the protocol, namely, Treadfile, would reduce this overhead
from 6 packets to 1.

And if we could make that a top-level system call, well ...

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
6 years agoFixes kprof kproftab usage
Barret Rhoden [Tue, 23 Sep 2014 23:28:50 +0000 (16:28 -0700)]
Fixes kprof kproftab usage

Cleaning up the vomit.

6 years agoMake tracing easier by allowing us to start via /proc/pid/ctl
Ronald G. Minnich [Tue, 23 Sep 2014 23:25:27 +0000 (23:25 +0000)]
Make tracing easier by allowing us to start via /proc/pid/ctl

echo trace > /proc/pid/ctl

starts tracing.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
6 years agoRemove NIX bits from the Proc ctl command.
Ronald G. Minnich [Tue, 23 Sep 2014 22:55:52 +0000 (22:55 +0000)]
Remove NIX bits from the Proc ctl command.

There's no chance we'll need this.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
6 years agoFixes errno value for opens without O_CREATE
Barret Rhoden [Tue, 23 Sep 2014 21:46:35 +0000 (14:46 -0700)]
Fixes errno value for opens without O_CREATE

Return the error value of the path lookup, which could be due to a missing
directory, too many loops, etc.

6 years agoRemove return that ended up with a memory leak in cs.c
Ronald G. Minnich [Tue, 23 Sep 2014 20:19:41 +0000 (20:19 +0000)]
Remove return that ended up with a memory leak in cs.c

I was hoping we'd have replaced it by now ...

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
6 years agoBe a bit more informative when we panic trying to pull up.
Ronald G. Minnich [Tue, 23 Sep 2014 19:53:16 +0000 (19:53 +0000)]
Be a bit more informative when we panic trying to pull up.

The former message was utterly useless.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
6 years agoFixes netlog
Barret Rhoden [Tue, 23 Sep 2014 17:53:35 +0000 (10:53 -0700)]
Fixes netlog

snprintf -> vsnprintf.

Also cleaned up some usages of netlog().

To use netlog:

$ echo set tcp > /net/log

'tcp', or any of the Log strings in Netlogflag flags[].

$ cat /net/log &

There needs to be some process with /net/log open for the logger to produce the
log entries.  Alternatively, you can dump the log to a file.

6 years agoClear all networking block flags in NIC frees
Barret Rhoden [Fri, 19 Sep 2014 00:11:49 +0000 (17:11 -0700)]
Clear all networking block flags in NIC frees

These two NICs use their own free method.  They clear the old checksum
flags, but not the TSO flag.  While the NICs don't use those flags yet,
there could be a potential taint issue where that flag gets carried
around the stack by accident.  Better to clear the flags aggressively.

6 years agoFixes ICMP block reuse (checksumming)
Barret Rhoden [Thu, 18 Sep 2014 23:52:45 +0000 (16:52 -0700)]
Fixes ICMP block reuse (checksumming)

c89 was unable to respond to pings.

It would attempt to respond, but the packet would get corrupted on the
way out, such that the "45" at the start of the IP header would be 00.

The root cause was that ICMP reuses the inbound block for the echo
reply, and the block flags were being reinterpreted.  It was not
clearing the block checksum flags.  c89's NIC was setting the IP and PKT
checksum flags on inbound packets, since the NIC already did those
checksums.  Theses flags were reinterpreted on the reply path to say
those checksums needed to be done again (in the checksum finalize).
But the checksum_start flag was set to 0xe, for whatever reason, which
clobbered the IP header.

Part of the issue is that the checksum flags are used both coming in and
going back out.  The only outbound flag used is Btcpck, but the
existence of the inbound flag was enough to trigger the outbound
finalize logic.

6 years agoFixes arp sends
Barret Rhoden [Thu, 18 Sep 2014 22:20:47 +0000 (15:20 -0700)]
Fixes arp sends

The first time we'd send an arp, the arp would wait til it was a second
old (and maybe with other sendarps pushing it), instead of sending
immediately.  "ctime" ~= last sent time, though it's not always like
that (o/w I'd change the name).  Maybe it is "change time".

6 years agoFixes gross stack consumers
Barret Rhoden [Thu, 18 Sep 2014 01:41:25 +0000 (18:41 -0700)]
Fixes gross stack consumers

Whenever we call etherbind(), we run off the bottom of a 4KB stack.  Sometimes
the canary catches it, if a clobber happened to trigger it.  Other times, it
seems fine.  And yet others, the machine locks up.  The major stack consumers
were the dials/calls and their huge strings.

If this breaks your ifconfig, let me know.

You should be able to run without LARGE_KSTACKS now.

6 years ago82536: fixes ktask names
Barret Rhoden [Thu, 18 Sep 2014 01:05:01 +0000 (18:05 -0700)]
82536: fixes ktask names

All of the ktasks (l, r, and t) were using the same char *name, so they all
were named whatever the last ktask was.  In this case, the tproc.

This somewhat perpetuates the "ktask does not make a copy" crap.  Though I just
don't want to put another string blob in the kthread struct right now.

6 years agoPrintx commands (off by default)
Barret Rhoden [Thu, 18 Sep 2014 00:39:01 +0000 (17:39 -0700)]
Printx commands (off by default)

A common tool I use is to printk, or now even trace_printk, to debug something.
But you don't always want the printing on, due to massive amounts of printing
under certain circumstances.

Invariably, I'd make a throw-away function that I would kfunc to toggle the
printing on and off.  I already do something similar with the poor-mans

"printx" is the term for this debugging style printing, and it can be turned on
and off.  There is a monitor command (px) that toggles it.  And just for fun
(and profit) there's a Kprof file to control it too (kprintx).

$ echo on > /prof/kprintx (once #K is attached).

The 'x' comes from "xme", which is the name of the one-off kfunc function I
usually use for debugging.

The default value is off.  The poor-mans ftrace uses printx_on as well, so if
you want the tracing on, you'll need to turn it on manually.  This is a change,
but a good one.

6 years ago82563: faster booting
Barret Rhoden [Thu, 18 Sep 2014 00:25:07 +0000 (17:25 -0700)]
82563: faster booting

I don't know if we need to wait 10 seconds for the reset.  It adds about 40 sec
to c89's boot time.

6 years agoCrank up the READSTR buffer a bit
Barret Rhoden [Thu, 18 Sep 2014 00:23:09 +0000 (17:23 -0700)]
Crank up the READSTR buffer a bit

READSTR is the size of a buffer used by some devices when asked to snprintf a
bunch of its details.  ether->ifstats was a big user.

The old size wasn't enough for some drivers (82563), so results from catting
the ifstats would be truncated.

6 years ago82563: fixes TX overrun/replenish bug
Barret Rhoden [Wed, 17 Sep 2014 23:11:16 +0000 (16:11 -0700)]
82563: fixes TX overrun/replenish bug

When replenish was called without being allowed to sleep, it could bail out of
its loop early and fail to update the RDT (both ctlr and HW).  If it bails out
after having replenished some buffers, the RDT no longer matches where block
pointers should/should not be.

For reference, RDT points to an empty buffer (bp = 0).  RDH points to the first
full one.  Replenish will fill up to one slot prior to RDH, so that the queue
is full when there is one empty spot at RDH - 1.

6 years agoVFS: only lookup once
Barret Rhoden [Wed, 17 Sep 2014 23:06:19 +0000 (16:06 -0700)]
VFS: only lookup once

Path lookups were looking up twice on failure, optimisticly assuming we'd want
to O_CREAT(E) too.

This isn't a huge deal.  It was more of a problem when our path lookups were
buggy and took 20usec.  Then the extra lookup was expensive.

6 years agoVFS: use a proper hash function
Barret Rhoden [Wed, 17 Sep 2014 22:58:39 +0000 (15:58 -0700)]
VFS: use a proper hash function

Every dentry was getting 0xcafebabe for its hash value.  That put them all in
the same bucket in the dentry cache.  That made dcache lookups cost
O(nr_files_in_vfs), which was making opens (or any path lookup) take a long
time once we put the Go tree in KFS.  This even affected 9ns lookups, since
those check the VFS before trying 9ns.

6 years agoVFS: superblock init can handle d_ops
Barret Rhoden [Wed, 17 Sep 2014 22:55:52 +0000 (15:55 -0700)]
VFS: superblock init can handle d_ops

Passing 0 for the parent won't work if we actually want to use dentry ops for
the qstr building (d_hash).

6 years agoprint_func helpers cleanup
Barret Rhoden [Wed, 17 Sep 2014 19:55:52 +0000 (12:55 -0700)]
print_func helpers cleanup

The trace_printk doesn't work well with the existing helpers for the poor-mans
ftrace, but this change makes it a little easier to use.

If you want to use trace_printk, change the main print line to trace_, remove
the trailing \n, and comment out __print_hdr.

6 years agotrace_printk()
Barret Rhoden [Wed, 17 Sep 2014 17:53:52 +0000 (10:53 -0700)]

trace_printk() will drop lines of formatted text into the trace buffer,
up to a limited size.

A couple things to note.
- The trace buffer prints syscalls as the complete, not when they start.
  If you have some trace prints from a syscalls execution, they will
  show up before the syscall entry
- If you have a trace print, it will always kmalloc and build the trace.
  We don't have controls (yet) for globally disabling any prints.  I
  didn't bother coupling it to the "trace" monitor commands, opting to
  wait to control it via #K.  Might not even be necessary, since these
  are for debugging.
- If kprof is not attached, the traces aren't saved (or accessible).
- I'd like it if we could use all traces as extra_data blobs, so we just
  pass the pointer to a block in the queue, instead of copying
  everything.  Not a big deal though.

6 years agosnprintf() return value changes
Barret Rhoden [Wed, 17 Sep 2014 07:28:32 +0000 (00:28 -0700)]
snprintf() return value changes

It's helpful for snprintf() to return 0, instead of an error code, when
it does no work.  A common pattern is something like:

len = 0;
len += snprintf(buf + len, bufsz - len, "whatever");
len += snprintf(buf + len, bufsz - len, "overflowed buf");
len += snprintf(buf + len, bufsz - len, "used to error");
len += snprintf(buf + len, bufsz - len, "and more text");

Once bufsz - len == 0, such as after the "overflow" print, future
snprintfs now return 0, and are basically nops.  Previously, the
snprintfs that error out would return a negative value, actually setting
length back slightly, allowing "and more text" to clobber a bit.

Additionally, the usual snprintf returns how many characters we
processed, regardless of whether or not we wrote them.  This is
unsuitable for marking progress through a buffer.  Now, we return how
many characters we wrote.

The current semantics: snprintf forces a null termination of the string,
but does not count that in the return value (similar to strlen()).  The
return value is the number of characters written.  If a buf has n bytes,
n-1 is the max return value, with the nth byte being set to 0.

This is a little different than normal snprintf, but is more useful for
our series-of-snprintfs pattern.  If we change it back, we'll need to be
careful of the signs of bufsz and len to make sure we don't pass in
large unsigned values and accidentally trigger a huge printf.

6 years agoRemove ifconfig from root script
Kevin Klues [Wed, 17 Sep 2014 18:05:56 +0000 (11:05 -0700)]
Remove ifconfig from root script

This was moslty in there for me, and I don't want it there anymore.

6 years agoCleans up devip state functions
Barret Rhoden [Wed, 7 May 2014 23:25:05 +0000 (16:25 -0700)]
Cleans up devip state functions

The protocols (tcp, udp, ipifc, etc) have state functions that print out
state info about a conversation.  There are a few things wrong.
- The main thing is that the size of the print buffers can change from
  one syscall to another.  When cat reads it, it reads twice so that it
  can detect EOF.  If the filesize changed, it could get more info the
  next time.
- TCP was printing %lu instead of %u for u32s.  This was popping up as
  as very large numbers due to seeing gibberish on the stack thinking it
  was a 64 bit int.  This also changed the size of the state buffer
- The devices were not uniformly doing the \n or not.

6 years agogrow_fd() sets errno/errstr
Barret Rhoden [Thu, 11 Sep 2014 19:41:44 +0000 (12:41 -0700)]
grow_fd() sets errno/errstr

Note the use of error(current_errstr()).  grow_fd() already set errstr,
but we still wanted to do the error longjmp.  Using current_errstr()
should maintain the previous errstr.  It's a format print, again, from
current_errstr into current_errstr again.

Since this commit messed with one of the Ebadf's, I knocked out the
other too.  The long term goal is to not use any of the hardcoded
errstrs (preferring errno for that).  This's one more hardcoded errstr
string removed, with 67 to go!

6 years agogrowfd() grows enough for the desired fd
Barret Rhoden [Wed, 10 Sep 2014 21:54:15 +0000 (14:54 -0700)]
growfd() grows enough for the desired fd

Removing the hacky while loop, too.

This was bugging out if we asked for an FD > nfd + delta.  The
allocation wasn't big enough, and we'd fail.  9ns opens would fail if
there were too many VFS opens between 9ns opens (the VFS and 9ns share
an FD pool).

6 years agoTraces syscalls with nsec precision
Barret Rhoden [Wed, 10 Sep 2014 03:58:43 +0000 (20:58 -0700)]
Traces syscalls with nsec precision

And also formats the trace for a terminal, with the 'data' contents
appearing on the next line.

Here's a trace of reading the letter 'h' from the console (with one
extra wrap due to the width of this commit message):

[     37.776775555]-[     37.776776330] Syscall  13 (  proc_yield):(0x0,
0x0, 0x0, 0x0, 0x0, 0x0) ret: 0x0 proc: 2 core: 0 vcore: 0 data:
[     37.776770403]-[     37.981424392] Syscall 100 (        read):(0x0,
0xffbfdf51, 0x1, 0x0, 0x0, 0x0) ret: 0x1 proc: 2 core: 0 vcore: 0 data:

Note the 'h' on its own after the read command, lined up after the :
after the syscall name.

If there is an empty line in the trace, that is because there was a
trace data length, but printdump didn't print anything.  I noticed this
when the input was a carriage return.

More importantly, notice the timestamps.  The read started first, but
the yield finished first.  First to finish is the first into the trace

6 years agoFixes SCP wakeup latency
Barret Rhoden [Wed, 10 Sep 2014 03:38:17 +0000 (20:38 -0700)]
Fixes SCP wakeup latency

When an SCP syscall completes on a CG core, which ultimately wakes up
the process, the SCP was not running until the next ksched timer tick.

This scenario could happen if an SCP blocks on a read on a pipe that
gets written to by an MCP.  The pipe write wakes the reader, and since
the kthread code is primitive, it just finishes the bottom half of the
syscall on the MCPs core (a CG core).  Core 0 could have been halted the
entire time, and had no reason to wake up.  It may have called
cpu_bored() a long time ago and has not woken up yet.

Btw, note that syscalls in the trace are written in the order of
*completion*, not submission.  This is more clear from the TSC
timestamp, but the pretty output only has msec granularity.

6 years agoDisables the HPET
Barret Rhoden [Tue, 9 Sep 2014 21:26:09 +0000 (14:26 -0700)]
Disables the HPET

If the system has an HPET, ACPI will tell us.  In lieu of properly setting it
up, I just make sure it is disabled.

Long range plan is for a #T timer device or something, which would use the HPET
if available.

The HPET is pretty straightforward btw, just not a priority.

6 years agoCleans up vmap()
Barret Rhoden [Tue, 9 Sep 2014 20:55:52 +0000 (13:55 -0700)]
Cleans up vmap()

Uses KADDR directly, without the physaddr sanity check.  If you run with
less than 1 GB RAM, the check will fail.  I'll probably remove that
check eventually.

6 years agoMoves 9ns endian helpers
Barret Rhoden [Tue, 9 Sep 2014 20:23:27 +0000 (13:23 -0700)]
Moves 9ns endian helpers

Keep them in a single spot.

6 years agox86: initializes the LPC
Barret Rhoden [Tue, 2 Sep 2014 18:48:58 +0000 (11:48 -0700)]
x86: initializes the LPC

If your machine has an LPC, part of the PCH or maybe the southbridge, then this
will do very basic initialization.  It'll just disable one of the timers that
triggers SMIs on one of my machines.

6 years agox86: disables USB legacy stack
Barret Rhoden [Tue, 2 Sep 2014 18:47:59 +0000 (11:47 -0700)]
x86: disables USB legacy stack

Only for EHCI and UHCI.  You'll get a warning on OHCI.

6 years agoChanges default init script to just run bash
Barret Rhoden [Tue, 2 Sep 2014 17:43:54 +0000 (10:43 -0700)]
Changes default init script to just run bash

You need to make menuconfig to use this option.

6 years agoAdd the trex ethermedium.
Ronald G. Minnich [Wed, 10 Sep 2014 02:44:55 +0000 (02:44 +0000)]
Add the trex ethermedium.

The intent is that for bleeding edge devices, we want our own medium
to hack on as we please. Anticipating some weird usage, I've added
the trexconfig script, which you can hack as you wish.

If you want to change basic functions in the medium, copy them and convert
them. I'm still not sure we don't want trexmedium.c but for now we decided not
to create a new file.

comment out the ethermedium struct (i.e. leave only the trexmedium available)
boot, run trexconfig, note network works.

uncomment out ethermedium, boot, run /trexconfig, it all works.
reboot, run ifconfig, it all still works.

I decided to skip the branch because this change is pretty harmless.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
6 years agoSyscall tracing formatting touchups
Barret Rhoden [Wed, 3 Sep 2014 05:06:36 +0000 (22:06 -0700)]
Syscall tracing formatting touchups

The main thing is that we print the real time (since boot) in seconds,
instead of TSC ticks.

As a reminder to anyone using c89, the TSC only resets on a cold boot.
Perhaps that has something to do with its service processor locking up
every so often!  (we'll see if it is every 49 days)

6 years agoSyscall tracing handles dropped traces
Barret Rhoden [Wed, 3 Sep 2014 00:20:48 +0000 (17:20 -0700)]
Syscall tracing handles dropped traces

If a trace is getting dropped, we'll output the trace instead.

This should rarely happen (OOM), unless we change the queue code.

6 years agoWe can now trace various system calls
Ronald G. Minnich [Fri, 29 Aug 2014 19:51:15 +0000 (19:51 +0000)]
We can now trace various system calls

And see return values, and see file open names and read/write data

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
Git-fu'd by brho

6 years agoMove to a queue-based system call tracing
Ronald G. Minnich [Tue, 2 Sep 2014 18:09:29 +0000 (18:09 +0000)]
Move to a queue-based system call tracing

Now, we allocate a trace record in the system call and, when we exit, write it
to a queue for the kptrace qid.

Read reads from the queue.

Records are text, delimited by a newline.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
Git-fu'd by brho

6 years agoprintdump(), used for tracing
Ronald G. Minnich [Fri, 29 Aug 2014 06:36:05 +0000 (06:36 +0000)]
printdump(), used for tracing

Git-fu'd by brho.

6 years agochdir and fchdir need to return a 'long'
Kevin Klues [Wed, 27 Aug 2014 03:19:28 +0000 (20:19 -0700)]
chdir and fchdir need to return a 'long'

I made them return an intreg_t because other syscalls use this type
(which is a little weird), but no matter what we use, we need to make
sure the value returned is sign extended properly to the size of a long.

This is necessary because Go has a generic syscall wrapper that examines
the return value and checks to see if it is "-1" before allocating a new
AkaError struct and returning errno and errrstr up the stack. On amd64,
when a syscall just returns an 'int', the upper bits are 0'd out and we
interpret the value as 2^32, not -1 (which indicates a success). We also
cannot simply donwcast the return value to 32 bits before doing the
comparison because some system calls (e.g. mmap) can have valid values
that have all lower 32 bits set to 1.

This isn't a problem for glibc because it doesn't have a generic wrapper
around all syscall. It can down cast the return value to the proper type
in the libc wrapper before doing the check of whether or not to return
an error.

6 years agoFixes chdir retval
Barret Rhoden [Wed, 27 Aug 2014 01:22:21 +0000 (18:22 -0700)]
Fixes chdir retval

Was returning -errno on errors, instead of -1.  Also, this cleans up the
discrepancy betweren how do_chdir() and do_fchdir() handle errno and return

6 years agoRemoves old documentation
Barret Rhoden [Tue, 26 Aug 2014 23:42:24 +0000 (16:42 -0700)]
Removes old documentation

More up-to-date stuff at:

6 years agoFaulting pthread signal handlers abort
Barret Rhoden [Tue, 26 Aug 2014 23:32:01 +0000 (16:32 -0700)]
Faulting pthread signal handlers abort

If the handler faults and tries to signal itself, we print the debug info and
abort the process.

Note the sighandler or the process in general can mask or override certain
handlers (like the PF handler) to not do anything.  In which case, the thread
will restart and refault, forever.  That's the process's fault.

6 years agosys_chdir() / fchdir() take a pid (XCC)
Barret Rhoden [Tue, 26 Aug 2014 22:02:33 +0000 (15:02 -0700)]
sys_chdir() / fchdir() take a pid (XCC)

This is so parents (or any process that controls another) can change the
working directory (PWD, DOT, etc) of another process, including itself.

This does slow down chdir a little, due to the sync on pid lookup and decref,
but scalable chdir() isn't a big deal at this point.

Copy over chdir.c and fchdir.c and rebuild glibc.  Or just make clean it.

6 years agoFixes sys_dup_fds_to
Barret Rhoden [Tue, 26 Aug 2014 21:58:01 +0000 (14:58 -0700)]
Fixes sys_dup_fds_to

Had a gaping hole where we didn't make sure that p controls the target (even
though proc_controls() is mostly a noop now).

Also fixes up the error reporting (set_errno and -1, instead of returning

6 years agoHelper for syscalls getting pid2proc
Barret Rhoden [Tue, 26 Aug 2014 21:56:29 +0000 (14:56 -0700)]
Helper for syscalls getting pid2proc

Given a pid, I often want to get a proc only if p controls it.  Some uses for
pid2proc, like in wait and poke, want to do their own thing.

6 years agoRevert "Add support for the childfdmap for Go"
Kevin Klues [Tue, 26 Aug 2014 20:01:39 +0000 (13:01 -0700)]
Revert "Add support for the childfdmap for Go"

This reverts commit 1f6c9b6de45e868d0dffd3415825273dac459695.