6 years agoProfiling: counters for the vcore.
Ronald G. Minnich [Wed, 14 May 2014 17:34:52 +0000 (10:34 -0700)]
Profiling: counters for the vcore.

Set a timer (resume) to the ns when a vcore resumes user mode.
This is almost certainly being done at the wrong place.

When a vcore exits user mode, update the total ns timer for that

These two counters should let a user figure out profiling info.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoprofiling in user mode.
Ronald G. Minnich [Wed, 14 May 2014 01:13:24 +0000 (18:13 -0700)]
profiling in user mode.

This change should allow reasonable and accurate user-mode profiling.
An MCP can look at its vcore stats and see at what time (in ns)
it was resumed. It can also see see total ns spent in that process.
Finally, it can compute the current ns spent in the process
by converting the tsc to ns and subtracting the resume value.

Only a proposal, let me know if there's a better way.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agotime: add a convenience function, nsec()
Ronald G. Minnich [Wed, 14 May 2014 01:11:13 +0000 (18:11 -0700)]
time: add a convenience function, nsec()

Simple inline, but it's handy.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoFixes some channel refcnts
Barret Rhoden [Wed, 14 May 2014 00:01:35 +0000 (17:01 -0700)]
Fixes some channel refcnts

Chan refcnting around errors is a little sloppy.

6 years agoMonitor procinfo FD formatting
Barret Rhoden [Tue, 13 May 2014 23:58:48 +0000 (16:58 -0700)]
Monitor procinfo FD formatting

Fixes various formatting issues with the 9ns FDs when you procinfo pid XX.

6 years agoChan refcnting uses a helper
Barret Rhoden [Tue, 13 May 2014 23:56:16 +0000 (16:56 -0700)]
Chan refcnting uses a helper

We needed to backtrace all of our chan increfs to track down a bug.  I have a
feeling we'll need it in the future.

6 years agoAbort all syscalls using a particular FD (XCC)
Barret Rhoden [Tue, 13 May 2014 23:25:07 +0000 (16:25 -0700)]
Abort all syscalls using a particular FD (XCC)

This will abort any syscalls currently blocked on a rendez that operate on a
given FD.  It is possible that some syscalls are still in progress and haven't
rendezed, and those will not be aborted.

6 years agoJenkins: Index should be 3, not 2
Kevin Klues [Tue, 13 May 2014 20:18:28 +0000 (13:18 -0700)]
Jenkins: Index should be 3, not 2

6 years agooprofile: preliminary design for queues between cores and device
Ronald G. Minnich [Mon, 12 May 2014 15:14:54 +0000 (08:14 -0700)]
oprofile: preliminary design for queues between cores and device

Each core will put its results in a block. The per-cpu-buffer
contains a pointer to the block and an offset. Since we know
the block size, reserving space in the block and putting data
into it is easy.

The long term plan is that once the block is out of
room, the per-core code pushes it onto the per-core
fullqueue. The timer code, which runs on core 0, pulls
full blocks off the per-core full queue and pushes
empty blocks onto the per-core empty queue. In this way,
the cores run with very little overhead for saving data
(pointer/offset) and the messy work gets done on core "0".

Further, the per-core code can decide, for an even, that it's been
a long time since data has been pushed and push it even when the
block is not full. We may in the end want an interrupt at, say, once
per second to make sure stale data does not just hang around.

I'm open to changes and improvements in this idea; consider it
a straw man. We should try to work out what we want this week

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agooprofile: moron bug
Ronald G. Minnich [Thu, 8 May 2014 15:23:56 +0000 (08:23 -0700)]
oprofile: moron bug

Just a stupid kmalloc bug, works with 8 cores now.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoJenkins: Should be index 2, not index 3
Kevin Klues [Thu, 8 May 2014 03:58:32 +0000 (20:58 -0700)]
Jenkins: Should be index 2, not index 3

6 years agooprofile: minimally working
Ronald G. Minnich [Thu, 8 May 2014 00:34:24 +0000 (17:34 -0700)]
oprofile: minimally working

We don't have on/off control; that's next.

You can echo something > '#K/kpoprofile' and it will go into
the buffer. You can than cat that file. It's a good way to test.
It works.

Need to get the programs going, see if they work and, if so,
enable the rest of the bits. Probably will implement the real
command interface too.

But, sigh. Will probably have to implement all the hokey oprofile
single-value-for-file files, just for compatibility with the
tools. Oh, yuck.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agooprofile: Allow user mode to read oprofile data via '#K'.
Ronald G. Minnich [Wed, 7 May 2014 23:37:18 +0000 (16:37 -0700)]
oprofile: Allow user mode to read oprofile data via '#K'.

Gee, that was easy. Now if there is data to read, it will be read
in standard oprofile format. This means we need to now build the
oprofile tools for Akaros. Also, time to get poor mans ftrace
so it will patch code for catching oprofile data.

I don't necessarily LIKE oprofile format; it's not endian-clean
and architecture-clean the way plan 9 tends to do it. But it's a
sub-standard now and we might as well just run with it.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years ago82563/i350: Fixes off-by-one issue
Barret Rhoden [Wed, 7 May 2014 23:25:05 +0000 (16:25 -0700)]
82563/i350: Fixes off-by-one issue

We were seeing TX underruns, which made me look closer.  I don't think
the -1s would work with the NEXT_RING macro, which expects the full
length of the ring.  Perhaps 9port had different ring macros?  Or they
wanted to skip that last entry for some reason...

Either way, we don't get the underruns with the removal of the -1s.

6 years agoFirst oprofile file to build
Ronald G. Minnich [Wed, 7 May 2014 23:17:21 +0000 (16:17 -0700)]
First oprofile file to build

This is the one on which all else builds. It takes events of different types
and wedges them into the opq queue (i.e. queue struct that I'm about to
make available via #K).

This is not efficient. In fact it's quite stupid: it calls kzmalloc for each
sample! I have some ideas on how to make it very simply
efficient: just accumulate the cpu samples into a struct block and, when that block
is out of room, qbwrite it.

If that works, and is fast enough, giant gobs of nasty stuff that are in the Linux
driver will vanish in a puff of smoke. I suspect it will be fast enough. qbwrite
is just linked list manipulation, and if we make the block big enough
(64K will hold 16000 samples) I think we'll be able to just sail along.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoFixes c89 NIC detection
Barret Rhoden [Wed, 7 May 2014 22:31:26 +0000 (15:31 -0700)]
Fixes c89 NIC detection

When the i350 driver was in an external repo, we were detecting them
after the e1000s, so the e1000s were #l0 and #l1.  Now, the i350s are
showing up as NICs #l0-#l3.

6 years agoAdd a per-cpu pointer to profiling code.
Ronald G. Minnich [Wed, 7 May 2014 01:31:42 +0000 (18:31 -0700)]
Add a per-cpu pointer to profiling code.

Not intended to be used outside the profiling code.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoChange iNULLim to inilim in qio.c
Ronald G. Minnich [Wed, 7 May 2014 00:59:21 +0000 (17:59 -0700)]
Change iNULLim to inilim in qio.c

This was the result of an errant script.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoExplicitly look for CONFIG_X86_32 in Makefile
Kevin Klues [Wed, 7 May 2014 00:48:09 +0000 (17:48 -0700)]
Explicitly look for CONFIG_X86_32 in Makefile

Before this change, the first pass over the makefile would think we were
a 32 bit kernel even if we were a 64 bit one.  If you didn't have an
i686-ros-gcc compiler installed, then later attempts to execute
$(shell $(OBJDUMP)) in the top level Makefile would error out (albeit

6 years agoEnable sub-ktests by default once ktests enabled
Kevin Klues [Wed, 7 May 2014 00:11:15 +0000 (17:11 -0700)]
Enable sub-ktests by default once ktests enabled

6 years agoDon't rebuild kernel at end of buding BB
Kevin Klues [Wed, 7 May 2014 00:04:44 +0000 (17:04 -0700)]
Don't rebuild kernel at end of buding BB

That's done in a separate step later on.

6 years agoJenkins: Bug in deleting CXX directory on rebuild
Kevin Klues [Tue, 6 May 2014 23:31:05 +0000 (16:31 -0700)]
Jenkins: Bug in deleting CXX directory on rebuild

6 years agoRemoves test_print_info()
Barret Rhoden [Tue, 6 May 2014 23:40:14 +0000 (16:40 -0700)]
Removes test_print_info()

Moves the functionality to the monitor.  The "all cores" option needs to be

6 years agoAborted calls return EINTR
Barret Rhoden [Tue, 6 May 2014 23:21:50 +0000 (16:21 -0700)]
Aborted calls return EINTR

So no one has to strcmp("syscall aborted").

errstrs are for humans; errnos are for computers!

6 years agoSockets shutdown() is just a close()
Barret Rhoden [Tue, 6 May 2014 23:17:38 +0000 (16:17 -0700)]
Sockets shutdown() is just a close()

Since we don't have shutdown in the 9ns stack.

6 years agoJenkins: Rebuild everything if build number wrong
Kevin Klues [Tue, 6 May 2014 22:08:09 +0000 (15:08 -0700)]
Jenkins: Rebuild everything if build number wrong

The build number could mess up if we roll back a change on the branch
and that change happens to be the commit of the last successful build.
Should be rare...

6 years agoJenkins: Use $JOB_NAME instead of hard coding it
Kevin Klues [Tue, 6 May 2014 21:45:37 +0000 (14:45 -0700)]
Jenkins: Use $JOB_NAME instead of hard coding it

6 years agoRestructure ktests into test suites
Kevin Klues [Tue, 6 May 2014 21:32:58 +0000 (14:32 -0700)]
Restructure ktests into test suites

6 years agoJenkins: Don't rebuild kernel with userspace
Kevin Klues [Tue, 6 May 2014 02:59:14 +0000 (19:59 -0700)]
Jenkins: Don't rebuild kernel with userspace

6 years agoJenkins: build the kernel last
Barret Rhoden [Tue, 6 May 2014 01:34:27 +0000 (18:34 -0700)]
Jenkins: build the kernel last

We need to build busybox before the kernel, due to KFS issues with
symlinks.  As a short-term fix, building busybox before the kernel
should work.  Longer term, we should fix up the busybox build steps, and
drop it under tools/ or something.

6 years agoAdd Extra prints surrounding KERNEL TESTS
Kevin Klues [Sat, 3 May 2014 01:55:15 +0000 (18:55 -0700)]
Add Extra prints surrounding KERNEL TESTS

6 years agoClean the output log to remove ^M characters
Kevin Klues [Sat, 3 May 2014 01:43:48 +0000 (18:43 -0700)]
Clean the output log to remove ^M characters

6 years agoMajor overhaul to testing infrastructure
Kevin Klues [Sat, 3 May 2014 00:46:10 +0000 (17:46 -0700)]
Major overhaul to testing infrastructure

6 years agoGet diff from last stable build, not just previous build
Kevin Klues [Thu, 1 May 2014 22:42:37 +0000 (15:42 -0700)]
Get diff from last stable build, not just previous build

Also there is no longer a 'make testsclean' target.

6 years agoTurn on userspace tests and set defaults properly
Kevin Klues [Thu, 1 May 2014 20:49:47 +0000 (13:49 -0700)]
Turn on userspace tests and set defaults properly

We need a make olddefconfig after manually turning on the tests,
otherwise we get prompted to answer some qestions, that we don't want to
answer.  We just want to use the defaults.

6 years agoAdded jenkins testing infrastructure.
alfongj [Thu, 24 Apr 2014 02:04:19 +0000 (19:04 -0700)]
Added jenkins testing infrastructure.

1. launcher.sh: Bash script in charge of compilation and running
   all the testing components.
2. changes.py and compilation_components.json: Script that checks
   for changes (via a git diff) since last commit and decides
   which components of akaros to compile.
3. qemu_launcher.c and Makelocal_qemu: Wrapper for launching qemu
   for akaros in a way that is killable from jenkins without being
4. wait_until.py: Script that checks for a given line in akaros
   output in order to know once it finished testing and stuff so
   we can kill it.
5. test_reporter.py and markup.py: Scripts for parsing akaros
   output for test output and then reporting it in XUnit XML

6 years agoFinished infrastructure that runs all userspace tests.
alfongj [Thu, 1 May 2014 01:45:06 +0000 (18:45 -0700)]
Finished infrastructure that runs all userspace tests.

6 years agoInstall user tests in a subdir of /bin
Kevin Klues [Thu, 1 May 2014 01:23:44 +0000 (18:23 -0700)]
Install user tests in a subdir of /bin

6 years agoMake infrastructure for better organized user testing
Kevin Klues [Wed, 30 Apr 2014 23:20:52 +0000 (16:20 -0700)]
Make infrastructure for better organized user testing

6 years agoSeparated user-space config variable into two.
alfongj [Wed, 30 Apr 2014 21:57:51 +0000 (14:57 -0700)]
Separated user-space config variable into two.

CONFIG_USERSPACE_TESTING: whether tests are activated or not.

6 years agoAdded automatic userspace test launching capability to AKAROS.
alfongj [Wed, 30 Apr 2014 20:43:22 +0000 (13:43 -0700)]
Added automatic userspace test launching capability to AKAROS.

* Created a new config variable (USERSPACE_TESTING) in Kconfig.Testing
  in which to specify a path to a script that should run userspace
* Modified manager.c to support this.

6 years agoFix kbuild make detecting change in file
Kevin Klues [Tue, 29 Apr 2014 20:35:06 +0000 (13:35 -0700)]
Fix kbuild make detecting change in file

Unfortunately, Kconfig doesn't seem to recognize that the tests.c file
needs to be rebuilt unless we explicitly use our CONFIG_TEST_* variables
in the c file instead of generated by the underlying macro. Boo.

6 years agoImplemented Kernel Post-boot testing.
alfongj [Thu, 24 Apr 2014 01:32:42 +0000 (18:32 -0700)]
Implemented Kernel Post-boot testing.

1. Added generic C unit testing macros in kern/include/test_infra..
2. Moved current Postboot tests from kern/src/testing.c to
   kern/src/tests_pb_kernel.c and modified many to use the new unit
   testing standard.
3. Added kern/src/tests.c as a file in which to register all kernel
   testing functions (can be extended in the future with new tests)
4. Modified kern/src/manager.c to run kernel postboot tests if they
   are set up.
5. Modified KConfig to add a config variable for configuring
   whether to run these tests post boot or not.
6. Added Documentation/testing.txt (W.I.P.).
7. Modified necessary headers and KBuild files.

6 years agoMuch less confusing. Tested and works.
Ronald G. Minnich [Mon, 5 May 2014 21:45:32 +0000 (14:45 -0700)]
Much less confusing. Tested and works.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoKprof fixes
Barret Rhoden [Thu, 1 May 2014 00:21:44 +0000 (17:21 -0700)]
Kprof fixes

Lots todo still, check the top of the file.

To process the data:
$ sort -rk3 /prof/kpdata | head -n 50

6 years agoAdds head and sort to bb config
Barret Rhoden [Wed, 30 Apr 2014 20:29:23 +0000 (13:29 -0700)]
Adds head and sort to bb config

You'll need to copy out the config to your bb/.config and rebuild.

I added the symlinks too, since I think that's what we're doing these days for
bb apps.

6 years agoPoor-man's ftrace has more context
Barret Rhoden [Wed, 30 Apr 2014 20:14:41 +0000 (13:14 -0700)]
Poor-man's ftrace has more context

Will output whether we're in a process, IRQ, or ktask context.

Careful using this on certain devices in k/d/dev/, like acpi and console.  One
of the devs locks up if you try to print.

I usually turn off the 'print' bool in kdebug.c for booting, then turn it on
via 'kfunc toggle_print_func'.

To spatch the networking code, try something like:

$ for i in kern/src/net kern/drivers/net kern/drivers/dev/ether.c; do
spatch --sp-file scripts/spatch/poor-ftrace.cocci  --in-place $i; done

6 years agoBrings back the cheap dial()
Barret Rhoden [Wed, 30 Apr 2014 20:11:56 +0000 (13:11 -0700)]
Brings back the cheap dial()

In case you want to bypass the full dial + cs + dialstring parsing.

6 years agoMonitor command showmappings updates
Barret Rhoden [Wed, 30 Apr 2014 00:18:00 +0000 (17:18 -0700)]
Monitor command showmappings updates

Now also called 'sm', it takes a PID.  sm will print the mappings for the given
process's address space.  PID = 0 will show the boot_pgdir.

6 years agoBSD sockets library relies on parlib
Barret Rhoden [Tue, 29 Apr 2014 22:38:09 +0000 (15:38 -0700)]
BSD sockets library relies on parlib

Included via "priv.h".  Had to add some #includes there, since they were
assuming priv.h would be included after some other files.

Also removed ntohl.c.  priv.h includes glibc's version.

I originally did this to make a poor-ftrace of the BSD sockets library.  It's
probably easier to just put -include parlib.h into the user/bsd/Makefile in the
future.  Cleaning out ntohl.c was nice.

6 years agoPoor-man's ftracing for userspace
Barret Rhoden [Tue, 29 Apr 2014 22:37:28 +0000 (15:37 -0700)]
Poor-man's ftracing for userspace

Make sure whatever you trace has #included parlib.h.

6 years agoIncrease buffer size for incoming connections
Kevin Klues [Tue, 29 Apr 2014 22:30:56 +0000 (15:30 -0700)]
Increase buffer size for incoming connections

6 years agoInitial commit of some oprofile support
Ronald G. Minnich [Tue, 29 Apr 2014 14:59:24 +0000 (07:59 -0700)]
Initial commit of some oprofile support

This is going to need some work, but we need it.
It's weird how complicated it is to work with synthetics in linux.
I expect this code to shrink a lot.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoUpdated GETTING_STARTED with busybox info
Barret Rhoden [Sat, 26 Apr 2014 02:18:36 +0000 (19:18 -0700)]
Updated GETTING_STARTED with busybox info

6 years agoAdded .pyc (Python comp files) to gitignore
alfongj [Thu, 24 Apr 2014 01:08:44 +0000 (18:08 -0700)]
Added .pyc (Python comp files) to gitignore

6 years agoMoved busybox patches to their own folder.
alfongj [Thu, 24 Apr 2014 01:07:17 +0000 (18:07 -0700)]
Moved busybox patches to their own folder.

6 years agoFixes short 9ns dirent reads
Barret Rhoden [Sat, 26 Apr 2014 01:27:21 +0000 (18:27 -0700)]
Fixes short 9ns dirent reads

Things like 'ps' were failing.  There might have been others.  The read
method would work, but it was possible to squeeze in multiple Ms in the
buffer for a single kdirent read.  End result, we'd miss entries every
so often.  For devproc, we'd miss the second of three processes.

This didn't take as long to figure this out as when it happened to
devmnt, but still took took long.

I put in a check in devdirread which should trip if our minimum is wrong

6 years agoCorrect the date in the copyright line of ether82563.c
Ronald G. Minnich [Sat, 26 Apr 2014 01:25:40 +0000 (18:25 -0700)]
Correct the date in the copyright line of ether82563.c

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoMake changes to the bsd library to get it to built with netperf.
Ronald G. Minnich [Sat, 26 Apr 2014 01:23:27 +0000 (18:23 -0700)]
Make changes to the bsd library to get it to built with netperf.

More needs doing. I'm going to remove any use of select from netperf.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoAdd early docs on building netperf.
Ronald G. Minnich [Sat, 26 Apr 2014 01:22:53 +0000 (18:22 -0700)]
Add early docs on building netperf.

It's a pretty ugly process.

6 years agoAdd Intel 82563 NIC support.
Ronald G. Minnich [Sat, 26 Apr 2014 01:21:03 +0000 (18:21 -0700)]
Add Intel 82563 NIC support.

This code courtesy of Erik Quanstrom.

6 years agoAdd a short explanation of the kprof device.
Ronald G. Minnich [Sat, 26 Apr 2014 01:01:42 +0000 (18:01 -0700)]
Add a short explanation of the kprof device.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoFix trivial bug in kprof -- pc not getting set correctly
Ronald G. Minnich [Sat, 26 Apr 2014 00:45:50 +0000 (17:45 -0700)]
Fix trivial bug in kprof -- pc not getting set correctly

I was testing with dd bs=64 etc. etc.
Andrew Gallatin tested with cat.

For me, the pc was always right, since each read was a single
record and the pc was recomputed each time. For larger reads, it would be mostly wrong.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoMonitor command bt, alias for backtrace
Barret Rhoden [Sat, 26 Apr 2014 00:15:47 +0000 (17:15 -0700)]
Monitor command bt, alias for backtrace

6 years agoRemoves ping warnings, tries to use cs
Barret Rhoden [Sat, 26 Apr 2014 00:12:10 +0000 (17:12 -0700)]
Removes ping warnings, tries to use cs

CS doesn't actually work completely.  It'll hang if you:

ash ifconfig
echo debug > cs
ping www.google.com

It's fine that we don't have DNS yet, but CS shouldn't hang forever.

6 years agoFixes ifconfig issues
Barret Rhoden [Sat, 26 Apr 2014 00:05:39 +0000 (17:05 -0700)]
Fixes ifconfig issues

On my machine, cs doesn't produce #s/cs before ifconfig tries to mount

Also, cs debugging is pretty loud.  We can turn it on easily if we need
to debug.

6 years agoMonitor access to semaphore debugging info
Barret Rhoden [Fri, 25 Apr 2014 23:49:36 +0000 (16:49 -0700)]
Monitor access to semaphore debugging info

db sem for print_all_sem_info().  Easier than kfuncing.  Feel free to
add other useful things to db.

Also, this adds that much needed newline to print_all_sem_info().  How
many people have looked at that output and not cursed its unreadability?

6 years agoAdds kill to the monitor
Barret Rhoden [Fri, 25 Apr 2014 23:43:25 +0000 (16:43 -0700)]
Adds kill to the monitor

Got tired of procinfo kill PID.  Too much typing.  =)

6 years agoRemoved IRQ routing test
Barret Rhoden [Fri, 25 Apr 2014 23:38:05 +0000 (16:38 -0700)]
Removed IRQ routing test

Was getting sick of those #warnings during compile.

6 years agopthread_switch: fast user-level context switch
Barret Rhoden [Fri, 25 Apr 2014 23:29:04 +0000 (16:29 -0700)]
pthread_switch: fast user-level context switch

This is just an example of what you can do.  Be a little careful if you
use this in another 2LS, since it short-circuits the rest of
uthread_yield.  I think it is okay as is, but future uthread changes
could cause trouble.  If we really need this behavior, I could build it
in to uthread.c.

Also, this adds an interface to pthreads, such that you can create a
thread, but not start running it yet.  Careful with that, too.

6 years agopthread_test can easily be built for linux
Barret Rhoden [Fri, 25 Apr 2014 18:34:43 +0000 (11:34 -0700)]
pthread_test can easily be built for linux

Note the use of misc-compat.h.  Feel free to add things there for other

6 years agoAdd more info to the kprof and fix a big
Ronald G. Minnich [Fri, 25 Apr 2014 21:38:31 +0000 (14:38 -0700)]
Add more info to the kprof and fix a big

In real use, turns out we want that PC. We don't want to
merge the common functions from the kernel either.
We may even decide to stop the >> 3 on the PC, depending.
Memory is cheap.

Fix a bug that came up because of dealing with snprintf behavior,
long story.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoRe-add the bsd library
Ronald G. Minnich [Fri, 25 Apr 2014 21:09:41 +0000 (14:09 -0700)]
Re-add the bsd library

We need it for netperf. I'm not in the mood to try to change
an autoconfig-based chamber of horrors at this point in my life.
Far easier to make a compatibility shim, and that alone should tell
you all you need to know about what's wrong with open source software

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoAdd the Plan 9 kprof device.
Ronald G. Minnich [Fri, 25 Apr 2014 18:42:11 +0000 (11:42 -0700)]
Add the Plan 9 kprof device.

The Plan 9 kprof device takes samples at 1ms intervals.
It maintains an array that is the size of kernel text / 8.
At each timer interrupt, it adds 1 to the array[pc/8].
In this way, we get a profile, accurate to 1 ms, of where
the kernel spends its time.

Unlike Plan 9, the output format of this is text.
Each text record is 48 bytes; 30 bytes of name,
1 byte of space, 16 bytes of PC, and a newline.

To try this, you can, e.g.,
bind -a '#K' /net # we can't use /dev yet.
echo start > /net/kpctl
do something
echo stop > /net/kpctl
cat /net/kpdata > /somefile

- we need to atomic_inc the buf entries, not just add 1
- we only do this on one core; we need to start timers on all

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoAdd a profile device.
Ronald G. Minnich [Fri, 25 Apr 2014 02:22:50 +0000 (19:22 -0700)]
Add a profile device.

This is the Plan 9 profile device, it's quite basic
but it's better than nothing. We can continue to use
this interface but we should try to get something
better underneath.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoFixes MAC and arp printing
Barret Rhoden [Wed, 23 Apr 2014 18:52:40 +0000 (11:52 -0700)]
Fixes MAC and arp printing

Can now cat /net/arp.  The spacing is still off for the %I, but at least
we can see the info.

6 years agoFixes getfields()
Barret Rhoden [Wed, 23 Apr 2014 18:36:01 +0000 (11:36 -0700)]
Fixes getfields()

The main for loop steps through rune (characters).  I don't know what
the intent of 'next' was, but since the loop already managed the
character/rune length, 'next' could only offset us farther into the

6 years agoFixes stat() #include
Barret Rhoden [Mon, 21 Apr 2014 21:00:17 +0000 (14:00 -0700)]
Fixes stat() #include

6 years agoMake ndblib not reopen and reread files all the time.
Ronald G. Minnich [Thu, 17 Apr 2014 19:00:45 +0000 (12:00 -0700)]
Make ndblib not reopen and reread files all the time.

Sadly, stat(2) returns 0 for mtime still. So we've got some
nasty hacks in here to make sure we only read files once. We'll
need to come back to this or better yet rewrite this mess in Go.
It's the 21st century and it's silly not to cache everything, and
it's super silly to write code like this in C.

mount -a '#s/cs' /net
csquery /net/cs tcp!localhost!22

The first time, it is slow, as it is now. Subsequent
csquery commands, if it hits the cache, are quite fast,
basically intantaneous, even in qemu.
This should make go test much more palatable.

Signed-off-by: Ronald G. Minnich <rminnich@google.com>
6 years agoMoves some timing func from benchutil to parlib
Barret Rhoden [Thu, 17 Apr 2014 00:49:56 +0000 (17:49 -0700)]
Moves some timing func from benchutil to parlib

They don't need to be in benchutil, unlike the other benchutil functions
that use libm.  Also, programs that want to use the simply timing
functions won't need to -lbenchutil (and -lm).

6 years agoProcess create/destroy fixups
Barret Rhoden [Wed, 16 Apr 2014 01:54:41 +0000 (18:54 -0700)]
Process create/destroy fixups

If sys_proc_create() failed early, a variety of fragile refcntings and
other bits would be messed up.  Mostly since we want to destroy and we
haven't __proc_readied, but destroy cleans up after both alloc and

6 years agoQIO and catching rendez_sleep()
Barret Rhoden [Wed, 16 Apr 2014 01:31:44 +0000 (18:31 -0700)]
QIO and catching rendez_sleep()

rendez_sleep() throws an error.  In qbwrite(), this is after the point
where we published the block b to the queue.  If the rendez_sleep() is
aborted, we'd error out and freeb(b), which is still on the queue.

Our use of error() in rendez_sleep() might be different than Plan 9.  We
already have slightly different rendez semantics.  Though many rendez
calls are clearly wrapped in waserrors() in other places.

I looked at some of the other rendez spots, like devmnt, and at least
put some warnings in place for the next time we have potential rendez

6 years agox86: Kernel tries to handle user page faults
Barret Rhoden [Wed, 9 Apr 2014 00:02:37 +0000 (17:02 -0700)]
x86: Kernel tries to handle user page faults

We could deadlock doing this - need to review and be careful any time we access
a user pointer.

Segvs will still cause a panic, but anon memory should work.

6 years agoEthernet devices register there their own IRQs
Barret Rhoden [Tue, 8 Apr 2014 21:00:50 +0000 (14:00 -0700)]
Ethernet devices register there their own IRQs

The Plan 9 way was to have one IRQ per ethernet device, which devether
registers for each NIC.  Many NICs will want separate IRQ handlers, possibly
for different queues.

Now, all NICs register and manage their own IRQs.  The old plan 9 way was to do
it in the reset/pnp method.  These resets happen during the booting process,
and for now that is the only place you can do vmap_pmem calls (which you'll
need when you register_irq for MSI-X).

6 years agoFixes uninitialized irq_h name
Barret Rhoden [Tue, 8 Apr 2014 20:18:31 +0000 (13:18 -0700)]
Fixes uninitialized irq_h name

Might just remove it.

6 years agoRemoves user_mem_check, fixes syscall bug
Barret Rhoden [Tue, 8 Apr 2014 05:31:26 +0000 (22:31 -0700)]
Removes user_mem_check, fixes syscall bug

This was a good one.  When not MAP_POPULATE-ing anonymous memory,
syscalls where part of the struct was on a page that hadn't been faulted
in yet would fail a user_mem_check.  Silently.  But good thing we set
that global racy variable!  Since run_local_syscall() would just return,
we'd pop back to userspace and the syscall would never complete, because
it never started.  6.5 giraffe-hours btw (* 2).

6 years agoAdds KFS symlinks for bash and sh
Barret Rhoden [Tue, 8 Apr 2014 02:54:28 +0000 (19:54 -0700)]
Adds KFS symlinks for bash and sh

Symlinks to busybox; needed for running scripts as programs from
busybox (./script, ./etc).

If someone wants to put together some busybox patching, configuring,
building, and installing scripts, then go for it.

6 years agoFixes tcpackproc name's memory
Barret Rhoden [Tue, 8 Apr 2014 02:52:29 +0000 (19:52 -0700)]
Fixes tcpackproc name's memory

Our ktasks (possibly foolishly) don't make a copy of the name for the
caller.  So the caller (or rather the ktask itself) needs to free the
memory for the kname when it is done.

Probably should change this.

6 years agoAdd check for is_valid_elf() before loading in exec
Kevin Klues [Mon, 7 Apr 2014 19:22:46 +0000 (12:22 -0700)]
Add check for is_valid_elf() before loading in exec

If the program is not a valid elf file, then set errno to ENOEXEC.
Busybox and other shells recognize this and try to re-exec the program
through the shell itself (i.e. bash ifconfig instead of just

To support this, sh and bash symlinks have been set up to point to ash
in busybox

6 years agoMSI-X fixes
Barret Rhoden [Mon, 7 Apr 2014 20:22:36 +0000 (13:22 -0700)]
MSI-X fixes

Allows unaligned table/pba addresses and zeros out the data entries in
the table.  Some hardware (i350 on c89) already has them zeroed, while
other (rtl8169) doesn't.

6 years agoCan vmap unaligned paddrs
Barret Rhoden [Mon, 7 Apr 2014 20:18:29 +0000 (13:18 -0700)]
Can vmap unaligned paddrs

The main idea is to implicitly map the phys memory below paddr, down to
its nearest page boundary.

6 years agoMSI: Fix for MSI to work when MSI-X fails
Barret Rhoden [Mon, 7 Apr 2014 19:24:59 +0000 (12:24 -0700)]
MSI: Fix for MSI to work when MSI-X fails

Need to turn off the MSI-X enable bit.  You can only have either MSI or
MSI-X turned on at a time.

6 years agoAdd ability to set alarms at an absolute unix time
Kevin Klues [Sat, 5 Apr 2014 04:12:51 +0000 (21:12 -0700)]
Add ability to set alarms at an absolute unix time

6 years agoPCI device locking and synchronization
Barret Rhoden [Fri, 4 Apr 2014 23:14:24 +0000 (16:14 -0700)]
PCI device locking and synchronization

Adds some limited concurrency support to PCI operations.  The main list
of PCI devices is built at boot and is read-only, so we don't
(currently) need to worry much.

6 years agoPCI: handles BARs for PCI2PCI devices
Barret Rhoden [Fri, 4 Apr 2014 20:32:04 +0000 (13:32 -0700)]
PCI: handles BARs for PCI2PCI devices

Though it turns out my hardware doesn't have any of these, so it hasn't
turned up as an issue.

6 years agoIRQ routing
Barret Rhoden [Fri, 4 Apr 2014 20:20:39 +0000 (13:20 -0700)]
IRQ routing

Call route_irqs() to reroute a all IRQs for a particular vector to an os
coreid.  We don't support routing to multiple cores yet.

6 years agoRefactors MSI code slightly
Barret Rhoden [Fri, 4 Apr 2014 19:40:41 +0000 (12:40 -0700)]
Refactors MSI code slightly

PCI/MSI code doesn't need to know about irq_h, which makes all of the
interfaces a little cleaner.

Also puts in some checks to prevent us from trying to turn on MSI and
MSI-X at the same time.

6 years agoUses channame() in sys_fd2path()
Barret Rhoden [Thu, 3 Apr 2014 23:11:30 +0000 (16:11 -0700)]
Uses channame() in sys_fd2path()

channame() should do the trick, instead of the old chanpath() which was
removed in commit 011ab2.  If not, we should fix channame().  chanpath()
was a nxm thing; Inferno has different structs to track the name.
"chanpath(ch)" might have been put in quotes during the 9ns->inferno

Using snprintf() and channame() helps with a couple things.  Previously,
fd2path() didn't check ch != 0 and could copy more than the user requested
(i.e. the full channame len instead of MIN(len, ch->name->len)).

6 years agoMSI-X support
Barret Rhoden [Thu, 3 Apr 2014 22:53:13 +0000 (15:53 -0700)]
MSI-X support

Adds support for MSI-X interrupts, including routing of individual
vectors to cores, via the irq_handler.

Cleaned up MSI a bit too, extracting common code (they use the same
MSI addr and data format).

Still needs a little cleanup and synchronization support.

6 years agovmap_pmem_nocache()
Barret Rhoden [Thu, 3 Apr 2014 21:37:04 +0000 (14:37 -0700)]

Maps in physical memory to the kernel's VA space, but with caching
disabled (if available).  We'll need to use this for device MMIO.