9 years agoAvoids nehalem keyboard issues, better monitors
Barret Rhoden [Wed, 18 May 2011 23:03:28 +0000 (16:03 -0700)]
Avoids nehalem keyboard issues, better monitors

My nehalem locks up if I try to read from the keyboard on any core other
than core 0.  This detects the model processor and aborts reading the KB
(assuming you have the Makelocal flag set).  Most people won't need

If you use it and you try to readline/monitor from a non-core0, you'll
need to input via the serial port, since the kernel still expects

9 years agoFixes nasty CAS bug
Barret Rhoden [Tue, 17 May 2011 21:40:57 +0000 (14:40 -0700)]
Fixes nasty CAS bug

This one would only show up if you had enough contention to cause CAS to
fail, at which point eax was clobbered, and if the number you were
working on was > 255, such as when you have 300-500 kthreads.  Goddamn.

9 years agoAlarm fixes
Barret Rhoden [Fri, 13 May 2011 22:07:33 +0000 (15:07 -0700)]
Alarm fixes

Three things:
1) previous versions screwed up if you tried to set an alarm with the
same time as the last item (it can happen legitimately too!).
2) cleaned up set_alarm(), so it's much clearer how it works and handles
the possible cases.  No longer tries to infer the state of the TAILQ by
looking at the start/end times, which was confusing.
3) adds a bunch of assertions to catch weird or uninitialized values.

Note the TSC takes over 200 years to loop (or my basic arithmetic is

9 years agoHandles syscall-event overflow in pthreads
Barret Rhoden [Thu, 12 May 2011 01:29:36 +0000 (18:29 -0700)]
Handles syscall-event overflow in pthreads

Most 2LSs that handle blocking threads and syscalls like pthreads will
need to do something similar.  Actually, they'll need to do something
more advanced!

This code knows how to recover from event overflow, which means that the
event message containing the struct syscall * was lost.

Recovery is a bit expensive, I think, so under heavy amounts of lost
messages, we'll want to do something smarter, like switch to a polling
mechanism, or find a way to use larger BCQs.

9 years agoFixes race-bug in overflow/bit event handling
Barret Rhoden [Wed, 11 May 2011 23:23:07 +0000 (16:23 -0700)]
Fixes race-bug in overflow/bit event handling

Need to check ev_overflows after checking the bit.  The bit handlers run
after checking the bit (which is handled in the FOREACH_SET).

9 years agoMinor fix in user bitmask functions (XCC)
Barret Rhoden [Wed, 11 May 2011 22:42:54 +0000 (15:42 -0700)]
Minor fix in user bitmask functions (XCC)

You'll need to reinstall these headers into your cross compiler paths,
either manually or by recompiling your cross compiler.  It's not a big
deal, unless you try to PRINT_BITMASK, so feel free to hold off.

9 years agoqueue "SAFE" ops for userspace (XCC)
Barret Rhoden [Tue, 10 May 2011 18:22:39 +0000 (11:22 -0700)]
queue "SAFE" ops for userspace (XCC)

This is just a more up-to-date sys/queue.h that has the FOREACH_SAFE
ops, allowing you to remove the item from within the for loop.  The
kernel has been using these for a while now.

Rebuild your cross compiler, or at least put the new queue.h in your
XCC headers.

9 years agoRISC-V SMP boot works
Andrew Waterman [Sat, 28 May 2011 06:33:53 +0000 (23:33 -0700)]
RISC-V SMP boot works

this commit won't compile because i'm not committing a change to the mainline
that changes the memory layout without further consultation

9 years agofixed printd() bugs when DEBUG is defined
Andrew Waterman [Sat, 28 May 2011 06:29:17 +0000 (23:29 -0700)]
fixed printd() bugs when DEBUG is defined

9 years agoRISC-V port mostly links now
Andrew Waterman [Fri, 27 May 2011 09:57:58 +0000 (02:57 -0700)]
RISC-V port mostly links now

9 years agoInitial commit of RISC-V architecture port
Andrew Waterman [Mon, 23 May 2011 09:19:57 +0000 (02:19 -0700)]
Initial commit of RISC-V architecture port

It builds but doesn't link and is missing key functionality, like
env/process/pmap stuff.

9 years ago32b/64b compatibility fixes
Andrew Waterman [Mon, 23 May 2011 09:18:40 +0000 (02:18 -0700)]
32b/64b compatibility fixes

In a few places, types like int or uint32_t were used when the intent
was to use a type as wide as a machine register or a pointer.
I replaced these mostly with uintptr_t.

9 years agoFixes (unused) bug in get_event_type()
Barret Rhoden [Mon, 9 May 2011 20:54:10 +0000 (13:54 -0700)]
Fixes (unused) bug in get_event_type()

No one really uses this function (msr_dumb_while and eth_audio), but
neither of those really know what they are doing / do the right thing.
I don't recomment using get_event_type() anyway, but we'll keep it
around in case we need the helper in the future.

9 years agoSlab allocator locks are now irqsave
Barret Rhoden [Mon, 9 May 2011 20:43:36 +0000 (13:43 -0700)]
Slab allocator locks are now irqsave

Kernel messages call into the slab allocator, which can occur from
both inside and outside interrupt context.

9 years agouva2kva() - Does a page table walk to convert
Barret Rhoden [Mon, 9 May 2011 20:12:52 +0000 (13:12 -0700)]
uva2kva() - Does a page table walk to convert

Useful for debugging.  Also added a brief, unrelated note in blockdev
(no issue there, AFAIK).

9 years agoFixes event BCQ bug
Barret Rhoden [Mon, 9 May 2011 20:10:18 +0000 (13:10 -0700)]
Fixes event BCQ bug

BCQs must have a power-of-two number of elements.  Humorously enough,
this has been fucked up for a long time.  The critical fix is in
k/i/r/event.h.  Everything else is some extra debugging / testing code.

9 years agoFixes nasty kthread bug
Barret Rhoden [Fri, 6 May 2011 01:43:41 +0000 (18:43 -0700)]
Fixes nasty kthread bug

We were freeing the stack we were about to use, which is a bad idea.
Bug showed up as TAILQ corruption (often PFs) in alarm code, and once a
non-empty semaphore in a waiter in sys_block().  The "freed" stack was
being reused for the exact same code path (another sys_block), and
occasionally for other syscalls with a deeper stack (clobbering the LL

9 years agoAlarm debugging tools
Barret Rhoden [Fri, 6 May 2011 01:42:26 +0000 (18:42 -0700)]
Alarm debugging tools

Can see which waiters are running on all cores via the monitor.  I'll
probably add a lot more to this, but it's quite useful already!

9 years agoUser can set how long sys_block() sleeps
Barret Rhoden [Thu, 5 May 2011 18:41:05 +0000 (11:41 -0700)]
User can set how long sys_block() sleeps

9 years agoFixed corner case with alarm rel_time
Barret Rhoden [Thu, 5 May 2011 01:26:43 +0000 (18:26 -0700)]
Fixed corner case with alarm rel_time

With rounding errors when time > now, you could get rel_time == 0, which
shuts off the alarm.

For those curious, the time on hardware to set a 1 usec alarm, sleep on
it, and wake back up is around 3.1 usec, depending on cache hotness.

9 years agoArch independent per-cpu initialization
Barret Rhoden [Wed, 4 May 2011 23:16:07 +0000 (16:16 -0700)]
Arch independent per-cpu initialization

Put the common stuff in k/s/smp.c, and the arch dependent stuff in

9 years agoset_core_timer() now takes a periodic flag
Barret Rhoden [Wed, 4 May 2011 23:03:32 +0000 (16:03 -0700)]
set_core_timer() now takes a periodic flag

So far the only use of set_core_timer() uses a one-shot timer.  The old
periodic style was resulting in a lot of confusing interrupts and
anomalous events, especially in KVM.  Regardless, I want a one-shot

Note that most people should never call set_core_timer().  If you do,
you'll conflict with the alarm code.  Just use the alarm stuff.

9 years agoConverts sys_halt_core() to use alarms
Barret Rhoden [Wed, 4 May 2011 22:50:57 +0000 (15:50 -0700)]
Converts sys_halt_core() to use alarms

Not sure what we want to do long term for core halting.  This will keep
halting the core until the timer is up, servicing interrupts along the
way.  There are a lot of interrupts coming in to core 0 on hardware too.

Note if you want to kfunc sys_halt_core(), your arguments are in hex. =P

9 years agoConverts blockdev and sys_block() to use alarms
Barret Rhoden [Wed, 4 May 2011 00:11:17 +0000 (17:11 -0700)]
Converts blockdev and sys_block() to use alarms

sys_block() uses the kthread-style alarm, and the blockdev fake
interrupt uses the handler-style alarm.  Now, we should be able to have
a bunch of alarms, whether blockdev or sys_block, on all the cores at

9 years agoAlarm infrastructure
Barret Rhoden [Tue, 3 May 2011 22:28:50 +0000 (15:28 -0700)]
Alarm infrastructure

Allows you to block a kthread for a while or to run a handler after a
while.  These alarms are grouped in sorted chains, which are attached to
an interrupt source.  Currently, there are chains for the per-core timer

Check out k/i/alarm.h for a quick howto.

9 years agoPthread lists to track syscalls threads blocked on
Barret Rhoden [Wed, 13 Apr 2011 01:36:40 +0000 (18:36 -0700)]
Pthread lists to track syscalls threads blocked on

Doesn't do much with them yet, will sort out overflow soonish.

9 years agoFixes memory leak with hashtable_iter
Barret Rhoden [Fri, 22 Apr 2011 21:02:20 +0000 (14:02 -0700)]
Fixes memory leak with hashtable_iter

Lots of ughs with this.  Had they not typedef'd, it might have been more
obvious.  The best way would be to have the caller provide the memory
too, so we can use stack vars, but whatever.  3rd party code...

Also changed the remaining two users to use hash_for_each.

9 years agostruct syscall's flags is now an atomic_t (XCC)
Barret Rhoden [Thu, 14 Apr 2011 23:17:24 +0000 (16:17 -0700)]
struct syscall's flags is now an atomic_t (XCC)

Sparc needed this, since their atomic or works weirdly.  Also, it's a
bit safer in general.  Note, you shouldn't try to 'or' in flags in the
third byte, since sparc's atomics will break.

Rebuild your cross compiler.

9 years agoFixes sparc syscall interface (XCC)
Barret Rhoden [Thu, 14 Apr 2011 22:28:45 +0000 (15:28 -0700)]
Fixes sparc syscall interface (XCC)

Sparc wasn't passing the actual syscall*.  This also fixes up the ghetto
numbering (a0 in userspace being a1 in the kernel), as well as trimming
ros_arch_syscall down to the two needed parameters.

You ought to rebuild your sparc cross compiler.

9 years agoMakefile TARGET_ARCH fixes
Barret Rhoden [Thu, 14 Apr 2011 09:30:00 +0000 (02:30 -0700)]
Makefile TARGET_ARCH fixes

TARGET_ARCH is passed from GNUMakefile to recursive makes.  c3po also is
only a user-lib when the TARGET_ARCH is i686.  Once c3po can handle
sparc, then we can change that back.

9 years agoResyncs parlib's sparc's atomics with the kernel's
Barret Rhoden [Thu, 14 Apr 2011 09:25:46 +0000 (02:25 -0700)]
Resyncs parlib's sparc's atomics with the kernel's

Note that while similar, userland atomics in sparc are slightly
different than their kernel counterparts.  One big difference is that
sparc (and x86 too) doesn't not have an atomic_add().  This name
conflicts with glibc, and is part of a larger problem of having two
sources of atomic primitives that might not line up right.
user/parlib/include needs to work with both ROS and glibc (for now), so
this causes problems.

Another difference is with irqsaves (or lack thereof).

Normally, userspace just needs to get the functions it needs, but it was
behind enough that it just received most of the ones from the kernel.

9 years agoGit properly ignores the symlink u/parlib/inc/arch
Barret Rhoden [Thu, 14 Apr 2011 09:23:58 +0000 (02:23 -0700)]
Git properly ignores the symlink u/parlib/inc/arch

Wasn't adjusted back when we moved user/include to user/parlib/include.

9 years agoParlib's rstdio.h -> ros_debug.h
Barret Rhoden [Thu, 14 Apr 2011 09:20:52 +0000 (02:20 -0700)]
Parlib's rstdio.h -> ros_debug.h

parlib.h includes ros_debug.h, so you can still turn on printd or make
ros_debug calls.

9 years agoFixes compilation errors with remote call code
Barret Rhoden [Mon, 11 Apr 2011 20:54:52 +0000 (13:54 -0700)]
Fixes compilation errors with remote call code

Some things since the rebase weren't working, specifically the MCS locks
and parlib code depending on pthread code (albeit just for a printf).

9 years agoFix kref references that are no longer there.
David Zhu [Fri, 1 Apr 2011 11:10:58 +0000 (04:10 -0700)]
Fix kref references that are no longer there.

kref changed to p_kref.

9 years agoMaking tests compile even when arsc is not used.
David Zhu [Fri, 4 Feb 2011 23:31:26 +0000 (15:31 -0800)]
Making tests compile even when arsc is not used.

Converting arsc_server flag to be both user and kernel.

9 years agoMake arsc and local async calls use the same structure.
David Zhu [Wed, 26 Jan 2011 23:35:52 +0000 (15:35 -0800)]
Make arsc and local async calls use the same structure.

Instead of putting the entire call and the parameters in the ring,
we now use a pointer to an external structure that the caller waits

This allows for consistent waiting interface on both remote and
local calls.

9 years agoAdding test case for multproducer async calls.
David Zhu [Mon, 15 Nov 2010 02:23:32 +0000 (18:23 -0800)]
Adding test case for multproducer async calls.

Fixed ring buffer and arsc to support out of order processing.
Eventually this will be converted to use similar mechanisms as local
async calls and simply use the ring buffer as a way of shipping async
call structures around.

9 years agoMore addition to arsc infrastructure.
David Zhu [Thu, 28 Oct 2010 21:34:23 +0000 (14:34 -0700)]
More addition to arsc infrastructure.

Specifically, decoupling arsc call page from procdata.
Create an interface that may be used for proc-to-proc call.
Preparing arsc for multi-threaded calls and reordering of request/response.

9 years agocosmetic change. removing unnecessary elf_info struct.
David Zhu [Fri, 20 Aug 2010 21:13:49 +0000 (14:13 -0700)]
cosmetic change. removing unnecessary elf_info struct.

9 years agoMake clean also cleans userspace
Barret Rhoden [Wed, 30 Mar 2011 01:47:08 +0000 (18:47 -0700)]
Make clean also cleans userspace

It was just cleaning the kernel and tests.

9 years agommap() with addr 0 will start from BRK_END
Barret Rhoden [Sat, 26 Mar 2011 00:22:33 +0000 (17:22 -0700)]
mmap() with addr 0 will start from BRK_END

I might prefer having userspace be the one to adjust the addr to BRK_END
instead of the kernel, but this gets the job done.

9 years agoDisable notifs when changing TLSs
Barret Rhoden [Fri, 25 Mar 2011 21:05:24 +0000 (14:05 -0700)]
Disable notifs when changing TLSs

9 years agoMore careful about memory allocations
Barret Rhoden [Fri, 25 Mar 2011 20:29:40 +0000 (13:29 -0700)]
More careful about memory allocations

Also note we could have been freeing the wrong size of stacks if someone
happened to use the attrs.

9 years agoHash for each helpers
Barret Rhoden [Wed, 23 Mar 2011 20:52:00 +0000 (13:52 -0700)]
Hash for each helpers

In case you want a for each over each value of the hash.  Not a big

9 years agoFixes uthread sysc block logic
Barret Rhoden [Fri, 18 Mar 2011 00:24:27 +0000 (17:24 -0700)]
Fixes uthread sysc block logic

The old version would only screw up if we blocked in uthread_init()
before we entered _M mode.  This way is much clearer, and provides an
approved way to see if you're _M or not.

9 years agoProperly clears cur_sysc when leaving a core
Barret Rhoden [Thu, 17 Mar 2011 23:26:59 +0000 (16:26 -0700)]
Properly clears cur_sysc when leaving a core

This was responsible for the PF when bin_run()ning a non existant
program after running a program on core 0.

9 years agoTest functions for blocking
Barret Rhoden [Thu, 17 Mar 2011 22:06:08 +0000 (15:06 -0700)]
Test functions for blocking

You can use looper.sh to run an app until it fails (or you reboot).
Use it from busybox with: ash looper.sh block_test.

9 years agoFixes bug in pop_ros_tf
Barret Rhoden [Wed, 16 Mar 2011 02:38:39 +0000 (19:38 -0700)]
Fixes bug in pop_ros_tf

Brutal bug, where branches would make the wrong decision and syscall
structs would get clobbered.  EFLAGS wasn't restored, so an unlucky
IPI/notification would result in bad CCs.  Note: subl and addl affect
the flags.

Also, don't use the vcore stack for things like syscall struct storage
after you enable notifs!  Once notifs are enabled, you should not be
touching the vcore stack.

9 years agoFixes mhello to play nice with uthread
Barret Rhoden [Wed, 16 Mar 2011 02:16:09 +0000 (19:16 -0700)]
Fixes mhello to play nice with uthread

Previously, you wouldn't be able to restart thread 0.

9 years agoCatch bugs in sys_block()
Barret Rhoden [Tue, 15 Mar 2011 21:32:14 +0000 (14:32 -0700)]
Catch bugs in sys_block()

Do not call sys_block (or sleep in a blockdev blocking call!) in more
than one place at a time.  This will try to catch multiple uses of the
interrupt handler's void*, though it isn't atomic so it will not catch

9 years agoStop passing uthread to __uthread_yield()
Barret Rhoden [Mon, 14 Mar 2011 21:58:46 +0000 (14:58 -0700)]
Stop passing uthread to __uthread_yield()

No need to, and there's a chance of it fucking around with stacks before
we fully get in vcore context.

9 years agoRemoves vcores_wanted() from 2LS ops
Barret Rhoden [Mon, 14 Mar 2011 18:56:34 +0000 (11:56 -0700)]
Removes vcores_wanted() from 2LS ops

It was only called from thread_runnable, which was right after another
2LS op where they can just request what they want.

9 years agoPthread: stop accessing memory after it was freed
Barret Rhoden [Mon, 14 Mar 2011 18:47:51 +0000 (11:47 -0700)]
Pthread: stop accessing memory after it was freed

9 years agoSupport for blocking and restarting uthreads (XCC)
Barret Rhoden [Mon, 14 Mar 2011 18:41:56 +0000 (11:41 -0700)]
Support for blocking and restarting uthreads (XCC)

Test it out with SYS_block.  Uthreads will call out to the 2LS to block
on syscalls.  Pthread code has an example of what to do (though it
doesn't deal with missed messages/overflow yet).

This also introduces a 'state' variable for uthreads, which is mostly
used for debugging in various places.

There's an odd bug floating around still, noticed most recently in
being in vcore_context in thread_yield.  It isn't obvious, relies on
timing, and is very rare.  If you get it regularly, call me.

Rebuild your cross compiler, or at least reinstall your kernel headers.

9 years agoAtomic or for ints (flag variables)
Barret Rhoden [Mon, 14 Mar 2011 16:34:00 +0000 (09:34 -0700)]
Atomic or for ints (flag variables)

9 years agoFixes user/parlib arch symlink
Barret Rhoden [Mon, 14 Mar 2011 16:31:28 +0000 (09:31 -0700)]
Fixes user/parlib arch symlink

9 years agovcore_idle()
Barret Rhoden [Sat, 12 Mar 2011 02:17:02 +0000 (18:17 -0800)]

When you don't want to give up a vcore, but you don't know what to do.
Can only break out via an IPI/notif/interrupt.

9 years agoFixes _exit and abort() to use exit codes (XCC)
Barret Rhoden [Fri, 11 Mar 2011 01:24:43 +0000 (17:24 -0800)]
Fixes _exit and abort() to use exit codes (XCC)

abort() is a bit ugly, but it works for now.  If you ever see an exit
value of 1337, it is because the kernel directly called proc_destroy().

Rebuild your cross compiler if you want this stuff to work.

9 years agoProactive 0s new vm_region structs
Barret Rhoden [Thu, 10 Mar 2011 02:32:22 +0000 (18:32 -0800)]
Proactive 0s new vm_region structs

This will help catch bugs for now, though if you're using create_vmr(),
be sure to read the comment telling you how to use it!  Caller is
supposed to initialize the extra fields.

9 years agoMinor changes to proc_restartcore()
Barret Rhoden [Tue, 8 Mar 2011 03:01:48 +0000 (19:01 -0800)]
Minor changes to proc_restartcore()

9 years agouthread yield and exit code merged
Barret Rhoden [Tue, 8 Mar 2011 01:25:39 +0000 (17:25 -0800)]
uthread yield and exit code merged

Exit now calls yield with a DYING flag set.  2LSs still have both
callbacks; this just simplifies uthread code a bit.  uthread_yield() is
now the only way for a uthread to pause its state and hop into vcore
context.  Exit does this, just without worrying about its old context.

9 years agoGCC/uthread callbacks on blocking syscalls (XCC)
Barret Rhoden [Tue, 8 Mar 2011 00:04:39 +0000 (16:04 -0800)]
GCC/uthread callbacks on blocking syscalls (XCC)

Doesn't do much yet, just runs a 2LS handler.  The uthread stuff will
change a bit soon, and that handler will run in the bottom half of a
yield-ish path in vcore context.

Rebuild your cross compiler.

9 years agoMCS locks have a "notification-safe" variant
Barret Rhoden [Sat, 5 Mar 2011 01:41:18 +0000 (17:41 -0800)]
MCS locks have a "notification-safe" variant

Any lock that is grabbed from vcore context needs to use
mcs_lock_notifsafe(), which is analagous to using irqsave in the kernel
on its spin_locks.

9 years ago2LS op for how many vcores to request
Barret Rhoden [Sat, 5 Mar 2011 00:14:19 +0000 (16:14 -0800)]
2LS op for how many vcores to request

Called out of uthread_runnable(), for now.  Yielding or whatever is done
by the 2LS sched_entry(), which should never return.

9 years agoMCS locks are smaller and don't rely on vcore_id()
Barret Rhoden [Fri, 4 Mar 2011 23:16:48 +0000 (15:16 -0800)]
MCS locks are smaller and don't rely on vcore_id()

If you had a non-irq_save MCS lock, you would have issues with having
multiple threads lock on the same vcore, or a thread locking and
unlocking on different vcores.

Also, this only uses memory for the callers spinning location (the
qnode) when needed, instead of statically allocating it.  The memory for
these should be per-thread (TLS, stack, whatever).  This also gets rid
of the need for the padding.

9 years agoMakes 'make' make less noise
Barret Rhoden [Fri, 4 Mar 2011 01:56:43 +0000 (17:56 -0800)]
Makes 'make' make less noise

9 years agoAllows apps to implement vcore_entry() (XCC)
Barret Rhoden [Fri, 4 Mar 2011 01:54:43 +0000 (17:54 -0800)]
Allows apps to implement vcore_entry() (XCC)

By default, vcore_entry() calls uthread_vcore_entry(), which is the
standard way to work with user-threads / 2LSs.  An app can write a
vcore_entry(), but you'll miss out lots of things.

Rebuild your cross compiler.

9 years agoSplit uthread code into its own source file
Barret Rhoden [Fri, 4 Mar 2011 00:48:20 +0000 (16:48 -0800)]
Split uthread code into its own source file

Some things were a bit uneven, mostly due to event code calling some
functions that think there is a 2LS / sched_ops.  That sort of stuff
goes into uthread.  If you want to not use the uthread code, then you
get to write your own event handling helpers too.  Have fun working with
the raw kernel interface!

9 years agoCosmetic changes, biggest being current_thread renamed to current_uthread
Kevin Klues [Thu, 3 Mar 2011 04:24:07 +0000 (20:24 -0800)]
Cosmetic changes, biggest being current_thread renamed to current_uthread

9 years agoMoves retvals, start_routine, and args to the 2LSs
Barret Rhoden [Thu, 3 Mar 2011 01:55:41 +0000 (17:55 -0800)]
Moves retvals, start_routine, and args to the 2LSs

Gets the vcore/uthread code out of the business of worrying about
function arguments, stacks, return values, etc.  It also cleans up the
pthread code a bid (don't have to look into the uthread much), with the
exception of init_user_tf().  No way to avoid that look (either for
that, or for stacktop).

It also splits uthread_create() from uthread_runnable(), which was
necessary for the arg indirection (which we did in uthread before), and
is also sort of nice.

Not 100% on this.  Depends if we're going to want schedulers that don't
care about retvals, args, and such, or if they want to do it in a way
that isn't pthreads.  Imagine a creating a thread that takes more than
one argument!!!  *gasp*!  My main concern is that pthread-specific
things get buried in the vcore/uthread code.

9 years agoPulled code specific to all 2LS out of pthread.c
Barret Rhoden [Thu, 3 Mar 2011 01:06:36 +0000 (17:06 -0800)]
Pulled code specific to all 2LS out of pthread.c

In general, I tried to keep things the same as before.  Things got
moved, but there should be very little new behavior.  For instance,
uthread_yield is the old pthread_yield, but with a call out to the 2LS
to do its thing.  Its thing is the same pthread-specific thing as

The test programs that had a vcore_entry() needed to be changed.  Don't
trust any of them, though mhello and syscall still work well.  The
others are so ancient it isn't worth keeping them up, esp since they do
stuff they shouldn't.

c3po doesn't build, mostly due to issues with current_thread.  That
specific __thread belongs to the vcore.  c3po can either use vcores,
like the pthread code does or have another that it uses.  I didn't want
to mess with this too much, so you'll get compile errors.

9 years agoPthread code makes sure it goes into _M mode
Barret Rhoden [Wed, 2 Mar 2011 19:08:04 +0000 (11:08 -0800)]
Pthread code makes sure it goes into _M mode

Was causing assertion failures since it wasn't really in _M mode (which
is what the assertions are there for!).  Adds a few more assertions
about when we are in vcore_context.

9 years agoMinor bug fix in resource.c
Barret Rhoden [Wed, 2 Mar 2011 19:11:15 +0000 (11:11 -0800)]
Minor bug fix in resource.c

Only affects a few commits.

9 years agoComplete rewrite of c3po for multicore
Kevin Klues [Wed, 2 Mar 2011 01:15:31 +0000 (17:15 -0800)]
Complete rewrite of c3po for multicore

I'm trying to factor the code in such a way that we can use a common code base
for both ROS and linux.  In the current revision, everything only runs on ROS,
but soon all "vcore" specific code can be implemented for linux by spawning an
underlying linux task and scheduling user threads on top of them.

Currenlty the code only runs reliably if we simply jump to multicore mode, but
don't put any more requests in for vcores (i.e. vcore_request is only called
once, asking for one core).  We are working through the bugs to figure out why
this is the case, but most signs point to either a kernel bug, or a low level
userspace bug, beneath the library code implemented here.  the test app for
c3po is still under tests/c3po/c3po_test.c

9 years agoRename of *debug* functions to ros_*debug*
Kevin Klues [Wed, 2 Mar 2011 01:13:36 +0000 (17:13 -0800)]
Rename of *debug* functions to ros_*debug*

Mostly to reduce naming conflicts with other libraries that want to have
functions called debug.

9 years agoStray ) in the install targets removed
Kevin Klues [Wed, 2 Mar 2011 01:12:39 +0000 (17:12 -0800)]
Stray ) in the install targets removed

9 years agoMake c3po compile with std=gnu99
Kevin Klues [Wed, 23 Feb 2011 03:45:56 +0000 (19:45 -0800)]
Make c3po compile with std=gnu99

9 years agoproc_destroy() refcnting issues dealt with
Barret Rhoden [Tue, 1 Mar 2011 22:11:46 +0000 (14:11 -0800)]
proc_destroy() refcnting issues dealt with

proc_destroy() needs to have an edible reference, which it did not have
from __do_mmap().  Incidentally, we just don't call it from there
anymore, but there were a few other unlikely errors that would be

For now, all code using a struct proc * needs to know where it got the
refcount from.  Code in the syscall path (and mm.c) usually is
'borrowing' the ref from current, and is not able to be passed without
incref to certain functions.  Also note that you can't incref too much,
since functions like proc_destroy() assume they are taking your
"working" reference (i.e., the one you passed to the function) that
should be refcnt'd exactly once.

As this is the most likely way to fuck up ref counting with processes,
if you see something odd with refcnts (kref assertions, env_cr3 != rcr3,
etc), look in places that involve these "might-not-return" functions.

9 years agoProc refcnting wrappers
Barret Rhoden [Mon, 28 Feb 2011 23:41:45 +0000 (15:41 -0800)]
Proc refcnting wrappers

Uses proc_incref() and proc_decref() for help with debugging.  Note that
not all sources of incref are via proc_incref() (specifically,
pid2proc()), and other places can still access the kref directly.

9 years agoPROC_DYING cases handled
Barret Rhoden [Mon, 28 Feb 2011 22:05:26 +0000 (14:05 -0800)]
PROC_DYING cases handled

Yield and tlbshootdown can handle a dying process.  Should get rid of
annoying warnings/panics.

9 years agoUser code can tell if it is in vcore context (XCC)
Barret Rhoden [Mon, 28 Feb 2011 19:11:10 +0000 (11:11 -0800)]
User code can tell if it is in vcore context (XCC)

Use the function in_vcore_context().  Also moved some functions to
vcore.h that can be easily inlined.

Rebuild your cross compiler.

9 years agoAllows application-specific event handling (XCC)
Barret Rhoden [Fri, 25 Feb 2011 22:03:00 +0000 (14:03 -0800)]
Allows application-specific event handling (XCC)

Programs can assign ev_handlers to an event queue.  Mostly untested, for

Reinstall your kernel headers.

9 years agoVcore helper for clearing notif_pending
Barret Rhoden [Fri, 25 Feb 2011 00:42:36 +0000 (16:42 -0800)]
Vcore helper for clearing notif_pending

Clears pending, catches most of the races.  pop_ros_tf() is still the
final point to catch those sorts of things.  Changes to ros/membar.h are
cosmetic, so you shouldn't need to reinstall kernel headers or rebuild
your XCC.

9 years agoEvent handlers also take the ev_type
Barret Rhoden [Thu, 24 Feb 2011 23:45:07 +0000 (15:45 -0800)]
Event handlers also take the ev_type

So handlers call for bits/no_msg can tell what type they are, which
would be useful for a generic handler.

9 years agoenable_kevent() takes flags, not a bool
Barret Rhoden [Thu, 24 Feb 2011 23:36:46 +0000 (15:36 -0800)]
enable_kevent() takes flags, not a bool

Some places were already using flags, which is more flexible.  Not that
enable_kevent() is really that great anyway...

9 years agoVCORE_APPRO sets the ev_mbox
Barret Rhoden [Thu, 24 Feb 2011 22:48:03 +0000 (14:48 -0800)]
VCORE_APPRO sets the ev_mbox

When the kernel is picking what the vcore ought to be, the kernel will
use the vcore's ev_mbox.  Needs to be this way, since the user doesn't
know which vcore the message is going to (which is the nature of
VCORE_APPRO).  If  want something that allows a message to go to an
ev_q's mbox, but the IPIs to get sent somewhere else, then use something
like Round-Robin.

9 years ago2LS handles pending preemptions
Barret Rhoden [Thu, 24 Feb 2011 20:18:15 +0000 (12:18 -0800)]
2LS handles pending preemptions

Initial 2LS schedule_ops, one of which is a sched-specific way to deal
with a pending preemption.

9 years agoFix for not having a cr3 loaded at all times
Barret Rhoden [Wed, 23 Feb 2011 23:03:25 +0000 (15:03 -0800)]
Fix for not having a cr3 loaded at all times

If you were in _M mode and sent and event from a core with no proc
current, you'd end up with the old proc's cr3 loaded.

9 years agoDefault event handling infrastructure
Barret Rhoden [Wed, 23 Feb 2011 22:41:45 +0000 (14:41 -0800)]
Default event handling infrastructure

2LSs/whoever can register handlers in ev_handlers to deal with specific
events.  For now, use the default ev_ev handler for EV_EVENT.
handle_events() works for a vcore's default mbox, and handle_event_q()
works for generic ev_qs.

9 years agoVcore helper for enable/disable notifications
Barret Rhoden [Wed, 23 Feb 2011 22:41:23 +0000 (14:41 -0800)]
Vcore helper for enable/disable notifications

9 years agoBitmask updates
Barret Rhoden [Wed, 23 Feb 2011 22:35:00 +0000 (14:35 -0800)]
Bitmask updates

Extracted some arch-indep code into inc/bitmask.h.  Adds
BITMASK_FOREACH_SET(), which will execute a function passing it the
number of each set bit in the map.

9 years agoMakefile cosmetics
Barret Rhoden [Thu, 24 Feb 2011 00:55:57 +0000 (16:55 -0800)]
Makefile cosmetics

9 years agoAdding a debug function to printout buffers like tcpdump.
David Zhu [Tue, 22 Feb 2011 06:37:28 +0000 (22:37 -0800)]
Adding a debug function to printout buffers like tcpdump.

9 years agoGeneral E1000 cleanup documentation and fixes
David Zhu [Tue, 22 Feb 2011 09:19:03 +0000 (01:19 -0800)]
General E1000 cleanup documentation and fixes

Paul network cherry-pick #2.
This is a general cleanup commit. I added extensive documentation
as well as cleaned up ugly parts of code.

fixed some subtle issues with the RX and TX descriptor rings
that could result in odd behavior.



9 years agoBuild system to map MMIO into our virtual address space.
Paul Pearce [Thu, 22 Apr 2010 21:32:59 +0000 (14:32 -0700)]
Build system to map MMIO into our virtual address space.

cherry-pick paul commit #1
Added a new function, mmio_alloc, which pulls pages from the space
above LAPIC_BASE + PGSIZE, and maps them to physical pages that
are used for MMIO by devices.

This removes all the hacky MMIO code from the driver and arch/pmap.c

9 years agoQuick fix to the compile error.
David Zhu [Tue, 22 Feb 2011 06:45:22 +0000 (22:45 -0800)]
Quick fix to the compile error.

9 years agoOnly compile statically for c3po tests the same as other tests
Kevin Klues [Tue, 22 Feb 2011 05:29:45 +0000 (21:29 -0800)]
Only compile statically for c3po tests the same as other tests

9 years agoForce glibc libraries into kfs on install-libs make target
Kevin Klues [Tue, 22 Feb 2011 05:29:28 +0000 (21:29 -0800)]
Force glibc libraries into kfs on install-libs make target

9 years agoAddition of c3po library, including revamp of Make system for user libraries.
Kevin Klues [Tue, 22 Feb 2011 02:54:01 +0000 (18:54 -0800)]
Addition of c3po library, including revamp of Make system for user libraries.

The c3po library is currently only functional in single core process mode, with
threads that run to completion or yield the processor voluntarily. No AIO
functionality is working yet either. I plan to soon get it working in
multi-core mode so that its threads can be multiplexed on multiple vcores as
well as get the AIO stuff working.  One encouraging thing, however, is that we
are in fact using the linked stack stuff, and the capriccio scheduler code with
only MINOR modifications, and everything seems to be working properly.  A test
application called c3po_test.c has been placed under tests/c3po/ and is based
on a modified version of pthread_test.c.

As it pertains to the Make system revamp, all user libraries are now self
contained in that they include a top level Makefile instead of a Makefrag
dependent on the ros build environment.  In GNUmakefile, these libraries are
built with a recusrive make, rather than including a Makefrag and invoking them
that way.  This change required a small change to the cross compiler Makefile,
but should NOT require a rebuild as it was just modified to be aware of the
reorganization; no actual header files were modified.

I also separated the pthread commands out of libparlib, so they are only now
contained in libpthread and not both.  If you build an app that relies on the
pthread library you now need to icnlude both -lpthread and -lparlib in order to
use them.  This change was necessary now that we are introducing the
libc3po library that implements the pthread functions differently.  To use
c3po, simply include -lc3po and -lparlib together instead of -lpthread.

While making these changes, I also revamped the Make system as it relates to
building tests.  By default, all of the test files in the tests/ directory are
compiled together with -lpthread and -lparlib.  Take a look at the changes to
see how I added a c3po subfolder that allows you to compile other tests with
different Makefile flags.  This process can be emulated to include other
subfolders taht group test files together that require any combiantion of
flags, or settings.

There is also a new install-tests Make target that will put all of the binaries
made during a 'make test' into the bin directory of the first entry in