akaros.git
4 years agoAdd specs for argenv interface with the kernel
Kevin Klues [Sat, 11 Jul 2015 00:02:40 +0000 (17:02 -0700)]
Add specs for argenv interface with the kernel

The argenv struct defines the layout of the argenv pointer serialized by
the user function serialized_argv_envp.  This will become important as
we move towards passing this pointer to sys_proc_create() and
sys_exec().

4 years agoAdd serialization for syscall args (XCC)
Kevin Klues [Fri, 10 Jul 2015 08:39:38 +0000 (01:39 -0700)]
Add serialization for syscall args (XCC)

It is useful to be able to serialize data into a single buffer for
passing data to the kernel.  The first use case of this is serializing
the data pointed to by argv and envp along with their pointers.
Currently, we use procinfo to serialize this data and pass it to the
kernel. This is unnecessarily limiting (procinfo is read-only and
limited in size), and there may be other data we would like serialized
in the future. It would be unreasonable to keep expanding procinfo every
time we had a new data structure we wanted to serialize to the kernel.

This commit introduces a new struct serialized_data, which contains
nothing more than a size and an unbounded buffer. Serialization routines
can be written around this type to serialize their input and return a
newly allocated buffer with all of the serialized data contained in it.
All pointers in the data structure must be relative to the base of the
argument buffer itself (rather than absolute pointers).  I've written a
serializer for the argv and envp stuff to pack all of their data into a
single buffer. The plan is to use this new serialized representation to
replace the existing procinfo approach to passing this data into the
kernel (though that will come in a subsequent commit).  More serializers
can be written following this pattern as desired in the future.

I toyed around with the idea of not serializing the argv and envp data
at all, and just passing their pointers directly to the kernel. However,
this approach proved to get increasingly complicated as I started to
reason through what needed to be done to verify all of the user memory
while walking these data structures in the kernel. It's obviously doable
(linux does it this way, for example), but it is unnecessarily
complicated, and likely safer, to just pass the serialized data in.

By serializing the data, we can pass a single pointer and a
length to the kernel (similar to how we do for our path strings), and
the kernel can do a quick check to verify that all of the memory to be
accessed is mapped in and within bounds. I very much like this pattern,
moving forward, for all complicated data structures we may need to pass
to the kernel. We may not always be able to get away with it, but it
makes sense to use it when we can.

In terms of implementing this stuff, I put the actual code in glibc and
the header file in parlib. Ideally I would have put it all in parlib
(since it's not really a part of glibc), but I already know that
sys_exec will need access to these functions, and there may be others in
the future.  The header file belongs where it is though, as this really
is a parlib operation.

As part of this, I also wrote a simple test that demonstrates how the
serialization of argv and envp works. It is called serialize_test.

4 years agoRTLD_START passes correct args to _dl_init (XCC)
Kevin Klues [Thu, 9 Jul 2015 17:43:01 +0000 (10:43 -0700)]
RTLD_START passes correct args to _dl_init (XCC)

Previously, we used the default RTLD_START for x86_64, which relied on
argv and friends being passed in on the stack. In Akaros, we pass these
values in via procinfo, not on the stack.

RTLD_START is called after dl_open() is called, which uses our existing
implementation of DL_FIND_ARG_COMPONENTS in dl-sysdep.c to extract the
arguments properly from procinfo.  However, RTLD_START wasn't using
these extracted values when calling _dl_init(). It was attempting to
find these values on the stack (where they don't exist in Akaros!) and
then passing them to _dl_init(). In the new version, we now pass the
values extracted from our DL_FIND_ARG_COMPONENTS macro to
_dl_init() properly.

This problem was first noticed when I wanted to use the glibc-defined
variable 'program_invocation_name' in a test I was writing. Under the
hood, this variable takes the value of argv[0]. Statically linked
programs had this variable set properly.  Dynamically linked programs
didn't (because incorrect args were being passed to _dl_init()).

In fixing this stuff up, I noticed that we don't properly handle the
skipping of argments, as specified by _dl_skip_args when running
_dl_open().  The old implementation of RTLD_START took care to skip the
right number of arguments based on this variable and then patch up the
stack appropriately.  Since we get our arguments from procinfo, we can't
patch things up so easily (procinfo is read-only).  We'll either need to
come up with something cleverer, or somehow interpose on _start and push
our extracted arguments from procinfo onto the stack before calling
_start(). This may be the better approach overall since having the args
on the stack is technically part of the ELF ABI.

We also don't properly handle passing our _dl_fini() function as the 6th
argument to __libc_start_main(), or passing the start address of the
user-accessable stack as the 7th argument. We are passing a pointer to
_dl_fini() into _start properly (via %rdx as specified by the ELF ABI),
we just ignore it currently. We should revisit this in the (near)
future.

The new tests/progname.c should now work for both statically and
dynamically linked binaries. Previusly it only worked for statically
linked ones.

4 years agoAdd #include to remove warning for errstr()
Kevin Klues [Wed, 8 Jul 2015 19:22:09 +0000 (12:22 -0700)]
Add #include to remove warning for errstr()

4 years agoFix bug introduced when adding sem_timedwait
Kevin Klues [Tue, 7 Jul 2015 21:23:22 +0000 (14:23 -0700)]
Fix bug introduced when adding sem_timedwait

Previously, all we needed was the __sem, but now we have a wrapper
around it to support sem_timedwait()

4 years agoFixes arpread
Barret Rhoden [Mon, 6 Jul 2015 18:49:59 +0000 (14:49 -0400)]
Fixes arpread

We were converting from bytes to a string, and then trying to print that
string as a series of bytes (which is what %E does).  We only need to
convert the MAC addr once, in printk().

4 years agoUpdate Makelocal.template with 'akaros' (not ros)
Kevin Klues [Mon, 6 Jul 2015 16:13:40 +0000 (09:13 -0700)]
Update Makelocal.template with 'akaros' (not ros)

Also set default MAKE_JOBS equal to the number of cpus on the machine,
minus one

4 years agoComplete rewrite of Makefile
Kevin Klues [Thu, 2 Jul 2015 02:56:44 +0000 (19:56 -0700)]
Complete rewrite of Makefile

This was motivated by the desire to add new features to the makefil,
such as "make install-kernel-headers", etc. Before the rewrite, this was
hard to add in easily (if not impossible).  With the new way, you just
have to add a valid SUBCMD to the VALID_SUBCMDS variable and then add a
target for your new subcommand with a '-real' extension on it.  Use the
existing 'build' and 'uninstall' build rules as templates.  There is
also better support for adding in build time checks for things like
'gawk' being installed and 'X86_64_INSTDIR' being set.  You can use the
existing templates as an example if you want to add a new error check.

New semantics are as follows:

Usage: make <arch> [ <config> ] [ <subcmd> ]
    Valid archs are: 'x86_64', 'riscv'
    Valid configs are: 'cross', 'native'
    Valid subcommands are: 'build', 'uninstall'
    If no config is specified, the 'cross' config is assumed by default.
    If no subcommand is specified, the 'build' subcommand is assumed by default.

Additional pseudo targets exist for:
    make clean
        Cleanup the build environment
    make inst-clean
        Cleanup the build environment and uninstall all compilers for all archs.

4 years agoRemoves extra arch-> symlink (XCC)
Barret Rhoden [Fri, 26 Jun 2015 22:20:44 +0000 (15:20 -0700)]
Removes extra arch-> symlink (XCC)

This was the sysroot/usr/include/arch link, which used to point to x86
or riscv.  Those directories are now in sysroot/usr/include/parlib/.

You'll need to do a make inst-clean or manually remove the symlink,
though it is mostly harmless to leave the symlink around.

4 years agovmmcp: remove RDTSCP from the set of things that we support.
Ronald G. Minnich [Tue, 30 Jun 2015 19:19:11 +0000 (12:19 -0700)]
vmmcp: remove RDTSCP from the set of things that we support.

Yuck.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoDon't use an empty path for 9p mounts. Specify /.
Ronald G. Minnich [Tue, 30 Jun 2015 19:03:59 +0000 (12:03 -0700)]
Don't use an empty path for 9p mounts. Specify /.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoEnable "VMCALL console putc" via flags. (XCC)
Ronald G. Minnich [Tue, 23 Jun 2015 18:04:52 +0000 (11:04 -0700)]
Enable "VMCALL console putc" via flags. (XCC)

We extend the vmm struct with flags.

The only flag now is VMM_VMCALL_PRINTF. If this is set, then the vmcall handler
will print out the lowest byte of the first argument to the console.

Reinstall your kernel headers.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoMake vars overwritable / fix typo: S0 -> SO
Kevin Klues [Thu, 25 Jun 2015 22:08:08 +0000 (15:08 -0700)]
Make vars overwritable / fix typo: S0 -> SO

4 years agopre_2ls stuff is now unnecessary
Kevin Klues [Thu, 25 Jun 2015 22:54:05 +0000 (15:54 -0700)]
pre_2ls stuff is now unnecessary

4 years agoRedesign of our initialization path for libs (XCC)
Kevin Klues [Thu, 25 Jun 2015 22:32:04 +0000 (15:32 -0700)]
Redesign of our initialization path for libs (XCC)

Previously there was a big mismatch of how we performed various
initialization for our various libraries, such as vcores, uthreads,
pthreads, etc.

We now do initialization based on libc *constructors* functions as
defined with an __attribute__((constructor)) attribute.  Doing
initalizaton this way makes things more consistent, as well as ensures
that evertything we want to have initialized gets initialized early on in
the lifetime of an application, while at the same time allowing us to
easily add per-library initialization simply by linking in some extra
libraries.

We previously had a hodgepodge of workarounds to essentially try and
give us this functionality, none of which worked very well (mostly based
on overwriting weak symbols and/or calling certain functions (i.e.
vcore_event_init()) in places that made following the logic of
initialization confusing).  Now all startup initialization occurs via
*constructor* functions with the name '*_lib_init()' and depenencies are
preserved using 'init_once_racy()' calls as the very first call in each
of these functions, followed by calls to the specific *_lib_init()
functions they depend on. Following this discipline, all *_lib_init()
functions will be called *exactly* once, and all of them will be called
in the proper order (even if they get called multiple times, they will
only execute once due to the init_once_racy() call). The hacky call to
vcore_event_init() in _start is now completely eliminated with this
design.

As part of this redesign, a few modifications were also made to separate
out what it really means to "initailize" a uthread and "initialize" a
pthread vs. both intitializing these constructs as well as transitioning
into an MCP. Previously, initializing the uthread library implicitly
turned you into an MCP.  Now there is an explicit call for
uthread_mcp_init() (which is also wrapped by pthread_mcp_init()), who's
sole purpose is to transition a process into an MCP that is
uthread/pthread ready. It is this functionality that we *actually*
needed to ensure was executed whenever we first call pthread_create()
and friends, not the simple initialization of thread0 to become a
uthread/pthread (that now happens inside our new constructor
functions at startup time).  Moreover, the old uthread_lib_init() is now
called uthread_2ls_init() in order to accommodate the new naming
convention, and it does essentially the same thing it did before (minus
the automatic transition into an MCP).

Because of this change in semantics, all tests that were previously
calling pthread_lib_init() explicitly (rather than relying on
pthread_create() to call it implicitly) must now call pthread_mcs_init()
instead.  This is actually more intuitive, given what its purpose is.

4 years agoRename vcore_init() -> vcore_lib_init()
Kevin Klues [Tue, 23 Jun 2015 20:09:09 +0000 (13:09 -0700)]
Rename vcore_init() -> vcore_lib_init()

This is to standardize on the naming for functions in the library that
should only be called once and perform initialization.

4 years agoGet rid of weak symbol overriding for sched_ops
Kevin Klues [Thu, 25 Jun 2015 22:26:50 +0000 (15:26 -0700)]
Get rid of weak symbol overriding for sched_ops

We now dynamically override these variables inside of our 2LS lib_init
function.  This applies similarly to our signal_ops struct as well.

4 years agoUpdates lockprov.sh
Barret Rhoden [Tue, 23 Jun 2015 18:04:33 +0000 (11:04 -0700)]
Updates lockprov.sh

Helps catch the deadlock with MCS-PDR locks.

Once the output stops scrolling, CTRL-G to get in the monitor, ps, then
kill the lockprov script (called ash, but it's PID is just a couple less
than lock_test).  Killing it just cuts down on other system activity and
gives you your shell back.

4 years agoFixes SYS_vc_entry numbering (XCC)
Barret Rhoden [Tue, 23 Jun 2015 17:45:23 +0000 (10:45 -0700)]
Fixes SYS_vc_entry numbering (XCC)

SYS_vc_entry was using the same number as SYS_abort_sysc.  I think I was
trying to keep vc_entry with similar calls, but didn't want to mess with
the numbers.  Clearly that was wrong, since I later used 31 again.

Incidentally, the last initializer wins for gcc, though a warning might
have been nice (not sure if there is a legitimate usage of this).
https://gcc.gnu.org/onlinedocs/gcc/Designated-Inits.html

Reinstall the kernel header and rebuild userspace.  No need to rebuild the
toolchain.

4 years agovmmcp: coreboot_tables: Add a reserved region from 0 -> base of memory.
Ronald G. Minnich [Tue, 23 Jun 2015 16:31:33 +0000 (09:31 -0700)]
vmmcp: coreboot_tables: Add a reserved region from 0 -> base of memory.

Some kernels want to see a definition of the hole below real memory.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoAdds hexdump to a parlib header
Barret Rhoden [Mon, 22 Jun 2015 23:31:00 +0000 (16:31 -0700)]
Adds hexdump to a parlib header

For debugging.

4 years agovmmcp: Rework coreboot tables support
Ronald G. Minnich [Thu, 18 Jun 2015 15:00:38 +0000 (08:00 -0700)]
vmmcp: Rework coreboot tables support

Adds the user header and makes coreboot_table compile.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
Git-fu'd-by: brho
Commended-by: brho and Ronald G. Minnich <rminnich@gmail.com>
4 years agoImport coreboot table support code.
Ronald G. Minnich [Thu, 18 Jun 2015 15:00:38 +0000 (08:00 -0700)]
Import coreboot table support code.

This won't compile.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agovmmcp: Handle cpuid.
Ronald G. Minnich [Thu, 18 Jun 2015 14:14:46 +0000 (07:14 -0700)]
vmmcp: Handle cpuid.

And some cleanup.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agovmmcp: this should be the complete list of registers we need to autoload
Ronald G. Minnich [Tue, 16 Jun 2015 05:23:03 +0000 (22:23 -0700)]
vmmcp: this should be the complete list of registers we need to autoload

If we set FS_BASE and GS_BASE on autoload, vmmcpkernel causes
a vmware machine check. Why?

For LSTAR:
You have to disable intercept but also for this one do autoload.

If you don't disable intercept then the guest can not read or set it.
If you don't set autoload and the guest sets it, then this non-virtualized
register will probably kill your kernel.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoVMM: repurpose vmcall for a temporary console
Ronald G. Minnich [Sat, 13 Jun 2015 04:26:00 +0000 (21:26 -0700)]
VMM: repurpose vmcall for a temporary console

We can now get part way through Plan 9

The console thing is incredibly wonderfully convenient.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoVMM: Adds Ron's test programs
Barret Rhoden [Mon, 15 Jun 2015 19:07:59 +0000 (15:07 -0400)]
VMM: Adds Ron's test programs

This collection is from a bunch of partial commits.

4 years agoAdds a tests/vmm subdirectory
Barret Rhoden [Mon, 15 Jun 2015 19:00:29 +0000 (15:00 -0400)]
Adds a tests/vmm subdirectory

We're going to have a bunch of these; makes sense to compartmentalize them.

Btw, don't use the same name for a program in the subdirectory as in the main
tests/ directory.  They'll collide at fill-kfs time.

4 years agoVMM: Remove #ifdef x86_64 from vmx.c
Ronald G. Minnich [Sat, 13 Jun 2015 15:40:59 +0000 (08:40 -0700)]
VMM: Remove #ifdef x86_64 from vmx.c

Not building it for 32 bit.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
Git-fu'd-by: brho

4 years agox86: Show epte value when printing the kpte.
Ronald G. Minnich [Fri, 12 Jun 2015 21:35:10 +0000 (14:35 -0700)]
x86: Show epte value when printing the kpte.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
Git-fu'd-by: brho

4 years agoMakes virtio_ring.h a kernel header (XCC)
Barret Rhoden [Mon, 15 Jun 2015 16:19:47 +0000 (12:19 -0400)]
Makes virtio_ring.h a kernel header (XCC)

virtio_ring.h is about communication across the user-kernel boundary.  Or
rather a kernel/VMM boundary, or any other sort of boundary with a
shared-memory interface.

In contrast, virtio.h is more about the implementation of functions for use
within the kernel/user/vm, so for now we'll keep those separate.

Reinstall your headers or rebuild the toolchain.

4 years agoAdd basic vmm library
Ronald G. Minnich [Wed, 8 Apr 2015 22:14:26 +0000 (15:14 -0700)]
Add basic vmm library

Questions: are the .h files in the right place? do they need to be in ros? I'm
once again confused by the akaros include scheme.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
Git-fu'd-by: brho

4 years agoRemoves unnecessary prot check
Barret Rhoden [Mon, 15 Jun 2015 15:52:45 +0000 (11:52 -0400)]
Removes unnecessary prot check

We check the prot against the VMR's prot later, and will return with -EPERM if
there was a problem.  This popped up as an issue since the EPT can have
multiple fault types at the same time within the prot field.

Of course, we may still have issues with EPT having prot fields that don't jive
with the VMR, so be on the lookout for EPERMs.

4 years agoAdds Ron's VMWARE Fusion on OSX pxeboot script
Ronald G. Minnich [Fri, 24 Apr 2015 15:22:06 +0000 (08:22 -0700)]
Adds Ron's VMWARE Fusion on OSX pxeboot script

This does the full build, drops the resulting akaros binary
somewhere sensible, and kicks the isc dhcp server.

You can then restart your fusion-based akaros VM and it will
"net" boot.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoTurn down the debug prints, add a couple extra
Ronald G. Minnich [Thu, 16 Apr 2015 23:35:28 +0000 (16:35 -0700)]
Turn down the debug prints, add a couple extra

Things are working well enough that we don't need all this
gabby behavior. Turn it down.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
Git-fu'd-by: brho

4 years agoVMM: vmresume works! (handle IRQ)
Ronald G. Minnich [Thu, 16 Apr 2015 21:22:24 +0000 (14:22 -0700)]
VMM: vmresume works! (handle IRQ)

Things are way smoother; we exit the vm loop when we get an interrupt.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoVMM: Rip out testing code.
Ronald G. Minnich [Wed, 15 Apr 2015 17:32:09 +0000 (10:32 -0700)]
VMM: Rip out testing code.

It's mostly no longer useful and probably no longer right.

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoRemoves user symlinks from the sysroot (XCC)
Barret Rhoden [Thu, 18 Jun 2015 14:49:58 +0000 (10:49 -0400)]
Removes user symlinks from the sysroot (XCC)

And installs user headers into sysroot/usr/include/libname/.  Now all
programs must include user libraries with #include <libname/header.h>.
I fixed up all of our tests, but external programs will need to be
changed manually.

To be sure these changes kicked in, remove your existing toolchain
installation and rebuild.  Then rebuild all other programs.

$ cd tools/compilers/gcc-glibc/
$ make inst-clean
$ make x86_64

4 years agoChanges user includes to <library/header.h> (XCC)
Barret Rhoden [Thu, 18 Jun 2015 14:18:04 +0000 (10:18 -0400)]
Changes user includes to <library/header.h> (XCC)

This has been an option for a long time, due to the symlinks dropped in
the sysroot/usr/include during the user libs FINAL_INSTALL, but will be
mandatory soon.

Rebuild your toolchain.

4 years agoAdds include symlinks for user libraries
Barret Rhoden [Thu, 18 Jun 2015 14:06:07 +0000 (10:06 -0400)]
Adds include symlinks for user libraries

With these symlinks, code from within the library can find its own
headers with something like #include <parlib/parlib.h>, just like other
code (e.g. tests/whatever.c).  I also removed the library directory (.)
from the -I search path.

I didn't do this for pthreads, since pthread code is only included with
 #include <whatever.h>, and not #include <pthread/whatever.h>.

4 years agoConsolidates user library Makefiles
Barret Rhoden [Thu, 18 Jun 2015 15:46:31 +0000 (11:46 -0400)]
Consolidates user library Makefiles

Most user libraries do the same thing; there's no need to replicate the
makefile contents, and it's a pain.

One slight change is that the libraries other than parlib didn't have
the DEPLIBAS on the ARCH/%.o target, which was probably a bug.

4 years agoMoves profalarm.h into pthread.h
Barret Rhoden [Thu, 18 Jun 2015 13:58:58 +0000 (09:58 -0400)]
Moves profalarm.h into pthread.h

Due to an upcoming change, we don't want any non-glibc pthread header files,
since they will sit directly in sysroot/usr/include.  That being said, futex.h
is probably okay.

Also, fixes up a discrepancy between the declaration and definition of
enable_profalarm().  Not sure why that compiled before...

4 years agoCleans up and renames ndblib
Barret Rhoden [Wed, 17 Jun 2015 22:41:55 +0000 (18:41 -0400)]
Cleans up and renames ndblib

Ndblib was named ndb when it was installed; this changes it to ndblib.

We could either rename it completely to ndb (directory and everything)
and do the same for iplib, or just keep it called ndblib.  Given that
the libs are dropped into the sysroot directly, keeping them as iplib
and ndblib decreases the chance for collisions.

Moves ndbhf.h to an include/.  Any user .h file other than the pthread
headers needs to be in an include directory.

4 years agoRemoves unneeded userland headers
Barret Rhoden [Wed, 17 Jun 2015 21:26:11 +0000 (17:26 -0400)]
Removes unneeded userland headers

parlib/pthread.h was around in case you build parlib but not pthreads.
No one does this anymore.

The tests headers were the most useless of a large batch of cruft.

4 years agoToolchain target: make inst-clean
Barret Rhoden [Thu, 18 Jun 2015 15:05:24 +0000 (11:05 -0400)]
Toolchain target: make inst-clean

Convenience target, it will clean and remove the contents of all
installed toolchains (riscv, x86_64, etc).

If you want finer-grained uninstallation, there are still the specific
uninstall targets, e.g. make x86_64-uninstall.

4 years agoImplements getaddrinfo() (XCC)
Barret Rhoden [Thu, 11 Jun 2015 22:18:10 +0000 (18:18 -0400)]
Implements getaddrinfo() (XCC)

Rough version of getaddrinfo.  It only works for IPv4 and has limited support
for various socktypes and protocols.  It calls out to cs for name resolution,
but cs currently deadlocks at runtime.

Rebuild glibc.

4 years agoAdd level of indirection for signal funcs in 2LS
Kevin Klues [Sat, 6 Jun 2015 00:31:50 +0000 (17:31 -0700)]
Add level of indirection for signal funcs in 2LS

Some signal functions (like sigprocmask()) are 2LS specific and need to
be implemented as such. We use a level of indirection similar to the
sched_ops for this.

4 years agoUse local "*.h" instead of installed <*.h>
Kevin Klues [Sat, 6 Jun 2015 00:30:22 +0000 (17:30 -0700)]
Use local "*.h" instead of installed <*.h>

This is necessary in case the API or something has changed between the
installed version and the one currenlty being built.

4 years agoDrop _NSIG to 42 instead of 65 (XCC)
Kevin Klues [Fri, 5 Jun 2015 23:14:54 +0000 (16:14 -0700)]
Drop _NSIG to 42 instead of 65 (XCC)

_NSIG represents the biggest signal number + 1 (including real-time signals).
We choose 42 in homage to h2g2, but also to show that it's not a magic number,
like 32 or 64.  It just happens to be the number of rt signals that we may
(probably won't support in the future).  At any rate, this number must ALWAYS
be <= 64 because we are using a long to represent a sigset.  In Akaros we will
likely impelment all necessary real-time stuff (if we need it) using events
directly, so this point is moot.  Leaving it at 65 was problematic though
because you can't represent all signals (based 1) in a single long, adding to
weird bugs that we would like to avoid in the future.

This helped to fix a bug whee I was previously trying to optimize my
signhandler array to only create (_NSIG - 1) entries because I knew
there were only 64 signals (0 is invalid), but I messed up my mappings
when reuqired to subtract 1 when indexing into this array
to get my signal.  Better to just create one extra entry and call it a
day. However, we need to make sure that all signals can be represented
in our sigmasks (Go cares about this for example, as it installs
handlers for all of its signals up to _NSIG).  If something is off here,
we are (and have been) screwed.

4 years agoReentrant versions of get{prt,srv}name (XCC)
Barret Rhoden [Fri, 5 Jun 2015 20:10:04 +0000 (16:10 -0400)]
Reentrant versions of get{prt,srv}name (XCC)

Similar to the gethostbyname* versions.  They each have slight differences.
The get-service-by-protocol uses srvbynm under the hood, since it's all the
same to CS.

As with gethostbyname*, these haven't been tested and may have the same old
bugs from the original plan 9 shims.

Rebuild glibc.

4 years agoReentrant version of gethostbyname (XCC)
Barret Rhoden [Fri, 5 Jun 2015 19:11:06 +0000 (15:11 -0400)]
Reentrant version of gethostbyname (XCC)

Ports the plan 9 version of gethostbyname to gethostbyname2_r, and implements
the others with it.  Hard to know if this actually works, since we don't use CS
much.  So it may be just as buggy as it was before, but now is reentrant, and
possibly with new bugs (I had several during this commit).

Also, the old version didn't close the fd in all error cases, so at least
that's fixed now.

Rebuild glibc.

4 years agoEnable fortran support in gcc
Kevin Klues [Thu, 11 Jun 2015 23:22:50 +0000 (16:22 -0700)]
Enable fortran support in gcc

Also, we need to enable c++ and gfortran at stage2 of gcc build, not
stage3, otherwise our specs file is messed up and we can't invoke
g++ or gfortran from a straight gcc call.

4 years agoUse the e1000 in kvm since it can use big addresses
Ronald G. Minnich [Thu, 11 Jun 2015 20:26:06 +0000 (13:26 -0700)]
Use the e1000 in kvm since it can use big addresses

Signed-off-by: Ronald G. Minnich <rminnich@gmail.com>
4 years agoRemoves libbsd (XCC)
Barret Rhoden [Thu, 4 Jun 2015 20:14:28 +0000 (16:14 -0400)]
Removes libbsd (XCC)

All the functionality should be in glibc or is not needed.

To be safe, remove your toolchain installation and rebuild.  Just removing
libbsd.a is probably enough.

4 years agoPushes the Plan 9 BSD shims into glibc (XCC)
Barret Rhoden [Thu, 4 Jun 2015 19:55:17 +0000 (15:55 -0400)]
Pushes the Plan 9 BSD shims into glibc (XCC)

Glibc had stubs that we were overriding in libbsd.  Those shims ought to be in
glibc, since that's Akaros's way of implementing various socket calls.  This is
also somewhat necessary for some -Werror situations where glibc links with its
versions (which were throwing stub_warnings).

Most functions from libbsd are now in glibc.  nptohl() was removed; no one was
using it.  {get,set}sockopt() were stubs in libbsd that did nothing.  I went
with modified glibc stubs for those.  They won't throw compiler warnings, but
they will fail at runtime.  And with a more appropriate errno.  We can add in
various socket options if they are important.

The bulk of the functions were brought over "as is", with the existing races and
non-reentrancy.  A few of them needed work, since the SOCKADDR_ARG has a
different type within glibc (transparent union).  I did pass the files through
lindent, since they have a fresh git history and needed some formatting.

Rebuild glibc.

4 years agoAdds sunrpc (XCC)
Barret Rhoden [Thu, 4 Jun 2015 04:46:31 +0000 (00:46 -0400)]
Adds sunrpc (XCC)

Some applications (e.g. lmbench) seem to want sunrpc.  It wasn't too hard to
add it back in.  Most of sunrpc should work (we'll see!) but the authentication
stuff relies on NSS.  I've stubbed out a couple of those functions.

Note that netname.c needed to be changed in the sunrpc directory, and a sysdep
was insufficient.  Check out my notes in Documentation/glibc.txt for more info.

Also, we needed to --enable-obsolete-rpc to get any rpc/ headers, other than
netdb.h.  That's a recent change (2012).

Rebuild glibc.

4 years agoAdds a backtrace helper for user backtraces
Barret Rhoden [Tue, 2 Jun 2015 18:26:25 +0000 (14:26 -0400)]
Adds a backtrace helper for user backtraces

You need to echo the Akaros backtrace (e.g. #1 Addr f00 is in BAR) into the
script.  You'll also need to customize the script for your system.  I recommend
copying it out of scripts/ and onto your own system somewhere.

You can also source the script, then ctrl-d it, and manually invoke
print_glb_func.

$ print_glb_func kern/kfs/bin/hello 0xADDR

Make sure the ADDR is in hex, with a leading 0x.  If all goes well, it'll print
out the function containing ADDR.

4 years agoAllows calls to pthread_sigmask before init
Barret Rhoden [Fri, 29 May 2015 16:20:51 +0000 (12:20 -0400)]
Allows calls to pthread_sigmask before init

Some libraries that ld loads make pthread calls in their initialization.  This
patch tracks the changes made to the sigmask, and applies it when the 2LS is up
and running.

One issue is that the sigmask is for the pthread only, and not the entire
process.  Hopefully that's what these libraries wanted.  Maybe it isn't.

Another approach would be to find a safe spot in ld and run vcore_event_init()
from there, such that we get the slim 2LS init done very early.  Then we add a
2LS op for the slim-init (e.g. pth_slim_init), which does the basics to track
the pthread as thread0, but doesn't turn us into an MCP.  This is doable in
part since the specific 2LS is determined statically, for instance when you
link against -lpthread.

If we do the latter approach, we will still need to call out from the
application's _start for staticly linked applications.

4 years agoAdds __h_errno_loc to glibc's ABI (XCC)
Barret Rhoden [Wed, 27 May 2015 19:23:31 +0000 (15:23 -0400)]
Adds __h_errno_loc to glibc's ABI (XCC)

A little background:  I was getting a link error compiling something that was
using h_errno.  As an example, in tests/hello.c:

#include <netdb.h>

...

printf("XME %p\n", h_errno);

Building that gives a link error like:
ros-kernel/tests/hello.c:19: undefined reference to `__h_errno_location'

h_errno is a macro that expands to deref __h_errno_location().

__h_errno_location() is declared in netdb.h and defined in inet/herrno-loc.c.
The symbol is even in libc-2.19.so, so why can't we link against it?

We can see it in an objdump of libc:
    00000000000dab30 l     F .text0000000000000016              __h_errno_location
    00000000000dab30 l     F .text00000000000000160000000000000016              __GI___h_errno_location

But notice the 'l'.  Now look at some other func we have in glibc:
    00000000000c7db0 g     F .text000000000000001600000000000001f9              utimensat

That has a 'g', for global.  For functions to be linkable, they need to be part
of glibc's ABI (check out my old Documentation/glibc.txt for some info).  Now,
normally __h_errno_location is part of the ABI, but we're not building resolv
anymore.  In resolv's Versions file, we have:

libc {
      GLIBC_2.0 {
        _res;

        # helper functions
        __h_errno_location;

Since we don't build resolv, we don't have that as part of the abi.  Thus, we
need to do it manually in Akaros's Versions.  We'll have to do the same things
for other functions that pop up that were part of resolv (or other Subdir's)
Versions that we implement separately.  Hopefully no one is trying to access
_res...

Rebuild glibc.

4 years agoUser interface for fsync and posix_fadvise (XCC)
Barret Rhoden [Tue, 26 May 2015 15:45:08 +0000 (11:45 -0400)]
User interface for fsync and posix_fadvise (XCC)

Using fcntl() for fsync and fadvise.  Not sure why POSIX/glibc didn't do
this already.

Part of it might be that fcntl, despite the ... declaration, supposedly
always takes one va_arg of type int, and it's ignored for certain
commands (e.g. F_GETFD).  That's pretty silly, so I extended it to take
up to four args.

Rebuild glibc.

4 years agoImplements readdir64{,_t} (XCC)
Barret Rhoden [Thu, 21 May 2015 22:23:38 +0000 (18:23 -0400)]
Implements readdir64{,_t} (XCC)

Since our dirent is a dirent64, these are just wrappers.

Our glibc dirent is still in our sysdep dirent.h header, instead of just
using the kernel's kdirent.  There might be some minor issues with
having a lot in fs.h.

Rebuild glibc.

4 years agox86: changes backtrace to not subtract 1
Barret Rhoden [Thu, 21 May 2015 20:53:08 +0000 (16:53 -0400)]
x86: changes backtrace to not subtract 1

That -1 was there for a long time, due to weird issues with our earliest
bts in some corner cases in the kernel.  The tradeoff is that the
addresses given aren't accurate (off by 1!), and that make manual symbol
lookup a little annoying.  For instance, using a user-backtrace, you
can't grep an objdump for a particular PC, since the -1 means the
address probably doesn't exist.

4 years agoHelper to backtrace a user context
Barret Rhoden [Thu, 21 May 2015 20:41:27 +0000 (16:41 -0400)]
Helper to backtrace a user context

You can backtrace a context, but only if you have one!  And if the
context is somehow messed up or if the stackframe is not using the frame
pointer, then it'll probably die in a horrendous kernel page fault.

Note that when processing as syscall, if the syscall has already
blocked, then current_ctx is not the context that originally issued the
syscall.  *That* context has long-since restarted, due to our async
syscalls.

You can attempt to backtrace the current context like so:
backtrace_user_ctx(p, current_ctx);

Try putting one of these in sys_block() on either side of the
kthread_usleep().  The latter will fail, and if it doesn't, it's
probably grabbing some arbitrary context.

4 years agoBuild userspace with -fno-omit-frame-pointer (XCC)
Barret Rhoden [Thu, 21 May 2015 20:37:46 +0000 (16:37 -0400)]
Build userspace with -fno-omit-frame-pointer (XCC)

Until we have a decent debugger, we need to rely on the frame pointer to
create backtraces for user contexts.

Rebuild your toolchain.

4 years agoMoves backtrace_kframe()
Barret Rhoden [Thu, 21 May 2015 20:08:58 +0000 (16:08 -0400)]
Moves backtrace_kframe()

It wasn't arch-dependent, so no need to keep it in x86.

4 years ago[PATCH 2/2] Adds some resolv functionality (XCC)
Barret Rhoden [Mon, 18 May 2015 21:40:37 +0000 (17:40 -0400)]
[PATCH 2/2] Adds some resolv functionality (XCC)

Despite removing resolv, we still need some parts of it.  Things like
inet_addr() seem fine.  Likewise, we need a netdb.h header.  resolv was
providing it; now we provide a modified version manually.  resolv was
also providing resolv.h and the arpa nameser headers.  We'll see if
resolv.h ends up being a problem, since we don't implement any of the
various functions.  Long term, we'll probably need 9ns shims that use CS
or something.

Fully rebuild your toolchain.  I suggest removing the contents of the
installation directory first, since so much stuff was removed.

4 years ago[PATCH 1/2] Removes NSS and resolv (XCC)
Barret Rhoden [Mon, 18 May 2015 20:01:32 +0000 (16:01 -0400)]
[PATCH 1/2] Removes NSS and resolv (XCC)

Glibc has a bunch of subdirs, such as nss, nis, inet, and resolv.  Some
of these won't actually work at runtime.  For instance, resolv uses
ioctl, which will always fail.

As a deeper problem, many of these subdirs might "work", but they
actually would fail or otherwise not work on Akaros.  They open files
that do not exist or attempt operations we do not support.  We've been
faking support for these operations since f2ed80b10a.

Beyond the subdirs brought in by f2ed80b10a, there are a bunch of
"mandatory" subdirs, such as pwd, shadow, grp, and gshadow.  These
provide interfaces for reading entries from files like /etc/passwd.
These all use NSS to generate the code for their functions by including
a file like nss/getXXbyYY.c.

Anyway, this commit removes resolv and nss, and anything (minus inet)
that depends on nss.  In lieu of actually removing all of pwd/grp/etc, I
replaced them all with stubs.  Since gshadow doesn't have a man page, I
just stopped building it for now.  We can stub it out later, if
necessasry.

Of special note is inet.  We want most of inet - that's in part what the
BSD shims do: things like gethostbyname.  And gethostbyname2.  And
gethostbyname2_r.  Inet also includes a lot of headers in netinet/.  So
we keep inet as a Subdir (like pwd), and just stub out anything that
uses nss.

There isn't anything wrong with nss internally (some people disagree),
but the idea here is that anything using nss was probably not right for
Akaros, and we should do something else.

An alternative approach is to remove resolv and keep nss around.
Functions from e.g. pwd will fail at runtime, unless we create
/etc/passwd files.  Though nss relies on resolv functions, so it is not
particularly simple.  This commit's stub approach may be easier.

And yet another approach would be to keep resolv around too, and hack it
up to try and work.  But I think interposing on the glibc interface is a
better place to work than at some internal function.

This won't compile without the next patch.

4 years agoFixes user Makefile "finds"
Barret Rhoden [Tue, 19 May 2015 14:02:54 +0000 (10:02 -0400)]
Fixes user Makefile "finds"

Need to quote the *, otherwise shell expands it before passing it to
find.

4 years agoget_tlsvar_linaddr() and uthread notes
Barret Rhoden [Fri, 15 May 2015 01:30:53 +0000 (21:30 -0400)]
get_tlsvar_linaddr() and uthread notes

While debugging "Allows pthread_yield() before lib_init()", I noticed
the issues with __vcore_context noted in uthread_manage_thread0().

I made get_tlsvar_linaddr() to debug it.  It's just what we were doing
for get_cur_uth_addr(), but for any TLS variable.

4 years agoFixes IO lock initialization bug (XCC)
Barret Rhoden [Thu, 14 May 2015 23:35:44 +0000 (19:35 -0400)]
Fixes IO lock initialization bug (XCC)

Glibc IO locks were not initialized, but we were using IO locks.  This
showed up as page faults with lock_test or prov when trying to invoke
the argp_usage(), which internally calls _IO_flockfile.

The root issue was that some code was using the locks and some code
wasn't initializing, based on the inconsistent setting of _IO_MTSAFE_IO.

For a bit of Akaros history, check out commit e28dbef7c.  That commit
wasn't the correct fix at the time, but you can see how it's muddling in
the area.  It's likely that setting LIBC_REENTRANT was enough back then,
but now that we're on glibc-2.19, that was insufficient.  If you check
glibc's ChangeLog, there were a few things related to _IO_MTSAFE_IO
changed back in 2012, which was probably between our glibc versions.

Rebuild your toolchain (at least glibc) from scratch.

4 years agoAllows pthread_yield() before lib_init()
Barret Rhoden [Thu, 14 May 2015 16:29:58 +0000 (12:29 -0400)]
Allows pthread_yield() before lib_init()

If we call uthread_yield, we'll eventually pop up in vcore context
expecting to run the 2LS.  We need to initialize pthreads (and uthreads)
before that happens.

One option here was to do a run_once on pthread_lib_init for the yield
entry point, but we don't need to become an MCP just because someone
wanted to briefly yield the processor.  sched_yield() is a better fit.

4 years agoImplements getlogin{,_r} (XCC)
Barret Rhoden [Thu, 14 May 2015 12:25:15 +0000 (08:25 -0400)]
Implements getlogin{,_r} (XCC)

We don't have multiple users.  If we ever do, we can grab that name out
of /proc or something.

Rebuild your toolchain.

4 years agoRemoves BSD shims that are (better) in glibc
Barret Rhoden [Wed, 13 May 2015 22:26:15 +0000 (18:26 -0400)]
Removes BSD shims that are (better) in glibc

We have a problem with our BSD shims.  Many of them implement functions
that are already in glibc, and we can have link errors.  The functions
removed in this commit appear to do the same thing as their glibc
counterparts, so removing them is not a problem.

Putenv is a little different.  It's not the same functionality as
glibc's, but we're using glibc-style environments and whatnot already,
so we might as well use that.

The bigger issue is the other functions:

user/bsd/gethostbyaddr.c
user/bsd/gethostbyname.c
user/bsd/getprotobyname.c
user/bsd/getservbyname.c

These appear to have a different implementation.  Gethostby all use cs
under the hood, which is different than glibc.  The long term plan is to
probably push those functions into glibc.

The other set of issues is that functions like listen and accept have
different meanings between glibc and plan 9.  Good times.

4 years agoBuilds the NSS in staticly (XCC)
Barret Rhoden [Wed, 13 May 2015 21:36:35 +0000 (17:36 -0400)]
Builds the NSS in staticly (XCC)

NSS has issues when used in statically linked applications.  This seems
to get rid of some of those errors.  It's a horror show.

Rebuild your toolchain.

4 years agoCleans up userspace headers
Barret Rhoden [Wed, 13 May 2015 19:51:40 +0000 (15:51 -0400)]
Cleans up userspace headers

They all have a consistent naming for their #defines:
LIBNAME_FILENAME_H.

They all protect their declarations with __{BEGIN,END}_DECLS, which does
the c++ extern C wrapping needed for C++ functions to link against these
libraries.

4 years agoPthread conds and broadcasts use SLISTS
Barret Rhoden [Tue, 12 May 2015 14:35:14 +0000 (10:35 -0400)]
Pthread conds and broadcasts use SLISTS

This fixes PTHREAD_COND_INITIALIZER.  The issue was that we can't use
TAILQs, because then the static initializer would need a parameter.

Now, there's an SLIST and a TAILQ.  The 2LS lists are TAILQs.  The
cond/barrier/mutex (eventually) are SLISTs.  A thread should only be on
one at a time.

This commit also cleans up things a bit, since broadcast and barrier had
similar, repeated code.

4 years agoAdds pthread_attr_{set,get}guardsize
Barret Rhoden [Tue, 12 May 2015 20:41:02 +0000 (16:41 -0400)]
Adds pthread_attr_{set,get}guardsize

We don't actually implement guard pages, but we might one day.  Until
then, we have the interface.  Actual guard pages could be implemented
after we bring in various uthread performance improvements.

4 years agoSets unistd flags in posix_opt.h (XCC)
Barret Rhoden [Tue, 12 May 2015 15:02:25 +0000 (11:02 -0400)]
Sets unistd flags in posix_opt.h (XCC)

We're supposed to advertise the features we support via unistd.h, which
ultimately includes posix_opt.h.  I used Linux's options as a base, and
removed some that we probably will never support.   The list contains
features we'd like to support.  Some do not work yet.

Rebuild your toolchain.

4 years agoMoves KiB and friends from common.h (XCC)
Barret Rhoden [Wed, 6 May 2015 17:32:31 +0000 (13:32 -0400)]
Moves KiB and friends from common.h (XCC)

These #defines mess with any app that tries to use those names for
something else.  And the sizes are not part of the kernel interface.

Arguably, we could get rid of them too, but we use a couple of them in a
few places.

You could rebuild your toolchain, or just copy the modified header file
(ros/common.h) into your toolchain installation sysroot.

4 years agoUntangling the glibc header rat's nest (P.1) (XCC)
Barret Rhoden [Mon, 4 May 2015 19:06:37 +0000 (15:06 -0400)]
Untangling the glibc header rat's nest (P.1) (XCC)

The problem we have is that there are various kernel headers and various
header files in glibc that cover the same thing, and sometimes they
differ.

For instance, there are the O_ flags for open.  Glibc had them in fcntl.
Akaros had them in fs.h.  It'd be nice if we used the same files and
structures!  This came up as a problem when the files start to diverge.
For instance, O_NOFOLLOW was in fs.h, but not in bits/fcntl.h.

Unfortunately, the headers are a rat's nest.  (Rats' nest?)  Making the
simple changes caused time.h to get pulled in early, and there's also a
macro for st_atime and friends (to st_atim.tv_sec).  Good times.  In the
end, handling time.h seems to work, but with a rename of st_atim{e,}.

bits/stat.h has similar issues.  In this commit, I took care of the
fcntl stuff, hence the P.1 (stands for Part 1).  One of these days we
can try to dig a bit further with other headers.  At least we're a
little better off now.

Rebuild your toolchain.

4 years agoRemoves unused functions from Parlib's arch.h
Barret Rhoden [Mon, 4 May 2015 16:40:04 +0000 (12:40 -0400)]
Removes unused functions from Parlib's arch.h

If we need any of these in userspace, we can bring them back one-by-one.
Otherwise, we potentially have issues with applications that define
different versions of these functions.

4 years agoPthread cleanup stubs
Barret Rhoden [Mon, 4 May 2015 16:21:48 +0000 (12:21 -0400)]
Pthread cleanup stubs

These cleanup stubs are similar to our waserror/poperror.  They interact
with pthread_cancel and exit.  If a thread exits or is cancelled, it's
cleanup functions are called.  Additionally, cleanup_pop takes a bool,
and when it's TRUE, it'll run the handler even when returning normally.

If someone wants to implement these and pthread_cancel, be my guest.

4 years agoPthread scheduling hooks
Barret Rhoden [Mon, 4 May 2015 16:14:39 +0000 (12:14 -0400)]
Pthread scheduling hooks

There are a bunch of ways to set scheduling priorities, policies, and
scope.  We'll allow programs to try to set these values, but they won't
do much.

Our current scheduler is a SCOPE_PROCESS, SCHED_FIFO, with only one
priority level: 0.

4 years agoUpdated contribution policies
Barret Rhoden [Mon, 27 Apr 2015 20:12:21 +0000 (16:12 -0400)]
Updated contribution policies

Updates and clarifies Akaros's contribution policies, some of which have
been in writing, some of which haven't.  This also provides a bunch of
git commands for common scenarios that pop up.

One new thing is that all committers must agree to the
Developer Certificate of Origin.

4 years agoFixes unmount
Barret Rhoden [Tue, 21 Apr 2015 15:48:57 +0000 (11:48 -0400)]
Fixes unmount

On the kernel side, there are two changes.  Functionally, we can handle
a null src_path.  Code-wise, I renamed the variables to clarify what is
going on.  Plan 9's 'old' and 'new' weren't very helpful.  Additionally,
what the man pages call old and new were actually reversed when you get
to sysfile.c!

On the user side, cs wasn't calling the syscall properly, so it would
always fail.  cs unmounts #s/cs from /net before it starts up, to make
sure that previous cs runs don't leave any lingering mounts.  You
actually can restart cs &, then mount -a \#s/cs /net and be back in
business.

4 years agoSyscall tests for PATH_MAX
Barret Rhoden [Mon, 20 Apr 2015 22:38:40 +0000 (18:38 -0400)]
Syscall tests for PATH_MAX

Even though it's possible for the user to build a path longer than
PATH_MAX (e.g. 16 NAME_MAX filenames), we still need a limit.  If
anything 4096 seems ridiculously large (and will trigger 2-contig page
allocs...).

4 years agoUse GMP, MPFR and MPC directly in gcc build. (XCC)
Dan Cross [Mon, 20 Apr 2015 18:36:49 +0000 (14:36 -0400)]
Use GMP, MPFR and MPC directly in gcc build. (XCC)

Note: rebuild your toolchain after pulling this. Use the
versions of gmp, mpfr and mpc that we pull down when building
gcc, instead of relying on pre-build/pre-installed versions.

4 years agoAdds PATH_MAX and NAME_MAX (XCC)
Barret Rhoden [Mon, 20 Apr 2015 15:44:29 +0000 (11:44 -0400)]
Adds PATH_MAX and NAME_MAX (XCC)

For POSIX compatibility.

Rebuild your toolchain.  Or just copy all of the .h files around.

4 years agoRemoves libgcc_eh hack (XCC)
Barret Rhoden [Fri, 17 Apr 2015 21:19:45 +0000 (17:19 -0400)]
Removes libgcc_eh hack (XCC)

For some reason, we used to need to have a fake .a file sitting around.
Either because of recent changes, or maybe the crosstool-like changes
from last year, we no longer need the hack.

Hooray!

You probably don't need to rebuild the toolchain.

4 years agoFixes shared library linking (XCC)
Barret Rhoden [Fri, 17 Apr 2015 20:49:58 +0000 (16:49 -0400)]
Fixes shared library linking (XCC)

If you try to make a hello-world c++ library:

$ x86_64-ucb-akaros-gcc -fPIC -o lib.o -c lib.cc
$ x86_64-ucb-akaros-gcc -shared -o lib.so lib.o

You'll get the error:

... 4.9.2/crtendS.o(.eh_frame); no .eh_frame_hdr table will be created.

Some sites suggested a problem with config.gcc, such as
http://forum.osdev.org/viewtopic.php?t=25489 , though the problem was
n't crtstuff.  Or at least that didn't help me.  Though it did make me
look at the config.gcc, and I attempted to make ours more like Linux's.

The main change was   tmake_file="t-slibgcc"  , which is needed to make
a shared version of libgcc_s.so.  That in turn needed some fixups in
config.host, the most important being the softfloat business where we
didn't include x86_64 akaros.

Rebuild your toolchain.

4 years agoParlib and other user libs are built with -fPIC
Barret Rhoden [Fri, 17 Apr 2015 14:50:10 +0000 (10:50 -0400)]
Parlib and other user libs are built with -fPIC

Also, this collects the common user library flags into the top-level
Makefile.

4 years agoParlib is no PIC-capable
Barret Rhoden [Fri, 17 Apr 2015 14:46:15 +0000 (10:46 -0400)]
Parlib is no PIC-capable

We needed some minor changes, mostly to uthread, to be able to build
parlib with -fPIC (and as a .so).

Thanks to the lack of TLS-clobbers, anytime we set_tls_desc and then
access TLS variables in the same function, we need to wrap those
accesses with 'begin_safe_access'.  Otherwise, the compiler will cache
the address of TLS variables and not discard and recompute the address
after a TLS change.

The other big change is that leaq needed to do PC-relative addressing.
Otherwise the asm emits a _32S relocation, which fails when we make a
shared library with parlib.  For a nice review of relocations, check
out: http://www.mindfruit.co.uk/2012/06/relocations-relocations.html

4 years agoBuilds libstdc++.so (XCC)
Barret Rhoden [Fri, 17 Apr 2015 13:41:20 +0000 (09:41 -0400)]
Builds libstdc++.so (XCC)

Changed up the configure for libstdc++ to match Linux's config.  If
you're porting the configure script to a newer version of gcc,
double-check all of the places where 'linux' appears in the config.
It's probably easier to just recreate the configure script from scratch.

There are a few places in the configure script where it's probably not
important for Akaros to mirror Linux, such as when testing for certain
Linux features.  Since those tests just fail, it seems saner just to put
an 'akaros' wherever there is a 'linux.'

Also, I had to update fill-kfs to find the libstdc++.so, and this also
adds about 6MB to KFS (and the resulting kernel binary) due to the size
of libstdc++.so.

Rebuild your toolchain.

4 years agoFix the way we set up vmcs
Ron Minnich [Thu, 26 Mar 2015 20:33:04 +0000 (13:33 -0700)]
Fix the way we set up vmcs

The Dune code we started with, which started with KVM code, has always been hard to parse.
Clean it up and make sure we know each and every bit we claim to set or clear

Signed-off-by: Ron Minnich <rminnich@gmail.com>
Amended-by: Barret Rhoden <brho@cs.berkeley.edu>
4 years agoRemoves mon_setmapperm
Barret Rhoden [Mon, 6 Apr 2015 18:51:56 +0000 (14:51 -0400)]
Removes mon_setmapperm

Unused, and just cluttering up my git grep.

4 years agoPmap ops: perm->settings
Barret Rhoden [Mon, 6 Apr 2015 18:46:12 +0000 (14:46 -0400)]
Pmap ops: perm->settings

This clarifies some aspects of pte_get_perms and pte_write.  In reality,
write takes all sorts of non-permission based flags.  What we really
wanted (I think) was the pte settings: the non-paddr lower 12 bits, in
an arch-indep format (based on the #defines).

Still, pte_replace_perm() is very useful as is.  pte_get_perm paired
with pte_write and wasn't really related to pte_replace_perm (in usage).

4 years agox86: pmap cleanup
Barret Rhoden [Mon, 6 Apr 2015 18:02:28 +0000 (14:02 -0400)]
x86: pmap cleanup

Uses more helpers.

4 years agoVMM: debug helper for checking KPT == EPT invariant
Barret Rhoden [Mon, 6 Apr 2015 17:51:22 +0000 (13:51 -0400)]
VMM: debug helper for checking KPT == EPT invariant

Not called from anywhere, but you can kfunc it or drop it wherever you
want (like EPT HPF, proc_free, etc).

4 years agoVMM: handle EPT page faults
Barret Rhoden [Thu, 2 Apr 2015 14:37:26 +0000 (10:37 -0400)]
VMM: handle EPT page faults

Pretty damn simple - just use the real page fault handler, and the EPT
is filled in under the hood by all the epte_ ops.

4 years agoFixes VMR creating off-by-one
Barret Rhoden [Thu, 2 Apr 2015 14:15:44 +0000 (10:15 -0400)]
Fixes VMR creating off-by-one

If a VMR would just barely fit before the first VMR, we would fail to
use that slot.

Practically, this only happens if you decide to do a MAP_FIXED at a low
address, which will unmap a chunk of ld.so - not recommended!