ea5d901c2d793eb2eda377cdbef29284a5096fc4
[akaros.git] / Documentation / glibc.txt
1 glibc.txt:
2 Barret Rhoden
3 Last updated: 2010-08-22
4 ----------------------------------------------
5 This document is an attempt to gather knowledge about how to work with the
6 glibc port.  This is based on my half-assed struggling with the port done by
7 kevin and andrew.
8
9 When to recompile (other than when changing libc)
10 --------------------------
11 Whenever you change a kernel header (something in kern/include/ros),
12 technically you should rebuild.  It isn't critical in all places, such as for
13 files that aren't included by glibc, or for files that haven't changed
14 something that glibc relies on.
15
16 After any recompile, don't forget to rebuild userspace apps (make userclean,
17 make install-libs) and to refresh your FS.
18
19 How to recompile glibc
20 --------------------------
21 Normally, make x86 (or whatever) works fairly well.  However, sometimes you
22 need to rebuild all of glibc.  This might be on a hunch, or to get rid of
23 things that might have compiled, but are failing to link and don't seem to
24 rebuild.  This happens when you change parts of glibc.
25
26 If you know what file(s) you changed and it doesn't seem like the changes are
27 being applied, you can copy the file from the -ros directory to the glibc-XXX
28 directory.  The glibc make process doesn't apply diffs or track the changes
29 from -ros to the glibc directory, so your recompile won't notice the changes.
30
31 If things are stil messed up, the next step is to remove the build directories
32 (i686-ros-glibc-*) and also the hidden files (.i686-ros-glibc*).  If you get
33 errors from make very early on about not finding some targets (such as
34 install-headers), you forgot to delete the hidden files.
35
36 Then next step up would be to remove the glibc-XXX folder (whatever the
37 version is).  Sometimes you aren't sure if old changes are sitting around in
38 this folder that aren't getting overwritten by the real source of our changes,
39 the -ros folder.  A lovely example of this is an old Makefile for the nss
40 subdir.  It was altered to remove some things, notably the files service,
41 which translates into libnss_files - which is needed by other things (nis,
42 etc).  To fix this, I had to notice an -ros version of the Makefile (after I
43 realized it was the problem), and that the Makefile was being included - it
44 was just faulty.
45
46 Finally, you can always make clean, but the overall XCC Makefile will clean
47 everything - including gcc and binutils.
48
49 Note that if you are making a trivial addition to a kernel header, you can get
50 away with just copying it to its location in the XCC install directory
51 (sys-include).
52
53 The -ros folder
54 --------------------------
55 All changes to glibc must be made in the glibc-XXX-ros folder.  Any changes
56 here will be copied over to the real glibc folder when it is made.  If you
57 want to remove a file that was originally in the -ros folder, you need to
58 manually remove it from the glibc-XXX folder as well.  The updating scripts
59 will not remove a file.
60
61 The sysdeps folder
62 --------------------------
63 Most of your changes will go here.  Every system that has a glibc port should
64 have one of these folders, with its system-specific ports.  The files here are
65 normally files expected elsewhere in libc, and the glibc build system knows to
66 look in these places.
67
68 Simply dropping a file in here will not get it built.  It will for many files,
69 but some others that weren't expected will need to be manually added to a
70 Makefile.  If you notice some files not getting compiled, (drop a #error in
71 there), you'll need to add it to a Makefile.  In the main sysdeps/Makefile,
72 add the filename (minus .c) to the sysdeps var.  Look at sa_len for an
73 example.  Sometimes you'll need to be careful about adding it for some
74 subdirectories and not others (you probably only want to add a C file for one
75 subdir).  Check out Linux's port for help.
76
77 Sometimes you have files that you want to change outside of the sysdeps
78 folder.  These still go in the glibc-XXX-ros folder, but not in sysdeps.  The
79 main example we have right now is features.h.  At one point, I wanted to
80 change sys/socket.h.  Simply adding it to sysdeps/ros/sys/socket.h would not
81 change the main sys/socket.h, nor would the sysdep version get included first.
82 Putting it in the -ros/sys/ folder did it (though ultimately I didn't want the
83 change).  The point is, sysdeps doesn't mirror and override the main tree for
84 all files - it is behind some others in the search/include path.
85
86 Subdirs
87 --------------------------
88 As a note, these 'subdirectories' are the "primary folders" (i.e. addons),
89 such as inet, ncsd, libio, whatever.  These are the root folders in glibc,
90 representing some major functionality.  They can be built with the
91 --enable-addons switch, which by default builds all of them.  Sort of!
92
93 To really get them to even be available for a port, you need to "include" them
94 in a certain manner.  There are two ways.  One is the Subdirs file in the
95 sysdeps/ros/ directory.  Putting a subdir name in here means glibc will try to
96 build it; it is available to be an addon.  Careful with these, since a lot of
97 the folders tend to need each other (like most all of the ones in unix/inet).
98
99 If you want a massive subsystem, such as "unix/inet" or "posix", you can add
100 it to the sysdeps/ros/Implies file.  You will get a bunch of these folders at
101 once, plus some other unspecified stuff (necessary for the overall system,
102 perhaps?).  If you add "unix/inet", you get more than just its Subdirs.
103
104 Also note that these subdirs can depend on each other, noted in the "Depends"
105 file.  Presumably this will cause them to get made...
106
107 Errno & TLS
108 --------------------------
109 errno is a macro that may point to different locations depending on where you
110 are in Glibc. errno_location is simply one of the options. 
111 During dynamic linking, the linker points errno to a different location, so it
112 is usable and can be referenced before TLS is fully set up in TLS_INIT_TP. 
113 Because errno is valid when the linker runs, regular syscalls can be made.
114
115 However for statically linked apps, several syscalls cannot use the ros_syscall
116 macro, because there is no valid errno set up. 
117
118 Unimplemented Stubs
119 --------------------------
120 There are a lot of things we haven't ported, but we have the stub functions so
121 that we can at least compile things against it.  When you compile (including
122 regular programs), you'll get warnings about this.  
123
124 Linux ASM bits
125 --------------------------
126 We've included some header files from Linux's kernel.  For now, we just need
127 something to keep glibc happy, even though ROS doesn't have any networking
128 syscalls.  Don't rely on this stuff too much.  These files, and other future
129 glibc compatibility kernel headers, are in kern/include/ros/glibc-asm.
130
131 Weak Symbols, start.c, and ros_syscall_blockon
132 --------------------------
133 For a long time, __ros_syscall_blockon was not getting overridden by the
134 strong symbol in parlib.  This means that glibc's syscalls were not blocking
135 uthreads properly.  Why did the weak symbols work for vcore_entry() and
136 vcore_event_init(), but not blockon?
137
138 Side note: we needed to force the linker to find out about vcore_entry and
139 vcore_event_init, via the -u tricks of commit f188983.  The linker is not
140 obligated to look in libraries to override a weak symbol.
141
142 The crux of the matter is that start.c is not linked with applications in the
143 same manner as the rest of glibc (notably all the I/O syscalls).  start.c will
144 get linked with the program at compile time, while libc can be linked
145 dynamically.  Because of this, start.c's weak symbols would get (correctly)
146 overridden by the strong symbols of libparlib.a.  But glibc would build
147 libc.so, and that would not get a chance to link against the binary (and
148 libparlib.a) until load time.  The weak symbols in libc get promoted to strong
149 symbols when it is done linking libc.so, and when it later is linked against
150 the program, there is no longer an opportunity to override the weak symbol.
151
152 Also note that rtld will never link with parlib, so any weak symbol in there
153 will never get overriden.  I briefly considered linking rtld with -lparlib,
154 but it blows up in a nasty way: parlib needs lots of libc, which rtld is not
155 built with (memset for example).
156
157 Anyway, the moral of the story is to be careful with your weak
158 symbols/aliases.  Only put them in start.c, or similar files.
159
160 Adding a Global Variable to the ABI
161 --------------------------
162 It's not enough to simply 'extern' a variable (or declare a function, which is
163 extern by default).  At some point, glibc will change those symbols from
164 GLOBAL to LOCAL.
165
166 You need to add an entry to the Versions file (sysdeps/ros/Versions).  Be sure
167 to indent with spaces, not tabs, or else glibc's scripts will not handle your
168 symbol.
169
170 Putting them in the libc, glibc 2.0 section seems to work fine.
171
172 Tips, Questions, and Misc Notes
173 --------------------------
174 - Grep and find are your friend.
175 - Watch what Linux does.
176 - The kernel headers end up getting installed to the sys-include/ directory,
177   while the regular glib headers go to the include directory.
178 - atomic_swap might have issues (warnings about signedness differences)
179 - It's not always clear which files in the -ros folder actually need to be
180   there (presumably they all do), and in what manner they were modified and
181   from which original copy.  Ideally, the ROS-specific changes to large files
182   will be commented.
183 - the SHARED flag is a bit of a mess - things get compiled differently for
184   shared vs static, and it can get complicated with start.c, tls.c, etc.
185 - What things in one file rely heavily on another file?  Are there non-obvious
186   gotchas?  (yes, and no one documented them).
187
188 Ghetto Things (Feel free to fix them):
189 --------------------------
190 - ptsname: we needed to have the sysdep (was being looked for by the login
191   subdir make process), but having the actual functions in it caused a link
192   error (multiple declarations).  So we have an empty file...