Fixes CPIO creation for non-i386 machines
[akaros.git] / Makefile
1 # Top-level Makefile for Akaros
2 # Barret Rhoden
3 #
4 #
5 # Notes:
6 #       - I downloaded the kbuild guts from git://github.com/lacombar/kconfig.git,
7 #       and added things from a recent linux makefile.  It is from aug 2011, so
8 #       some things might not match up.
9 #       - There's still some mysterious bits floating around, such as compile
10 #       parameters like -D"KBUILD_STR(s)=#s" (they come from Makefile.lib).  They
11 #       don't hurt, so I'm not removing them.  We might need them in the future
12 #       too.
13 #       - Kernel output in obj/: So Linux has the ability to output into another
14 #       directory, via the KBUILD_OUTPUT variable.  This induces a recursive make
15 #       in the output directory.  I mucked with it for a little, but didn't get it
16 #       to work quite right.  Also, there will be other Akaros issues since this
17 #       makefile is also used for userspace and tests.  For now, I'm leaving things
18 #       the default Linux way.
19 #
20 # TODO:
21 #       - Connect to kconfig, have it generate our CONFIGS, instead of makelocal.
22 #               - We also want to consider having changes to .config force rebuilds.
23 #               Right now, a change to the CFLAGS (CONFIGS) rebuilds it all.  Ideally,
24 #               we'd only rebuild files that need the change. 
25 #               - CONFIG_ are getting included twice, since we have includes of KCONFIG
26 #               in both Makefile.build and here.
27 #               - Might involve auto.conf{,.cmd} too.
28 #
29 #       - Do we want some sort of default config?  Or the ability to change arches
30 #       and keep common vars?
31 #
32 #       - Review, with an eye for being better about $(srctree).  It might only be
33 #       necessary in this file, if we every do the KBUILD_OUTPUT option
34 #
35 #       - It's a bit crazy that we build symlinks for parlib, instead of it
36 #       managing its own links based on $(ARCH)
37 #
38 #       - Consider using Kbuild to build userspace and tests
39 #
40 #       - There are a few other TODOs sprinkled throughout the makefile.
41
42 # Do not:
43 # o  use make's built-in rules and variables
44 #    (this increases performance and avoids hard-to-debug behaviour);
45 # o  print "Entering directory ...";
46 MAKEFLAGS += -rR --no-print-directory
47
48 # That's our default target when none is given on the command line
49 # This can be overriden with a Makelocal
50 PHONY := all
51 all: akaros-kernel
52
53 # Symlinks
54 # =========================================================================
55 # We have a few symlinks so that code can include <arch/whatever.h>.  This
56 # section builds and maintains those, as best we can.
57 #
58 # When invoking make, we can pass in ARCH=some-arch.  This value gets 'saved'
59 # in the symlink, so that later invocations do not need ARCH=.  If this value
60 # differs from the symlink, it appears like we are changing arches, which
61 # triggers a clean and symlink reconstruction.
62 #
63 # When the user changes from one arch to another, they ought to reconfig, since
64 # many of the CONFIG_ vars will depend on the arch.  If they try anything other
65 # than one of the "non-build-goals" (cleans or configs), we'll abort.
66 #
67 # Make targets that need these symlinks (like building userspace, the kernel,
68 # configs, etc, should depend on symlinks.
69
70 clean-goals := clean mrproper realclean userclean testclean doxyclean objclean
71 non-build-goals := %config $(clean-goals)
72 goals := $(MAKECMDGOALS)
73 ifeq ($(filter $(non-build-goals), $(goals)),)
74 goals-has-build-targets := 1
75 endif
76
77 PHONY += symlinks clean_symlinks
78 clean_symlinks:
79         @-rm -f kern/include/arch kern/boot user/parlib/include/arch
80
81 arch-link := $(notdir $(shell readlink kern/include/arch))
82 valid-arches := $(notdir $(wildcard kern/arch/*))
83
84 ifneq ($(ARCH),)
85
86 ifeq ($(filter $(valid-arches), $(ARCH)),)
87 $(error ARCH $(ARCH) invalid, must be one of: $(valid-arches))
88 endif
89
90 ifneq ($(ARCH),$(arch-link))
91
92 ifeq ($(goals-has-build-targets),1)
93 $(error Attempted to make [$(goals)] while changing ARCH. \
94         You need to make *config.)
95 endif
96
97 symlinks: clean_symlinks clean
98         @echo Making symlinks...
99         $(Q)ln -fs ../arch/$(ARCH) kern/include/arch
100         $(Q)ln -fs arch/$(ARCH)/boot kern/boot
101         $(Q)ln -fs $(ARCH) user/parlib/include/arch
102 else
103 symlinks:
104 endif # ifneq ($(ARCH),$(arch-link))
105
106 else # $(ARCH) is empty
107
108 ifneq ($(arch-link),)
109
110 ARCH := $(arch-link)
111 symlinks:
112
113 else
114
115 # Allow a clean
116 ifeq ($(filter $(clean-goals), $(goals)),)
117 $(error No arch saved or specified.  Make *config with ARCH=arch. \
118         'arch' must be one of: $(valid-arches))
119 endif
120
121 endif # ifneq ($(arch-link),)
122
123 endif # ifeq ($(ARCH),)
124
125 export ARCH
126
127
128 # Init / Include Stuff and Akaros Settings
129 # =========================================================================
130
131 KCONFIG_CONFIG ?= .config
132 export KCONFIG_CONFIG
133 $(KCONFIG_CONFIG): ;
134
135 # The user can override this, though it won't apply for any of the in-tree
136 # kernel build output.  Right now, it's only passed down to tests/
137 OBJDIR ?= obj
138 dummy-1 := $(shell mkdir -p $(OBJDIR)/kern/)
139
140 KERNEL_OBJ := $(OBJDIR)/kern/akaros-kernel
141 CMP_KERNEL_OBJ := $(KERNEL_OBJ).gz
142
143 # TODO: have the KFS paths be determined in .config
144 # Give it a reasonable default path for initramfs to avoid build breakage
145 INITRAMFS_PATHS = kern/kfs
146 FIRST_INITRAMFS_PATH = $(firstword $(INITRAMFS_PATHS))
147
148 export OBJDIR INITRAMFS_PATHS FIRST_INITRAMFS_PATH
149
150 # TODO: replace Makeconfig with .config, and slim down Makelocal
151 # Using fake rules so make doesn't get confused (do not try to remake the file)
152 $(srctree)Makeconfig: ;
153 include $(srctree)Makeconfig
154 $(srctree)Makelocal: ;
155 -include $(srctree)Makelocal
156 -include $(srctree)$(KCONFIG)
157
158 # Some Global Settings (Kbuild stuff)
159 # =========================================================================
160
161 # To put more focus on warnings, be less verbose as default
162 # Use 'make V=1' to see the full commands
163
164 ifeq ("$(origin V)", "command line")
165   KBUILD_VERBOSE = $(V)
166 endif
167 ifndef KBUILD_VERBOSE
168   KBUILD_VERBOSE = 0
169 endif
170
171 srctree         := $(if $(KBUILD_SRC),$(KBUILD_SRC),$(CURDIR))
172 objtree         := $(CURDIR)
173
174 export srctree objtree
175
176 CONFIG_SHELL := $(shell if [ -x "$$BASH" ]; then echo $$BASH; \
177           else if [ -x /bin/bash ]; then echo /bin/bash; \
178           else echo sh; fi ; fi)
179
180 HOSTCC       = gcc
181 HOSTCXX      = g++
182 HOSTCFLAGS   = -Wall -Wno-char-subscripts -Wmissing-prototypes \
183                -Wstrict-prototypes -O2 -fomit-frame-pointer
184 HOSTCXXFLAGS = -O2
185
186 export CONFIG_SHELL HOSTCC HOSTCXX HOSTCFLAGS HOSTCXXFLAGS
187
188 # Beautify output
189 # ---------------------------------------------------------------------------
190 #
191 # Normally, we echo the whole command before executing it. By making
192 # that echo $($(quiet)$(cmd)), we now have the possibility to set
193 # $(quiet) to choose other forms of output instead, e.g.
194 #
195 #         quiet_cmd_cc_o_c = Compiling $(RELDIR)/$@
196 #         cmd_cc_o_c       = $(CC) $(c_flags) -c -o $@ $<
197 #
198 # If $(quiet) is empty, the whole command will be printed.
199 # If it is set to "quiet_", only the short version will be printed. 
200 # If it is set to "silent_", nothing will be printed at all, since
201 # the variable $(silent_cmd_cc_o_c) doesn't exist.
202 #
203 # A simple variant is to prefix commands with $(Q) - that's useful
204 # for commands that shall be hidden in non-verbose mode.
205 #
206 #       $(Q)ln $@ :<
207 #
208 # If KBUILD_VERBOSE equals 0 then the above command will be hidden.
209 # If KBUILD_VERBOSE equals 1 then the above command is displayed.
210
211 ifeq ($(KBUILD_VERBOSE),1)
212   quiet =
213   Q =
214 else
215   quiet=quiet_
216   Q = @
217 endif
218 export quiet Q KBUILD_VERBOSE
219
220 # We need some generic definitions (do not try to remake the file).
221 $(srctree)/scripts/Kbuild.include: ;
222 include $(srctree)/scripts/Kbuild.include
223
224 # Basic helpers built in scripts/
225 PHONY += scripts_basic
226 scripts_basic:
227         $(Q)$(MAKE) $(build)=scripts/basic
228         $(Q)rm -f .tmp_quiet_recordmcount
229
230 config: scripts_basic symlinks FORCE
231         $(Q)$(MAKE) $(build)=scripts/kconfig $@
232
233 %config: scripts_basic symlinks FORCE
234         $(Q)$(MAKE) $(build)=scripts/kconfig $@
235
236 PHONY += scripts
237
238 # Not sure if this needs to depend on the config.  Linux's depends on
239 # include/config/auto.conf include/config/tristate.conf
240 scripts: scripts_basic $(KCONFIG)
241         $(Q)$(MAKE) $(build)=$(@)
242
243
244 # Akaros Build Environment
245 # =========================================================================
246 AKAROSINCLUDE   := \
247                                 -I$(srctree)/kern/arch/ \
248                                 -I$(srctree)/kern/include/
249
250 CROSS_COMPILE := $(ARCH)-ros-
251
252 CC          := $(CROSS_COMPILE)gcc 
253 CPP         := $(CROSS_COMPILE)g++
254 AS          := $(CROSS_COMPILE)as
255 AR          := $(CROSS_COMPILE)ar
256 LD          := $(CROSS_COMPILE)ld
257 OBJCOPY := $(CROSS_COMPILE)objcopy
258 OBJDUMP := $(CROSS_COMPILE)objdump
259 NM          := $(CROSS_COMPILE)nm
260 STRIP   := $(CROSS_COMPILE)strip
261
262 ifeq ($(shell which $(CROSS_COMPILE)gcc 2>/dev/null ),)
263 ifeq ($(goals-has-build-targets),1)
264 $(error Could not find a $(CROSS_COMPILE) version of GCC/binutils. \
265         Be sure to build the cross-compiler and update your PATH)
266 endif
267 else
268 # Computing these without a cross compiler complains loudly
269 gcc-lib := $(shell $(CC) -print-libgcc-file-name)
270 NOSTDINC_FLAGS += -nostdinc -isystem $(shell $(CC) -print-file-name=include)
271 # Note: calling this GCC_ROOT interferes with the host tools
272 XCC_ROOT := $(dir $(shell which $(CC)))../
273 endif
274
275 CFLAGS_KERNEL += -O2 -pipe -MD -gstabs
276 CFLAGS_KERNEL += -std=gnu99 -fgnu89-inline
277 CFLAGS_KERNEL += -fno-strict-aliasing -fno-omit-frame-pointer
278 CFLAGS_KERNEL += -fno-stack-protector
279 CFLAGS_KERNEL += -Wall -Wno-format -Wno-unused
280 CFLAGS_KERNEL += -DROS_KERNEL 
281
282 # TODO: do we need this, or can we rely on the compiler's defines?
283 CFLAGS_KERNEL += -D$(ARCH)
284
285 # TODO: this requires our own strchr (kern/src/stdio.c), which is a potential
286 # source of bugs/problems.
287 # note we still pull in stdbool and stddef from the compiler
288 CFLAGS_KERNEL += -fno-builtin
289
290 AFLAGS_KERNEL := $(CFLAGS_KERNEL)
291
292 KBUILD_BUILTIN := 1
293 KBUILD_CHECKSRC := 0
294
295 export AKAROSINCLUDE CROSS_COMPILE
296 export CC CPP AS AR LD OBJCOPY OBJDUMP NM STRIP
297 export CFLAGS_KERNEL AFLAGS_KERNEL
298 export NOSTDINC_FLAGS XCC_ROOT
299 export KBUILD_BUILTIN KBUILD_CHECKSRC
300
301 CFLAGS_USER += -O2 -std=gnu99 -fno-stack-protector -fgnu89-inline
302 CXXFLAGS_USER += -O2
303
304 export CFLAGS_USER CXXFLAGS_USER
305
306 # Akaros Kernel Build
307 # =========================================================================
308 # Add top level directories, either to an existing entry (core-y) or to its
309 # own. 
310 #
311 # From these, we determine deps and dirs.  We recursively make through the
312 # dirs, generating built-in.o at each step, which are the deps from which we
313 # link akaros.
314 #
315 # We have all-arch-dirs and all-dirs, so that we can still clean even without
316 # an arch symlink.
317
318 core-y += kern/src/
319 arch-y += kern/arch/$(ARCH)/
320
321 akaros-dirs     := $(patsubst %/,%,$(filter %/, $(core-y) $(arch-y)))
322
323 all-arch-dirs   := $(patsubst %,kern/arch/%/,$(valid-arches))
324 akaros-all-dirs := $(patsubst %/,%,$(filter %/, $(core-y) $(all-arch-dirs)))
325
326 core-y          := $(patsubst %/, %/built-in.o, $(core-y))
327 arch-y          := $(patsubst %/, %/built-in.o, $(arch-y))
328
329 kbuild_akaros_main := $(core-y) $(arch-y)
330 akaros-deps := $(kbuild_akaros_main)  kern/arch/$(ARCH)/kernel.ld
331
332 kern_cpio := $(OBJDIR)/kern/initramfs.cpio
333 kern_cpio_obj := $(kern_cpio).o
334 ifneq ($(EXT2_BDEV),)
335 ext2_bdev_obj := $(OBJDIR)/kern/$(shell basename $(EXT2_BDEV)).o
336 endif
337
338 kern_initramfs_files := $(shell mkdir -p $(INITRAMFS_PATHS); \
339                           find $(INITRAMFS_PATHS))
340
341 $(kern_cpio) initramfs: $(kern_initramfs_files)
342         @echo "  Building initramfs:"
343         @if [ "$(INITRAMFS_BIN)" != "" ]; then \
344         sh $(INITRAMFS_BIN); \
345     fi
346         $(Q)for i in $(INITRAMFS_PATHS); do cd $$i; \
347         echo "    Adding $$i to initramfs..."; \
348         find -L . | cpio --quiet -oH newc > \
349                         $(CURDIR)/$(kern_cpio); \
350         cd $$OLDPWD; \
351     done;
352
353 ld_emulation := $(shell $(OBJDUMP) -i | grep -v BFD | grep ^[a-z] |head -n1)
354 ld_arch := $(shell $(OBJDUMP) -i | grep -v BFD | grep "^  [a-z]" | head -n1)
355
356 $(kern_cpio_obj): $(kern_cpio)
357         $(Q)$(OBJCOPY) -I binary -B $(ld_arch) -O $(ld_emulation) $^ $@
358
359 $(ext2_bdev_obj): $(EXT2_BDEV)
360         $(Q)$(OBJCOPY) -I binary -B $(ld_arch) -O $(ld_emulation) $^ $@
361
362 quiet_cmd_link-akaros = LINK    $@
363       cmd_link-akaros = $(LD) -T kern/arch/$(ARCH)/kernel.ld -o $@ \
364                               $(akaros-deps) \
365                               $(gcc-lib) \
366                               $(kern_cpio_obj) \
367                               $(ext2_bdev_obj) ; \
368                               $(OBJDUMP) -S $@ > $@.asm
369
370 # For some reason, the if_changed doesn't work with FORCE (like it does in
371 # Linux).  It looks like it can't find the .cmd file or something (also
372 # complaints of $(targets), so that all is probably messed up).
373 $(KERNEL_OBJ): $(akaros-deps) $(kern_cpio_obj) $(ext2_bdev_obj)
374         $(call if_changed,link-akaros)
375
376 akaros-kernel: $(KERNEL_OBJ)
377
378 $(sort $(akaros-deps)): $(akaros-dirs) ;
379
380 # Recursively Kbuild all of our directories.  If we're changing arches
381 # mid-make, we might have issues ( := on akaros-dirs, etc).
382 PHONY += $(akaros-dirs)
383 $(akaros-dirs): scripts symlinks
384         $(Q)$(MAKE) $(build)=$@
385
386 $(CMP_KERNEL_OBJ): $(KERNEL_OBJ)
387         @echo "Compressing kernel image"
388         $(Q)gzip -c $^ > $@
389
390
391 # Akaros Userspace Building and Misc Helpers
392 # =========================================================================
393 # Recursively make user libraries and tests.
394 #
395 # User library makefiles are built to expect to be called from their own
396 # directories.  The test code can be called from the root directory.
397
398 # List all userspace directories here, and state any dependencies between them,
399 # such as how pthread depends on parlib.
400
401 user-dirs = parlib pthread benchutil
402 pthread: parlib
403
404 ifeq ($(ARCH),i686)
405 user-dirs += c3po
406 c3po: parlib
407 endif
408
409 PHONY += install-libs $(user-dirs)
410 install-libs: $(user-dirs) symlinks
411
412 $(user-dirs):
413         @cd user/$@ && $(MAKE) && $(MAKE) install
414
415
416 PHONY += userclean $(clean-user-dirs)
417 clean-user-dirs := $(addprefix _clean_user_,$(user-dirs))
418 userclean: $(clean-user-dirs) testclean
419
420 $(clean-user-dirs):
421         @cd user/$(patsubst _clean_user_%,%,$@) && $(MAKE) clean
422
423 tests/: tests
424 tests: install-libs
425         @$(MAKE) -f tests/Makefile
426
427 testclean:
428         @$(MAKE) -f tests/Makefile clean
429
430 install-tests:
431         @$(MAKE) -f tests/Makefile install
432
433 # TODO: cp -u all of the .sos, but flush it on an arch change (same with tests)
434 fill-kfs: install-libs install-tests
435         @mkdir -p $(FIRST_INITRAMFS_PATH)/lib
436         @cp $(addprefix $(XCC_ROOT)/$(ARCH)-ros/lib/, \
437           libc.so.6 ld.so.1 libm.so libgcc_s.so.1) $(FIRST_INITRAMFS_PATH)/lib
438         $(Q)$(STRIP) --strip-debug $(addprefix $(FIRST_INITRAMFS_PATH)/lib/, \
439                                                libc.so.6 ld.so.1)
440
441 # Use doxygen to make documentation for ROS (Untested since 2010 or so)
442 doxygen-dir := $(CUR_DIR)/Documentation/doxygen
443 docs: 
444         @echo "  Making doxygen"
445         @doxygen-dir=$(doxygen-dir) doxygen $(doxygen-dir)/rosdoc.cfg
446         @if [ ! -d $(doxygen-dir)/rosdoc/html/img ]; \
447          then \
448                 ln -s ../../img $(doxygen-dir)/rosdoc/html; \
449          fi
450
451 doxyclean:
452         @echo + clean [ROSDOC]
453         @rm -rf $(doxygen-dir)/rosdoc
454
455 objclean:
456         @echo + clean [OBJDIR]
457         @rm -rf $(OBJDIR)/*
458
459 realclean: userclean mrproper doxyclean objclean
460
461 # Cleaning
462 # =========================================================================
463 # This is mostly the Linux kernel cleaning.  We could hook in to the userspace
464 # cleaning with the 'userclean' target attached to clean, though historically
465 # 'clean' means the kernel.
466
467 # Shorthand for $(Q)$(MAKE) -f scripts/Makefile.clean obj=dir
468 # Usage:
469 # $(Q)$(MAKE) $(clean)=dir
470 clean := -f $(if $(KBUILD_SRC),$(srctree)/)scripts/Makefile.clean obj
471
472 # clean - Delete all generated files
473 #
474 clean-dirs         := $(addprefix _clean_,$(akaros-all-dirs))
475
476 PHONY += $(clean-dirs) clean
477 $(clean-dirs):
478         $(Q)$(MAKE) $(clean)=$(patsubst _clean_%,%,$@)
479
480 RCS_FIND_IGNORE := \( -name SCCS -o -name BitKeeper -o -name .svn -o -name CVS \
481                    -o -name .pc -o -name .hg -o -name .git \) -prune -o
482 clean: $(clean-dirs)
483         @find $(patsubst _clean_%,%,$(clean-dirs)) $(RCS_FIND_IGNORE) \
484             \( -name '*.[oas]' -o -name '*.ko' -o -name '.*.cmd' \
485             -o -name '*.ko.*' \
486             -o -name '.*.d' -o -name '.*.tmp' -o -name '*.mod.c' \
487             -o -name '*.symtypes' -o -name 'modules.order' \
488             -o -name modules.builtin -o -name '.tmp_*.o.*' \
489             -o -name '*.gcno' \) -type f -print | xargs rm -f
490
491 # Could add in an archclean if we need arch-specific cleanup, or a userclean if
492 # we want to start cleaning that too.
493 #clean: archclean
494 #clean: userclean
495
496 # mrproper - Delete all generated files, including .config, and reset ARCH
497 #
498 mrproper-dirs      := $(addprefix _mrproper_,scripts)
499
500 PHONY += $(mrproper-dirs) mrproper
501 $(mrproper-dirs):
502         $(Q)$(MAKE) $(clean)=$(patsubst _mrproper_%,%,$@)
503
504 mrproper: $(mrproper-dirs) clean clean_symlinks
505         @-rm -f .config
506         @find $(patsubst _mrproper_%,%,$(mrproper-dirs)) $(RCS_FIND_IGNORE) \
507             \( -name '*.[oas]' -o -name '*.ko' -o -name '.*.cmd' \
508             -o -name '*.ko.*' \
509             -o -name '.*.d' -o -name '.*.tmp' -o -name '*.mod.c' \
510             -o -name '*.symtypes' -o -name 'modules.order' \
511             -o -name modules.builtin -o -name '.tmp_*.o.*' \
512             -o -name '*.gcno' \) -type f -print | xargs rm -f
513
514 # Epilogue
515 # =========================================================================
516
517 PHONY += FORCE
518 FORCE:
519
520 # Declare the contents of the .PHONY variable as phony.  We keep that
521 # information in a variable so we can use it in if_changed and friends.
522 .PHONY: $(PHONY)