various symbol referencing fixes

make weak symbol references and namespace renames references
the renamed versions.

function renaming, weak symbol references and libc namespace.h
protection interact in hairy ways and causes weak symbol references
for renamed functions to be unresolved; e.g. vfork should be an
alias for _vfork but _vfork doesn't exist because __vfork14()
exists.

this is a problem for dynamically linked executables as all symbols
have to be resolved, used or not, at link time. it was masked by
clang-compiled base system libraries but is a problem when gcc does
it.

libvassert: don't build shared lib

releasetools: use build system macros

xz: add libc dependency

ld.so: be more mmap()-behaviour-independent

. if the layout of virtual address regions as returned
  by mmap() without a location hint changes, ld.so could
  trip itself up (under minix). this change allocates
  the full size it needs for every object that's loaded
  so that if that succeeds, it's sure there's virtual address
  space for the whole thing no matter what other bits happen
  to be there already.

. this fix exposed a bug in the test; at atexit() execution
  time the loaded object is unmapped, so that part of the
  test is removed.

fetch.sh: serve tarballs ourselves

And use the original sources as backup.

Import lib{mpc,gmp,mpfr}

This decreases external dependencies for crosscompilation. Note that
these libraries are not built nor used by Minix itself.

Furthermore, the shell scripts that download the tarballs for these
libraries, gcc, binutils, and gmake now also support curl in addition
to wget.

sed: unbreak crosscompilation

sed: add compatability symlink properly

Include bsd.own.mk in /usr/Makefile to have INSTALL_DIR defined.

sed: add compatability symlink

setup: copy boot.cfg.default to /boot.cfg

This way the setup stays in sync with the source tree.

/etc/rc: use mount -a instead of manual parsing

The rc script manually parses /etc/fstab to mount all file systems.
To do that it needs /bin/sed which does not exist anymore. mount(8)
now supports the -a flag which causes it to mount all file systems
listed in /etc/fstab except for '/'. File systems marked with 'noauto'
are skipped.

Adding a symlink from /usr/bin/strip to /usr/pkg/bin/strip.

When calling the new install with the -s (strip) argument it will
use the hard coded /usr/bin/strip unless a STRIP environment is set.

Removed unused control fifo in devmand.

Decrease verbosity of devmand.

Display warnings(non critical errors) only when the verbose flag
is set.

generate offsets for ucontext.S

Fix release script

Release script: tools -> releasetools rename

mkfs.mfs: no need to include a.out.h

Don't build ext2 ramdisk for cross compilation

. as mkfs.mfs is now cross compilable, we can remove the ext2 ramdisk
  special case for cross compilation.

Clean up generated files for ash,ramdisk,libutil,libc

Cross compile MFS ramdisk

Make mkfs.mfs cross compilable

Not every shell understands 'let'

Update nbsd_ports to account for new utils

Build file cross compilation tool

xinstall fix for cross compilation

Update gitignore for releasetools

Import NetBSD tools and build.sh

This commit finalizes support for cross compilation. The tools
directory are all links to the actual tools and are built on the
host system to build Minix. build.sh is the work horse that takes
care of all environment settings. It's slightly adjusted for Minix.
The /usr/src/Makefile has additional targets needed for cross
compilation.

Remove duplicate sed

Fix sed for cross compilation

Import NetBSD xinstall

Also, fix mk files for cross compilation.

Import NetBSD mtree

mtree is only used for cross compilation at this point. Also, the
required patches to make it compile on Minix cripple it probably
enough to make it unusable anyway.

Import NetBSD mktemp

Import NetBSD make

Import NetBSD flex

Import NetBSD byacc

Partially import gcc and binutils

They are used as build tools for cross compilation. This import does
not include the full distribution. Rather, it sports a shell script
that will download and patch the distribution when compiled from
/usr/src/tools (yet to be committed). This part of the source tree is
only necessary for cross compilation. It's not used or compiled for
native builds.

Import NetBSD nawk

Add gnu directory for gmake

Add mk and h files needed for cross compilation

Rename tools to releasetools

This is in preparation of NetBSD's tools directory to build tools
for cross compilation.

Rewrite osrelease.sh to parse Minix version

Dynamically determine which ramdisk to use

.Also, rename ext2_ramdisk to ramdisk_ext2.

Use MACHINE_ARCH instead of ARCH

Remove MINIXSRCDIR and use NETBSDSRCDIR

NETBSDSRCDIR is used all over the place anyway, and this reduces
our diff with NetBSD a little.

No need to define NETBSD_SOURCE explicitly

Use buildsystem commands instead of {cp,mkdir}

mtree.sh: reverse last two parameters

This way we can treat DESTDIR like a special case just as the build
system does (i.e., if not set, assume DESTDIR="/").

Cross-compilation fixes

. Some Makefile fixes to automatically differentiate between a normal
  compilation and cross-compilation. Also, build compressed images.
. Harmonize ramdisk rc scripts for normal use case and ext2 ramdisk.
. ext2_ramdisk filesystem prototype fixes.

Fix mk file for cross compilation (2)

newroot is gone too

bios_wini is no longer amongst us

New file(1) port

Fix up mtree.sh

Also copy kernel into multiboot dir

ext2 ramdisk: copy rc to correct destination

ramdisk: don't do anything at dependall

Fix compiler check

Make var overridable for cross compilation

Include ext2 ramdisk in build and remove sync

As the ramdisk and ext2 ramdisk don't build anything for the install
and all targets, memory does not have to wait for them anymore.

Add ext2 ramdisk, intended for cross compilation

Make ramdisk location configurable

Also, the ramdisk is now built when the memory driver is compiled.

When MKUNPRIV is set do not require root privilege

Makefile fixups for cross compilation

Make TTY cross-compilable

Make commands cross-compilable

Let the kernel load figure out where to put mods

This patch makes the mkimage tool obsolete

Create cc symlink to clang

drop from segments physcopy/vircopy invocations

. sys_vircopy always uses D for both src and dst
. sys_physcopy uses PHYS_SEG if and only if corresponding
  endpoint is NONE, so we can derive the mode (PHYS_SEG or D)
  from the endpoint arg in the kernel, dropping the seg args
. fields in msg still filled in for backwards compatability,
  using same NONE-logic in the library

drop segments from safemap/safeunmap invocations

Add hot plugging infrastructure in rc file.

Adding hot plugging infrastructure in rc file. This includes
starting the devman service, mounting it's file system and
starting the corresponding devmand daemon.

This patch also provide error free shutdown of the USB sub-system.

The USB sub system needs to be shutdown in a certain order but also
consists of components living in /usr/pkg/. By checking the
existence of usbd we can stop it in the correct order.

Add devmand configuration to /etc.

Add support in devmand for using config dirs.

Add support in devmand for using configuration directories to
allow 3rd party packages to add configuration items.

Upgrade libddekit and introduce devmand.

Devmand (Device manager daemon) is the daemon that will
dynamically manage services based on events received from
the system.

Move setjmp and strnlen to common/lib.

Move setjmp and strnlen to common/lib to allow libddekit to use them.

drop segment from safecopy invocations

. all invocations were S or D, so can safely be dropped
  to prepare for the segmentless world
. still assign D to the SCP_SEG field in the message
  to make previous kernels usable

dumpcore: use ptrace function to trigger a coredump

. dumpcore currently relies on minix segments
. also ptrace dumpcore fix

pm: ignore notify() from unknown sender

. avoids annoying error message if e.g. buggy drivers
  send pm notify()s that pm tries to reply() ENOSYS to

further libexec generalization

. new mode for sys_memset: include process so memset can be
  done in physical or virtual address space.
. add a mode to mmap() that lets a process allocate uninitialized
  memory.
. this allows an exec()er (RS, VFS, etc.) to request uninitialized
  memory from VM and selectively clear the ranges that don't come
  from a file, leaving no uninitialized memory left for the process
  to see.
. use callbacks for clearing the process, clearing memory in the
  process, and copying into the process; so that the libexec code
  can be used from rs, vfs, and in the future, kernel (to load vm)
  and vm (to load boot-time processes)

exec() cleanup, generalization, improvement

. make exec() callers (i.e. vfs and rs) determine the
  memory layout by explicitly reserving regions using
  mmap() calls on behalf of the exec()ing process,
  i.e. handling all of the exec logic, thereby eliminating
  all special exec() knowledge from VM.
. the new procedure is: clear the exec()ing process
  first, then call third-party mmap()s to reserve memory, then
  copy the executable file section contents in, all using callbacks
  tailored to the caller's way of starting an executable
. i.e. no more explicit EXEC_NEWMEM-style calls in PM or VM
  as with rigid 2-section arguments
. this naturally allows generalizing exec() by simply loading
  all ELF sections
. drop/merge of lots of duplicate exec() code into libexec
. not copying the code sections to vfs and into the executable
  again is a measurable performance improvement (about 3.3% faster
  for 'make' in src/servers/)

drop aout support

justification: soon we won't be able to execute sep I&D aouts at
all (because of the vanishing segments), which was the default mode
to generate them so most binaries will be sep I&D.

this makes the vfs/rs exec() unification work simpler.

after unification, common I&D aout could be added back quite simply.

vm: add third-party mmap() mode and PROCCTL

these two functions will be used to support all exec() functionality
going into a single library shared by RS and VFS and exec() knowledge
leaving VM.

. third-party mmap: allow certain processes (VFS, RS) to
  do mmap() on behalf of another process
. PROCCTL: used to free and clear a process' address space

kernel: compact utility functions

endianness compile fixes

kernel: make sure mpx.S is linked early

. for qemu multiboot detection

synctree compile fix

. rename CANCEL to ORDER_CANCEL so the CANCEL enum name doesn't
  clash with a minix header file. also endianness test fix.

no USE_BOOTPARAM

kernel: neater arch-dependent split in Makefiles

. files in kernel/ references in kernel/Makefile, but
  in kernel/arch/i386/ in kernel/arch/i386/Makefile.inc

only elf/multiboot images

mthread: mmap returns MAP_FAILED on error

set major version of shlibs to 0

WARNING: this will break existing dynamically linked binaries if they
exist. If you have any:
. re-build world statically first if necessary
. remove libraries from /lib and /usr/lib
. then build world

This change:
. avoids possible future dismay when interfacing other
  systems' binaries; done until they are abi-compatible

Thanks to Antoine Leca for pointing this out.

retire BIOS_SEG and umap_bios

. readbios call is now a physical copy with range check in
  the kernel call instead of BIOS_SEG+umap_bios
. requires all access to physical memory in bios range to go
  through sys_readbios
. drivers/dpeth: wasn't using it
. adjusted printer

brazilian keymap

contributed by David Augusto.

VFS: fix "process already free" panic on reboot

Reported by Claudiu Dan Gheorghe, debugged by Thomas and myself

test43: fix dangling-symlink case

libarchive import

. clean and nbsd_ports managed import
. also makes it shared

libmthread: don't always verify library initialization

This can be turned back on when the library is compiled with
-DMTHREAD_STRICT (which enables more sanity checks). However,
always performing this check shows up in system profiling results.

VFS: unlock vmnt when out of vnodes