Cross compile MFS ramdisk

Make mkfs.mfs cross compilable

Not every shell understands 'let'

Update nbsd_ports to account for new utils

Build file cross compilation tool

xinstall fix for cross compilation

Update gitignore for releasetools

Import NetBSD tools and build.sh

This commit finalizes support for cross compilation. The tools
directory are all links to the actual tools and are built on the
host system to build Minix. build.sh is the work horse that takes
care of all environment settings. It's slightly adjusted for Minix.
The /usr/src/Makefile has additional targets needed for cross
compilation.

Remove duplicate sed

Fix sed for cross compilation

Import NetBSD xinstall

Also, fix mk files for cross compilation.

Import NetBSD mtree

mtree is only used for cross compilation at this point. Also, the
required patches to make it compile on Minix cripple it probably
enough to make it unusable anyway.

Import NetBSD mktemp

Import NetBSD make

Import NetBSD flex

Import NetBSD byacc

Partially import gcc and binutils

They are used as build tools for cross compilation. This import does
not include the full distribution. Rather, it sports a shell script
that will download and patch the distribution when compiled from
/usr/src/tools (yet to be committed). This part of the source tree is
only necessary for cross compilation. It's not used or compiled for
native builds.

Import NetBSD nawk

Add gnu directory for gmake

Add mk and h files needed for cross compilation

Rename tools to releasetools

This is in preparation of NetBSD's tools directory to build tools
for cross compilation.

Rewrite osrelease.sh to parse Minix version

Dynamically determine which ramdisk to use

.Also, rename ext2_ramdisk to ramdisk_ext2.

Use MACHINE_ARCH instead of ARCH

Remove MINIXSRCDIR and use NETBSDSRCDIR

NETBSDSRCDIR is used all over the place anyway, and this reduces
our diff with NetBSD a little.

No need to define NETBSD_SOURCE explicitly

Use buildsystem commands instead of {cp,mkdir}

mtree.sh: reverse last two parameters

This way we can treat DESTDIR like a special case just as the build
system does (i.e., if not set, assume DESTDIR="/").

Cross-compilation fixes

. Some Makefile fixes to automatically differentiate between a normal
  compilation and cross-compilation. Also, build compressed images.
. Harmonize ramdisk rc scripts for normal use case and ext2 ramdisk.
. ext2_ramdisk filesystem prototype fixes.

Fix mk file for cross compilation (2)

newroot is gone too

bios_wini is no longer amongst us

New file(1) port

Fix up mtree.sh

Also copy kernel into multiboot dir

ext2 ramdisk: copy rc to correct destination

ramdisk: don't do anything at dependall

Fix compiler check

Make var overridable for cross compilation

Include ext2 ramdisk in build and remove sync

As the ramdisk and ext2 ramdisk don't build anything for the install
and all targets, memory does not have to wait for them anymore.

Add ext2 ramdisk, intended for cross compilation

Make ramdisk location configurable

Also, the ramdisk is now built when the memory driver is compiled.

When MKUNPRIV is set do not require root privilege

Makefile fixups for cross compilation

Make TTY cross-compilable

Make commands cross-compilable

Let the kernel load figure out where to put mods

This patch makes the mkimage tool obsolete

Create cc symlink to clang

drop from segments physcopy/vircopy invocations

. sys_vircopy always uses D for both src and dst
. sys_physcopy uses PHYS_SEG if and only if corresponding
  endpoint is NONE, so we can derive the mode (PHYS_SEG or D)
  from the endpoint arg in the kernel, dropping the seg args
. fields in msg still filled in for backwards compatability,
  using same NONE-logic in the library

drop segments from safemap/safeunmap invocations

Add hot plugging infrastructure in rc file.

Adding hot plugging infrastructure in rc file. This includes
starting the devman service, mounting it's file system and
starting the corresponding devmand daemon.

This patch also provide error free shutdown of the USB sub-system.

The USB sub system needs to be shutdown in a certain order but also
consists of components living in /usr/pkg/. By checking the
existence of usbd we can stop it in the correct order.

Add devmand configuration to /etc.

Add support in devmand for using config dirs.

Add support in devmand for using configuration directories to
allow 3rd party packages to add configuration items.

Upgrade libddekit and introduce devmand.

Devmand (Device manager daemon) is the daemon that will
dynamically manage services based on events received from
the system.

Move setjmp and strnlen to common/lib.

Move setjmp and strnlen to common/lib to allow libddekit to use them.

drop segment from safecopy invocations

. all invocations were S or D, so can safely be dropped
  to prepare for the segmentless world
. still assign D to the SCP_SEG field in the message
  to make previous kernels usable

dumpcore: use ptrace function to trigger a coredump

. dumpcore currently relies on minix segments
. also ptrace dumpcore fix

pm: ignore notify() from unknown sender

. avoids annoying error message if e.g. buggy drivers
  send pm notify()s that pm tries to reply() ENOSYS to

further libexec generalization

. new mode for sys_memset: include process so memset can be
  done in physical or virtual address space.
. add a mode to mmap() that lets a process allocate uninitialized
  memory.
. this allows an exec()er (RS, VFS, etc.) to request uninitialized
  memory from VM and selectively clear the ranges that don't come
  from a file, leaving no uninitialized memory left for the process
  to see.
. use callbacks for clearing the process, clearing memory in the
  process, and copying into the process; so that the libexec code
  can be used from rs, vfs, and in the future, kernel (to load vm)
  and vm (to load boot-time processes)

exec() cleanup, generalization, improvement

. make exec() callers (i.e. vfs and rs) determine the
  memory layout by explicitly reserving regions using
  mmap() calls on behalf of the exec()ing process,
  i.e. handling all of the exec logic, thereby eliminating
  all special exec() knowledge from VM.
. the new procedure is: clear the exec()ing process
  first, then call third-party mmap()s to reserve memory, then
  copy the executable file section contents in, all using callbacks
  tailored to the caller's way of starting an executable
. i.e. no more explicit EXEC_NEWMEM-style calls in PM or VM
  as with rigid 2-section arguments
. this naturally allows generalizing exec() by simply loading
  all ELF sections
. drop/merge of lots of duplicate exec() code into libexec
. not copying the code sections to vfs and into the executable
  again is a measurable performance improvement (about 3.3% faster
  for 'make' in src/servers/)

drop aout support

justification: soon we won't be able to execute sep I&D aouts at
all (because of the vanishing segments), which was the default mode
to generate them so most binaries will be sep I&D.

this makes the vfs/rs exec() unification work simpler.

after unification, common I&D aout could be added back quite simply.

vm: add third-party mmap() mode and PROCCTL

these two functions will be used to support all exec() functionality
going into a single library shared by RS and VFS and exec() knowledge
leaving VM.

. third-party mmap: allow certain processes (VFS, RS) to
  do mmap() on behalf of another process
. PROCCTL: used to free and clear a process' address space

kernel: compact utility functions

endianness compile fixes

kernel: make sure mpx.S is linked early

. for qemu multiboot detection

synctree compile fix

. rename CANCEL to ORDER_CANCEL so the CANCEL enum name doesn't
  clash with a minix header file. also endianness test fix.

no USE_BOOTPARAM

kernel: neater arch-dependent split in Makefiles

. files in kernel/ references in kernel/Makefile, but
  in kernel/arch/i386/ in kernel/arch/i386/Makefile.inc

only elf/multiboot images

mthread: mmap returns MAP_FAILED on error

set major version of shlibs to 0

WARNING: this will break existing dynamically linked binaries if they
exist. If you have any:
. re-build world statically first if necessary
. remove libraries from /lib and /usr/lib
. then build world

This change:
. avoids possible future dismay when interfacing other
  systems' binaries; done until they are abi-compatible

Thanks to Antoine Leca for pointing this out.

retire BIOS_SEG and umap_bios

. readbios call is now a physical copy with range check in
  the kernel call instead of BIOS_SEG+umap_bios
. requires all access to physical memory in bios range to go
  through sys_readbios
. drivers/dpeth: wasn't using it
. adjusted printer

brazilian keymap

contributed by David Augusto.

VFS: fix "process already free" panic on reboot

Reported by Claudiu Dan Gheorghe, debugged by Thomas and myself

test43: fix dangling-symlink case

libarchive import

. clean and nbsd_ports managed import
. also makes it shared

libmthread: don't always verify library initialization

This can be turned back on when the library is compiled with
-DMTHREAD_STRICT (which enables more sanity checks). However,
always performing this check shows up in system profiling results.

VFS: unlock vmnt when out of vnodes

VFS: release what can be released

Only attempt to release blocked processes that are blocked. There is
no use in trying to find more blocked processes than we know that are
blocked (on a pipe).

VFS: simplify stat for pipes

According to POSIX the st_size field of struct stat is undefined for
fifos and anonymous pipes. Thus we can do anything we want. We save a
copy by not being accurate on pipe sizes.

VFS: use S_IS* macros

VFS: I_PIPE is redundant

Also, use S_IS* macros instead of manual comparison.

AT_SUN_EXECNAME support

. vfs: pass execname in aux vectors
. ld.elf_so: use this to expand $ORIGIN
. this requires the executable to reserve more
  space at exec() calling time

kernel: mon_return cleanup

cleanup of boot monitor related code.

Enable LZMA supprt with tar(1)

MFS: reimplement block clean marking fix

MFS' get_block() must never return a newly acquired block buffer that
is marked dirty from previous use. This patch replaces git-dd59d50,
which assumed a working model where blocks for device NO_DEV would
never be dirty. For at least one scenario, that assumption does not
hold, triggering superblock overwrite warnings. In this patch, blocks
are explicitly marked as clean upon being repurposed. The working
model is now restored to be: the dirty state of a block is relevant
only when its associated device is not set to NO_DEV.

VFS: reimplement truncate mtime/ctime fix

POSIX mandates that a file's modification and change time be left
untouched upon truncate/ftruncate iff the file size does not change.
However, an open(O_TRUNC) call must always update the modification and
change time of the file, even if it was already zero-sized. VFS uses
the file systems' truncate call to implement O_TRUNC. This patch
replaces git-255ae85, which did not take into account the open case.
The size check is now moved into VFS, so that individual file systems
need not check for this case anymore.

run test fix, take two

daily cron: fix timestamp updating

. previously was not updated causing daily to be run on
  every boot

use linker to align fpu state save area

procfs: fix rare panic in add_inode

Previously, procfs would consider all processes that have a non-free
kernel slot *or* an in-use PM slot. However, since AVFS, a non-free
kernel slot does not imply an in-use PM slot. As a result, procfs
may use PM slots that have a zero PID value. If two such entries are
present in the retrieved PM table, procfs would try to add two inodes
with the same name "0", triggering an assertion in vtreefs.

This patch makes procfs consider only the PM slot for (non-task)
processes.

update_bootcfg: fix: generate absolute paths

run test fix

block ioctls: pass request number

release fixes

. make ramdisk buildable without ../etc having pwd.db
. add cat to release bootstrap cmds
. support running dynamically linked executables for
  release bootstrap cmds
. import netbsd chroot to help

test scripts fixes

dynamic executables on ramdisk support

See UPDATING about upgrading clang for dynamic linking.

. allow executables on ramdisk to be dynamically linked; this means
  putting a few required shared libraries and ld.elf_so on the ramdisk.
. this makes the ramdisk (usage) smaller when they are dynamic, but
  bigger when they're not.
. also we can safely ditch newroot and call mount directly as that is
  all newroot does.
. create proto.common to share a bunch of entries between
  small/nonsmall cases

tests: link them dynamically by default

. so that functionality is tested
. add test63 that actually tests dlopen(), dlsym(),
  etc. functionality; only built if clang supports it
. also test10 test to copy more of the executable

build shared versions of libraries

building defaults to off until clang is updated.

current clang does not handle -shared, necessary to change the ld
invocation to build shared libraries properly. a new clang should be
installed and MKPIC defaults to no unless the newer clang is detected.

changes:

. mainly small imports of a Makefile or two and small fixes
  (turning things back on that were turned off in Makefiles)
. e.g.: dynamic librefuse now depends on dynamic
  libpuffs, so libpuffs has to be built dynamically too
  and a make dependency barrier is needed in lib/Makefile
. all library objects now have a PIC (for .so) and non-PIC
  version, so everything is built twice.
. generate PIC versions of the compat (un-RENAMEd) jump files,
  include function type annotation in generated assembly
. build progs with -static by default for now
. also build ld.elf_so
. also import NetBSD ldd

recognize and execute dynamically linked executables

   . generalize libexec slightly to get some more necessary information
  from ELF files, e.g. the interpreter
. execute dynamically linked executables when exec()ed by VFS
. switch to netbsd variant of elf32.h exclusively, solves some
  conflicting headers