prepare for netbsd libc/headers

  . mtree entries for /usr/netbsd
  . install(1) fix for relative symlinks by Antoine Leca

changes for detecting and building for clang/binutils elf

and minor fixes:
 . add ack/clean target to lib, 'unify' clean target
 . add includes as library dependency
 . mk: exclude warning options clang doesn't have in non-gcc
 . set -e in lib/*.sh build files
 . clang compile error circumvention (disable NOASSERTS for release builds)

/etc/group: add 'games' group

Several pkgsrc packages under the games category won't install
without a games group. This change adds the group with gid 13,
the default games gid on NetBSD.

release.sh, tell_config: variables from /usr/src

libarchive: fix bad timestamp bug caused by bit shift.

The file timestamps in archives created by libarchive all had
dates in the year 2038. It was caused by a bit shift in
archive_write_set_format_ustar which shifted 1 instead of 1ull.

<timers.h> - add feature to time a code block

  . also minor compile fixes for it

release.sh fixes, updates, improvements for git, usb, readability

boot/cdbootblock: use AFLAGS instead of CPPFLAGS

  . this unbreaks building the .iso

Fix VM -Wall warnings and enable -Werror

Add chmod o-w /usr

After the default install, /usr was world writable. perl refused to
install itself into /usr with that permission. This fixes the permissions.

Fix for SPROFILE == 0

- contributed by Antoine Leca

LWIP - removed __unused where inappropriate

libcompat: Add net/gen stub headers.

This helps reducing patching when compiling legacy minix net utils.

Import libelf from elftoolchain r1525

fix clang warnings in servers/

larger i/o buffer for exec()

  . makes exec() for large executables (e.g. clang, gcc)
    significantly faster

Thanks to Antoine Leca.

APIC timer needs rearming before halting the cpu

- time stops if there is no activity and the timer expired before
  we halted the cpu

- restart_local_timer() checks if the timer has expired and if so it
  restarts it

- we do the same when switching back to userspace

PCI - do not panic when ACPI cannot map bridges

- when ACPI does not find mappings for pci brdiges, do no panic,
  only report a warning and continue to a fallback which uses
  only the root bus IRQ routing table. Fail only if that is not
  present.

ELF multiboot support

made boot/ into hierarchy of programs

work of Antoine Leca

Remote unused segctl kernel call

OBJDIR-clean generating of .gitignore

By Antoine Leca

fix missing return statement in nonamed causing network failure after 300s when compiling with GCC

Generate .gitignore file for tools directory

Enable generation of .gitignore file for the test dir

Make test40 behave

Make test40 behave better. It should create its own subdirectory to
conduct its tests and should not write to /tmp. Also, the master-slave
terminal pair it tries to open might be in use; it should try to obtain
another pair. These changes allow the test to be run multiple times
simultaneously from different paths (to test select() more intensively).

sprofalyze.pl: fix for forked-nonexeced processes

kernel: fix logic error in the case vm_lookup fails

Kernel: try_async/try_one fixes
- skip processes that are not asynsending to the target
- do not clear whole asynsend table upon IPC permission error
- be more accepting when one table entry is bogus later on

dhcpd: fix newly introduced ACK warnings

libmthread: support for thread-local storage (keys/specifics)

SMP - INIT IPI deasserting fix

When deasserting the INIT IPI the DM field must be zero

Return errors directly instead of using errno

Clean up and fix multiple bugs in select:
 - Remove redundant code.
 - Always wait for the initial reply from an asynchronous select request,
   even if the select has been satisfied on another file descriptor or
   was canceled due to a serious error.
 - Restart asynchronous selects if upon reply from the driver turns out
   that there are deferred operations (and do not forget we're still
   interested in the results of the deferred operations).
 - Do not hang a non-blocking select when another blocking select on
   the same filp is still blocking.
 - Split blocking operations in read, write, and exceptions (i.e.,
   blocking on read does not imply the write will block as well).
 - Some loops would iterate over OPEN_MAX file descriptors instead of
   the "highest" file descriptor.
 - Use proper internal error return values.
 - A secondary reply from a synchronous driver is essentially the same
   as from an asynchronous driver (the only difference being how the
   answer is received). Merge.
 - Return proper error code after a driver failure.
 - Auto-detect whether a driver is synchronous or asynchronous.
 - Remove some code duplication.
 - Clean up code (coding style, add missing comments, put all select
   related code together).

Do not print an error message when a binary is corrupt

Server/driver protocols: no longer allow third-party copies.

Before safecopies, the IO_ENDPT and DL_ENDPT message fields were needed
to know which actual process to copy data from/to, as that process may
not always be the caller. Now that we have full safecopy support, these
fields have become useless for that purpose: the owner of the grant is
*always* the caller. Allowing the caller to supply another endpoint is
in fact dangerous, because the callee may then end up using a grant
from a third party. One could call this a variant of the confused
deputy problem.

From now on, safecopy calls should always use the caller's endpoint as
grant owner. This fully obsoletes the DL_ENDPT field in the
inet/ethernet protocol. IO_ENDPT has other uses besides identifying the
grant owner though. This patch renames IO_ENDPT to USER_ENDPT, not only
because that is a more fitting name (it should never be used for I/O
after all), but also in order to intentionally break any old system
source code outside the base system. If this patch breaks your code,
fixing it is fairly simple:

- DL_ENDPT should be replaced with m_source;
- IO_ENDPT should be replaced with m_source when used for safecopies;
- IO_ENDPT should be replaced with USER_ENDPT for any other use, e.g.
  when setting REP_ENDPT, matching requests in CANCEL calls, getting
  DEV_SELECT flags, and retrieving of the real user process's endpoint
  in DEV_OPEN.

The changes in this patch are binary backward compatible.

Move back resolv.h, nameser.h and netdb.h as they conflict with NetBSD headers and libc.

libsys: fix micro_delay()

Enable a process to find out what the error code was when delivery of an
asynchronous message resulted in an error.

The model here is that:
 - Iff a sender wishes to be notified, the sender MUST check for errors
   BEFORE sending another asynchronous message.

The reason is that in order to remember the error code, we can't clean up
the message table and hence we risk running out of table space. This is
less of a problem when the sender enables notifications only for errors.

Enable sending a notification when sending of an asynchronous message was
completed (successfully or not). AMF_NOTIFY_ERR can be used if the sender
only wishes to be notified in case of an error (e.g., EDEADSRCDST). A new
endpoint ASYNCM will be the sender of the notification.

Use a bitmap for pending asynchronous messages instead of a global flag.
That way it works similar to pending notifications.

Reduce the number of copies done by the kernel when handling retrieval and
delivery of asynchronous messages.

Fixed smp compilation

- missing u64.h include after 64bit routines for gcc got inlined

libexec: return physaddr info from ELF headers

LWIP - Fix for dhcpd broadcast to work after boot

Dhcp only works if devices are configured with a broadcast source
address at the begining as it currently uses raw ip sockets and the
sockets sets the source address. It is a quick hack and proper hdcpd
fix is preferable

LWIP - scripts

This changes to the boot scripts allow switching to lwip simply by
setting lwip=yes  in the boot monitor.

LWIP - dhcpd --lwip

A sort of quick hack for dhcpd to work as a client with lwip server.

- The functionality is not changed unless --lwip switch is supplied.
  dhcpd does not use broadcast udp sockets but some sort of raw
  sockets and changes their behavior during their life by ioctls.

- I thought there is no need to polute lwip just to make dhcp client
  work. Instead I decided to twist the client a little bit.

- It is so far the only big collision I found between inet and lwip.

LWIP - the lwip server

The server implements inet-like interface to vfs and drivers. The core
functionality is contained in the liblwip.

LWIP - liblwip

lwip-1.4.0-rc1 imported as liblwip

LWIP - udp_io_hdr.h

lwip server needs to include struct udp_io_hdr but must not include
struct udp-hdr as it conflicts with its internal type. So it is split
into to files now.

[NBSD libc] Various fixes.

mkfs.mfs: use bitchunk_t (reported by Maurizio Lombardi)

libvtreefs: return OK from REQ_INHIBREAD (this unbreaks grep on /proc)

tail(1): write partial last line also with -f

VFS: bugfixes for handling block-special files:
- on driver restarts, reopen devices on a per-file basis, not per-mount
- do not assume that there is just one vnode per block-special device
- update block-special files in the uncommon mounting success paths, too
- upon mount, sync but also invalidate affected buffers on the root FS
- upon unmount, check whether a vnode is in use before updating it

PFS: UDS code cleanup:
- coalesce lots of duplicate code
- avoid using errno as much as possible
- fix bugs in some error handling cases

drivers/sb16: delete altogether; the latest copy is in drivers/audio/sb16

misc drivers: remove more non-safecopy support

TTY/LOG driver cleanup:
- remove non-safecopy support from TTY
- make TTY warning-free with gcc -Wall
- remove obsolete diagnostics support

Add libasyn, asynchio support for netbsd libc.

NBSD includes: Include sys/reboot.h in unistd.h

Minix expect RBT_* ops to be defined in unistd.h.

Add libminlib for NBSD libc compilation.

This library includes various random and minix-specific functions
included in the Minix libc. Most of them should be part of libsys,
and in general it would be nice to extinguish this library over
time.

Add libcompat_minix for NBSD libc

libcompat_minix is a compatibility layer meant to let existing commands to work
with the new libc.

Import unmodified NetBSD's libm for compiling with new libc.

As the current libc includes a libm implementation, with the new libc
this is needed. Unneeded (for the moment) archs have been removed.

Move elf headers in common/include and libexec.h in lib/libexec.

It also fixes elf headers for NBSD compilation.

- Refactor mthread structure fields to prevent name clashes
- Remove sanity checks for initialized mutexes and condition variables. This
  significantly boosts performance. The checks can be turned back on by
  compiling libmthread with MTHREAD_STRICT. According to POSIX operations on
  uninitialized variables are a MAY fail if, therefore allowing this
  optimization.
- Test59 has to be accommodated to the lack of sanity checks on uninitialized
  variables in the library. It specifically tests for them and will run into
  segfaults when the checks are absent in the library.
- Fix a few bugs related to the scheduler
- Do some general code cleanups

Add cttybaud boot monitor variable to control speed of serial console (combine with ctty 0)

remove some debugging output from vm/region.c

 - don't print verbose process map when legitimate errors occur

Add support for the 82567LM flavor of e1000

Fix compilation error. Does not need ansi.h header.

release.sh: explicitly use the pkgin pkg_install pkg_add

  . when switching from the base pkg_install to the pkgin pkg_install,
    the version number changed, causing a compatability problem if the
    old base system binary was inadvertently left behind.

  . this change checks for that situation by specifically invoking
    the pkgin instance of pkg_install and telling the user to install
    it if it doesn't exist.

Cleaning up Makefiles (thx antoine)

Small fix, implemented getvid/did

Various fixes for NBSD include.

This patch include various fixes to NBSD includes.

- unistd.h: Avoid different linkages on non-_NETBSD_SOURCE
 compilation;
- stdlib.h: remove devname declaration.
- sys/select.h: Add _MINIX specific flags.
- limits.h: Add SYMLOOP_MAX and SYMLINK_MAX
- time.h: Fix CLOCKS_PER_SEC and remove BSD's timer_t, as it
  confuses minix own specific timers.
- utmp.h: Set Minix-specific paths and use Minix utmp format.
- param.h: Do not set BSD4_4, as this mostly means sa_len in
  struct sock_addr.
- arch/i386/include/param.h: include <machine/vmparam.h> to
  add PAGE_SIZE and related macros, defined round_page() and
  trunc_page() for minix compatibility.

- dirent.h: remove DIRBLKSIZ and fix d_ino/d_fileno.
- sys/dir.h: ADD from existing includes and edit include
  conditions.
- sys/dirent.h: include <minix/dirent.h>, fix d_ino/d_fileno.

- sys/fd_set.h: set default FD_SETSIZE at __MINIX_OPENMAX, as
  the default NetBSD value is too big and cause vfs to return
  an error.
- sys/cdefs.h: Always include <minix/ansi.h>

- minix/paths.h: Add Minix-specific paths.
- minix/dirent.h: ADD, keep only "direct" and "flex"definitions.
- minix/types.h: include <minix/ansi.h>

- sys/Makefile: add sys/dirent.h and statfs.h (forgot!)
- minix/Makefile: add minix/dirent.h

   nbsd_include/minix-port.patch updated accordingly.

Sync NBSD libc errno.h with minix errno.h

This patch fixes some wrong error code number in nbsd libc's sys/errno.h
and adds new ones.

As in NetBSD the errno.h is used to automatically generate errlist.c array,
EBADCPU set to 1000 to be a bit too large, so we instruct the awk script
to stop at EDEADEPT (ELAST).

Fix stat, add fstat and other NBSD libc fixes.

This patch changes the NBSD libc stat implemenation and adds
fstat (and headers), taken from current libc.
It also adds weaks alias to functions in the resolver that
were removed from public use in NetBSD but that are still
used by Minix, and fixes a NetBSD non-REENTRANT bug in
in gen/initdir.c.

NBSD libc: fix forgot weak_alias

This patch add a few weak_alias forgotten, so that non-internal
symbols are defined to be used from application.

Modifying only the minix-specific part, this patch needs no update
to minix-port.patch.

mk scripts: add flag for compiling with nbsd libc.

This patch changes the system mk scripts to enable compilation
of programs using the BSD make system to compile with the new
libc.

In details, it does the following:

- it always defines the __MINIX make variable. This can be used,
 in porting applications, to specialize Makefiles for Minix.

 - If the environment variable NBSD is set to something different
  than 'no' and if the compiler is not ack, set NBSD_LIBC to 'yes'.
  This will set the destination lib directory to '/usr/netbsd/lib'
  and set up CPPFLAGS and LDFLAGS to use new libc's includes and
  library directory.

Move even more includes to common/include.

This patch moves more includes (most of them, to tell the truth) to
common/include directory. This completes the list of includes needed
to compile current trunk with the new libc (but to do that you need
more patches in queue).

This patch also contains some modification (for compilation with new
headers) to the common includes under __NBSD_LIBC, the define used
in mk script to specialize compilation with new includes.

rename aligned() macro to _minix_aligned

auto-tune mfs cache size based on FS usage and remaining system memory

only declare builtin prototypes in C mode

minor fix for clang - do_unbind() becomes void

Update docs/UPDATING

VM and kernel support for ELF

build fix

don't define CHIP at all any more, just use the namespace-trained name

Kernel: small comment fix (Bug#562, reported by Ryan Riley)

fix rs/service data structures (add devman_id)

add /usr/include/ddekit dirs

added libddekit

added DDEkit headers

libdevman: IPC wrapper for devman

incoporate davman into server/rs

forgot to add devman to system.conf

fix for elf2aout

introduced while making the diff with the original prettier :/

Added Device Manager (USB hotplug support)

ramdisk: Add procfs to ramdisk

-Prevents kernel/procfs mismatches
-Also, strip ELF binaries in ramdisk

service: Improve failure message

elf2out from netbsd (ported for minix aout)