kernel: make clang-buildable

docs/UPDATING: use date of push for newest entry

docs/UPDATING: revise date in newest entry

use ${PKGPATH} instead of ${CATEGORIES}/${PKGBASE}

Some packages are in multiple categories (one example is
devel/libgetopt). This broke the IF statement because
${CATEGORIES} got expanded to "cat1 cat2". The proper
variable to use is PKGPATH.

add pkgsrc hooks for building pkgs w/nbsd_libc

Add two makefiles to manage compiling packages with NetBSD libc.

  *  minix.libc.mk contains the proper CFLAGS/LDFLAGS
  *  pkgsrchooks.mk contains the logic for setting the flags.
  *  update bmake

Several pkg-config files were added to help pkgsrc learn about
the c, minlib, and compat_minix libraries.

.gitignore: add obj-elfbase-nbsd

boot: Add multiboot support

Not yet fully spec-compliant; work in progress

introduce option to time assert()s

  . remove a few asserts in the kernel and 64bi library
    that are not compatible with the timing code
  . change the TIME_BLOCKS code a little to work in-kernel

release.sh: update location of install cmd

undo spurious UPDATING entry

Build NetBSD libc library in world in ELF mode.

3 sets of libraries are built now:
  . ack: all libraries that ack can compile (/usr/lib/i386/)
  . clang+elf: all libraries with minix headers (/usr/lib/)
  . clang+elf: all libraries with netbsd headers (/usr/netbsd/)

Once everything can be compiled with netbsd libraries and headers, the
/usr/netbsd hierarchy will be obsolete and its libraries compiled with
netbsd headers will be installed in /usr/lib, and its headers
in /usr/include. (i.e. minix libc and current minix headers set
will be gone.)

To use the NetBSD libc system (libraries + headers) before
it is the default libc, see:
   http://wiki.minix3.org/en/DevelopersGuide/UsingNetBSDCode
This wiki page also documents the maintenance of the patch
files of minix-specific changes to imported NetBSD code.

Changes in this commit:
  . libsys: Add NBSD compilation and create a safe NBSD-based libc.
  . Port rest of libraries (except libddekit) to new header system.
  . Enable compilation of libddekit with new headers.
  . Enable kernel compilation with new headers.
  . Enable drivers compilation with new headers.
  . Port legacy commands to new headers and libc.
  . Port servers to new headers.
  . Add <sys/sigcontext.h> in compat library.
  . Remove dependency file in tree.
  . Enable compilation of common/lib/libc/atomic in libsys
  . Do not generate RCSID strings in libc.
  . Temporarily disable zoneinfo as they are incompatible with NetBSD format
  . obj-nbsd for .gitignore
  . Procfs: use only integer arithmetic. (Antoine Leca)
  . Increase ramdisk size to create NBSD-based images.
  . Remove INCSYMLINKS handling hack.
  . Add nbsd_include/sys/exec_elf.h
  . Enable ELF compilation with NBSD libc.
  . Add 'make nbsdsrc' in tools to download reference NetBSD sources.
  . Automate minix-port.patch creation.
  . Avoid using fstavfs() as it is *extremely* slow and unneeded.
  . Set err() as PRIVATE to avoid name clash with libc.
  . [NBSD] servers/vm: remove compilation warnings.
  . u32 is not a long in NBSD headers.
  . UPDATING info on netbsd hierarchy
  . commands fixes for netbsd libc

fix many clang warnings in lib/

libc!setmode.c: Avoid #if inside macro call

#if inside macro call is undefined behaviour under the C standard
(3.8.3 paragraph 10 for C90, 6.8.10 paragraph 11 for C99).
The same effect can be achieved with a slightly more verbose construct,
putting the whole macro call inside the #ifdef/#else/#endif.

fix clang warnings in boot (edparams)

. add missing prototypes for recently added functions.

sys.mk: Improved defaults (sys.mk) for make(1)

  . Handle more compiler names, including most cross-compilers.
  . Allows to use acd(1) and [whatever-]acc to designate ACK compiler.
  . Do not abort (on COMPILER_TYPE not defined) if the compiler name
    is not recognized.

Initialize NMI watchdog only once, after enabling paging

top: one sanity check endpoint->slot number

Remove obsolete mkdist script

make /usr/include/i386

Split off sys_umap_remote from sys_umap

sys_umap now supports only:
- looking up the physical address of a virtual address in the address space
  of the caller;
- looking up the physical address of a grant for which the caller is the
  grantee.

This is enough for nearly all umap users. The new sys_umap_remote supports
lookups in arbitrary address spaces and grants for arbitrary grantees.

A few aesthetic changes to make the minix port more acceptable
to upstream.

  - revert to upstream version of function prototypes for
    setting the uid and gid fields of the archive_entry.
  - move uid/gid overflow checks into header_common().
  - use archive_set_error() instead of fprintf() for getting
    error message text back to the main program.

fixed clang warnings in drivers/

  . changed debug statements system for audio/ to do so

fix clang warnings -R in kernel/ and servers/

commands: fix clang errors

Remove unused duplicate grant code in umap

Make sys_umap on grants check grantee

Remove redundant atwini code, use PIO for bad DMA

Globally enable -Wall warnings for GCC

chrootmake: obj-* cleanup instead of just obj-ack

Properly overwrite LIBDIR in mk scripts.

prepare for netbsd libc/headers

  . mtree entries for /usr/netbsd
  . install(1) fix for relative symlinks by Antoine Leca

changes for detecting and building for clang/binutils elf

and minor fixes:
 . add ack/clean target to lib, 'unify' clean target
 . add includes as library dependency
 . mk: exclude warning options clang doesn't have in non-gcc
 . set -e in lib/*.sh build files
 . clang compile error circumvention (disable NOASSERTS for release builds)

/etc/group: add 'games' group

Several pkgsrc packages under the games category won't install
without a games group. This change adds the group with gid 13,
the default games gid on NetBSD.

release.sh, tell_config: variables from /usr/src

libarchive: fix bad timestamp bug caused by bit shift.

The file timestamps in archives created by libarchive all had
dates in the year 2038. It was caused by a bit shift in
archive_write_set_format_ustar which shifted 1 instead of 1ull.

<timers.h> - add feature to time a code block

  . also minor compile fixes for it

release.sh fixes, updates, improvements for git, usb, readability

boot/cdbootblock: use AFLAGS instead of CPPFLAGS

  . this unbreaks building the .iso

Fix VM -Wall warnings and enable -Werror

Add chmod o-w /usr

After the default install, /usr was world writable. perl refused to
install itself into /usr with that permission. This fixes the permissions.

Fix for SPROFILE == 0

- contributed by Antoine Leca

LWIP - removed __unused where inappropriate

libcompat: Add net/gen stub headers.

This helps reducing patching when compiling legacy minix net utils.

Import libelf from elftoolchain r1525

fix clang warnings in servers/

larger i/o buffer for exec()

  . makes exec() for large executables (e.g. clang, gcc)
    significantly faster

Thanks to Antoine Leca.

APIC timer needs rearming before halting the cpu

- time stops if there is no activity and the timer expired before
  we halted the cpu

- restart_local_timer() checks if the timer has expired and if so it
  restarts it

- we do the same when switching back to userspace

PCI - do not panic when ACPI cannot map bridges

- when ACPI does not find mappings for pci brdiges, do no panic,
  only report a warning and continue to a fallback which uses
  only the root bus IRQ routing table. Fail only if that is not
  present.

ELF multiboot support

made boot/ into hierarchy of programs

work of Antoine Leca

Remote unused segctl kernel call

OBJDIR-clean generating of .gitignore

By Antoine Leca

fix missing return statement in nonamed causing network failure after 300s when compiling with GCC

Generate .gitignore file for tools directory

Enable generation of .gitignore file for the test dir

Make test40 behave

Make test40 behave better. It should create its own subdirectory to
conduct its tests and should not write to /tmp. Also, the master-slave
terminal pair it tries to open might be in use; it should try to obtain
another pair. These changes allow the test to be run multiple times
simultaneously from different paths (to test select() more intensively).

sprofalyze.pl: fix for forked-nonexeced processes

kernel: fix logic error in the case vm_lookup fails

Kernel: try_async/try_one fixes
- skip processes that are not asynsending to the target
- do not clear whole asynsend table upon IPC permission error
- be more accepting when one table entry is bogus later on

dhcpd: fix newly introduced ACK warnings

libmthread: support for thread-local storage (keys/specifics)

SMP - INIT IPI deasserting fix

When deasserting the INIT IPI the DM field must be zero

Return errors directly instead of using errno

Clean up and fix multiple bugs in select:
 - Remove redundant code.
 - Always wait for the initial reply from an asynchronous select request,
   even if the select has been satisfied on another file descriptor or
   was canceled due to a serious error.
 - Restart asynchronous selects if upon reply from the driver turns out
   that there are deferred operations (and do not forget we're still
   interested in the results of the deferred operations).
 - Do not hang a non-blocking select when another blocking select on
   the same filp is still blocking.
 - Split blocking operations in read, write, and exceptions (i.e.,
   blocking on read does not imply the write will block as well).
 - Some loops would iterate over OPEN_MAX file descriptors instead of
   the "highest" file descriptor.
 - Use proper internal error return values.
 - A secondary reply from a synchronous driver is essentially the same
   as from an asynchronous driver (the only difference being how the
   answer is received). Merge.
 - Return proper error code after a driver failure.
 - Auto-detect whether a driver is synchronous or asynchronous.
 - Remove some code duplication.
 - Clean up code (coding style, add missing comments, put all select
   related code together).

Do not print an error message when a binary is corrupt

Server/driver protocols: no longer allow third-party copies.

Before safecopies, the IO_ENDPT and DL_ENDPT message fields were needed
to know which actual process to copy data from/to, as that process may
not always be the caller. Now that we have full safecopy support, these
fields have become useless for that purpose: the owner of the grant is
*always* the caller. Allowing the caller to supply another endpoint is
in fact dangerous, because the callee may then end up using a grant
from a third party. One could call this a variant of the confused
deputy problem.

From now on, safecopy calls should always use the caller's endpoint as
grant owner. This fully obsoletes the DL_ENDPT field in the
inet/ethernet protocol. IO_ENDPT has other uses besides identifying the
grant owner though. This patch renames IO_ENDPT to USER_ENDPT, not only
because that is a more fitting name (it should never be used for I/O
after all), but also in order to intentionally break any old system
source code outside the base system. If this patch breaks your code,
fixing it is fairly simple:

- DL_ENDPT should be replaced with m_source;
- IO_ENDPT should be replaced with m_source when used for safecopies;
- IO_ENDPT should be replaced with USER_ENDPT for any other use, e.g.
  when setting REP_ENDPT, matching requests in CANCEL calls, getting
  DEV_SELECT flags, and retrieving of the real user process's endpoint
  in DEV_OPEN.

The changes in this patch are binary backward compatible.

Move back resolv.h, nameser.h and netdb.h as they conflict with NetBSD headers and libc.

libsys: fix micro_delay()

Enable a process to find out what the error code was when delivery of an
asynchronous message resulted in an error.

The model here is that:
 - Iff a sender wishes to be notified, the sender MUST check for errors
   BEFORE sending another asynchronous message.

The reason is that in order to remember the error code, we can't clean up
the message table and hence we risk running out of table space. This is
less of a problem when the sender enables notifications only for errors.

Enable sending a notification when sending of an asynchronous message was
completed (successfully or not). AMF_NOTIFY_ERR can be used if the sender
only wishes to be notified in case of an error (e.g., EDEADSRCDST). A new
endpoint ASYNCM will be the sender of the notification.

Use a bitmap for pending asynchronous messages instead of a global flag.
That way it works similar to pending notifications.

Reduce the number of copies done by the kernel when handling retrieval and
delivery of asynchronous messages.

Fixed smp compilation

- missing u64.h include after 64bit routines for gcc got inlined

libexec: return physaddr info from ELF headers

LWIP - Fix for dhcpd broadcast to work after boot

Dhcp only works if devices are configured with a broadcast source
address at the begining as it currently uses raw ip sockets and the
sockets sets the source address. It is a quick hack and proper hdcpd
fix is preferable

LWIP - scripts

This changes to the boot scripts allow switching to lwip simply by
setting lwip=yes  in the boot monitor.

LWIP - dhcpd --lwip

A sort of quick hack for dhcpd to work as a client with lwip server.

- The functionality is not changed unless --lwip switch is supplied.
  dhcpd does not use broadcast udp sockets but some sort of raw
  sockets and changes their behavior during their life by ioctls.

- I thought there is no need to polute lwip just to make dhcp client
  work. Instead I decided to twist the client a little bit.

- It is so far the only big collision I found between inet and lwip.

LWIP - the lwip server

The server implements inet-like interface to vfs and drivers. The core
functionality is contained in the liblwip.

LWIP - liblwip

lwip-1.4.0-rc1 imported as liblwip

LWIP - udp_io_hdr.h

lwip server needs to include struct udp_io_hdr but must not include
struct udp-hdr as it conflicts with its internal type. So it is split
into to files now.

[NBSD libc] Various fixes.

mkfs.mfs: use bitchunk_t (reported by Maurizio Lombardi)

libvtreefs: return OK from REQ_INHIBREAD (this unbreaks grep on /proc)

tail(1): write partial last line also with -f

VFS: bugfixes for handling block-special files:
- on driver restarts, reopen devices on a per-file basis, not per-mount
- do not assume that there is just one vnode per block-special device
- update block-special files in the uncommon mounting success paths, too
- upon mount, sync but also invalidate affected buffers on the root FS
- upon unmount, check whether a vnode is in use before updating it

PFS: UDS code cleanup:
- coalesce lots of duplicate code
- avoid using errno as much as possible
- fix bugs in some error handling cases

drivers/sb16: delete altogether; the latest copy is in drivers/audio/sb16

misc drivers: remove more non-safecopy support

TTY/LOG driver cleanup:
- remove non-safecopy support from TTY
- make TTY warning-free with gcc -Wall
- remove obsolete diagnostics support

Add libasyn, asynchio support for netbsd libc.

NBSD includes: Include sys/reboot.h in unistd.h

Minix expect RBT_* ops to be defined in unistd.h.

Add libminlib for NBSD libc compilation.

This library includes various random and minix-specific functions
included in the Minix libc. Most of them should be part of libsys,
and in general it would be nice to extinguish this library over
time.

Add libcompat_minix for NBSD libc

libcompat_minix is a compatibility layer meant to let existing commands to work
with the new libc.

Import unmodified NetBSD's libm for compiling with new libc.

As the current libc includes a libm implementation, with the new libc
this is needed. Unneeded (for the moment) archs have been removed.

Move elf headers in common/include and libexec.h in lib/libexec.

It also fixes elf headers for NBSD compilation.

- Refactor mthread structure fields to prevent name clashes
- Remove sanity checks for initialized mutexes and condition variables. This
  significantly boosts performance. The checks can be turned back on by
  compiling libmthread with MTHREAD_STRICT. According to POSIX operations on
  uninitialized variables are a MAY fail if, therefore allowing this
  optimization.
- Test59 has to be accommodated to the lack of sanity checks on uninitialized
  variables in the library. It specifically tests for them and will run into
  segfaults when the checks are absent in the library.
- Fix a few bugs related to the scheduler
- Do some general code cleanups

Add cttybaud boot monitor variable to control speed of serial console (combine with ctty 0)

remove some debugging output from vm/region.c

 - don't print verbose process map when legitimate errors occur

Add support for the 82567LM flavor of e1000

Fix compilation error. Does not need ansi.h header.