Split block/character protocols and libdriver

This patch separates the character and block driver communication
protocols. The old character protocol remains the same, but a new
block protocol is introduced. The libdriver library is replaced by
two new libraries: libchardriver and libblockdriver. Their exposed
API, and drivers that use them, have been updated accordingly.
Together, libbdev and libblockdriver now completely abstract away
the message format used by the block protocol. As the memory driver
is both a character and a block device driver, it now implements its
own message loop.

The most important semantic change made to the block protocol is that
it is no longer possible to return both partial results and an error
for a single transfer. This simplifies the interaction between the
caller and the driver, as the I/O vector no longer needs to be copied
back. Also, drivers are now no longer supposed to decide based on the
layout of the I/O vector when a transfer should be cut short. Put
simply, transfers are now supposed to either succeed completely, or
result in an error.

After this patch, the state of the various pieces is as follows:
- block protocol: stable
- libbdev API: stable for synchronous communication
- libblockdriver API: needs slight revision (the drvlib/partition API
  in particular; the threading API will also change shortly)
- character protocol: needs cleanup
- libchardriver API: needs cleanup accordingly
- driver restarts: largely unsupported until endpoint changes are
  reintroduced

As a side effect, this patch eliminates several bugs, hacks, and gcc
-Wall and -W warnings all over the place. It probably introduces a
few new ones, too.

Update warning: this patch changes the protocol between MFS and disk
drivers, so in order to use old/new images, the MFS from the ramdisk
must be used to mount all file systems.

compile fix (gdb, binutils)

small ramdisk: install all password-related files

Introduce sys_getregs call, and let vfs use it

gcore command to coredump a process

ELF core files

ramdisk: install all password-related files

ramdisk: build pwd_mkdb

fxp: add device id in the right place

fxp: add device id for LU82551IT

Contributed by Roman Ignatov

isofs: unbreak lseek

csu: add code to call constructors to be used by clang

. clang-linked binaries were not calling global constructors, as the
  code to do so wasn't in csu/ and linked
. it does work for gcc as it uses its self-supplied crt{begin,end} code
. this commit copies netbsd's crt{begin,end}.S, which contains
  constructor/destructor calling code, called from .init and .fini
  sections already accumulated by the linker. the _init function was already
  called by the C startup code before calling main.
. based on work by Antoine Leca

compat.S: add getpwnam() alias.

Needed for finding getpwnam() when a prototype is not given.

pm: add mproc table sanity check feature

. make procfs check it
. detects pm/procfs mismatches
. was triggered by ack/clang pm/procfs:
  add padding to mproc struct to align ack/clang layout
  to fix this

simplify build logic a bit

. always compile acpi, with clang, so never have
  build/clean inconsistencies; can be enabled (i.e. run
  at boot time) by setting acpi variable in the boot monitor
. always strip binaries with the right strip cmd, so never
  have ack/elf strip inconsistencies

make: set MACHINE_ARCH variable

Also, modify sys.mk so we continue to build with -O

remove ftpd200

minor bugfixes caught by clang warnings

libarchive: not for ack

. fixes compile error due to missing bzlib.h for ack
. one less ack library

import NetBSD bzip2 and libbz2

base system hooks for pkgsrc drivers

. rc script and service know to look in /usr/pkg/.. for
  extra binaries and conf files
. service split into parsing config and doing RS request
  so that a new utility (printconfig) can just print the
  config in machine-parseable format for netconf integration
. converted all base system eth drivers/netconf

pwcache_userdb alias.

. mainly so configure can find it without the prototype.

More cleanup: no more CMOS and SCSI ioctls

Define flags in sys/stat.h

release.sh: add -e

. allows extra files in release for flexibility
. written by Jan Wieck

df: add case for MFSv3

. fix for FSes mounted with '-t mfs' syntax

Switch to NetBSD passwd format
Based on work by Vivek Prakash and Gianluca Guida.

See UPDATING about caveats on currently existing accounts.

. restores netbsd libc pwcache functions

mainstream-format fstab format

. detect both formats in /etc/rc
. generate new format in setup
. obsoletes /etc/fstab.local: everything can go in /etc/fstab
. put shutdown/reboot/halt and a copy of /usr/adm/wtmp
  (/etc/wtmp) on root FS so that we can do shutdown checks before
  mounting /usr
. new fstab format makes getfsent() and friends work

Fix compiler warnings

Import librefuse and libpuffs

Import libpuffs and our port of libpuffs. The port was done as part of
GSoC 2011 FUSE project, done by Evgeniy Ivanov. The librefuse import
did not require any porting efforts. Libpuffs has been modified to
understand our VFS-FS protocol and translate between that and PUFFS. As
an example that it works, fuse-ntfs-3g from pkgsrc can be compiled and
used to mount ntfs partitions:
mount -t ntfs-3g <device> <mountpoint>

FUSE only works with the asynchronous version of VFS. See <docs/UPDATING> on
how to run AVFS.

This patch further includes some changes to mount(1) and mount(2) so it's
possible to use file systems provided by pkgsrc (note: manual modifications
to /etc/system.conf are still needed. There has been made an exception for
fuse-ntfs-3g, so it already as an entry).

Fix a ton of compiler warnings

This patch fixes most of current reasons to generate compiler warnings.
The changes consist of:
 - adding missing casts
 - hiding or unhiding function declarations
 - including headers where missing
 - add __UNCONST when assigning a const char * to a char *
 - adding missing return statements
 - changing some types from unsigned to signed, as the code seems to want
   signed ints
 - converting old-style function definitions to current style (i.e.,
   void func(param1, param2) short param1, param2; {...} to
   void func (short param1, short param2) {...})
 - making the compiler silent about signed vs unsigned comparisons. We
   have too many of those in the new libc to fix.

A number of bugs in the test set were fixed. These bugs were never
triggered with our old libc. Consequently, these tests are now forced to
link with the new libc or they will generate errors (in particular tests 43
and 55).

Most changes in NetBSD libc are limited to moving aroudn "#ifndef __minix"
or stuff related to Minix-specific things (code in sys-minix or gen/minix).

More cleanup of minix/com.h.

ps(1): remove outdated comment

ps(1) man page: mem/kmem are no longer used

Change default pager to less(1)

For one thing, less(1) provides better interaction with git.

libbdev: initial version

The "bdev" library provides basic primitives for file systems to talk
to block device drivers, hiding the details of the underlying protocol
and interaction model.

This version of libbdev is rather basic. It is planned to support the
following features in the long run:

 - asynchronous requests and replies;
 - recovery support for underlying block drivers;
 - retrying of failed I/O requests.

The commit also changes our block-based file systems (mfs, ext2, isofs)
to make use of libbdev.

Servers: remove ABI comment

Miscellaneous legacy cleanup

stopgap local fstab

. /etc/fstab.local to list user-defined filesystems
. /usr/etc/rc reads it and runs type-specific fsck if necessary
. also type-specific mount

Kernel: fix compilation with DEBUG_RACE on

blocktest: add system.conf file, too

Move optset.c into libsys; remove redundant copies

Add "blocktest" test, for testing block drivers

The test is located in test/blocktest. It requires hand-editing of
its configuration, and is not part of any automated test set.

atl2: prevent compiler memory access misordering

While no problems have been observed in practice yet, modern compilers
may reorder memory access operations, and that could lead to problems
with memory-mapped I/O typically done by drivers. This patch prevents
any potentially problematic reordering by the compiler in the ATL2
driver.

In addition, this patch removes a number of gcc/clang warnings.

mfs: ditch global readahead

Drivers: fix issues introduced by commit b198207

ahci: prevent compiler memory access misordering

While no problems have been observed in practice yet, modern compilers
may reorder memory access operations, and that could lead to problems
with memory-mapped I/O typically done by drivers. This patch prevents
any potentially problematic reordering by the compiler in the AHCI
driver.

ahci/libdriver: multithreading support

This patch adds support for executing multiple concurrent requests on
different devices on the same AHCI controller. The libdriver library
has been extended to include a generic multithreading interface, and
the AHCI driver has been extended to make use of this interface.

The original version of this code has been written by Arne Welzel.

procfs: fix for PID reuse between updates

In certain cases, a process ID may be reused between two lazy updates
of procfs's PID table. If the new associated process slot has a lower
index than the old one, this will trigger an assert in vtreefs, as the
new PID name entry is added before the old one is removed. This patch
fixes the problem by always first removing old PID name entries before
adding new ones.

Bug reported by Stephen Hatton.

Kernel: remove unused MF_ASYNMSG

Install servers in GCC/clang case

kernel: remove unused var

pm: remove dead minix_munmap functions

Kernel: fix for senda erroneously setting errors

Bug reported and fixed by Arne Welzel.

PFS is also a system proc

Reenable backcall detection

Make AVFS deal intelligently with back calling FSes

PUFFS file systems need to make back calls for every operation we
send to them. Consequently, they cannot handle block reads and writes
themselves. Instead, the root file system has to do it (for now).

When the mount operation causes an FS to make a back call, AVFS now
concludes that every block read and write for that FS has to go
through the root file system.

clean up PM_SCHEDULED

err_code has to be preserved as well. Short term fix

fix typo

Clarify install instructions.

Thanks to Chris Johns for feedback.

release: by default leave src/.git

. facilitates easy updates of installs
. removal can be restored with release.sh -m

use generic gcc* in man.conf

. catches all gcc versions
. also neatly handles the case in which there are no
  gcc versions (makewhatis doesn't complain)

fix compile of test23

dec21140A driver warnings fix

mdocml/man: dummy cleandepend target

update/fix manpage support

. add bsd-style MLINKS to minix man set, restoring aliases
  (e.g. man add64 -> int64)
. update daily cron script to run makewhatis and restore makewhatis
  in man Makefile (makedb), restores functionality of man -k
. netbsd imports of man, mdocml, makewhatis, libutil, apropos
. update man.conf with manpage locations, restoring man [-s] <section>
. throws out some obsolete manpages

Revert to using flushtlb instead of invlpg

Somehow the usage of invlpg causes Minix to crash on Qemu. Reverting
temporarily until we have a proper fix.

worldstone benchmark script

. also imports seq(1) to help it
. add -C option to time(1) to print tsc difference
. increase col width for ministat for tsc numbers

mfs: improve & simplify secondary cache logic

. fixes "!" errors when booting from cd

sef: build sef_debug_header only when needed

vm: undo accidental JUNKFREE on

kernel: Remove legacy boot vars from pre_init

boot e820 memory detection fixes

Remove legacy boot monitor vars

Add MKBOOTPARAM option

MKSYSDEBUG: conditionally compile more debug code

Cleanup more resources upon exit

Remove debug print

Unmap drivers upon exit

Fix off-by-one errors and increase PATH_MAX to 1024

In some places it was assumed that PATH_MAX does not include a
terminating null character.

Increases PATH_MAX to 1024 to get in sync with NetBSD. Required some
rewriting in AVFS to keep memory usage low (the stack in use by a thread
is very small).

ext2: replace debug printf by assert

add -lminixfs with fs support routines

. move cache size heuristic from mfs there
  so mfs and ext2 can share it
. add vfs credentials retrieving function, with
  backwards compatability from previous struct
  format, to be used by both ext2 and mfs
. fix for ext2 - STATICINIT was fed no.
  of bytes instead of no. of elements, overallocating
  memory by a megabyte or two for the superblock

Fix off-by-one error

Cleanup servers to make GCC/Clang a little happier

Check group range for sanity

Add MKTRACE

Backwards compatibility fixup for GCC/Clang

Make AVFS resilient against failing back calls

Increase gid_t and uid_t to 32 bits

Increase gid_t and uid_t to 32 bits and provide backwards compatibility
where needed.

Make dev_t 32-bits and provide backwards compatibility

add /etc/rc.subr and /etc/rc.conf

Add MKLIVEUPDATE and MKSTATECTL

get rid of leftover _DIRENT_NAME_LEN=61

sort is not a nbsd port (yet)

nbsd_fetch: force cvs to use ssh

define MSG_*

. these are not actually supported at runtime
. will allow packages to compile easier, and still work
  in some cases (e.g. glib2)

release.sh: undo tarup add

Range-check values building mbdev in boot monitor

libsys: don't pull in strerror