Import librefuse and libpuffs

Import libpuffs and our port of libpuffs. The port was done as part of
GSoC 2011 FUSE project, done by Evgeniy Ivanov. The librefuse import
did not require any porting efforts. Libpuffs has been modified to
understand our VFS-FS protocol and translate between that and PUFFS. As
an example that it works, fuse-ntfs-3g from pkgsrc can be compiled and
used to mount ntfs partitions:
mount -t ntfs-3g <device> <mountpoint>

FUSE only works with the asynchronous version of VFS. See <docs/UPDATING> on
how to run AVFS.

This patch further includes some changes to mount(1) and mount(2) so it's
possible to use file systems provided by pkgsrc (note: manual modifications
to /etc/system.conf are still needed. There has been made an exception for
fuse-ntfs-3g, so it already as an entry).

Fix a ton of compiler warnings

This patch fixes most of current reasons to generate compiler warnings.
The changes consist of:
 - adding missing casts
 - hiding or unhiding function declarations
 - including headers where missing
 - add __UNCONST when assigning a const char * to a char *
 - adding missing return statements
 - changing some types from unsigned to signed, as the code seems to want
   signed ints
 - converting old-style function definitions to current style (i.e.,
   void func(param1, param2) short param1, param2; {...} to
   void func (short param1, short param2) {...})
 - making the compiler silent about signed vs unsigned comparisons. We
   have too many of those in the new libc to fix.

A number of bugs in the test set were fixed. These bugs were never
triggered with our old libc. Consequently, these tests are now forced to
link with the new libc or they will generate errors (in particular tests 43
and 55).

Most changes in NetBSD libc are limited to moving aroudn "#ifndef __minix"
or stuff related to Minix-specific things (code in sys-minix or gen/minix).

More cleanup of minix/com.h.

ps(1): remove outdated comment

ps(1) man page: mem/kmem are no longer used

Change default pager to less(1)

For one thing, less(1) provides better interaction with git.

libbdev: initial version

The "bdev" library provides basic primitives for file systems to talk
to block device drivers, hiding the details of the underlying protocol
and interaction model.

This version of libbdev is rather basic. It is planned to support the
following features in the long run:

 - asynchronous requests and replies;
 - recovery support for underlying block drivers;
 - retrying of failed I/O requests.

The commit also changes our block-based file systems (mfs, ext2, isofs)
to make use of libbdev.

Servers: remove ABI comment

Miscellaneous legacy cleanup

stopgap local fstab

. /etc/fstab.local to list user-defined filesystems
. /usr/etc/rc reads it and runs type-specific fsck if necessary
. also type-specific mount

Kernel: fix compilation with DEBUG_RACE on

blocktest: add system.conf file, too

Move optset.c into libsys; remove redundant copies

Add "blocktest" test, for testing block drivers

The test is located in test/blocktest. It requires hand-editing of
its configuration, and is not part of any automated test set.

atl2: prevent compiler memory access misordering

While no problems have been observed in practice yet, modern compilers
may reorder memory access operations, and that could lead to problems
with memory-mapped I/O typically done by drivers. This patch prevents
any potentially problematic reordering by the compiler in the ATL2
driver.

In addition, this patch removes a number of gcc/clang warnings.

mfs: ditch global readahead

Drivers: fix issues introduced by commit b198207

ahci: prevent compiler memory access misordering

While no problems have been observed in practice yet, modern compilers
may reorder memory access operations, and that could lead to problems
with memory-mapped I/O typically done by drivers. This patch prevents
any potentially problematic reordering by the compiler in the AHCI
driver.

ahci/libdriver: multithreading support

This patch adds support for executing multiple concurrent requests on
different devices on the same AHCI controller. The libdriver library
has been extended to include a generic multithreading interface, and
the AHCI driver has been extended to make use of this interface.

The original version of this code has been written by Arne Welzel.

procfs: fix for PID reuse between updates

In certain cases, a process ID may be reused between two lazy updates
of procfs's PID table. If the new associated process slot has a lower
index than the old one, this will trigger an assert in vtreefs, as the
new PID name entry is added before the old one is removed. This patch
fixes the problem by always first removing old PID name entries before
adding new ones.

Bug reported by Stephen Hatton.

Kernel: remove unused MF_ASYNMSG

Install servers in GCC/clang case

kernel: remove unused var

pm: remove dead minix_munmap functions

Kernel: fix for senda erroneously setting errors

Bug reported and fixed by Arne Welzel.

PFS is also a system proc

Reenable backcall detection

Make AVFS deal intelligently with back calling FSes

PUFFS file systems need to make back calls for every operation we
send to them. Consequently, they cannot handle block reads and writes
themselves. Instead, the root file system has to do it (for now).

When the mount operation causes an FS to make a back call, AVFS now
concludes that every block read and write for that FS has to go
through the root file system.

clean up PM_SCHEDULED

err_code has to be preserved as well. Short term fix

fix typo

Clarify install instructions.

Thanks to Chris Johns for feedback.

release: by default leave src/.git

. facilitates easy updates of installs
. removal can be restored with release.sh -m

use generic gcc* in man.conf

. catches all gcc versions
. also neatly handles the case in which there are no
  gcc versions (makewhatis doesn't complain)

fix compile of test23

dec21140A driver warnings fix

mdocml/man: dummy cleandepend target

update/fix manpage support

. add bsd-style MLINKS to minix man set, restoring aliases
  (e.g. man add64 -> int64)
. update daily cron script to run makewhatis and restore makewhatis
  in man Makefile (makedb), restores functionality of man -k
. netbsd imports of man, mdocml, makewhatis, libutil, apropos
. update man.conf with manpage locations, restoring man [-s] <section>
. throws out some obsolete manpages

Revert to using flushtlb instead of invlpg

Somehow the usage of invlpg causes Minix to crash on Qemu. Reverting
temporarily until we have a proper fix.

worldstone benchmark script

. also imports seq(1) to help it
. add -C option to time(1) to print tsc difference
. increase col width for ministat for tsc numbers

mfs: improve & simplify secondary cache logic

. fixes "!" errors when booting from cd

sef: build sef_debug_header only when needed

vm: undo accidental JUNKFREE on

kernel: Remove legacy boot vars from pre_init

boot e820 memory detection fixes

Remove legacy boot monitor vars

Add MKBOOTPARAM option

MKSYSDEBUG: conditionally compile more debug code

Cleanup more resources upon exit

Remove debug print

Unmap drivers upon exit

Fix off-by-one errors and increase PATH_MAX to 1024

In some places it was assumed that PATH_MAX does not include a
terminating null character.

Increases PATH_MAX to 1024 to get in sync with NetBSD. Required some
rewriting in AVFS to keep memory usage low (the stack in use by a thread
is very small).

ext2: replace debug printf by assert

add -lminixfs with fs support routines

. move cache size heuristic from mfs there
  so mfs and ext2 can share it
. add vfs credentials retrieving function, with
  backwards compatability from previous struct
  format, to be used by both ext2 and mfs
. fix for ext2 - STATICINIT was fed no.
  of bytes instead of no. of elements, overallocating
  memory by a megabyte or two for the superblock

Fix off-by-one error

Cleanup servers to make GCC/Clang a little happier

Check group range for sanity

Add MKTRACE

Backwards compatibility fixup for GCC/Clang

Make AVFS resilient against failing back calls

Increase gid_t and uid_t to 32 bits

Increase gid_t and uid_t to 32 bits and provide backwards compatibility
where needed.

Make dev_t 32-bits and provide backwards compatibility

add /etc/rc.subr and /etc/rc.conf

Add MKLIVEUPDATE and MKSTATECTL

get rid of leftover _DIRENT_NAME_LEN=61

sort is not a nbsd port (yet)

nbsd_fetch: force cvs to use ssh

define MSG_*

. these are not actually supported at runtime
. will allow packages to compile easier, and still work
  in some cases (e.g. glib2)

release.sh: undo tarup add

Range-check values building mbdev in boot monitor

libsys: don't pull in strerror

Fix ext2 symlink bug.

rip->i_size is a target length without trailing '\0'.

Reported by Ben Gras.

Unverbose mount

Let FSes exit themselves upon system shutdown

During shutdown all processes are semi-exited and FSes are unmounted.
This semi-exit causes trouble for FUSE mounts as they still need access
to file descriptors and working directory in order to unmount.

Clean up tests and do runtime test for max name length

- Remove unused code
- Use standard functions declared in common.c
- Change tests to do a runtime test for the max name length of a path
  component (aka NAME_MAX). The actual value might differ from the hard
  coded NAME_MAX depending on the file system used.

Tell VFS how many requests an FS can handle concurrently

Store and use max concurrent requests

import NetBSD mkdir

. add symlink from old location /usr/bin/mkdir for
  for compatability

Increase max number of arguments

Turn off block read debugs and turn on mount debugs

Report error instead panicing

Remove verbosity

Reduce block special file (thread) lock scope

Allow block special files to be file locked

Add entry for ntfs-3g

Fix locking issues with back calls from FSes

malloc build fixes

use minix malloc

. default jemalloc is not too easy to compile without threads
  libraries/types
. non-default malloc has odd virtual address space binge problem
. switch to ack/minix malloc in old libc for now

tools/Makefile: tweak AVFS/APFS logic

-Fixes GCC/clang build issue

make time functions pass PCTS test

. fixes a problem in building gawk wanting to provide
  its own mktime otherwise

Cleaner MKSYSDEBUG option

mtree: skip all major-0 devices, not just (0,1)

is: stopgap for broken _USEVFS check

increase system-wide filename limit to 255

. move mfs-specific struct, constants to mfs/, so
  mfs-specific, on-disk format structs and consts are
  fully isolated from generic structs and functions
. removes de and readfs utils

Update UPDATING document on how to build AVFS

Range fix from PFS

Merge AVFS and APFS

pfs: fix range check

. debugged and fixed by Jan Wieck

add mail group

add postfix, postgresql users