Add fbd -- Faulty Block Device driver

This driver can be loaded as an overlay on top of a real block
device, and can then be used to generate block-level failures for
certain transfer requests. Specifically, a rule-based system allows
the user to introduce (overt and silent) data corruption and errors.

It exposes itself through /dev/fbd, and a file system can be mounted
on top of it. The new fbdctl(8) tool can be used to control the
driver; see ``man fbdctl'' for details. It also comes with a test
set, located in test/fbdtest.

blocktest: support for stateless driver restarts

libblockdriver: clear IPC only on stateful restart

This removes a race condition when the block driver performs a
complete restart after a crash (the new default). If any user of
the driver finds out its new endpoint and sends a request to the
new driver instance before this instance has had the chance to
initialize, then its initialization would clear all IPC state and
thereby erroneously cancel the incoming request. Clearing IPC
state is only desired upon a stateful restart (where the driver's
endpoint is retained). This information is now passed to and used
by libblockdriver accordingly.

blocktest: resolve label/minor in userland

The test script now resolves the device node into a <label,minor>
pair, so that the blocktest driver itself no longer has to. This
removes blocktest's dependency on VFS' internal data structures.

Also allow blocktest to be linked using with gcc/clang.

procfs: add /proc/dmap

IS: unbreak F6

Add "expected size" parameter to getsysinfo()

This patch provides basic protection against damage resulting from
differently compiled servers blindly copying tables to one another.
In every getsysinfo() call, the caller is provided with the expected
size of the requested data structure. The callee fails the call if
the expected size does not match the data structure's actual size.

Servers: cleanup of some gcc -W warnings

acpi: resolve warnings

Properly unlock on mount failure

Change asserts with side effects into panics

Fix dangling symlink resolving for AVFS and add test61

add -L for future compiler-rt lib location

Provide core dumping support for AVFS

Enable GCOV always

Fix test43 for GCC/Clang

btrace: gcc fix

fix bzip2 location in nbsd_ports

add previous stat symbols as aliases

. renaming them causes fallout
. only use the new ones though

printer: perform probe on startup

This stops the printer driver from hanging the entire system when
/dev/lp is opened on systems that do not have a parallel port. With
this change, the printer driver shuts down immediately after loading
on such systems.

libbdev: extended version

This version of libbdev support asynchronous communication,
recovery after driver restarts, and retrying of failed transfer
operations.

vfs/avfs: req_newdriver should use fs_sendrec

Using sendrec directly only results in problems. While it is not
clear whether using fs_sendrec is the best option, it is at least
an improvement.

Also remove some legacy cruft.

Make block drivers restart with new endpoint

SEF: default to endpoint-changing restart

RS: support for endpoint-changing driver restarts

init: write boot entry to root wtmp

This unbreaks the fsck check on startup.

.gitignore: add more generated files

libmthread: add mthread_event_fire_all

libblockdriver: allow for mixed sync/async replies

VFS/FS: REQ_NEW_DRIVER now provides a label

Fix stat symbols

libpuffs: remove unused block device code

adding rwlock and event support to mthread

libblockdriver: allow for not handling partitions

Each block driver now gets to specify whether it is a disk block
driver, which implies it wants the library to handle getting and
setting partitions for it.

Don't run package rc's when booting from cd.

etc: Make fixes

. leave out obsolete binary_sizes*
. really force targets

Fine grained compatibility with _RENAMEd symbols

The NetBSD libc provides a mechanism to have versions of system calls.
By 'renaming' symbols to a new version, freshly compiled programs will
automatically use the new symbol iff they use the proper header files. The
old, not renamed, version of the symbol will still exist (after being moved
to the compat directory), so old programs can still link.

Since MINIX doesn't support dynamic linking, the whole rename mechanism
doesn't really work for us. However, removing it would create a huge diff
with the current NetBSD libc.

A lot of the compat code relies on things we don't (seem to) have, and
therefore does not get built and linked. This causes trouble for tools like
autoconf, which will fail to find the renamed symbols. For example,
currently select gets renamed to __select50 in libc. Autoconf looks for
'select' and doesn't find it and reports we don't have it. This is where
the compat.S stub comes into play: it generates the old symbols and jumps to
the new symbols. However, as this is done in one object file, all renamed
symbols get linked together, causing binaries to be huge. This patch fixes
that by generating an object file for each renamed symbol.

This patch also makes the MISSING_SYSCALLS more complete and marginally
reduces the diff with NetBSD.

Fix many more comiler warnings

Most warnings were harmless, some real bugs. Test set should now compile
cleanly with ack, gcc, and clang.

Implement issetugid syscall

Implement issetugid syscall and provide a test. This gets rid of the
scary "Unsecure. Implement me" warning during compilation.

vm: report cropped region sizes

. when reporting on regions, only report part of the
  region (addr and length) that really has memory mapped
  into it
. to minimise core files

fix rm -f

    "/bin/rm" should not issue a usage message if the "-f" option was
    specified.

Add block device tracing facility

The implementation is in libblockdriver, and works transparently for
all block drivers. The new btrace(8) tool can be used to control block
tracing; see ``man btrace'' for details.

vfs/avfs: map O_ACCMODE to R_BIT|W_BIT on recovery

avfs: unbreak process termination on PM_DUMPCORE

Add vbox -- VirtualBox time sync driver

Sets time forward to match the host time.

Started automatically if the corresponding device is present.

FS servers: fix dependencies broken in git-af01bda

change rc defaults reading

. always install them (overwrite)
. source minix one from /etc/defaults/rc.conf
  so that it'll get read on existing installs
  without overwriting rc.conf (doesn't happen by default
  as it's user-editable), needed for new netconf system
. reported by Tenkawa

netconf: run lspci earlier for netconf -c

. Reported by Tenkawa

gcore: uninitialized variable fix and cleanup

ahci: FUA (force-write) support

Split block/character protocols and libdriver

This patch separates the character and block driver communication
protocols. The old character protocol remains the same, but a new
block protocol is introduced. The libdriver library is replaced by
two new libraries: libchardriver and libblockdriver. Their exposed
API, and drivers that use them, have been updated accordingly.
Together, libbdev and libblockdriver now completely abstract away
the message format used by the block protocol. As the memory driver
is both a character and a block device driver, it now implements its
own message loop.

The most important semantic change made to the block protocol is that
it is no longer possible to return both partial results and an error
for a single transfer. This simplifies the interaction between the
caller and the driver, as the I/O vector no longer needs to be copied
back. Also, drivers are now no longer supposed to decide based on the
layout of the I/O vector when a transfer should be cut short. Put
simply, transfers are now supposed to either succeed completely, or
result in an error.

After this patch, the state of the various pieces is as follows:
- block protocol: stable
- libbdev API: stable for synchronous communication
- libblockdriver API: needs slight revision (the drvlib/partition API
  in particular; the threading API will also change shortly)
- character protocol: needs cleanup
- libchardriver API: needs cleanup accordingly
- driver restarts: largely unsupported until endpoint changes are
  reintroduced

As a side effect, this patch eliminates several bugs, hacks, and gcc
-Wall and -W warnings all over the place. It probably introduces a
few new ones, too.

Update warning: this patch changes the protocol between MFS and disk
drivers, so in order to use old/new images, the MFS from the ramdisk
must be used to mount all file systems.

compile fix (gdb, binutils)

small ramdisk: install all password-related files

Introduce sys_getregs call, and let vfs use it

gcore command to coredump a process

ELF core files

ramdisk: install all password-related files

ramdisk: build pwd_mkdb

fxp: add device id in the right place

fxp: add device id for LU82551IT

Contributed by Roman Ignatov

isofs: unbreak lseek

csu: add code to call constructors to be used by clang

. clang-linked binaries were not calling global constructors, as the
  code to do so wasn't in csu/ and linked
. it does work for gcc as it uses its self-supplied crt{begin,end} code
. this commit copies netbsd's crt{begin,end}.S, which contains
  constructor/destructor calling code, called from .init and .fini
  sections already accumulated by the linker. the _init function was already
  called by the C startup code before calling main.
. based on work by Antoine Leca

compat.S: add getpwnam() alias.

Needed for finding getpwnam() when a prototype is not given.

pm: add mproc table sanity check feature

. make procfs check it
. detects pm/procfs mismatches
. was triggered by ack/clang pm/procfs:
  add padding to mproc struct to align ack/clang layout
  to fix this

simplify build logic a bit

. always compile acpi, with clang, so never have
  build/clean inconsistencies; can be enabled (i.e. run
  at boot time) by setting acpi variable in the boot monitor
. always strip binaries with the right strip cmd, so never
  have ack/elf strip inconsistencies

make: set MACHINE_ARCH variable

Also, modify sys.mk so we continue to build with -O

remove ftpd200

minor bugfixes caught by clang warnings

libarchive: not for ack

. fixes compile error due to missing bzlib.h for ack
. one less ack library

import NetBSD bzip2 and libbz2

base system hooks for pkgsrc drivers

. rc script and service know to look in /usr/pkg/.. for
  extra binaries and conf files
. service split into parsing config and doing RS request
  so that a new utility (printconfig) can just print the
  config in machine-parseable format for netconf integration
. converted all base system eth drivers/netconf

pwcache_userdb alias.

. mainly so configure can find it without the prototype.

More cleanup: no more CMOS and SCSI ioctls

Define flags in sys/stat.h

release.sh: add -e

. allows extra files in release for flexibility
. written by Jan Wieck

df: add case for MFSv3

. fix for FSes mounted with '-t mfs' syntax

Switch to NetBSD passwd format
Based on work by Vivek Prakash and Gianluca Guida.

See UPDATING about caveats on currently existing accounts.

. restores netbsd libc pwcache functions

mainstream-format fstab format

. detect both formats in /etc/rc
. generate new format in setup
. obsoletes /etc/fstab.local: everything can go in /etc/fstab
. put shutdown/reboot/halt and a copy of /usr/adm/wtmp
  (/etc/wtmp) on root FS so that we can do shutdown checks before
  mounting /usr
. new fstab format makes getfsent() and friends work

Fix compiler warnings

Import librefuse and libpuffs

Import libpuffs and our port of libpuffs. The port was done as part of
GSoC 2011 FUSE project, done by Evgeniy Ivanov. The librefuse import
did not require any porting efforts. Libpuffs has been modified to
understand our VFS-FS protocol and translate between that and PUFFS. As
an example that it works, fuse-ntfs-3g from pkgsrc can be compiled and
used to mount ntfs partitions:
mount -t ntfs-3g <device> <mountpoint>

FUSE only works with the asynchronous version of VFS. See <docs/UPDATING> on
how to run AVFS.

This patch further includes some changes to mount(1) and mount(2) so it's
possible to use file systems provided by pkgsrc (note: manual modifications
to /etc/system.conf are still needed. There has been made an exception for
fuse-ntfs-3g, so it already as an entry).

Fix a ton of compiler warnings

This patch fixes most of current reasons to generate compiler warnings.
The changes consist of:
 - adding missing casts
 - hiding or unhiding function declarations
 - including headers where missing
 - add __UNCONST when assigning a const char * to a char *
 - adding missing return statements
 - changing some types from unsigned to signed, as the code seems to want
   signed ints
 - converting old-style function definitions to current style (i.e.,
   void func(param1, param2) short param1, param2; {...} to
   void func (short param1, short param2) {...})
 - making the compiler silent about signed vs unsigned comparisons. We
   have too many of those in the new libc to fix.

A number of bugs in the test set were fixed. These bugs were never
triggered with our old libc. Consequently, these tests are now forced to
link with the new libc or they will generate errors (in particular tests 43
and 55).

Most changes in NetBSD libc are limited to moving aroudn "#ifndef __minix"
or stuff related to Minix-specific things (code in sys-minix or gen/minix).

More cleanup of minix/com.h.

ps(1): remove outdated comment

ps(1) man page: mem/kmem are no longer used

Change default pager to less(1)

For one thing, less(1) provides better interaction with git.

libbdev: initial version

The "bdev" library provides basic primitives for file systems to talk
to block device drivers, hiding the details of the underlying protocol
and interaction model.

This version of libbdev is rather basic. It is planned to support the
following features in the long run:

 - asynchronous requests and replies;
 - recovery support for underlying block drivers;
 - retrying of failed I/O requests.

The commit also changes our block-based file systems (mfs, ext2, isofs)
to make use of libbdev.

Servers: remove ABI comment

Miscellaneous legacy cleanup

stopgap local fstab

. /etc/fstab.local to list user-defined filesystems
. /usr/etc/rc reads it and runs type-specific fsck if necessary
. also type-specific mount

Kernel: fix compilation with DEBUG_RACE on

blocktest: add system.conf file, too

Move optset.c into libsys; remove redundant copies

Add "blocktest" test, for testing block drivers

The test is located in test/blocktest. It requires hand-editing of
its configuration, and is not part of any automated test set.

atl2: prevent compiler memory access misordering

While no problems have been observed in practice yet, modern compilers
may reorder memory access operations, and that could lead to problems
with memory-mapped I/O typically done by drivers. This patch prevents
any potentially problematic reordering by the compiler in the ATL2
driver.

In addition, this patch removes a number of gcc/clang warnings.

mfs: ditch global readahead

Drivers: fix issues introduced by commit b198207

ahci: prevent compiler memory access misordering

While no problems have been observed in practice yet, modern compilers
may reorder memory access operations, and that could lead to problems
with memory-mapped I/O typically done by drivers. This patch prevents
any potentially problematic reordering by the compiler in the AHCI
driver.

ahci/libdriver: multithreading support

This patch adds support for executing multiple concurrent requests on
different devices on the same AHCI controller. The libdriver library
has been extended to include a generic multithreading interface, and
the AHCI driver has been extended to make use of this interface.

The original version of this code has been written by Arne Welzel.

procfs: fix for PID reuse between updates

In certain cases, a process ID may be reused between two lazy updates
of procfs's PID table. If the new associated process slot has a lower
index than the old one, this will trigger an assert in vtreefs, as the
new PID name entry is added before the old one is removed. This patch
fixes the problem by always first removing old PID name entries before
adding new ones.

Bug reported by Stephen Hatton.

Kernel: remove unused MF_ASYNMSG