build shared versions of libraries

building defaults to off until clang is updated.

current clang does not handle -shared, necessary to change the ld
invocation to build shared libraries properly. a new clang should be
installed and MKPIC defaults to no unless the newer clang is detected.

changes:

. mainly small imports of a Makefile or two and small fixes
  (turning things back on that were turned off in Makefiles)
. e.g.: dynamic librefuse now depends on dynamic
  libpuffs, so libpuffs has to be built dynamically too
  and a make dependency barrier is needed in lib/Makefile
. all library objects now have a PIC (for .so) and non-PIC
  version, so everything is built twice.
. generate PIC versions of the compat (un-RENAMEd) jump files,
  include function type annotation in generated assembly
. build progs with -static by default for now
. also build ld.elf_so
. also import NetBSD ldd

recognize and execute dynamically linked executables

   . generalize libexec slightly to get some more necessary information
  from ELF files, e.g. the interpreter
. execute dynamically linked executables when exec()ed by VFS
. switch to netbsd variant of elf32.h exclusively, solves some
  conflicting headers

kernel: align gdt and idt base addresses

patch my fdmanana:
As recommended by the Intel 64 and IA-32 Architectures Developer's
Manual Volume 3A, the GDT and IDT base addresses should be aligned on an
8 byte boundary to yield better processor performance.

Provide boot option to boot into single user mode

Fix booting into single user mode

Due to a shift, mountfstab was unable to locate the fstab file and
mount other file systems causing a number of errors to be generated.

service: make clear who is printing the error

VFS: fix filp reuse race

Pipes consist of two filps (read filp and write filp) and a shared
vnode. When the writer leaves the filp reference count drops to
zero and subsequent find_filp()s should not find the filp when a
reader looks for it and the reader gets EOF. However, the pipe()
system call tries to find two filps, marks them in use, and only
after a successful node creation on PFS, overwrites the shared
vnode with the new vnode. Consequently, this leaves a small window
where a just closed 'pipe write filp' gets reused and marked as
present, before becoming the actual new 'pipe write filp' for a new
pipe. A reader for the old pipe will think a writer is present and
wait for that writer to write something or to leave; both actions
should revive the suspended reader. This will never happen and the
reader will be stuck forever.

VFS: more three-level-lock sanity checking

TTY: don't allow multiple readers on tty minor

TTY has no way of keeping track of multiple readers for a tty minor
device. Instead, it stores a read request for the last reader only.
Consequently, the first ("overwritten") reader gets stuck on a read
request that's never going to be finished. Also, the overwriting
causes a grant mismatch in VFS when TTY returns a reply for the
second reader.

This patch is a work around for the actual problem (i.e., keeping track
of multiple readers). It checks whether there is a read operation in
progress and returns an error if it is --preventing that reader from
getting overwritten and stuck. It fixes a bug triggered by executing
'top | more' and pressing the space bar for a while (easily reproducable
in a VM, not on hardware).

VFS: add getting active threads control msg

VFS: remove debug print

VFS: let know when skipping reply

VFS: fix dead lock

When running out of worker threads to handle device replies a dead
lock resolver thread is used. However, it was only used for FS
endpoints; it is now used for "system processes" (drivers and FS
endpoints). Also, drivers were marked as system process when they
were not "forced" to map (i.e., mapping was done before endpoint was
alive).

VFS: fix new signed/unsigned comparisons

VFS: warnings are errors

Add a simple utility to send control messages

The svrctl utility allows you to send control messages to VFS or PM.
This way you can retrieve runtime information or alter behavior.

VFS: enable sending control messages

libmthread: add stack traces

VFS: find job only if request is an transaction

VFS: make m_in job local

By making m_in job local (i.e., each job has its own copy of m_in instead
of refering to the global m_in) we don't have to store and restore m_in
on every thread yield. This reduces overhead. Moreover, remove the
assumption that m_in is preserved. Do_XXX functions have to copy the
system call parameters as soon as possible and only pass those copies to
other functions.

Furthermore, this patch cleans up some code and uses better types in a lot
of places.

vm: add MAP_FIXED

vfs: more regions for coredumps

switch to netbsd csu

        . file- and functionality-compatible with previous situation
          (FreeBSD csu) (with a crt1.o -> crt0.o symlink in /usr/lib)
        . harmonizes source with netbsd
        . harmonizes linker invocation (e.g. clang) with netbsd
        . helpful to get some arm code in there for the arm port project

test: convert to bsdish Makefile

. smaller, simpler, less duplication, exceptions still
  encodeable
. fix for test10: too small a buffer to copy executables

retire bios_wini

vm: full memory view

for user-space processes, increase text segment so it reaches the full
address space, so code can be executed anywhere.

vm: break: allow brk() on any region

use the user-supplied point to lookup which region to perform brk() on,
and if it's a reasonable one, do it, no matter what vm's notion of the
heap region is.

fix gcc test62

Import NetBSD usr.bin/login

Add VBFS: VirtualBox Shared Folder File System

Refer to "man vbfs" on how to mount it.

Add libvboxfs: VirtualBox shared folders library

Create SFFS library out of HGFS

This Shared Folders File System library (libsffs) now contains all the
file system logic originally in HGFS. The actual HGFS server code is
now a stub that passes on all the work to libsffs. The libhgfs library
is changed accordingly.

HGFS: move all VMware-specific code into libhgfs

SEF: add sef_cancel()

This function allows the caller to cancel receiving a message from a
SEF callback. The receive function will then return EINTR.

VBOX: add host/guest communication interface

This interface can be used by other system processes by means of the
newly provided vbox API in libsys.

Import NetBSD file(1)

add UPDATING note about genassym

clean up master Makefile a bit

. a bit more abstraction (macros) and less duplication
. also build and install csu, libc, then rest of libraries
  for future dependency

manpages: fix options and examples

import genassym and use it for sconst.h in kernel

use __restrict instead of restrict

. doesn't choke gcc without -std=c99
. also used in prototypes already

Kernel/servers/drivers: resolve a few warnings

Flagged by clang 3.1.

Actually consider the new su(1)

hgfs: subsecond timestamp precision

Slightly cleaned up version of patch contributed by Antoine Leca.

drop /usr/lib/advent dir (no more advent)

Drop obsolete sdump

The code cannot be compiled, and is not included for over a year.
And it creates a corefile which is obsolete.

kernel: Remove unnecessary ACK conditionals

ioapic - missing volatiles

leads to a kernel panic when using clang and SMP

reported by trd <trdempsey.201201@gmail.com>

various kernel printing fixes

. remove some call cycles by low-level functions invoking printf(); e.g.
  send_sig() gets a return value that the caller should check
. reason: very-early-phase printf() would trigger a printf() causing
  infinite recursion -> GPF
. move serial initialization a little earlier so DEBUG_EXTRA works for
  serial earlier (e.g. its first instance, for "cstart")
. closes tracker item 583:
  System Fails to Complete Startup with Verbose 2 and 3 Boot Parameters,
  reported by Stephen Hatton / pikpik.

adjust netconf for new su behaviour

reported and debugged by Ryan Lie, tracker item 594.

boot: use high baud rate by default

build: don't -L/usr/pkg/lib

You might have to update the compiler-rt package! See UPDATING.

. the purpose of this -L was solely to find compiler-rt, which contains
  runtime support code for clang-compiled binaries
. this also makes all other packaged libraries visible, however
. it is cleaner to isolate the base system from packages, and so
  compiler-rt puts itself in /usr/pkg/compiler-rt/lib/ too, which the
  base system henceforth uses exclusively
. e.g. this solves a link failure when libfetch is installed as a
  package
. the new compiler-rt package also puts itself in /usr/pkg/lib for 'old'
  systems; that is harmless. The benefit of 'new' systems is that the other
  packages are hidden.

next release will be 3.2.1

import NetBSD su

libutil: add O_NOCTTY to old pty open code

. fixes e.g. ssh sessions not getting their own
  controlling tty (causing ^C getting broadcast to too
  many processes)
. previously (before -lutil) handled like this by bsd-openpty.c in
  openssh
. reported by Andy Kosela, debugged by ThomasV

Kernel: arch-related cleanup
- move umap_bios() into arch-specific code
- move proc.p_fpu_state access into arch-specific blocks

retire _ANSI and <minix/ansi.h>

get rid of __LONG_LONG_SUPPORTED

. also drop minix-specific code in libarchive
  that was needed for not supporting 64 bit ints

get rid of _RESTRICT

retire _CONST, _VOLATILE, _SIZET, _ARGS, _VOID

retire PUBLIC, PRIVATE and FORWARD

retire _PROTOTYPE

. only good for obsolete K&R support
. also remove a stray ansi.h and the proto cmd

Test set for sys_vumap()

Located in test/kernel. Invoke "run" to run tests.

vm: if mmap address is given, try that first

Previously, the mmap address (if given) was merely used as a lower
bound, and then possibly overriden with a hint. Now, the mapping is
first tried at the exact given address. If that fails, the start of
the mmap range is used as lower bound (which is then still overridden
by the hint for efficiency).

This allows two pages to be mapped in at predefined addresses, where
the second address is lower than the first. That was not possible.

blocktest: updates for sys_vumap()

ahci: use sys_vumap() instead of sys_umap()

This is only an optimization for CPU performance. Callers are
currently still required to supply contiguous memory.

Add sys_vumap() kernel call

This new call is a vectored version of sys_umap(). It supports batch
lookups, non-contiguous memory, faulting in memory, and basic access
checks.

Kernel: introduce vm_check_range

Kernel: replace vm_contiguous with vm_lookup_range

import NetBSD /usr/share/misc/

. for /usr/share/misc/style, NetBSD coding style
. and for indent.pro (style-compatible indent(1) indenting profile)

Clean up a stale a.out-related declaration

Remove unsupported legacy TIOC[GS]ET[PC] ioctls

libcompat_minix-centric cleanup

remove some old minix-userland-specific stuff

. /etc/ttytab as a file, and minix-compat function (fftyslot()),
  replaced by /etc/ttys and new libc functions
. also remove minix-specific nlist(), cuserid(), fttyslot(), v8 regex
  functions and <compat/regex.h>
. and remaining minix-only utilities that use them
. also unused <compat/pwd.h> and <compat/syslog.h> and
  redundant <sys/sigcontext.h>

Bootloader reinstall mode for setup.

update_bootcfg improvements.

- Fix a glitch (don't glob '*' in for).
- update_bootcfg should be a /bin command.
- update_bootcfg should not add menu entries for missing kernels.

Import NetBSD cat(1)

Import NetBSD ed(1)

imported code harmonisation

. common/include/arch/i386 is not actually an imported
  sys/arch/i386/include but leftover Minix files;
  remove and move to include/
. move include/ufs to sys/ufs, where it came from, now that
  we have a sys/ hierarchy
. move mdocml/ to external/bsd/, now we have that
. single sys/arch/i386/stand/ import for boot stuff

tools: some nbsd_ports fixes

. figure out which dates were used for various nbsd imports
  and specify them for each one in the nbsd_ports file
. other minor fixes and improvements

sprofalyze forgets a.out and learns that ELF binaries have larger addresses

libminc-related updates
- add files needed for acpi, ahci, fbd, vfs to libminc
- remove "-lc" from their respective makefiles
- remove setenv from libminc (requires initialization)

Test48: resolve existing hostname with static IP address

test48: disable failing resolver test

Temporary, until a better solution comes along.
Also, .xxx is now a valid TLD!

libddekit: resolve compiler warnings

Introduced by commit ca95f69.

pci: apply ACLs to device reservations

pci: USER_SPACE cleanup

drivers: slightly better use of PCI constants
- introduce PCI_BAR_{IO|MEM}_MASK
- remove redundant PCI definitions from lance
- fix vbox BAR retrieval

drivers: remove redundant PCI ID tables
- remove PCI tables where system.conf suffices
- remove drivers' ability to mess up NIC order
- fix dp8390 PCI enumeration
- convert ti1225 to instance model
- add system.conf entry for ti1225

dp8390,ti1225: reenable register memory mapping

pci: remove pci_init1 API call

swifi: modernize a bit
- ELF support
- update of one example script
- warning fixes

Kernel: do not retry message delivery upon failure

drivers: resolve compiler warnings

Import NetBSD du(1)

mfs: more accurate stat.st_blocks estimation

On MFS file systems, the stat(2) call now counts indirect blocks as
part of the st_blocks calculation, in addition to proper initial
rounding of the file size. The returned value is now a true upper
bound on the actual number of 512-byte blocks allocated to the file.
As before, it is not accurate for sparse files.

mfs: remove legacy stat code

Kernel: only reset/reload FPU state when necessary

Kernel: retain FPU state upon save

On the x86, saving FPU state has the side effect of resetting this
state. In some cases (fork, getcontext), this would cause the state
to be lost. This patch restores the FPU state right after saving it,
except when different state is loaded immediately after.

Kernel: pass FPU restore exception to user process

Previously, user processes could cause a kernel panic upon FPU state
restore, by passing bogus FPU state to the kernel (through e.g.
sigreturn). With this patch, the process is now sent a SIGFPE signal
instead.

Kernel: adjust FPU state upon process slot swap

This fixes seemingly random FPU exceptions and kernel panics occurring
after a system server restart.