endianness compile fixes

kernel: make sure mpx.S is linked early

. for qemu multiboot detection

synctree compile fix

. rename CANCEL to ORDER_CANCEL so the CANCEL enum name doesn't
  clash with a minix header file. also endianness test fix.

no USE_BOOTPARAM

kernel: neater arch-dependent split in Makefiles

. files in kernel/ references in kernel/Makefile, but
  in kernel/arch/i386/ in kernel/arch/i386/Makefile.inc

only elf/multiboot images

mthread: mmap returns MAP_FAILED on error

set major version of shlibs to 0

WARNING: this will break existing dynamically linked binaries if they
exist. If you have any:
. re-build world statically first if necessary
. remove libraries from /lib and /usr/lib
. then build world

This change:
. avoids possible future dismay when interfacing other
  systems' binaries; done until they are abi-compatible

Thanks to Antoine Leca for pointing this out.

retire BIOS_SEG and umap_bios

. readbios call is now a physical copy with range check in
  the kernel call instead of BIOS_SEG+umap_bios
. requires all access to physical memory in bios range to go
  through sys_readbios
. drivers/dpeth: wasn't using it
. adjusted printer

brazilian keymap

contributed by David Augusto.

VFS: fix "process already free" panic on reboot

Reported by Claudiu Dan Gheorghe, debugged by Thomas and myself

test43: fix dangling-symlink case

libarchive import

. clean and nbsd_ports managed import
. also makes it shared

libmthread: don't always verify library initialization

This can be turned back on when the library is compiled with
-DMTHREAD_STRICT (which enables more sanity checks). However,
always performing this check shows up in system profiling results.

VFS: unlock vmnt when out of vnodes

VFS: release what can be released

Only attempt to release blocked processes that are blocked. There is
no use in trying to find more blocked processes than we know that are
blocked (on a pipe).

VFS: simplify stat for pipes

According to POSIX the st_size field of struct stat is undefined for
fifos and anonymous pipes. Thus we can do anything we want. We save a
copy by not being accurate on pipe sizes.

VFS: use S_IS* macros

VFS: I_PIPE is redundant

Also, use S_IS* macros instead of manual comparison.

AT_SUN_EXECNAME support

. vfs: pass execname in aux vectors
. ld.elf_so: use this to expand $ORIGIN
. this requires the executable to reserve more
  space at exec() calling time

kernel: mon_return cleanup

cleanup of boot monitor related code.

Enable LZMA supprt with tar(1)

MFS: reimplement block clean marking fix

MFS' get_block() must never return a newly acquired block buffer that
is marked dirty from previous use. This patch replaces git-dd59d50,
which assumed a working model where blocks for device NO_DEV would
never be dirty. For at least one scenario, that assumption does not
hold, triggering superblock overwrite warnings. In this patch, blocks
are explicitly marked as clean upon being repurposed. The working
model is now restored to be: the dirty state of a block is relevant
only when its associated device is not set to NO_DEV.

VFS: reimplement truncate mtime/ctime fix

POSIX mandates that a file's modification and change time be left
untouched upon truncate/ftruncate iff the file size does not change.
However, an open(O_TRUNC) call must always update the modification and
change time of the file, even if it was already zero-sized. VFS uses
the file systems' truncate call to implement O_TRUNC. This patch
replaces git-255ae85, which did not take into account the open case.
The size check is now moved into VFS, so that individual file systems
need not check for this case anymore.

run test fix, take two

daily cron: fix timestamp updating

. previously was not updated causing daily to be run on
  every boot

use linker to align fpu state save area

procfs: fix rare panic in add_inode

Previously, procfs would consider all processes that have a non-free
kernel slot *or* an in-use PM slot. However, since AVFS, a non-free
kernel slot does not imply an in-use PM slot. As a result, procfs
may use PM slots that have a zero PID value. If two such entries are
present in the retrieved PM table, procfs would try to add two inodes
with the same name "0", triggering an assertion in vtreefs.

This patch makes procfs consider only the PM slot for (non-task)
processes.

update_bootcfg: fix: generate absolute paths

run test fix

block ioctls: pass request number

release fixes

. make ramdisk buildable without ../etc having pwd.db
. add cat to release bootstrap cmds
. support running dynamically linked executables for
  release bootstrap cmds
. import netbsd chroot to help

test scripts fixes

dynamic executables on ramdisk support

See UPDATING about upgrading clang for dynamic linking.

. allow executables on ramdisk to be dynamically linked; this means
  putting a few required shared libraries and ld.elf_so on the ramdisk.
. this makes the ramdisk (usage) smaller when they are dynamic, but
  bigger when they're not.
. also we can safely ditch newroot and call mount directly as that is
  all newroot does.
. create proto.common to share a bunch of entries between
  small/nonsmall cases

tests: link them dynamically by default

. so that functionality is tested
. add test63 that actually tests dlopen(), dlsym(),
  etc. functionality; only built if clang supports it
. also test10 test to copy more of the executable

build shared versions of libraries

building defaults to off until clang is updated.

current clang does not handle -shared, necessary to change the ld
invocation to build shared libraries properly. a new clang should be
installed and MKPIC defaults to no unless the newer clang is detected.

changes:

. mainly small imports of a Makefile or two and small fixes
  (turning things back on that were turned off in Makefiles)
. e.g.: dynamic librefuse now depends on dynamic
  libpuffs, so libpuffs has to be built dynamically too
  and a make dependency barrier is needed in lib/Makefile
. all library objects now have a PIC (for .so) and non-PIC
  version, so everything is built twice.
. generate PIC versions of the compat (un-RENAMEd) jump files,
  include function type annotation in generated assembly
. build progs with -static by default for now
. also build ld.elf_so
. also import NetBSD ldd

recognize and execute dynamically linked executables

   . generalize libexec slightly to get some more necessary information
  from ELF files, e.g. the interpreter
. execute dynamically linked executables when exec()ed by VFS
. switch to netbsd variant of elf32.h exclusively, solves some
  conflicting headers

kernel: align gdt and idt base addresses

patch my fdmanana:
As recommended by the Intel 64 and IA-32 Architectures Developer's
Manual Volume 3A, the GDT and IDT base addresses should be aligned on an
8 byte boundary to yield better processor performance.

Provide boot option to boot into single user mode

Fix booting into single user mode

Due to a shift, mountfstab was unable to locate the fstab file and
mount other file systems causing a number of errors to be generated.

service: make clear who is printing the error

VFS: fix filp reuse race

Pipes consist of two filps (read filp and write filp) and a shared
vnode. When the writer leaves the filp reference count drops to
zero and subsequent find_filp()s should not find the filp when a
reader looks for it and the reader gets EOF. However, the pipe()
system call tries to find two filps, marks them in use, and only
after a successful node creation on PFS, overwrites the shared
vnode with the new vnode. Consequently, this leaves a small window
where a just closed 'pipe write filp' gets reused and marked as
present, before becoming the actual new 'pipe write filp' for a new
pipe. A reader for the old pipe will think a writer is present and
wait for that writer to write something or to leave; both actions
should revive the suspended reader. This will never happen and the
reader will be stuck forever.

VFS: more three-level-lock sanity checking

TTY: don't allow multiple readers on tty minor

TTY has no way of keeping track of multiple readers for a tty minor
device. Instead, it stores a read request for the last reader only.
Consequently, the first ("overwritten") reader gets stuck on a read
request that's never going to be finished. Also, the overwriting
causes a grant mismatch in VFS when TTY returns a reply for the
second reader.

This patch is a work around for the actual problem (i.e., keeping track
of multiple readers). It checks whether there is a read operation in
progress and returns an error if it is --preventing that reader from
getting overwritten and stuck. It fixes a bug triggered by executing
'top | more' and pressing the space bar for a while (easily reproducable
in a VM, not on hardware).

VFS: add getting active threads control msg

VFS: remove debug print

VFS: let know when skipping reply

VFS: fix dead lock

When running out of worker threads to handle device replies a dead
lock resolver thread is used. However, it was only used for FS
endpoints; it is now used for "system processes" (drivers and FS
endpoints). Also, drivers were marked as system process when they
were not "forced" to map (i.e., mapping was done before endpoint was
alive).

VFS: fix new signed/unsigned comparisons

VFS: warnings are errors

Add a simple utility to send control messages

The svrctl utility allows you to send control messages to VFS or PM.
This way you can retrieve runtime information or alter behavior.

VFS: enable sending control messages

libmthread: add stack traces

VFS: find job only if request is an transaction

VFS: make m_in job local

By making m_in job local (i.e., each job has its own copy of m_in instead
of refering to the global m_in) we don't have to store and restore m_in
on every thread yield. This reduces overhead. Moreover, remove the
assumption that m_in is preserved. Do_XXX functions have to copy the
system call parameters as soon as possible and only pass those copies to
other functions.

Furthermore, this patch cleans up some code and uses better types in a lot
of places.

vm: add MAP_FIXED

vfs: more regions for coredumps

switch to netbsd csu

        . file- and functionality-compatible with previous situation
          (FreeBSD csu) (with a crt1.o -> crt0.o symlink in /usr/lib)
        . harmonizes source with netbsd
        . harmonizes linker invocation (e.g. clang) with netbsd
        . helpful to get some arm code in there for the arm port project

test: convert to bsdish Makefile

. smaller, simpler, less duplication, exceptions still
  encodeable
. fix for test10: too small a buffer to copy executables

retire bios_wini

vm: full memory view

for user-space processes, increase text segment so it reaches the full
address space, so code can be executed anywhere.

vm: break: allow brk() on any region

use the user-supplied point to lookup which region to perform brk() on,
and if it's a reasonable one, do it, no matter what vm's notion of the
heap region is.

fix gcc test62

Import NetBSD usr.bin/login

Add VBFS: VirtualBox Shared Folder File System

Refer to "man vbfs" on how to mount it.

Add libvboxfs: VirtualBox shared folders library

Create SFFS library out of HGFS

This Shared Folders File System library (libsffs) now contains all the
file system logic originally in HGFS. The actual HGFS server code is
now a stub that passes on all the work to libsffs. The libhgfs library
is changed accordingly.

HGFS: move all VMware-specific code into libhgfs

SEF: add sef_cancel()

This function allows the caller to cancel receiving a message from a
SEF callback. The receive function will then return EINTR.

VBOX: add host/guest communication interface

This interface can be used by other system processes by means of the
newly provided vbox API in libsys.

Import NetBSD file(1)

add UPDATING note about genassym

clean up master Makefile a bit

. a bit more abstraction (macros) and less duplication
. also build and install csu, libc, then rest of libraries
  for future dependency

manpages: fix options and examples

import genassym and use it for sconst.h in kernel

use __restrict instead of restrict

. doesn't choke gcc without -std=c99
. also used in prototypes already

Kernel/servers/drivers: resolve a few warnings

Flagged by clang 3.1.

Actually consider the new su(1)

hgfs: subsecond timestamp precision

Slightly cleaned up version of patch contributed by Antoine Leca.

drop /usr/lib/advent dir (no more advent)

Drop obsolete sdump

The code cannot be compiled, and is not included for over a year.
And it creates a corefile which is obsolete.

kernel: Remove unnecessary ACK conditionals

ioapic - missing volatiles

leads to a kernel panic when using clang and SMP

reported by trd <trdempsey.201201@gmail.com>

various kernel printing fixes

. remove some call cycles by low-level functions invoking printf(); e.g.
  send_sig() gets a return value that the caller should check
. reason: very-early-phase printf() would trigger a printf() causing
  infinite recursion -> GPF
. move serial initialization a little earlier so DEBUG_EXTRA works for
  serial earlier (e.g. its first instance, for "cstart")
. closes tracker item 583:
  System Fails to Complete Startup with Verbose 2 and 3 Boot Parameters,
  reported by Stephen Hatton / pikpik.

adjust netconf for new su behaviour

reported and debugged by Ryan Lie, tracker item 594.

boot: use high baud rate by default

build: don't -L/usr/pkg/lib

You might have to update the compiler-rt package! See UPDATING.

. the purpose of this -L was solely to find compiler-rt, which contains
  runtime support code for clang-compiled binaries
. this also makes all other packaged libraries visible, however
. it is cleaner to isolate the base system from packages, and so
  compiler-rt puts itself in /usr/pkg/compiler-rt/lib/ too, which the
  base system henceforth uses exclusively
. e.g. this solves a link failure when libfetch is installed as a
  package
. the new compiler-rt package also puts itself in /usr/pkg/lib for 'old'
  systems; that is harmless. The benefit of 'new' systems is that the other
  packages are hidden.

next release will be 3.2.1

import NetBSD su

libutil: add O_NOCTTY to old pty open code

. fixes e.g. ssh sessions not getting their own
  controlling tty (causing ^C getting broadcast to too
  many processes)
. previously (before -lutil) handled like this by bsd-openpty.c in
  openssh
. reported by Andy Kosela, debugged by ThomasV

Kernel: arch-related cleanup
- move umap_bios() into arch-specific code
- move proc.p_fpu_state access into arch-specific blocks

retire _ANSI and <minix/ansi.h>

get rid of __LONG_LONG_SUPPORTED

. also drop minix-specific code in libarchive
  that was needed for not supporting 64 bit ints

get rid of _RESTRICT

retire _CONST, _VOLATILE, _SIZET, _ARGS, _VOID

retire PUBLIC, PRIVATE and FORWARD

retire _PROTOTYPE

. only good for obsolete K&R support
. also remove a stray ansi.h and the proto cmd

Test set for sys_vumap()

Located in test/kernel. Invoke "run" to run tests.

vm: if mmap address is given, try that first

Previously, the mmap address (if given) was merely used as a lower
bound, and then possibly overriden with a hint. Now, the mapping is
first tried at the exact given address. If that fails, the start of
the mmap range is used as lower bound (which is then still overridden
by the hint for efficiency).

This allows two pages to be mapped in at predefined addresses, where
the second address is lower than the first. That was not possible.

blocktest: updates for sys_vumap()