Kernel/ARM: faster context save

Kernel/ARM: use modern srsdb invocation

libcsu: store argc and argv on the stack

Ramdisk: fix ramdisk creation for ARM

Also build and install log for ARM

ARM: disable __minix_init for now

On ARM we can't yet globally map pages into every process. So now that
we correctly receive the pointer to the globally mapped kern_info
struct, we have to ignore it on ARM because attempting to dereference
the pointer yields a segfault.

ARM: correctly store kernel_info_struct pointer

VM: ARM needs more spare pages

ARM: Provide linker script for VM

Split libsys in arch dependent parts

The ARM part is not finished yet and will be fixed in a later commit.

ARM: clear BSS upon boot

ARM: provide means to pass boot cmdline

PFS: verify nrbytes

tests: print error locations verbosely

So we don't have to figure out which line generated this error by
searching for the subtest/error code combination.

Change-Id: Icca0a776fd19f0f3d250ddb76916f5f932dd9b5e

getifaddrs: add un-namespaced alias

. needed for security/heimdal, needed for git

Change-Id: I8638945dffd0abffd487c47281ad7616da1b70db

Termcap update, replacing elvis by nvi.

Removing elvis, importing nvi, ctags, updating libedit.

Change-Id: I881eb04d2dc64cf112facd992de1114e1a59107f

Re-adding extended keys in minix termcap entry

Fixing cross build i386 on minix

build:fixes Files in DESTDIR but missing from flist.

* virtio

Change-Id: I0c3262cb346692b6caaed0b80ffc1e725dbc0c66

build:fixes Files in DESTDIR but missing from flist.

Change-Id: I9bf6de1697d1173898de2eda03f042f316427007

VFS/PFS: remove remnants of file position in pipes

VFS: fix select bug on pipes

ramdisk: traditional-cpp does not work with clang

build:fixes Files in DESTDIR but missing from flist.

Change-Id: Idb3d53a22bee6731fb22f435bf672a0ff180b863

ramdisk: add virtio-blk to proto and boot option

virtio: virtio-net driver

virtio: virtio-blk driver

pci: add virtio pci device ids

virtio: generic virtio library

kernel: fix sanity check

Replace previous change by different test

. so contents always get overwritten in out-of-tree case

drivers/ramdisk/Makefile fixup

Change-Id: I481830f19b650ff0d93bf319ca4d8e901657b8f8

Fixed bug in getrlimit as core dumps are supported now.

ARM updates

Due to the ABI we are using we have to use the earm architecture
moniker for the build system to behave correctly. This involves
then some headers to move around.

There is also a few related Makefile updates as well as minor
source code corrections.

Toolchain adaptation for ARM MINIX support

Reverting back to default value of MKARZERO

The value was changed to no for cross-building as the old binutils
could not handle the required flag. As this is now possible, the
default is restored.

This flags make sure that AR zeroes out some timestamps and uid/gid
fields in libraries, which would change for every build of the
library otherwise, preventing comparison between to builds.

Removing useless __NBSD_LIBC define in libcurses

misc:Add gerrit code review support.

Add gerrit code review support by adding a git-review configuration
file.

Change-Id: I63c2d22b946c6b64c90be120983ce81df890f6aa

sys/arch/x86/include updates

. primary purpose is to synchronize with <ieeefp.h> which
  expects a fp_prec from sys/arch/x86/include/ieeefp.h

csu: restore crt1.o symlink

. minix gcc package uses crt1.o to link

sprofalyze fixes

. accumulate sprof_info
. reset 'seen' endpoints for every file to keep in sync with kernel
  profile stream

tar: use utime() to restore timestamps

. otherwise all extracted files get 'now'

UPDATING instructions for libc/terminfo update

Fix warnings trivial warnings.

Fix warnings about:
 . Unused variables
 . format mismatch in printf/scanf format string and arguments
 . Missing parenthesis around assignment as truth values
 . Clang warnings anout unknown GCC pragma

Changing field utmp.ut_time from int to time_t

This makes sure the types are coherent, and right now, time_t is
defined as an long, through _BSD_TIME_T_. It previously was
hardcoded as an int, so the structure's size does not change.

Change-Id: If29e94ab53f605d1480fadb540f5b67be4ddaf5b

Importing common/dist/zlib

Change-Id: I46de716a98ccc501ca32b2a9445d9964594ddc61

Updating lib/libcrypt

Change-Id: I4dc5ca7c86abc5295ffc57386a14dd1d790fd489

Updating usr.bin/passwd

Change-Id: I5512cd44cb9f1684350050d4e3fb5bb4d1c9b6b1

Updating usr.bin/make

Change-Id: I66b137a0368cf99267cd47a9625da8a12d8a1df7

Updating usr.bin/m4

Change-Id: I6edfb294639490da27f6abd132822b901de0d650

nbsd_ports cleanups

Change-Id: Ib538a7b12a46a5052fb37e4ba74c32ebc43dbf64

Cleaning usage of MAJOR/MINOR

Change-Id: I4d7718c51967930375a5f0657b61f869745cf644

Updating libcurses, libterminfo and terminfo.

The three are updated together as they are tightly coupled.

Change-Id: I9e1f07b6adc6e8ae10833e6f1402f8472d2d34b8

Libraries updates and cleanup

 * Updating common/lib
 * Updating lib/csu
 * Updating lib/libc
 * Updating libexec/ld.elf_so
 * Corrected test on __minix in featuretest to actually follow the
   meaning of the comment.
 * Cleaned up _REENTRANT-related defintions.
 * Disabled -D_REENTRANT for libfetch
 * Removing some unneeded __NBSD_LIBC defines and tests

Change-Id: Ic1394baef74d11b9f86b312f5ff4bbc3cbf72ce2

Moving all NetBSD headers back where they belong.

Moving include/sys NetBSD headers to /sys/sys
Moving include/arch/*/ NetBSD headers to /sys/arch/*/include

Change-Id: Ia1a45d4e83ab806c84093ec2b61bdbea9bed65a0

common upgrades

Change-Id: I567fc15845b601019d346569ecfcef4f89687fd2

ramdisk:add support for cross building a dso ramdisk.

Change-Id: Ib2840bceab10cf98cb0abfbdb2393af4d59be102

ramdisk:replace proto.sh by the c processor.

Replace proto.sh by the c processor to generate proto.gen in order
for us to have a more flexible way of selecting the files we want
in the ramdisk.

Change-Id: Id82b9f1b73b498c4d885bb3156fcefaeb9d157e0

VFS: initialize variables

VFS: Coverity appeasements

ARM: fix clock

The GPTIMER1 clock is configured to run at 32 kHz and generate
(overflow) interrupts every 1 ms. However, the Timer Overflow Wrappping
Register (TOWR) was configured to filter every other interrupt. This
caused to the internal 'realtime' value to be off.

ARM: make cycle counter available to userspace

Add stack trace dumps for VFS over serial

VFS: add documentation about internal working

VFS: change locking to ease concurrent FSes

This patch uses stricter locking for REQ_LINK, REQ_MKDIR, REQ_MKNOD,
REQ_RENAME, REQ_RMDIR, REQ_SLINK and REQ_UNLINK. For all requests, VFS
locks the directory in which we add or remove an inode with VNODE_WRITE.
I.e., the operations have exclusive access to that directory.

Furthermore, REQ_CHOWN, REQ_CHMOD, and REQ_FTRUNC now lock the vmnt
VMNT_READ; VMNT_WRITE was unnecessary.

libmthread: add possibility to randomize scheduler

VFS/PFS: remove notion of position in pipes

Because pipes have no file position. VFS maintained (file) offsets into a
buffer internal to PFS and stored them in vnodes for simplicity, mixing
the responsibilities of filp and vnode objects.

With this patch PFS ignores the position field in REQ_READ and REQ_WRITE
requests making VFS' job a lot simpler.

VFS: fix locking bugs

.sync and fsync used unnecessarily restrictive locking type
.fsync violated locking order by obtaining a vmnt lock after a filp lock
.fsync contained a TOCTOU bug
.new_node violated locking rules (didn't upgrade lock upon file creation)
.do_pipe used unnecessarily restrictive locking type
.always lock pipes exclusively; even a read operation might require to do
 a write on a vnode object (update pipe size)
.when opening a file with O_TRUNC, upgrade vnode lock when truncating
.utime used unnecessarily restrictive locking type
.path parsing:
  .always acquire VMNT_WRITE or VMNT_EXCL on vmnt and downgrade to
   VMNT_READ if that was what was actually requested. This prevents the
   following deadlock scenario:
   thread A:
     lock_vmnt(vmp, TLL_READSER);
     lock_vnode(vp, TLL_READSER);
     upgrade_vmnt_lock(vmp, TLL_WRITE);

   thread B:
     lock_vmnt(vmp, TLL_READ);
     lock_vnode(vp, TLL_READSER);

   thread A will be stuck in upgrade_vmnt_lock and thread B is stuck in
   lock_vnode. This happens when, for example, thread A tries create a
   new node (open.c:new_node) and thread B tries to do eat_path to
   change dir (stadir.c:do_chdir). When the path is being resolved, a
   vnode is always locked with VNODE_OPCL (TLL_READSER) and then
   downgraded to VNODE_READ if read-only is actually requested. Thread
   A locks the vmnt with VMNT_WRITE (TLL_READSER) which still allows
   VMNT_READ locks. Thread B can't acquire a lock on the vnode because
   thread A has it; Thread A can't upgrade its vmnt lock to VMNT_WRITE
   (TLL_WRITE) because thread B has a VMNT_READ lock on it.

   By serializing vmnt locks during path parsing, thread B can only
   acquire a lock on vmp when thread A has completely finished its
   operation.

vm: fix region reporting bug

. logic was backwards, causing no reporting ever
. this broke coredumps ('Warning: Program has too many regions')

service: nonfatally ignore unknown call keywords

. makes switching between revisions with new system.conf
  keywords less risky

release.sh: restore -jJAILDIR option

. also make copying a bit more informative and succinct

Drop obsolete klib16.S

The 16-bit poweroff16() function is not called any more.

gzip: fix warning messages with off_t

NetBSD assumes off_t is 64-bit, but on MINIX it is still 32-bit.
So cast the calls to use big_off_t, as stat(2) uses.
Only used in warning messages, was not a real production bug.

libc, libutil: remove compat hacks

kernel: trap-dependent state restore, trace fixes

. restore state depends on how saving of state was done;
  also remember trap style in sig context
. actually set and restore TRACEBIT with new trap styles;
  have to remove it once process enters kernel though, done
  in debug trap exception handler
. introduce MF_STEP that makes arch-specific code
  turn on trace bit instead of setting TRACEBIT directly,
  a bit more arch-friendly and avoids keeping precious
  state in per-process PSW arch-dependently

vm: restore stacktrace on SIGSEGV

kernel: separate state for trace-deferred syscalls

state is usually not in p_reg any more with sysenter/syscall trap entries,
so when saving/restarting do_ipc invocations the state has to be remembered
explicitly.

kernel: restore setting KTS_NONE

The 'trap style' variable records how a process has trapped into the
kernel (hardware/software interrupt, or one of the other trap
instructions). KTS_NONE indicates the process isn't trapped into the
kernel at all and is useful for sanity checking. The KTS_NONE reset was
inadvertently removed while removing some debugging code and this commit
restores it.

kernel:add a some information in backtraces.

* Display the pid and process name in the backtrace as we can
currently not read stackframes.

Change-Id: I2435d4098553c5b02adfe36f08b5aa3f47e9b531

vm:enable the instruction and data caches.

Enable the instruction and data caches. Whether data is cached
will depend on the MMU entries.

Change-Id: I51e9ebc38924db5525d4e7ad9ab69b2a5b1ca7b4

test:update tests to fix compiler warnings.

Change-Id: Id2c757f61fe5e8b52dffadfeb129024625c76f48

kernel: restore stacktraces

When processes have entered the kernel with one of the new
trap modes, %ebp is not valid, used for stacktraces, so we
need an alternative way to retrieve it to make the stacktraces
valid again.

vfs:fix for variable 'rfp' set but not used.

mount.c: In function 'mount_pfs':
mount.c:395:17: error: variable 'rfp' set but not used [-Werror=unused-but-set-variable]

Change-Id: I2f22590ab4e3a4a1678e9096626ebca53d2660e6

vm: Fix sparepage resource leak.

Fix a sparepage resource leak by preventing to call
vm_getsparepage twice.

Change-Id: I06557d47b90a7cca74e0a86921c2579f9618685d

unstack - fix ipcvecs

unstack: add shared libraries symbols

libexec exec fix

. restores executing shell scripts without explicit interpreter

include: reduce default stack size

kernel: vm kernel call can't suspend

kernel debug: priv can be NULL early on

vm: replace phys avl by array

 . make vm be able to use malloc() by overriding brk()
   and minix_mmap() functions
 . phys regions can then be malloc()ed and free()d instead
   of being in an avl tree, which is slightly faster
 . 'offset' field in phys_region can go too (offset is implied
   by position in array) but leads to bigger code changes

Removing warning about OSNAME.

Change-Id: I224105bee39ea24ecee031832dd4a059ddf2112a

Shell tests now complain more loudly.

Adding the bomb function which takes as a parameter a string
to be printed, print it, cleans up and exits with an error
code. It also means they will exit after the first error, unlike
previous behaviour.

Change-Id: Id0ffdf3938da43586c9dae7c566ee130533c5577

vfs: fix clobbering fd_nr

dumpcore: fd_nr can be in use as blocking fd but will then be clobbered
by common_open, causing disaster for exiting unpause().

pax: workaround for mkstemp() and long filenames

. symptom: mkstemp() looping forever trying to find a unique
  filename
. reported by pikpik as "BSDTar Endless Extraction of
  NCurses' Distfiles"

sort: add -x hex sort feature back

. so unstack works again

Make test3 fail on the first error.

test3 performs tests for null pointers but after that still continues
and uses them.  This results in segfault's. Fixing this issue by failing
on the first error.

Allow tests to fail on the first encountered error.

Pre increment errct in test to be able to fail on the first error.

deduplicate some installed files

. zcat link
. old install manpage

libutil: add O_NOCTTY back to old pty open code

restores fix 4f78dfcabc1500bef891039d3bcb73253468339a

. fixes e.g. ssh sessions not getting their own
  controlling tty