Upgrading printf

Change-Id: I78dbbf0d14e4d61f5dfbec53d3938453b3e03ee6

Fix command line history in ash

Also did some cleanup in ash sources, to make minix modifications
more obvious, as well as some simplifications (by removing code which
is never compiled)

Removed EDITLINE support, use libedit, which does the termcap/terminfo
handling.

Change-Id: I19f7f425ed6a61298844631f9d7f3173cf7f30c0

Fix file permissions in usr.bin/tput

Change-Id: Ieb29d7a91bbd90273e37406f5454e23c3131634a

ARM: provide free running clock to replace ccnt

The Cycle CouNTer on ARM cannot be used reliably as it wraps around
rather quickly and can be altered by user space (on Minix). Furthermore,
it's buggy when wrapping and is not implemented at all on the Linaro
Beagleboard emulator.

This patch programs GPTIMER10 as a free running clock at 1.625 MHz (it
doesn't generate interrupts). It's memory mapped into every process,
which enables libsys to provide micro_delay().

Change-Id: Iba004c6c62976762fe154ea390d69e518eec1531

arm: make signal handlers work

A few kernel and calling convention adjustments to make sigsend and
sigreturn work for arm.

. provide a arch_proc_setcontext for earm in kernel
. set LR in context of signal handler to provide a proper
  return address (to __sigreturn)
. change __sigreturn to retrieve the sigcontext pointer
  from the sigframe struct and pass it to _sigreturn() in r0

Change-Id: Icd135a70595382c79d11d8dd9876f6a6f1df41f8

libc: add stat aliases

. add non-internal aliases for stat, lstat, fstat

Change-Id: I87e025b2bf073ff56a5742fc1dcf5badb2b7b321

vm: fix kernel-requested mappings for arm

. make vm tell kernel virtual locations of mappings
. makes _minix_kerninfo feature work
. fix for mappings being larger than what 1 pde can address
  (e.g. devices memory requested on arm)
. still requires a special case for devices memory for the
  kernel, which has to switch to virtual addressing

Change-Id: I2e94090aa432346fa4da0edeba72f0b7406c2ad7

gpio:Initial GPIO driver.(ARM)

Small GPIO driver that exports a few pins using a virtual file
system. Currently the two user leds and the user button are exported.

Change-Id: I001d017ae27cd17b635587873f7da981054da459

Import infocmp from NetBSD

Convert the content of the terminfo database into human-readable
form, the same as used by the tic(1) command already present.

import tput from NetBSD

Posix tool to allow direct use of the terminfo database.
The clear script is adjusted accordingly.
The (MINIX-specific) clr equivalent is now gone.

Mined: allow Ins to mark

make: correct a typo of NetBSD source

Replace tell_config with NetBSD osrelease.sh

Ramdisk: remove mtab, as now obsolete

mkdep: restore NetBSD behaviour

Since MINIX has a working cc, do not introduce spurious differences

GNU tools: improvements to fetching process

- Do not run the fetch.sh script every time
- Do not run the configure script with MKUPDATE=yes (build.sh -u)
- The fetched GNU source are hidden from `git status`
- With CLEANFETCHED=yes, `nbmake -C tools cleandir` will remove the
fetched GNU source and return the MINIX tree to its pristine state.
- Avoid (harmless) message when building in parallel, about find
running against an inexistant path

Notice that the GNU tools are "installed" on every run, even with
MKUPDATE=yes; this is a feature of the NetBSD build system, because
in case of changes in dependencies it is impossible to know them.
See commit 1.27 2004-06-12 of tools/Makefile.gnuhost in NetBSD's src/

The downloaded tarballs are not removed with CLEANFETCHED:
they are supposed to be unmodified, and the exact name is not known
to the Makefile's, since it is engraved in each fetch.sh script (and
we do not want to have the same information in several places.)

VFS: fix select again

Change-Id: Ia5e26cdbfe38e3fb293dd57269a76b15c1fe236b

ARM: run with 64 processes only for now

Kernel/ARM: faster context save

Kernel/ARM: use modern srsdb invocation

libcsu: store argc and argv on the stack

Ramdisk: fix ramdisk creation for ARM

Also build and install log for ARM

ARM: disable __minix_init for now

On ARM we can't yet globally map pages into every process. So now that
we correctly receive the pointer to the globally mapped kern_info
struct, we have to ignore it on ARM because attempting to dereference
the pointer yields a segfault.

ARM: correctly store kernel_info_struct pointer

VM: ARM needs more spare pages

ARM: Provide linker script for VM

Split libsys in arch dependent parts

The ARM part is not finished yet and will be fixed in a later commit.

ARM: clear BSS upon boot

ARM: provide means to pass boot cmdline

PFS: verify nrbytes

tests: print error locations verbosely

So we don't have to figure out which line generated this error by
searching for the subtest/error code combination.

Change-Id: Icca0a776fd19f0f3d250ddb76916f5f932dd9b5e

getifaddrs: add un-namespaced alias

. needed for security/heimdal, needed for git

Change-Id: I8638945dffd0abffd487c47281ad7616da1b70db

Termcap update, replacing elvis by nvi.

Removing elvis, importing nvi, ctags, updating libedit.

Change-Id: I881eb04d2dc64cf112facd992de1114e1a59107f

Re-adding extended keys in minix termcap entry

Fixing cross build i386 on minix

build:fixes Files in DESTDIR but missing from flist.

* virtio

Change-Id: I0c3262cb346692b6caaed0b80ffc1e725dbc0c66

build:fixes Files in DESTDIR but missing from flist.

Change-Id: I9bf6de1697d1173898de2eda03f042f316427007

VFS/PFS: remove remnants of file position in pipes

VFS: fix select bug on pipes

ramdisk: traditional-cpp does not work with clang

build:fixes Files in DESTDIR but missing from flist.

Change-Id: Idb3d53a22bee6731fb22f435bf672a0ff180b863

ramdisk: add virtio-blk to proto and boot option

virtio: virtio-net driver

virtio: virtio-blk driver

pci: add virtio pci device ids

virtio: generic virtio library

kernel: fix sanity check

Replace previous change by different test

. so contents always get overwritten in out-of-tree case

drivers/ramdisk/Makefile fixup

Change-Id: I481830f19b650ff0d93bf319ca4d8e901657b8f8

Fixed bug in getrlimit as core dumps are supported now.

ARM updates

Due to the ABI we are using we have to use the earm architecture
moniker for the build system to behave correctly. This involves
then some headers to move around.

There is also a few related Makefile updates as well as minor
source code corrections.

Toolchain adaptation for ARM MINIX support

Reverting back to default value of MKARZERO

The value was changed to no for cross-building as the old binutils
could not handle the required flag. As this is now possible, the
default is restored.

This flags make sure that AR zeroes out some timestamps and uid/gid
fields in libraries, which would change for every build of the
library otherwise, preventing comparison between to builds.

Removing useless __NBSD_LIBC define in libcurses

misc:Add gerrit code review support.

Add gerrit code review support by adding a git-review configuration
file.

Change-Id: I63c2d22b946c6b64c90be120983ce81df890f6aa

sys/arch/x86/include updates

. primary purpose is to synchronize with <ieeefp.h> which
  expects a fp_prec from sys/arch/x86/include/ieeefp.h

csu: restore crt1.o symlink

. minix gcc package uses crt1.o to link

sprofalyze fixes

. accumulate sprof_info
. reset 'seen' endpoints for every file to keep in sync with kernel
  profile stream

tar: use utime() to restore timestamps

. otherwise all extracted files get 'now'

UPDATING instructions for libc/terminfo update

Fix warnings trivial warnings.

Fix warnings about:
 . Unused variables
 . format mismatch in printf/scanf format string and arguments
 . Missing parenthesis around assignment as truth values
 . Clang warnings anout unknown GCC pragma

Changing field utmp.ut_time from int to time_t

This makes sure the types are coherent, and right now, time_t is
defined as an long, through _BSD_TIME_T_. It previously was
hardcoded as an int, so the structure's size does not change.

Change-Id: If29e94ab53f605d1480fadb540f5b67be4ddaf5b

Importing common/dist/zlib

Change-Id: I46de716a98ccc501ca32b2a9445d9964594ddc61

Updating lib/libcrypt

Change-Id: I4dc5ca7c86abc5295ffc57386a14dd1d790fd489

Updating usr.bin/passwd

Change-Id: I5512cd44cb9f1684350050d4e3fb5bb4d1c9b6b1

Updating usr.bin/make

Change-Id: I66b137a0368cf99267cd47a9625da8a12d8a1df7

Updating usr.bin/m4

Change-Id: I6edfb294639490da27f6abd132822b901de0d650

nbsd_ports cleanups

Change-Id: Ib538a7b12a46a5052fb37e4ba74c32ebc43dbf64

Cleaning usage of MAJOR/MINOR

Change-Id: I4d7718c51967930375a5f0657b61f869745cf644

Updating libcurses, libterminfo and terminfo.

The three are updated together as they are tightly coupled.

Change-Id: I9e1f07b6adc6e8ae10833e6f1402f8472d2d34b8

Libraries updates and cleanup

 * Updating common/lib
 * Updating lib/csu
 * Updating lib/libc
 * Updating libexec/ld.elf_so
 * Corrected test on __minix in featuretest to actually follow the
   meaning of the comment.
 * Cleaned up _REENTRANT-related defintions.
 * Disabled -D_REENTRANT for libfetch
 * Removing some unneeded __NBSD_LIBC defines and tests

Change-Id: Ic1394baef74d11b9f86b312f5ff4bbc3cbf72ce2

Moving all NetBSD headers back where they belong.

Moving include/sys NetBSD headers to /sys/sys
Moving include/arch/*/ NetBSD headers to /sys/arch/*/include

Change-Id: Ia1a45d4e83ab806c84093ec2b61bdbea9bed65a0

common upgrades

Change-Id: I567fc15845b601019d346569ecfcef4f89687fd2

ramdisk:add support for cross building a dso ramdisk.

Change-Id: Ib2840bceab10cf98cb0abfbdb2393af4d59be102

ramdisk:replace proto.sh by the c processor.

Replace proto.sh by the c processor to generate proto.gen in order
for us to have a more flexible way of selecting the files we want
in the ramdisk.

Change-Id: Id82b9f1b73b498c4d885bb3156fcefaeb9d157e0

VFS: initialize variables

VFS: Coverity appeasements

ARM: fix clock

The GPTIMER1 clock is configured to run at 32 kHz and generate
(overflow) interrupts every 1 ms. However, the Timer Overflow Wrappping
Register (TOWR) was configured to filter every other interrupt. This
caused to the internal 'realtime' value to be off.

ARM: make cycle counter available to userspace

Add stack trace dumps for VFS over serial

VFS: add documentation about internal working

VFS: change locking to ease concurrent FSes

This patch uses stricter locking for REQ_LINK, REQ_MKDIR, REQ_MKNOD,
REQ_RENAME, REQ_RMDIR, REQ_SLINK and REQ_UNLINK. For all requests, VFS
locks the directory in which we add or remove an inode with VNODE_WRITE.
I.e., the operations have exclusive access to that directory.

Furthermore, REQ_CHOWN, REQ_CHMOD, and REQ_FTRUNC now lock the vmnt
VMNT_READ; VMNT_WRITE was unnecessary.

libmthread: add possibility to randomize scheduler

VFS/PFS: remove notion of position in pipes

Because pipes have no file position. VFS maintained (file) offsets into a
buffer internal to PFS and stored them in vnodes for simplicity, mixing
the responsibilities of filp and vnode objects.

With this patch PFS ignores the position field in REQ_READ and REQ_WRITE
requests making VFS' job a lot simpler.

VFS: fix locking bugs

.sync and fsync used unnecessarily restrictive locking type
.fsync violated locking order by obtaining a vmnt lock after a filp lock
.fsync contained a TOCTOU bug
.new_node violated locking rules (didn't upgrade lock upon file creation)
.do_pipe used unnecessarily restrictive locking type
.always lock pipes exclusively; even a read operation might require to do
 a write on a vnode object (update pipe size)
.when opening a file with O_TRUNC, upgrade vnode lock when truncating
.utime used unnecessarily restrictive locking type
.path parsing:
  .always acquire VMNT_WRITE or VMNT_EXCL on vmnt and downgrade to
   VMNT_READ if that was what was actually requested. This prevents the
   following deadlock scenario:
   thread A:
     lock_vmnt(vmp, TLL_READSER);
     lock_vnode(vp, TLL_READSER);
     upgrade_vmnt_lock(vmp, TLL_WRITE);

   thread B:
     lock_vmnt(vmp, TLL_READ);
     lock_vnode(vp, TLL_READSER);

   thread A will be stuck in upgrade_vmnt_lock and thread B is stuck in
   lock_vnode. This happens when, for example, thread A tries create a
   new node (open.c:new_node) and thread B tries to do eat_path to
   change dir (stadir.c:do_chdir). When the path is being resolved, a
   vnode is always locked with VNODE_OPCL (TLL_READSER) and then
   downgraded to VNODE_READ if read-only is actually requested. Thread
   A locks the vmnt with VMNT_WRITE (TLL_READSER) which still allows
   VMNT_READ locks. Thread B can't acquire a lock on the vnode because
   thread A has it; Thread A can't upgrade its vmnt lock to VMNT_WRITE
   (TLL_WRITE) because thread B has a VMNT_READ lock on it.

   By serializing vmnt locks during path parsing, thread B can only
   acquire a lock on vmp when thread A has completely finished its
   operation.

vm: fix region reporting bug

. logic was backwards, causing no reporting ever
. this broke coredumps ('Warning: Program has too many regions')

service: nonfatally ignore unknown call keywords

. makes switching between revisions with new system.conf
  keywords less risky

release.sh: restore -jJAILDIR option

. also make copying a bit more informative and succinct

Drop obsolete klib16.S

The 16-bit poweroff16() function is not called any more.

gzip: fix warning messages with off_t

NetBSD assumes off_t is 64-bit, but on MINIX it is still 32-bit.
So cast the calls to use big_off_t, as stat(2) uses.
Only used in warning messages, was not a real production bug.

libc, libutil: remove compat hacks

kernel: trap-dependent state restore, trace fixes

. restore state depends on how saving of state was done;
  also remember trap style in sig context
. actually set and restore TRACEBIT with new trap styles;
  have to remove it once process enters kernel though, done
  in debug trap exception handler
. introduce MF_STEP that makes arch-specific code
  turn on trace bit instead of setting TRACEBIT directly,
  a bit more arch-friendly and avoids keeping precious
  state in per-process PSW arch-dependently

vm: restore stacktrace on SIGSEGV

kernel: separate state for trace-deferred syscalls

state is usually not in p_reg any more with sysenter/syscall trap entries,
so when saving/restarting do_ipc invocations the state has to be remembered
explicitly.

kernel: restore setting KTS_NONE

The 'trap style' variable records how a process has trapped into the
kernel (hardware/software interrupt, or one of the other trap
instructions). KTS_NONE indicates the process isn't trapped into the
kernel at all and is useful for sanity checking. The KTS_NONE reset was
inadvertently removed while removing some debugging code and this commit
restores it.

kernel:add a some information in backtraces.

* Display the pid and process name in the backtrace as we can
currently not read stackframes.

Change-Id: I2435d4098553c5b02adfe36f08b5aa3f47e9b531

vm:enable the instruction and data caches.

Enable the instruction and data caches. Whether data is cached
will depend on the MMU entries.

Change-Id: I51e9ebc38924db5525d4e7ad9ab69b2a5b1ca7b4

test:update tests to fix compiler warnings.

Change-Id: Id2c757f61fe5e8b52dffadfeb129024625c76f48

kernel: restore stacktraces

When processes have entered the kernel with one of the new
trap modes, %ebp is not valid, used for stacktraces, so we
need an alternative way to retrieve it to make the stacktraces
valid again.