Updating usr.bin/m4

Change-Id: I6edfb294639490da27f6abd132822b901de0d650

nbsd_ports cleanups

Change-Id: Ib538a7b12a46a5052fb37e4ba74c32ebc43dbf64

Cleaning usage of MAJOR/MINOR

Change-Id: I4d7718c51967930375a5f0657b61f869745cf644

Updating libcurses, libterminfo and terminfo.

The three are updated together as they are tightly coupled.

Change-Id: I9e1f07b6adc6e8ae10833e6f1402f8472d2d34b8

Libraries updates and cleanup

 * Updating common/lib
 * Updating lib/csu
 * Updating lib/libc
 * Updating libexec/ld.elf_so
 * Corrected test on __minix in featuretest to actually follow the
   meaning of the comment.
 * Cleaned up _REENTRANT-related defintions.
 * Disabled -D_REENTRANT for libfetch
 * Removing some unneeded __NBSD_LIBC defines and tests

Change-Id: Ic1394baef74d11b9f86b312f5ff4bbc3cbf72ce2

Moving all NetBSD headers back where they belong.

Moving include/sys NetBSD headers to /sys/sys
Moving include/arch/*/ NetBSD headers to /sys/arch/*/include

Change-Id: Ia1a45d4e83ab806c84093ec2b61bdbea9bed65a0

common upgrades

Change-Id: I567fc15845b601019d346569ecfcef4f89687fd2

ramdisk:add support for cross building a dso ramdisk.

Change-Id: Ib2840bceab10cf98cb0abfbdb2393af4d59be102

ramdisk:replace proto.sh by the c processor.

Replace proto.sh by the c processor to generate proto.gen in order
for us to have a more flexible way of selecting the files we want
in the ramdisk.

Change-Id: Id82b9f1b73b498c4d885bb3156fcefaeb9d157e0

VFS: initialize variables

VFS: Coverity appeasements

ARM: fix clock

The GPTIMER1 clock is configured to run at 32 kHz and generate
(overflow) interrupts every 1 ms. However, the Timer Overflow Wrappping
Register (TOWR) was configured to filter every other interrupt. This
caused to the internal 'realtime' value to be off.

ARM: make cycle counter available to userspace

Add stack trace dumps for VFS over serial

VFS: add documentation about internal working

VFS: change locking to ease concurrent FSes

This patch uses stricter locking for REQ_LINK, REQ_MKDIR, REQ_MKNOD,
REQ_RENAME, REQ_RMDIR, REQ_SLINK and REQ_UNLINK. For all requests, VFS
locks the directory in which we add or remove an inode with VNODE_WRITE.
I.e., the operations have exclusive access to that directory.

Furthermore, REQ_CHOWN, REQ_CHMOD, and REQ_FTRUNC now lock the vmnt
VMNT_READ; VMNT_WRITE was unnecessary.

libmthread: add possibility to randomize scheduler

VFS/PFS: remove notion of position in pipes

Because pipes have no file position. VFS maintained (file) offsets into a
buffer internal to PFS and stored them in vnodes for simplicity, mixing
the responsibilities of filp and vnode objects.

With this patch PFS ignores the position field in REQ_READ and REQ_WRITE
requests making VFS' job a lot simpler.

VFS: fix locking bugs

.sync and fsync used unnecessarily restrictive locking type
.fsync violated locking order by obtaining a vmnt lock after a filp lock
.fsync contained a TOCTOU bug
.new_node violated locking rules (didn't upgrade lock upon file creation)
.do_pipe used unnecessarily restrictive locking type
.always lock pipes exclusively; even a read operation might require to do
 a write on a vnode object (update pipe size)
.when opening a file with O_TRUNC, upgrade vnode lock when truncating
.utime used unnecessarily restrictive locking type
.path parsing:
  .always acquire VMNT_WRITE or VMNT_EXCL on vmnt and downgrade to
   VMNT_READ if that was what was actually requested. This prevents the
   following deadlock scenario:
   thread A:
     lock_vmnt(vmp, TLL_READSER);
     lock_vnode(vp, TLL_READSER);
     upgrade_vmnt_lock(vmp, TLL_WRITE);

   thread B:
     lock_vmnt(vmp, TLL_READ);
     lock_vnode(vp, TLL_READSER);

   thread A will be stuck in upgrade_vmnt_lock and thread B is stuck in
   lock_vnode. This happens when, for example, thread A tries create a
   new node (open.c:new_node) and thread B tries to do eat_path to
   change dir (stadir.c:do_chdir). When the path is being resolved, a
   vnode is always locked with VNODE_OPCL (TLL_READSER) and then
   downgraded to VNODE_READ if read-only is actually requested. Thread
   A locks the vmnt with VMNT_WRITE (TLL_READSER) which still allows
   VMNT_READ locks. Thread B can't acquire a lock on the vnode because
   thread A has it; Thread A can't upgrade its vmnt lock to VMNT_WRITE
   (TLL_WRITE) because thread B has a VMNT_READ lock on it.

   By serializing vmnt locks during path parsing, thread B can only
   acquire a lock on vmp when thread A has completely finished its
   operation.

vm: fix region reporting bug

. logic was backwards, causing no reporting ever
. this broke coredumps ('Warning: Program has too many regions')

service: nonfatally ignore unknown call keywords

. makes switching between revisions with new system.conf
  keywords less risky

release.sh: restore -jJAILDIR option

. also make copying a bit more informative and succinct

Drop obsolete klib16.S

The 16-bit poweroff16() function is not called any more.

gzip: fix warning messages with off_t

NetBSD assumes off_t is 64-bit, but on MINIX it is still 32-bit.
So cast the calls to use big_off_t, as stat(2) uses.
Only used in warning messages, was not a real production bug.

libc, libutil: remove compat hacks

kernel: trap-dependent state restore, trace fixes

. restore state depends on how saving of state was done;
  also remember trap style in sig context
. actually set and restore TRACEBIT with new trap styles;
  have to remove it once process enters kernel though, done
  in debug trap exception handler
. introduce MF_STEP that makes arch-specific code
  turn on trace bit instead of setting TRACEBIT directly,
  a bit more arch-friendly and avoids keeping precious
  state in per-process PSW arch-dependently

vm: restore stacktrace on SIGSEGV

kernel: separate state for trace-deferred syscalls

state is usually not in p_reg any more with sysenter/syscall trap entries,
so when saving/restarting do_ipc invocations the state has to be remembered
explicitly.

kernel: restore setting KTS_NONE

The 'trap style' variable records how a process has trapped into the
kernel (hardware/software interrupt, or one of the other trap
instructions). KTS_NONE indicates the process isn't trapped into the
kernel at all and is useful for sanity checking. The KTS_NONE reset was
inadvertently removed while removing some debugging code and this commit
restores it.

kernel:add a some information in backtraces.

* Display the pid and process name in the backtrace as we can
currently not read stackframes.

Change-Id: I2435d4098553c5b02adfe36f08b5aa3f47e9b531

vm:enable the instruction and data caches.

Enable the instruction and data caches. Whether data is cached
will depend on the MMU entries.

Change-Id: I51e9ebc38924db5525d4e7ad9ab69b2a5b1ca7b4

test:update tests to fix compiler warnings.

Change-Id: Id2c757f61fe5e8b52dffadfeb129024625c76f48

kernel: restore stacktraces

When processes have entered the kernel with one of the new
trap modes, %ebp is not valid, used for stacktraces, so we
need an alternative way to retrieve it to make the stacktraces
valid again.

vfs:fix for variable 'rfp' set but not used.

mount.c: In function 'mount_pfs':
mount.c:395:17: error: variable 'rfp' set but not used [-Werror=unused-but-set-variable]

Change-Id: I2f22590ab4e3a4a1678e9096626ebca53d2660e6

vm: Fix sparepage resource leak.

Fix a sparepage resource leak by preventing to call
vm_getsparepage twice.

Change-Id: I06557d47b90a7cca74e0a86921c2579f9618685d

unstack - fix ipcvecs

unstack: add shared libraries symbols

libexec exec fix

. restores executing shell scripts without explicit interpreter

include: reduce default stack size

kernel: vm kernel call can't suspend

kernel debug: priv can be NULL early on

vm: replace phys avl by array

 . make vm be able to use malloc() by overriding brk()
   and minix_mmap() functions
 . phys regions can then be malloc()ed and free()d instead
   of being in an avl tree, which is slightly faster
 . 'offset' field in phys_region can go too (offset is implied
   by position in array) but leads to bigger code changes

Removing warning about OSNAME.

Change-Id: I224105bee39ea24ecee031832dd4a059ddf2112a

Shell tests now complain more loudly.

Adding the bomb function which takes as a parameter a string
to be printed, print it, cleans up and exits with an error
code. It also means they will exit after the first error, unlike
previous behaviour.

Change-Id: Id0ffdf3938da43586c9dae7c566ee130533c5577

vfs: fix clobbering fd_nr

dumpcore: fd_nr can be in use as blocking fd but will then be clobbered
by common_open, causing disaster for exiting unpause().

pax: workaround for mkstemp() and long filenames

. symptom: mkstemp() looping forever trying to find a unique
  filename
. reported by pikpik as "BSDTar Endless Extraction of
  NCurses' Distfiles"

sort: add -x hex sort feature back

. so unstack works again

Make test3 fail on the first error.

test3 performs tests for null pointers but after that still continues
and uses them.  This results in segfault's. Fixing this issue by failing
on the first error.

Allow tests to fail on the first encountered error.

Pre increment errct in test to be able to fail on the first error.

deduplicate some installed files

. zcat link
. old install manpage

libutil: add O_NOCTTY back to old pty open code

restores fix 4f78dfcabc1500bef891039d3bcb73253468339a

. fixes e.g. ssh sessions not getting their own
  controlling tty

testsh?.sh: fix sort(1) invocations

Newly imported sort(1) works slightly differently. In fact, the old
sort(1) had a bug and the tests invoked sort(1) the wrong way.

docs/UPDATING: some tools have been added/upgraded

Importing NetBSD tsort

Change-Id: I110de8037b9253f4fe53cbe13dc8fc281aeea2ec

Replacing join with NetBSD join

Change-Id: I1257736f755eab0ce39124f0d78bfa48426ba820

Importing nbperf

Change-Id: I87eb5bd3d0596370ade272f22c6df739d0483006

Importing lorder

Change-Id: I0043c56a40a69ea809c909285c06de0273bada9f

Upgrading sort, which is needed by lorder

Change-Id: I64ac0509f4360c947a677600db77e7612a7cbebd

genassym.sh update

Change-Id: Ibacd47683f7a668eb1dd717014f904581ecebccb

Removing useless minix/types.h header

Change-Id: If5f922279b87f075f301b64c7786caa18b434c2a

Removing COMPILER_TYPE define which is now unused.

Change-Id: I0332b53e5de6bb2b85759325559c89c02b437e41

Removing last reference to NETBSDINCLUDES

Also removing minix-config.inc and placing its content in
Makefile.inc, as the file is modified anyway. Simplifies diff.

Change-Id: I6262fdb790a5455b59e07acdccdc221fd5dd41f8

Ensure correct NetBSD sources checkout

Previously, under some circumstances, the make command could
yield netbsdsrc in other directories than the source directory,
as expected.

This patch fixes this behaviour, by first changing to the expected
directory, and only at the end going back to the original directory.

fixing warning about uninitialized variable in libsys/vprintf.c

Change-Id: I8764a57b502edc3d50a32b3e2db56c4f94592309

Fixing warning about incorrect test in some build environment

Change-Id: I17c69e96b4278fb39a95c7b0554c779c4d1f637c

gitignore: ignore some more generated files

vbfs: add DS to system.conf IPC list

RS: do not zero process name for boot processes

This bug was preventing services with IPC restrictions from being
started before the boot processes are edited from /etc/rc.

VFS: fix off-by-one in get_name()

Fix buffer overflows in df(1), format(1)

mtab: support moving mount points

Also fix canonical_path function; it fails to parse some paths

Adding missing symlink to dynamic loader.

As the release script does not copy over files from the currently
running system anymore, it has appeared that some binaries are
looking for the dynamic loader in /lib instead of /usr/lib.

It has been replaced by a symlink to ensure compatibility with
binaries, until the path is updated in all the toolchains to be
the same.

Simplifying release.sh script.

As the build system can now generate a full root file system,
there is no need to bootstrap the iso image by copying over
files from the currently system.

The SVN references have also been mostly taken out, as they are
not anymore valid. Some cleanup have been done to try to improve
the readability of the script.

docs/UPDATING: create mtab symlink

test65: simply skip if ntfs binaries are not present

Adapting build target to also execute hdboot.

The 'hdboot' target was setup as a dependency of 'distribution'
instead of 'build' as it previously was for the now deprecated world
target.

Change-Id: Icd10f3bd92df38e411600923e7f62e6075eb3008

mkfs.mfs: __dead and __UNCONST are unknown on Linux

Including nbtool_config.h takes care of that deficiency when cross
compiling.

Remove obsolete sum

Implement dynamic mtab support

With this patch /etc/mtab becomes obsolete.

VFS: change 'last_dir' to match locking assumption

new_node makes the assumption that when it does last_dir on a path, a
successive advance would not yield a lock on a vmnt, because last_dir
already locked the vmnt. This is true except when last_dir resolves
to a directory on the parent vmnt of the file that was the result of
advance. For example,
 # cd /
 # echo foo > home
where home is on a different (sub) partition than / is (default
install). last_dir would resolve to / and advance would resolve to
/home.

With this change, last_dir resolves to the root node on the /home
partition, making the assumption valid again.

Add NTFS test to test suite

Fixing wrong dependency from libc on libsys.

Fix release.sh to work with NetBSD Build system.

Also fix a potential issue where host tools would be compiled
dynamically under MINIX.

This also updates proto.common.dynamic to use the new placement
of the dynamic libraries (/usr/lib)

RS: fix for fix

Remove ability to pass commands to bootloader

Upgrading bzip2

Change-Id: I6968b0f0401f3f42dc55a0f4938a7e12a3a55ae7

Restore poweroff to some of it's former glory (on QEMU, at least)

etcforce and etcfiles fixup

The way etcfiles was re-implemented was wrong as it would overwrite the
password database. This patch adds back a proper etcfiles (safe) target,
and a etcforce (unsafe) target.

Change-Id: I141c37b29a449fca1ee362b7416750be0298dbfb

Fix wrong access permission on /tmp and /usr/tmp

With the build system upgrade, the list of system directories was
recreated, and the sticky bit was forgotten.

Change-Id: Ie2f2241734dde9f1e217cd38588296dc21d07b81

Do not overwrite vi and ex links by default

Revert (and document) to the old behaviour of the elvis Makefile.

Change-Id: I800dba23f5c35d4c1676974962806dd824659539

Fixup for non-fatal mkisofs error.

The corresponding rules have been commented out through .ifdef blocks.

Change-Id: I36afb75f049b39806ede1f7dd6950710826b3555

kernel: kill proc with bogus ipc address

Make build system less verbose

tests: link dynamically again

can't get_block(NO_DEV) any more

. 'anonymous' cache blocks (retrieved with NO_DEV as dev
  parameter) were used to implement read()s from holes in
  inodes that should return zeroes
. this is an awkward special case in the cache code though
  and there's a more direct way to implement the same functionality:
  instead of copying from a new, anonymous, zero block, to
  the user target buffer, simply sys_safememset the user target
  buffer directly. as this was the only use of this feature,
  this is all that's needed to simplify the cache code a little.

RS: invoke a shell explicitly for scripts

. don't rely on the scripts to be executable
  (and they aren't any more)

iso9660fs: initialize buffer cache

struct minix_ipcvecs - pretty-print

- the _ptr suffix is not needed anymore :-)

ipc.h - IPC defined as functions again

- CHOOSETRAP define makes impossible to use some common words
  like send, receive and notify in any other context, for
  instance as members or structures

- any reasonable compiler inlines the static inline functions so
  no extra function call overhead is introduced by this change

- this gets us back to the situation before the SYSCALL/SYSENTER
  change. It is not perfect, but it used to work and still does.

Adding the required steps to docs/UPDATING

Change-Id: If0cbfd473374cfbc0c174ae5ccd52668adbcfcf7