VFS: fix locking bugs

.sync and fsync used unnecessarily restrictive locking type
.fsync violated locking order by obtaining a vmnt lock after a filp lock
.fsync contained a TOCTOU bug
.new_node violated locking rules (didn't upgrade lock upon file creation)
.do_pipe used unnecessarily restrictive locking type
.always lock pipes exclusively; even a read operation might require to do
 a write on a vnode object (update pipe size)
.when opening a file with O_TRUNC, upgrade vnode lock when truncating
.utime used unnecessarily restrictive locking type
.path parsing:
  .always acquire VMNT_WRITE or VMNT_EXCL on vmnt and downgrade to
   VMNT_READ if that was what was actually requested. This prevents the
   following deadlock scenario:
   thread A:
     lock_vmnt(vmp, TLL_READSER);
     lock_vnode(vp, TLL_READSER);
     upgrade_vmnt_lock(vmp, TLL_WRITE);

   thread B:
     lock_vmnt(vmp, TLL_READ);
     lock_vnode(vp, TLL_READSER);

   thread A will be stuck in upgrade_vmnt_lock and thread B is stuck in
   lock_vnode. This happens when, for example, thread A tries create a
   new node (open.c:new_node) and thread B tries to do eat_path to
   change dir (stadir.c:do_chdir). When the path is being resolved, a
   vnode is always locked with VNODE_OPCL (TLL_READSER) and then
   downgraded to VNODE_READ if read-only is actually requested. Thread
   A locks the vmnt with VMNT_WRITE (TLL_READSER) which still allows
   VMNT_READ locks. Thread B can't acquire a lock on the vnode because
   thread A has it; Thread A can't upgrade its vmnt lock to VMNT_WRITE
   (TLL_WRITE) because thread B has a VMNT_READ lock on it.

   By serializing vmnt locks during path parsing, thread B can only
   acquire a lock on vmp when thread A has completely finished its
   operation.

vm: fix region reporting bug

. logic was backwards, causing no reporting ever
. this broke coredumps ('Warning: Program has too many regions')

service: nonfatally ignore unknown call keywords

. makes switching between revisions with new system.conf
  keywords less risky

release.sh: restore -jJAILDIR option

. also make copying a bit more informative and succinct

Drop obsolete klib16.S

The 16-bit poweroff16() function is not called any more.

gzip: fix warning messages with off_t

NetBSD assumes off_t is 64-bit, but on MINIX it is still 32-bit.
So cast the calls to use big_off_t, as stat(2) uses.
Only used in warning messages, was not a real production bug.

libc, libutil: remove compat hacks

kernel: trap-dependent state restore, trace fixes

. restore state depends on how saving of state was done;
  also remember trap style in sig context
. actually set and restore TRACEBIT with new trap styles;
  have to remove it once process enters kernel though, done
  in debug trap exception handler
. introduce MF_STEP that makes arch-specific code
  turn on trace bit instead of setting TRACEBIT directly,
  a bit more arch-friendly and avoids keeping precious
  state in per-process PSW arch-dependently

vm: restore stacktrace on SIGSEGV

kernel: separate state for trace-deferred syscalls

state is usually not in p_reg any more with sysenter/syscall trap entries,
so when saving/restarting do_ipc invocations the state has to be remembered
explicitly.

kernel: restore setting KTS_NONE

The 'trap style' variable records how a process has trapped into the
kernel (hardware/software interrupt, or one of the other trap
instructions). KTS_NONE indicates the process isn't trapped into the
kernel at all and is useful for sanity checking. The KTS_NONE reset was
inadvertently removed while removing some debugging code and this commit
restores it.

kernel:add a some information in backtraces.

* Display the pid and process name in the backtrace as we can
currently not read stackframes.

Change-Id: I2435d4098553c5b02adfe36f08b5aa3f47e9b531

vm:enable the instruction and data caches.

Enable the instruction and data caches. Whether data is cached
will depend on the MMU entries.

Change-Id: I51e9ebc38924db5525d4e7ad9ab69b2a5b1ca7b4

test:update tests to fix compiler warnings.

Change-Id: Id2c757f61fe5e8b52dffadfeb129024625c76f48

kernel: restore stacktraces

When processes have entered the kernel with one of the new
trap modes, %ebp is not valid, used for stacktraces, so we
need an alternative way to retrieve it to make the stacktraces
valid again.

vfs:fix for variable 'rfp' set but not used.

mount.c: In function 'mount_pfs':
mount.c:395:17: error: variable 'rfp' set but not used [-Werror=unused-but-set-variable]

Change-Id: I2f22590ab4e3a4a1678e9096626ebca53d2660e6

vm: Fix sparepage resource leak.

Fix a sparepage resource leak by preventing to call
vm_getsparepage twice.

Change-Id: I06557d47b90a7cca74e0a86921c2579f9618685d

unstack - fix ipcvecs

unstack: add shared libraries symbols

libexec exec fix

. restores executing shell scripts without explicit interpreter

include: reduce default stack size

kernel: vm kernel call can't suspend

kernel debug: priv can be NULL early on

vm: replace phys avl by array

 . make vm be able to use malloc() by overriding brk()
   and minix_mmap() functions
 . phys regions can then be malloc()ed and free()d instead
   of being in an avl tree, which is slightly faster
 . 'offset' field in phys_region can go too (offset is implied
   by position in array) but leads to bigger code changes

Removing warning about OSNAME.

Change-Id: I224105bee39ea24ecee031832dd4a059ddf2112a

Shell tests now complain more loudly.

Adding the bomb function which takes as a parameter a string
to be printed, print it, cleans up and exits with an error
code. It also means they will exit after the first error, unlike
previous behaviour.

Change-Id: Id0ffdf3938da43586c9dae7c566ee130533c5577

vfs: fix clobbering fd_nr

dumpcore: fd_nr can be in use as blocking fd but will then be clobbered
by common_open, causing disaster for exiting unpause().

pax: workaround for mkstemp() and long filenames

. symptom: mkstemp() looping forever trying to find a unique
  filename
. reported by pikpik as "BSDTar Endless Extraction of
  NCurses' Distfiles"

sort: add -x hex sort feature back

. so unstack works again

Make test3 fail on the first error.

test3 performs tests for null pointers but after that still continues
and uses them.  This results in segfault's. Fixing this issue by failing
on the first error.

Allow tests to fail on the first encountered error.

Pre increment errct in test to be able to fail on the first error.

deduplicate some installed files

. zcat link
. old install manpage

libutil: add O_NOCTTY back to old pty open code

restores fix 4f78dfcabc1500bef891039d3bcb73253468339a

. fixes e.g. ssh sessions not getting their own
  controlling tty

testsh?.sh: fix sort(1) invocations

Newly imported sort(1) works slightly differently. In fact, the old
sort(1) had a bug and the tests invoked sort(1) the wrong way.

docs/UPDATING: some tools have been added/upgraded

Importing NetBSD tsort

Change-Id: I110de8037b9253f4fe53cbe13dc8fc281aeea2ec

Replacing join with NetBSD join

Change-Id: I1257736f755eab0ce39124f0d78bfa48426ba820

Importing nbperf

Change-Id: I87eb5bd3d0596370ade272f22c6df739d0483006

Importing lorder

Change-Id: I0043c56a40a69ea809c909285c06de0273bada9f

Upgrading sort, which is needed by lorder

Change-Id: I64ac0509f4360c947a677600db77e7612a7cbebd

genassym.sh update

Change-Id: Ibacd47683f7a668eb1dd717014f904581ecebccb

Removing useless minix/types.h header

Change-Id: If5f922279b87f075f301b64c7786caa18b434c2a

Removing COMPILER_TYPE define which is now unused.

Change-Id: I0332b53e5de6bb2b85759325559c89c02b437e41

Removing last reference to NETBSDINCLUDES

Also removing minix-config.inc and placing its content in
Makefile.inc, as the file is modified anyway. Simplifies diff.

Change-Id: I6262fdb790a5455b59e07acdccdc221fd5dd41f8

Ensure correct NetBSD sources checkout

Previously, under some circumstances, the make command could
yield netbsdsrc in other directories than the source directory,
as expected.

This patch fixes this behaviour, by first changing to the expected
directory, and only at the end going back to the original directory.

fixing warning about uninitialized variable in libsys/vprintf.c

Change-Id: I8764a57b502edc3d50a32b3e2db56c4f94592309

Fixing warning about incorrect test in some build environment

Change-Id: I17c69e96b4278fb39a95c7b0554c779c4d1f637c

gitignore: ignore some more generated files

vbfs: add DS to system.conf IPC list

RS: do not zero process name for boot processes

This bug was preventing services with IPC restrictions from being
started before the boot processes are edited from /etc/rc.

VFS: fix off-by-one in get_name()

Fix buffer overflows in df(1), format(1)

mtab: support moving mount points

Also fix canonical_path function; it fails to parse some paths

Adding missing symlink to dynamic loader.

As the release script does not copy over files from the currently
running system anymore, it has appeared that some binaries are
looking for the dynamic loader in /lib instead of /usr/lib.

It has been replaced by a symlink to ensure compatibility with
binaries, until the path is updated in all the toolchains to be
the same.

Simplifying release.sh script.

As the build system can now generate a full root file system,
there is no need to bootstrap the iso image by copying over
files from the currently system.

The SVN references have also been mostly taken out, as they are
not anymore valid. Some cleanup have been done to try to improve
the readability of the script.

docs/UPDATING: create mtab symlink

test65: simply skip if ntfs binaries are not present

Adapting build target to also execute hdboot.

The 'hdboot' target was setup as a dependency of 'distribution'
instead of 'build' as it previously was for the now deprecated world
target.

Change-Id: Icd10f3bd92df38e411600923e7f62e6075eb3008

mkfs.mfs: __dead and __UNCONST are unknown on Linux

Including nbtool_config.h takes care of that deficiency when cross
compiling.

Remove obsolete sum

Implement dynamic mtab support

With this patch /etc/mtab becomes obsolete.

VFS: change 'last_dir' to match locking assumption

new_node makes the assumption that when it does last_dir on a path, a
successive advance would not yield a lock on a vmnt, because last_dir
already locked the vmnt. This is true except when last_dir resolves
to a directory on the parent vmnt of the file that was the result of
advance. For example,
 # cd /
 # echo foo > home
where home is on a different (sub) partition than / is (default
install). last_dir would resolve to / and advance would resolve to
/home.

With this change, last_dir resolves to the root node on the /home
partition, making the assumption valid again.

Add NTFS test to test suite

Fixing wrong dependency from libc on libsys.

Fix release.sh to work with NetBSD Build system.

Also fix a potential issue where host tools would be compiled
dynamically under MINIX.

This also updates proto.common.dynamic to use the new placement
of the dynamic libraries (/usr/lib)

RS: fix for fix

Remove ability to pass commands to bootloader

Upgrading bzip2

Change-Id: I6968b0f0401f3f42dc55a0f4938a7e12a3a55ae7

Restore poweroff to some of it's former glory (on QEMU, at least)

etcforce and etcfiles fixup

The way etcfiles was re-implemented was wrong as it would overwrite the
password database. This patch adds back a proper etcfiles (safe) target,
and a etcforce (unsafe) target.

Change-Id: I141c37b29a449fca1ee362b7416750be0298dbfb

Fix wrong access permission on /tmp and /usr/tmp

With the build system upgrade, the list of system directories was
recreated, and the sticky bit was forgotten.

Change-Id: Ie2f2241734dde9f1e217cd38588296dc21d07b81

Do not overwrite vi and ex links by default

Revert (and document) to the old behaviour of the elvis Makefile.

Change-Id: I800dba23f5c35d4c1676974962806dd824659539

Fixup for non-fatal mkisofs error.

The corresponding rules have been commented out through .ifdef blocks.

Change-Id: I36afb75f049b39806ede1f7dd6950710826b3555

kernel: kill proc with bogus ipc address

Make build system less verbose

tests: link dynamically again

can't get_block(NO_DEV) any more

. 'anonymous' cache blocks (retrieved with NO_DEV as dev
  parameter) were used to implement read()s from holes in
  inodes that should return zeroes
. this is an awkward special case in the cache code though
  and there's a more direct way to implement the same functionality:
  instead of copying from a new, anonymous, zero block, to
  the user target buffer, simply sys_safememset the user target
  buffer directly. as this was the only use of this feature,
  this is all that's needed to simplify the cache code a little.

RS: invoke a shell explicitly for scripts

. don't rely on the scripts to be executable
  (and they aren't any more)

iso9660fs: initialize buffer cache

struct minix_ipcvecs - pretty-print

- the _ptr suffix is not needed anymore :-)

ipc.h - IPC defined as functions again

- CHOOSETRAP define makes impossible to use some common words
  like send, receive and notify in any other context, for
  instance as members or structures

- any reasonable compiler inlines the static inline functions so
  no extra function call overhead is introduced by this change

- this gets us back to the situation before the SYSCALL/SYSENTER
  change. It is not perfect, but it used to work and still does.

Adding the required steps to docs/UPDATING

Change-Id: If0cbfd473374cfbc0c174ae5ccd52668adbcfcf7

Adding back the world target, as well as a warning.

The 'world' target is a legacy target from the previous build system,
it is equivalent to the 'build' target in the netbsd build system.

A warning has been added to stop using it, but it still works as
expected.

Change-Id: I704a5c43d9775b6d66c15a43ba927ddb515aab80

Restablishing old behaviour of make hdboot

Change-Id: Idfa4dabbbbdbab31feedc2c541d0c989df5475a2

Detect clang version, instead of assuming default one

Change-Id: I559fe4251169f489d89e30b3576f8da08fb0941b

Updating nbsd_port

Change-Id: I8c2cdbe150b5bced8f013fb0a2e4094f4527a950

Cross compile on minix support

 * Remade patch so it works with minix patch tool.

 * New MINIX tar support -ox, so revert back to it

   In fetch scripts, tar had been replaced by bsdtar as the prebvious
   tar did not support the -o flag under minix, which is required to
   prevent usage of tar file stored user and group information.

   This introduces portability problems. As our new tar tool now
   support that flag revert back to improve portability.

Update README and file

ignoring mkubootimage

Removing binaries from sources.

Removing imported binaries in dist/bzip2.

Removing hacky defines from top.c

Hack for unresolved symbol read_tsc_64

Removing test on __MINIX_w which is never defined

Toolchain upgrade and portability improvements.

upgrade to NetBSD CVS release from 2012/10/17 12:00:00 UTC

Makefiles updates to imporve portability

Made sure to be consistent in the usage of braces/parenthesis at
least on a per file basis. For variables, it is recommended to
continue to use braces.

Upgrading build system to new NetBSD revision

The tested targets are the followgin ones:
 * tools
 * distribution
 * sets
 * release

The remaining NetBSD targets have not been disabled nor tested
*at all*. Try them at your own risk, they may reboot the earth.

For all compliant Makefiles, objects and generated files are put in
MAKEOBJDIR, which means you can now keep objects between two branch
switching. Same for DESTDIR, please refer to build.sh options.

Regarding new or modifications of Makefiles a few things:
 * Read share/mk/bsd.README
 * If you add a subdirectory, add a Makefile in it, and have it called
   by the parent through the SUBDIR variable.
 * Do not add arbitrary inclusion which crosses to another branch of
   the hierarchy; If you can't do without it, put a comment on why.
   If possible, do not use inclusion at all.
 * Use as much as possible the infrastructure, it is here to make
   life easier, do not fight it.

Sets and package are now used to track files.
We have one set called "minix", composed of one package called "minix-sys"

Adding shlib_version for libsys

Libc update to simplify merge.

Bumping libc files for unsupported architectures, to simplify merging.
A bunch of small fixes:
 * in libutil update
 * the macro in endian.h
 * some undefined types due to clear separation from host.
 * Fix a warning for cdbr.c

Some modification which were required for the new build system:
 * inclusion path for const.h in sconst, still hacky
 * Removed default malloc.c which conflicts on some occasions.

Updating libutil from netbsd

Replaced tar with bsdtar to ensure disponibility of -o, which is
needed during builds as root

VFS: do not save device node for new regular files

The VFS/FS protocol does not require the file server to supply a
special device node number in response to a REQ_CREATE request, as
this call creates only regular files. Therefore, VFS should not
erroneously save this piece of information from the REQ_CREATE reply
either.