Add NTFS test to test suite

Fixing wrong dependency from libc on libsys.

Fix release.sh to work with NetBSD Build system.

Also fix a potential issue where host tools would be compiled
dynamically under MINIX.

This also updates proto.common.dynamic to use the new placement
of the dynamic libraries (/usr/lib)

RS: fix for fix

Remove ability to pass commands to bootloader

Upgrading bzip2

Change-Id: I6968b0f0401f3f42dc55a0f4938a7e12a3a55ae7

Restore poweroff to some of it's former glory (on QEMU, at least)

etcforce and etcfiles fixup

The way etcfiles was re-implemented was wrong as it would overwrite the
password database. This patch adds back a proper etcfiles (safe) target,
and a etcforce (unsafe) target.

Change-Id: I141c37b29a449fca1ee362b7416750be0298dbfb

Fix wrong access permission on /tmp and /usr/tmp

With the build system upgrade, the list of system directories was
recreated, and the sticky bit was forgotten.

Change-Id: Ie2f2241734dde9f1e217cd38588296dc21d07b81

Do not overwrite vi and ex links by default

Revert (and document) to the old behaviour of the elvis Makefile.

Change-Id: I800dba23f5c35d4c1676974962806dd824659539

Fixup for non-fatal mkisofs error.

The corresponding rules have been commented out through .ifdef blocks.

Change-Id: I36afb75f049b39806ede1f7dd6950710826b3555

kernel: kill proc with bogus ipc address

Make build system less verbose

tests: link dynamically again

can't get_block(NO_DEV) any more

. 'anonymous' cache blocks (retrieved with NO_DEV as dev
  parameter) were used to implement read()s from holes in
  inodes that should return zeroes
. this is an awkward special case in the cache code though
  and there's a more direct way to implement the same functionality:
  instead of copying from a new, anonymous, zero block, to
  the user target buffer, simply sys_safememset the user target
  buffer directly. as this was the only use of this feature,
  this is all that's needed to simplify the cache code a little.

RS: invoke a shell explicitly for scripts

. don't rely on the scripts to be executable
  (and they aren't any more)

iso9660fs: initialize buffer cache

struct minix_ipcvecs - pretty-print

- the _ptr suffix is not needed anymore :-)

ipc.h - IPC defined as functions again

- CHOOSETRAP define makes impossible to use some common words
  like send, receive and notify in any other context, for
  instance as members or structures

- any reasonable compiler inlines the static inline functions so
  no extra function call overhead is introduced by this change

- this gets us back to the situation before the SYSCALL/SYSENTER
  change. It is not perfect, but it used to work and still does.

Adding the required steps to docs/UPDATING

Change-Id: If0cbfd473374cfbc0c174ae5ccd52668adbcfcf7

Adding back the world target, as well as a warning.

The 'world' target is a legacy target from the previous build system,
it is equivalent to the 'build' target in the netbsd build system.

A warning has been added to stop using it, but it still works as
expected.

Change-Id: I704a5c43d9775b6d66c15a43ba927ddb515aab80

Restablishing old behaviour of make hdboot

Change-Id: Idfa4dabbbbdbab31feedc2c541d0c989df5475a2

Detect clang version, instead of assuming default one

Change-Id: I559fe4251169f489d89e30b3576f8da08fb0941b

Updating nbsd_port

Change-Id: I8c2cdbe150b5bced8f013fb0a2e4094f4527a950

Cross compile on minix support

 * Remade patch so it works with minix patch tool.

 * New MINIX tar support -ox, so revert back to it

   In fetch scripts, tar had been replaced by bsdtar as the prebvious
   tar did not support the -o flag under minix, which is required to
   prevent usage of tar file stored user and group information.

   This introduces portability problems. As our new tar tool now
   support that flag revert back to improve portability.

Update README and file

ignoring mkubootimage

Removing binaries from sources.

Removing imported binaries in dist/bzip2.

Removing hacky defines from top.c

Hack for unresolved symbol read_tsc_64

Removing test on __MINIX_w which is never defined

Toolchain upgrade and portability improvements.

upgrade to NetBSD CVS release from 2012/10/17 12:00:00 UTC

Makefiles updates to imporve portability

Made sure to be consistent in the usage of braces/parenthesis at
least on a per file basis. For variables, it is recommended to
continue to use braces.

Upgrading build system to new NetBSD revision

The tested targets are the followgin ones:
 * tools
 * distribution
 * sets
 * release

The remaining NetBSD targets have not been disabled nor tested
*at all*. Try them at your own risk, they may reboot the earth.

For all compliant Makefiles, objects and generated files are put in
MAKEOBJDIR, which means you can now keep objects between two branch
switching. Same for DESTDIR, please refer to build.sh options.

Regarding new or modifications of Makefiles a few things:
 * Read share/mk/bsd.README
 * If you add a subdirectory, add a Makefile in it, and have it called
   by the parent through the SUBDIR variable.
 * Do not add arbitrary inclusion which crosses to another branch of
   the hierarchy; If you can't do without it, put a comment on why.
   If possible, do not use inclusion at all.
 * Use as much as possible the infrastructure, it is here to make
   life easier, do not fight it.

Sets and package are now used to track files.
We have one set called "minix", composed of one package called "minix-sys"

Adding shlib_version for libsys

Libc update to simplify merge.

Bumping libc files for unsupported architectures, to simplify merging.
A bunch of small fixes:
 * in libutil update
 * the macro in endian.h
 * some undefined types due to clear separation from host.
 * Fix a warning for cdbr.c

Some modification which were required for the new build system:
 * inclusion path for const.h in sconst, still hacky
 * Removed default malloc.c which conflicts on some occasions.

Updating libutil from netbsd

Replaced tar with bsdtar to ensure disponibility of -o, which is
needed during builds as root

VFS: do not save device node for new regular files

The VFS/FS protocol does not require the file server to supply a
special device node number in response to a REQ_CREATE request, as
this call creates only regular files. Therefore, VFS should not
erroneously save this piece of information from the REQ_CREATE reply
either.

Use proper uid when mounting NTFS partition

VFS: fix TOCTOU bug in sync

VFS: fix reboot panic with mounted FUSE FS

Upon reboot VFS semi-exits all processes and unmounts the file system.
However, upon unmount, exiting FUSE file systems might need service from
the file system (due to libc). As the FUSE process is halfway the exit
procedure, it doesn't have a valid root directory and working directory.
Trying to do system calls then triggers a sanity check in VFS.

This fix first exits normal processes which should then allow for
unmounting FUSE file systems. Then VFS exits all processes including
File Servers and unmounts the rest of the file system.

VFS: fix deadlock when out of worker threads

There is a deadlock vulnerability when there are no worker threads
available and all of them blocked on a worker thread that's waiting for a
reply from a driver or a reply from an FS that needs to make a back call. In
these cases the deadlock resolver thread should kick in, but didn't in all
cases. Moreover, POSIX calls from File Servers weren't handled properly
anymore, which also could lead to deadlocks.

vm: reduce noise in merged pagetable.c

vm: merge i386 and arm pagetable code

vm: fix a null dereference on out-of-memory

. also make other out-of-memory conditions less fatal
. add a test case for a user program using all the memory
  it can
. remove some diagnostic prints for situations that are normal
  when running out of memory so running the test isn't noisy

PM: do not panic if sys_sigsend returns ENOMEM

remove extra mkfs.1

kernel: some boottime sanitychecks

. Check if we have the right number of boot modules
. Check if the ELF parsing of VM actually succeeded

Both these are root causes of less-than-obvious other
errors/asserts a little further down the line; uncovered
while experimenting with booting by iPXE, specifically
(a) iPXE having a 8-multiboot-modules limit and
(b) trying to boot a gzipped VM.

mkfs: support indirect blocks in directories

mkfs: move directory entry manipulation

mkfs: drop support for zone != block

mkfs: drop support for running on DOS

mkfs: separate inode retrieval function

mkfs: drop support for creating non-v3 FSes

mkfs: symlink support

. mkproto too

mkfs, mkproto: minor improvements

. mkfs: -x feature for extra space
. rename manpage to mkfs.mfs.1 to follow the binary
. move mkproto so it can become part of the tools easily

retire nonsymbolic rootdev, dev2name

TTY: fix crash obtaining kernel messages

Also fix a case of potential message loss in TTY and LOG.

/bin/pax: Fix cross compilation problem on some platform by removing
          unneeded dependency on libutil.

drop safemap code

testsh2.sh: change output to new cksum util

TTY: seperate hardware dependent parts + add new serial driver

.Split TTY in order to support both x86 and ARM.
.Add support for the TI 16750 UARTs on OMAP35x.
.Various other improvements:
  .Kernel messages are printed using generic terminal write
   functions. That is, they are no longer directly displayed
   on the console.
  .The console can now be displayed on any terminal. This
   is configured by the "console={tty00,tty01,ttyc2,ttyc3,ttyc4}"
   boot variable -- basically any valid /dev/tty* terminal.
  .Cutify kernel messages with colors. Configured by
   "kernelclr={1,2,3,4,5,6,7}" boot variable.

Kernel: reenable interrupts before halting

Kernel: busy wait until serial out has finished

vm: fix potential null deref

Upgrading bsdtar

 * Removing commands/tar
 * Updated external/bsd/libarchive
 * Adding external/bsd/libarchive/bin/tar compiled bsdtar instead
   of just tar
 * (tar is taken care of through the pax utility)

Change-Id: Ie773b4502fbf4e3880f28f01bb528b063a60c668

Upgrading pax.

This also means importing librmt.

Change-Id: Ie5b314aeaad28dca46acb64f20f2d70746ea52d0

Fixed up new mtree description file NetBSD.dist.base (removed end of line spaces, added a few missing directories)

Fixed lchflags error under MINIX3 as host OS

Change-Id: I00f708e82753fdae85ac54bc903db06a7775ab5a

mtree mknod

Change-Id: I887437c7b84839fc644da4c55bd59b6a414408ef

drivers: fix various sys_irqsetpolicy calls

Move primary cache code to libminixfs.

Add primary cache management feature to libminixfs as mfs and ext2
currently do separately, remove cache code from mfs and ext2, and make
them use the libminixfs interface. This makes all fields of the buf
struct private to libminixfs and FS clients aren't supposed to access
them at all. Only the opaque 'void *data' field (the FS block contents,
used to be called bp) is to be accessed by the FS client.

The main purpose is to implement the interface to the 2ndary vm cache
just once, get rid of some code duplication, and add a little
abstraction to reduce the code inertia of the whole caching business.

Some minor sanity checking and prohibition done by mfs in this code
as removed from the generic primary cache code as a result:
        - checking all inodes are not in use when allocating/resizing
          the cache
        - checking readonly filesystems aren't written to
        - checking the superblock isn't written to on mounted filesystems

The minixfslib code relies on fs_blockstats() in the client filesystem to
return some FS usage information.

Importing cksum (needed by NetBSD build system)

Change-Id: I47308635f6307066643f83f07b6751b1f2a05eb4

mmc:Fixes for coverity.

Change-Id: I25e406126deb9172276844e1bb756e22e1f449f8

Importing postinstall

Change-Id: I5813064164e2d6ca4cf353fb184194b2aaa8caa3

Adding -nt flag to test

This is needed by build.sh.

Patch mkdep to make sure tested values are not mistaken
as test flags.

mmc:driver development added dummy driver.

* Add dummy driver to allow independent testing of mmcblk.
* Always build the mmc driver to prevent breakage.
* Allow to specify the mmc driver to be used at load time.

Change-Id: I4e14b912fb8f3612e252864b53733968b23ac023

libvboxfs: fix setting file mtimes

mount(1)/umount(1)/format(1): remove setuid bits

This is a security measure. We may want to bring back user access to
mounting and formatting media in the future, but this should be done
only once we are sure that this is safe from a security perspective.

mount(1): do not include system headers

Retire checkhier(8)

format(1): access floppy as block device

Accessing block devices as character devices is no longer supported.

MAKEDEV(8): don't make /dev/filter user-accessible

Retire badblocks(8) and readall(1)

release.sh: call df(1) with -k

setup(8): only call df(1) on mounted file systems

df(1): use statvfs instead of raw disk access

As of this patch, df(1) no longer performs raw disk access; it
operates exclusively on mounted file systems. This also means
that df no longer needs to be setuid.

part(8)/autopart(8): remove partition hack

We have actually had lseek64 for quite a while now, so it's no longer
necessary to do horrible things to the partition table just to be able
to access large offsets into a device.

Also fix the compiler warnings in these commands.

Installation CD: add AHCI option to boot menu

update_bootcfg(8): various improvements

- inherit a predefined set of system environment variables
  (the current set of inherited variables is: ahci; acpi; no_apic);
- auto-adjust the default menu option when lines are auto-removed;
- add variable substitution support for /etc/boot.cfg.local;
- make default menu options in boot.cfg.local relative to itself,
  allowing one to set the default to a menu option from this file.

mmc:Indenting and code cleanup.

Change-Id: Ia1156c6b5e4dbc6c8af37d61b118258053f347ce

mmc:Small fixup to run the driver on hardware.

Change-Id: I8e8d048da7cdfce5c9f2091969b0db5240e3e89f

Remove some usage of 64bit functions (minix/u64.h)

. Removed the usage of 64 bit functions in top.c. Compiles successfully.
. Scaling 64 bit values to 32 bit is removed.
. Retain make64 instead of using | with shift.
. Add order cycling display

blocktest: make fewer assumptions about driver

In particular, allow partial results to be returned in some cases,
and do not require that the driver fail on word-unaligned access.

mmc: various small fixes

- call blockdriver_announce() on startup;
- restart statelessly after a crash;
- resolve a clang warning.

VM: munmap fix

expose some terminal definitions by default

mkfs.mfs: dynamically size image from proto

VM: make mapping types explicit

Introduce explicit abstractions for different mapping types,
handling the instantiation, forking, pagefaults and freeing of
anonymous memory, direct physical mappings, shared memory and
physically contiguous anonymous memory as separate types, making
region.c more generic.

Also some other genericification like merging the 3 munmap cases
into one.

COW and SMAP safemap code is still implicit in region.c.

VM: munmap used by VM for itself is no longer used