vm: merge i386 and arm pagetable code

vm: fix a null dereference on out-of-memory

. also make other out-of-memory conditions less fatal
. add a test case for a user program using all the memory
  it can
. remove some diagnostic prints for situations that are normal
  when running out of memory so running the test isn't noisy

PM: do not panic if sys_sigsend returns ENOMEM

remove extra mkfs.1

kernel: some boottime sanitychecks

. Check if we have the right number of boot modules
. Check if the ELF parsing of VM actually succeeded

Both these are root causes of less-than-obvious other
errors/asserts a little further down the line; uncovered
while experimenting with booting by iPXE, specifically
(a) iPXE having a 8-multiboot-modules limit and
(b) trying to boot a gzipped VM.

mkfs: support indirect blocks in directories

mkfs: move directory entry manipulation

mkfs: drop support for zone != block

mkfs: drop support for running on DOS

mkfs: separate inode retrieval function

mkfs: drop support for creating non-v3 FSes

mkfs: symlink support

. mkproto too

mkfs, mkproto: minor improvements

. mkfs: -x feature for extra space
. rename manpage to mkfs.mfs.1 to follow the binary
. move mkproto so it can become part of the tools easily

retire nonsymbolic rootdev, dev2name

TTY: fix crash obtaining kernel messages

Also fix a case of potential message loss in TTY and LOG.

/bin/pax: Fix cross compilation problem on some platform by removing
          unneeded dependency on libutil.

drop safemap code

testsh2.sh: change output to new cksum util

TTY: seperate hardware dependent parts + add new serial driver

.Split TTY in order to support both x86 and ARM.
.Add support for the TI 16750 UARTs on OMAP35x.
.Various other improvements:
  .Kernel messages are printed using generic terminal write
   functions. That is, they are no longer directly displayed
   on the console.
  .The console can now be displayed on any terminal. This
   is configured by the "console={tty00,tty01,ttyc2,ttyc3,ttyc4}"
   boot variable -- basically any valid /dev/tty* terminal.
  .Cutify kernel messages with colors. Configured by
   "kernelclr={1,2,3,4,5,6,7}" boot variable.

Kernel: reenable interrupts before halting

Kernel: busy wait until serial out has finished

vm: fix potential null deref

Upgrading bsdtar

 * Removing commands/tar
 * Updated external/bsd/libarchive
 * Adding external/bsd/libarchive/bin/tar compiled bsdtar instead
   of just tar
 * (tar is taken care of through the pax utility)

Change-Id: Ie773b4502fbf4e3880f28f01bb528b063a60c668

Upgrading pax.

This also means importing librmt.

Change-Id: Ie5b314aeaad28dca46acb64f20f2d70746ea52d0

Fixed up new mtree description file NetBSD.dist.base (removed end of line spaces, added a few missing directories)

Fixed lchflags error under MINIX3 as host OS

Change-Id: I00f708e82753fdae85ac54bc903db06a7775ab5a

mtree mknod

Change-Id: I887437c7b84839fc644da4c55bd59b6a414408ef

drivers: fix various sys_irqsetpolicy calls

Move primary cache code to libminixfs.

Add primary cache management feature to libminixfs as mfs and ext2
currently do separately, remove cache code from mfs and ext2, and make
them use the libminixfs interface. This makes all fields of the buf
struct private to libminixfs and FS clients aren't supposed to access
them at all. Only the opaque 'void *data' field (the FS block contents,
used to be called bp) is to be accessed by the FS client.

The main purpose is to implement the interface to the 2ndary vm cache
just once, get rid of some code duplication, and add a little
abstraction to reduce the code inertia of the whole caching business.

Some minor sanity checking and prohibition done by mfs in this code
as removed from the generic primary cache code as a result:
        - checking all inodes are not in use when allocating/resizing
          the cache
        - checking readonly filesystems aren't written to
        - checking the superblock isn't written to on mounted filesystems

The minixfslib code relies on fs_blockstats() in the client filesystem to
return some FS usage information.

Importing cksum (needed by NetBSD build system)

Change-Id: I47308635f6307066643f83f07b6751b1f2a05eb4

mmc:Fixes for coverity.

Change-Id: I25e406126deb9172276844e1bb756e22e1f449f8

Importing postinstall

Change-Id: I5813064164e2d6ca4cf353fb184194b2aaa8caa3

Adding -nt flag to test

This is needed by build.sh.

Patch mkdep to make sure tested values are not mistaken
as test flags.

mmc:driver development added dummy driver.

* Add dummy driver to allow independent testing of mmcblk.
* Always build the mmc driver to prevent breakage.
* Allow to specify the mmc driver to be used at load time.

Change-Id: I4e14b912fb8f3612e252864b53733968b23ac023

libvboxfs: fix setting file mtimes

mount(1)/umount(1)/format(1): remove setuid bits

This is a security measure. We may want to bring back user access to
mounting and formatting media in the future, but this should be done
only once we are sure that this is safe from a security perspective.

mount(1): do not include system headers

Retire checkhier(8)

format(1): access floppy as block device

Accessing block devices as character devices is no longer supported.

MAKEDEV(8): don't make /dev/filter user-accessible

Retire badblocks(8) and readall(1)

release.sh: call df(1) with -k

setup(8): only call df(1) on mounted file systems

df(1): use statvfs instead of raw disk access

As of this patch, df(1) no longer performs raw disk access; it
operates exclusively on mounted file systems. This also means
that df no longer needs to be setuid.

part(8)/autopart(8): remove partition hack

We have actually had lseek64 for quite a while now, so it's no longer
necessary to do horrible things to the partition table just to be able
to access large offsets into a device.

Also fix the compiler warnings in these commands.

Installation CD: add AHCI option to boot menu

update_bootcfg(8): various improvements

- inherit a predefined set of system environment variables
  (the current set of inherited variables is: ahci; acpi; no_apic);
- auto-adjust the default menu option when lines are auto-removed;
- add variable substitution support for /etc/boot.cfg.local;
- make default menu options in boot.cfg.local relative to itself,
  allowing one to set the default to a menu option from this file.

mmc:Indenting and code cleanup.

Change-Id: Ia1156c6b5e4dbc6c8af37d61b118258053f347ce

mmc:Small fixup to run the driver on hardware.

Change-Id: I8e8d048da7cdfce5c9f2091969b0db5240e3e89f

Remove some usage of 64bit functions (minix/u64.h)

. Removed the usage of 64 bit functions in top.c. Compiles successfully.
. Scaling 64 bit values to 32 bit is removed.
. Retain make64 instead of using | with shift.
. Add order cycling display

blocktest: make fewer assumptions about driver

In particular, allow partial results to be returned in some cases,
and do not require that the driver fail on word-unaligned access.

mmc: various small fixes

- call blockdriver_announce() on startup;
- restart statelessly after a crash;
- resolve a clang warning.

VM: munmap fix

expose some terminal definitions by default

mkfs.mfs: dynamically size image from proto

VM: make mapping types explicit

Introduce explicit abstractions for different mapping types,
handling the instantiation, forking, pagefaults and freeing of
anonymous memory, direct physical mappings, shared memory and
physically contiguous anonymous memory as separate types, making
region.c more generic.

Also some other genericification like merging the 3 munmap cases
into one.

COW and SMAP safemap code is still implicit in region.c.

VM: munmap used by VM for itself is no longer used

bootloader: usability improvements

- add "edit" menu option, to edit menu commands before executing them;
- add "menu" boot command, to return to the menu from the prompt;
- provide more line editing features when getting input;
- fix a few potential buffer overflows as a side effect.

tests: fix IPC test set fix

Partial rollback of git-df39752.

Merge branch 'master' of git.minix3.org:minix

LIBC - getifaddrs() fix

ifpa must be set to something meaningful every time it returns 0.

minor fixes for safecopy & safemap tests

MMC driver.

Change-Id: I0d460d63070855df9b11eaf3d33eb7bb89c570f1

Import MMC related bsd headers.

Copyright (c) 2006 Uwe Stuehler <uwe@openbsd.org>

Change-Id: Ia183d522a6ef1528b045a6fc6cd2e8930c669c32

ARM support for kernel and vm

VFS: fix check_bsf() locking

The check_bsf() macro uses assert(mutex_trylock(&bsf_lock)) and
assumes bsf_lock is locked afterwards. This breaks when compiling
with NOASSERTS="yes". Also: macro to function transition.

VFS: resolve unused parameter if NOASSERTS="yes"

If VFS is compiled with NOASSERTS="yes", ctty_opcl() does not
use the op parameter. Change to "non-assert()" sanity check.

daily: makewhatis -f

. use a little less memory and the processor will be
  freer during start-up.

unstack, sort: cleanup and improvement

lets unstack
(a) know about in-kernel ipc entry points and
(b) be able handle >2GB symbol offsets.

. sort: add -x for hex numerical sort
. unstack: gnm is obsolete
. unstack: datasizes is obsolete (use nm --size-sort instead)
. unstack: add ipc entry points read from procfs (hex)
. unstack: use sort -x to sort symbol order so the procfs ones are
  sorted independent of position and original ordering

procfs: make ipc vectors available

memory: use sys_safememset() for /dev/zero

libsys: add sys_safememset()

kernel: add safememset() kernel call

kernel: handle pagefaults in vm_memset()

TTY: printer better diagnostics

.tell when a line is not initialized
.don't print when a request has failed, we use error codes for that

getty: return speed option

SYSENTER/SYSCALL support

. add cpufeature detection of both
. use it for both ipc and kernelcall traps, using a register
  for call number
. SYSENTER/SYSCALL does not save any context, therefore userland
  has to save it
. to accomodate multiple kernel entry/exit types, the entry
  type is recorded in the process struct. hitherto all types
  were interrupt (soft int, exception, hard int); now SYSENTER/SYSCALL
  is new, with the difference that context is not fully restored
  from proc struct when running the process again. this can't be
  done as some information is missing.
. complication: cases in which the kernel has to fully change
  process context (i.e. sigreturn). in that case the exit type
  is changed from SYSENTER/SYSEXIT to soft-int (i.e. iret) and
  context is fully restored from the proc struct. this does mean
  the PC and SP must change, as the sysenter/sysexit userland code
  will otherwise try to restore its own context. this is true in the
  sigreturn case.
. override all usage by setting libc_ipc=1

phys_memset improvements

. verify length argument
. use rep stosl / stosb

remove unused <tools.h>

vm: fix failed alloc condition

top task uid clear

tests: don't chmod 777 everything upon cleanup

rm -rf works just fine no matter what mode bits are set (modulo
file ownership and current user id). Test 43 creates a symlink
to / and the chmod operation would change file permissions outside
of the test directory.

coverity appeasement - redundant check

vfs: pm_dumpcore: always clean up process

. whenever this function is called, pm will expect
  the process to be cleaned up
. so don't abort the process entirely on error
. fixes a later 'forking on top of in-use child' vfs panic

vm: change NO_MEM to a more impossible value

fixes an assert() firing when starting X. thanks to the report by pikpik.

. NO_MEM was 0, which is actually an existing piece
  of physical memory. it can't be allocated because it's reserved
  for bios data (by the kernel), but it can be mapped in (e.g.
  by X), causing sanity check disaster.
. NONCONTIGUOUS is also obsolete as all allocations are single-page
  now, i.e. NONCONTIGUOUS is really the default and only mode.

worldstone: add -s for statistical profiling

coverity appeasement

vm, kernel, top: report memory usage of vm, kernel

VM: remove dead code

some coverity fixes.

VM: restore >4k secondary cache functionality

. by storing length in the yielded blocks node again

VM: full munmap

complete munmap implementation; single-page references made
a general munmap() implementation possible to write cleanly.

. memory: let the MIOCRAMSIZE ioctl set the imgrd device
  size (but only to 0)
. let the ramdisk command set sizes to 0
. use this command to set /dev/imgrd to 0 after mounting /usr
  in /etc/rc, so the boot time ramdisk is freed (about 4MB
  currently)

VM: abstract datastructures a bit

. a little less duplication in region.c

VM: simplify slab allocator

. only keep a list of non-empty, non-full pages with slab objects
. simplifies alloc/free operations and reduces list management overhead

VM: only single page chunks

 . only reference single pages in process data structures
   to simplify page faults, copy-on-write, etc.
 . this breaks the secondary cache for objects that are
   not one-page-sized; restored in a next commit

VM: static data structure for mem allocation

 . allocate physical memory using a fixed, pre-allocated bitmap so there
   are no call cycles and it's avilable earlier

VM: remove unused dma memory support functions from vm

. unused calls / data structures

VM: forget about 'holes'

  . unused data structures and code

VM: some sanitycheck fixes

minor fixes to restore SANITYCHECKS

libc/libminc malloc reorganization

  . rename minix malloc sources to minix-* so Makefile
    references aren't ambiguous
  . throw out malloc source file copies in libminc
  . make libminc use phkmalloc instead of minix malloc (slightly faster)