Initial import of libsa, libkern, bootxx, boot.

AVFS/APFS: small cleanup

AVFS: fix various system call interruption issues

 - When cancelling ioctls, VFS did not remember which file descriptor
   to cancel and sent bogus to the driver.
 - Select state was not cleaned up when select()ing process was
   interrupted.
 - Process trying to do a system call at the exact same time as a user
   trying to interrupt the process, could cause the system call worker
   thread to overwrite state belonging to the worker thread trying to
   exit the process. This led to hanging threads and eventual system hang
   when this happens often enough.

libchardriver: fix open reply for async devices

-lminixutil link fixes

. not available and not needed for clang

Enlarge ramdisk size (blocks).

NBSD INCLUDES - fixed missing vm_remap_ro() proto

inet: strncmp() fix

temporarily disable update-superblock check

. incompatible with installboot -d FSDEV on mounted filesystems
. should be re-enabled when netbsd boot loader is default

APFS: fix link issue when compiling with Clang

INET: fix 'improved' assert

Remove unused variables

INET: fix a few GCC compilation warnings

libpuffs: make GCC happy

AVFS: only put mount point when it was used as one

When a mount operation fails and the FS exits, free_proc could try and
clean up resources associated with the mount point before the mount
thread itself can do that. However, the clean up procedure should only
clean up resources that were actually in use.

service: allow starting service with user's realuid

e1000: reset hardware before stopping

INET: remove erroneous assert

The queue may contain established connections which have
tc_connInprogress clear.

Don't panic on a misconfigured machine

Add permission test for bind and socket

Also, apply forbidden patch to VFS from AVFS (fixes hanging test56 if
it has the permission test).

INET: drop privileges upon startup

APFS: drop privileges upon startup

Move SERVICE_LOGIN to rs.h global header so it's accessible for all.

AVFS: make forbidden check for specific proc instead of fp

AVFS: initialize root FS before receiving new work

PM: extend srv_fork to set a specific UID

Currently, all servers and drivers run as root as they are forks of
RS. srv_fork now tells PM with which credentials to run the resulting
fork. Subsequently, PM lets VFS now as well.

This patch also fixes the following bugs:
 - RS doesn't initialize the setugid variable during exec, causing the
   servers and drivers to run setuid rendering the srv_fork extension
   useless.
 - PM erroneously tells VFS to run processes setuid. This doesn't
   actually lead to setuid processes as VFS sets {r,e}uid and {r,e}gid
   properly before checking PM's approval.

Prevent the ramdisk makefile from failing if the last image is not ELF

SMP - clock calibration spurious IRQ deadlock fix

 - this patch fixes a deadlock which may occur if we get a
   spurious interrupt while calibrating clocks during the boot
   time. Since we never handle interrupts while in the kernel
   (BKL locked) the interrupt code locks the lock. This is a
   different situation, a corner case, boot time only. We do not
   return to userspace but to the kernel, so the BKL is not
   unlocked. So we need irq handler which leaves the BKL
   unlocked.  The clock handler does it already, this patch adds
   a dummy spurious irq handler for the same reason. It is better
   to handle the situation this way to keep the normal runtime
   code simple.

SMP - no_apic=0 and acpi=1 set when CONFIG_SMP=y

- this is a temporary change which makes images compiled for SMP
  boot in SMP mode by default.

- this change is needed until we can configure the multiboot
  images from the boot loader again.

Revert 93b9873a562b11dfedf5f4e53ef87bf256d80207

- non need to have free PDEs per CPU since we only run one
  instance of the kernel at any time

mtree: zoneinfo dirs

Don't overwrite old mv, ln, cp, etc man pages with new rm

Don't print events that happen often

lseek should not yield a negative file position

Don't try to find file position beyond double indirect blocks

Add support for survival of crashed FSs

When an FS crashes, VFS will clean up resources tied to that FS:
 - Pending requests to the FS are canceled (i.e., fail with EIO)
 - Threads waiting for a reply are stopped (i.e., fail with EIO)
 - Open files are marked invalid. Future operations on a file descriptor
   will cause EBADF errors.
 - vmnt entry is cleared, so in-flight system calls that got past the
   file descriptor check but not yet talking to the crashed FS, will
   fail with EIO.
 - The reference counter of the mount point is decreased, effectively
   removing the crashed FS from the file system tree. Descendants of
   this part of the tree are unreachable by means of a path, but can
   still be unmounted by feeding the block special file to unmount(2).

This patch also gets rid of the "not a known driver endpoint" messages
during shutdown.

mfs: mark blocks clean when invalidated

. it could happen that newly filled blocks were still marked
  dirty
. causing unnecessary i/o and the new warning of the superblock
  being written

Use correct value for _NSIG

User processes can send signals with number up to _NSIG. There are a few
signal numbers above that used by the kernel, but should explicitly not
be included in the range or range checks in PM will fail.

The system processes use a different version of sigaddset, sigdelset,
sigemptyset, sigfillset, and sigismember which does not include a range
check on signal numbers (as opposed to the normal functions used by normal
processes).

This patch unbreaks test37 when the boot image is compiled with GCC/Clang.

INET: initialize timer to not-in-use

New zoneinfo port from NetBSD

Replace rm and rmdir with NetBSD version

Remove unused variable

Increase thread stack space for GCC compiled images

AVFS: Return actual last dir when path is named by a symlink

Last_dir didn't consider paths that end in a symlink and hence didn't
actually return the last_dir when provided with one. For example,
/var/log is a symlink to /usr/log. Issuing `>/var/log' would trigger
an assert in AVFS, because /var/ is not the actual last directory; /usr/
is.

Last_dir now verifies the final component is not a symlink. If it is, it
follows the symlink and restarts finding of the last the directory.

vfs/avfs: renumber stat calls so as to be unique

The old stat call numbers are still supported for a while.

Cut PM out of the adddma/deldma/getdma call path

Remove obsolete PROCSTAT/getsigset call.

Implement AcpiOsStall, AcpiOsSleep, AcpiOsGetTimer

- change AcpiOsRemoveInterruptHandler() to print a warning
  instead of panic.

- we do the same in AcpiOsInstallInterruptHandler().

Signed-off-by: Tomas Hruby <thruby@few.vu.nl>

vm_remap_ro

- allows shared memory to be mapped in readonly

- ben@minix3.org & tom@minix3.org

VM - vm_unmap() takes SELF as valid argument

VM - clear vminhibit iff it was set

SMP - asyn send SMP safe

- we must not deliver messages from/to unstable address spaces.
  In such a case, we must postpone the delivery. To make sute
  that a process which is expecting an asynchronous message does
  not starve, we must remember that we skipped delivery of some
  messages and we must try to deliver again once the source
  address space is stable again.

SMP - smp_schedule()

- always issues an IPI

SMP - cpu_is_idle made volatile

SMP - fixed usage of stale TLB entries

- when kernel copies from userspace, it must be sure that the TLB
  entries are not stale and thus the referenced memory is correct

- everytime we change a process' address space we set p_stale_tlb
  bits for all CPUs.

- Whenever a cpu finds its bit set when it wants to access the
  process' memory, it refreshes the TLB

- it is more conservative than it needs to be but it has low
  overhead than checking precisely

SMP - fixed IPI livelock

- two CPUs can issue IPI to each other now without any hazzard

- we must be able to handle synchronous scheduling IPIs from
  other CPUs when we are waiting for attention from another one.
  Otherwise we might livelock.

- necessary barriers to prevent reordering

SMP - do_update fix

- adjust_proc_slot() must preserve scheduling info, for example
  on which cpu the process should run

- do_update() - consitency check

KERNEL - cause SIGSEGV if bad pointer to kernel

KERNEL - mini_senda simplification

KERNEL - has_pending() not exposed

- has_pending() takes a special argument that tells the code
  whether we are scanning for asynchronous message or something
  else.

- has_pending() is not used directly anymore

- the new functions are wrappings around has_pending() to make
  the use more comfortable.

- these functions should become static inline eventually

KERNEL - do_privctl() fix

- after a driver is restarted, do not register permissions
  which are already set again.

Increase ramdisk size for clang

Allow clang for kernel compilation

Remove .ident sections, and force separations of .text and
.data sections into separate program headers, for the benefit
of the check done by MINIX boot monitor in multiboot mode.

Fix tll state bug

When a lock has read-serialized and read-only locks, releasing the read-
serialized lock would not set the state to read-only when no other locks
were pending.

/etc/shells

vm: clear map cache after kernel requests

. fixes a dirty tlb situation (i.e. random crashes)
  on some hardware, seemingly new intel architectures
  (e.g. my desktop i7 machine)

move pax and chmod for useradd

rc: transitional fix for old fstab

Convert s_block_size on MFSv3.

On MFSv3 s_block_size is stored on disk, hence bytes should be converted
on big endian.

another UPDATING tweak

added etcforce to UPDATING

Added UPDATING about mfs clean flag changes.

avfs: fix for root file system not being unmounted

Also no longer have avfs crash whenever a file system server crashes.

sys/queue.h: add LIST_FOREACH_SAFE to netbsd copy

hgfs: fix atime/mtime attribute setting bug

Reported and investigated by Antoine Leca.

hgfs: resolve gcc -W warnings

Move hgfs.h to minix includes directory

fix for checking CLEAN-ness of ramdisk image

. pre-cleanflag ("old") mkfs generates without CLEAN flag,
  causing boot not working because imgrd disappears after 1st
  close
. fixed sanity check for this situation
. disable imgrd disappearing in memory driver so
  readonly mount succeeds in case it happens anyway

import netbsd ext2fs fsck and newfs

netbsd fsck driver import

. fsck driver parses /etc/fstab and invokes sub-fscks
. further simplifies fs handling in rc

import netbsd libprop

mfs: clean flag

     . also implement now-possible fsck -p option
     . allows unconditional fsck -p invocation at startup,
       only checking each filesystem if not marked clean
     . mounting unclean is allowed but is forced readonly
     . updating the superblock while mounted is now not
       allowed by mfs - must be done (e.g. by fsck.mfs)
       on an unmounted fs
. clean flag is unset by mfs on mounting, and set by
  mfs on clean unmounting (if clean flag was set at
  mount time)

Signed-off-by: Ben Gras <ben@minix3.org>

mfs: restore readonly mounting

. use dirty marking hooks to check and warn
  when inodes/bufs are marked dirty on a readonly
  mounted fs
. add readonly mount checks to restore readonly
  mounting

Signed-off-by: Ben Gras <ben@minix3.org>

mfs: use macros to mark blocks and inodes dirty

. No functional change
. Only serves to get hooks to do checks in
. e.g. should things be marked dirty when we are
  mounted readonly

Signed-off-by: Ben Gras <ben@minix3.org>

vfs,avfs: verify an interpreter was found on #! line

. if not, NULL *interp is dereferenced

Make all tests use common.c

This will make sure that all file descriptors are closed through
the use of the start() function.

AVFS: Use scratchpad instead of m_in to pass around file descriptors

Some code relies on having the file descriptor in m_in.fd. Consequently,
m_in is not only used to provide syscall parameters from user space to
VFS, but also as a global variable to store temporary data within VFS.
This has the ugly side effect that m_in gets overwritten during core
dumping.*

To work around this problem VFS now uses a so called "scratchpad" to
store temporary data that has to be globally accessible. This is a simple
table indexed by process number, just like fproc. The scratchpad allows
us to store the buffer pointer and buffer size for suspended system calls
(i.e., read, write, open, lock) instead of using fproc. This makes fproc
a bit smaller and fproc iterators a bit faster. Moreover, suspension of
processes becomes simpler altogether and suspended operations on pipes
are now less of a special case.

* This patch fixes a bug where due to unexpected m_in overwriting a
coredump would fail, and consequently resources are leaked. The coredump
was triggered with:
$ a() { a; }
$ a

Don't repeat out-of-space messages

This patch makes PFS, EXT2 and MFS print only once that they're out of
space. After freeing up space and running out of space again, the message
will be printed again also.

Compare read/write buf size against SSIZE_MAX instead of "< 0"

The nbyte in read(int fildes, void *buf, size_t nbyte) is unsigned,
so although technically we're doing the same comparison, this is more
in line with POSIX.

The comparison was moved to read_write as that routine is used within
VFS to let it VFS write out coredumps.

Mark filp as in use on fd dup'ing

ACPI - fixed initialization of pci briges irqtable

- if no IRQ table is found, we report that ACPI cannot map IRQ
  correctly

- fixes mapping of IRQs in KVM because in this case we just fall
  through and use the IRQ configured by BIOS. PCI still reports
  that it failed to use ACPI. It is a hint if things go wrong.

ACPI extended irq - fixed uninitialized variable

SMP - kernel links again

SMP - fixed compilation and removed warnings

libsys: unbreak getidle()

tty timeout bugfix

. timeouts were always delivered to console
. Fix by Lucio Tomarchio

nbsd.config: make timezone explicit

workaround for cvs not handling many args

dec21140A: change debugging key to Shift+F7

ahci: NCQ support

Discard process' pending request upon incoming PM request

When a process wants something done from VFS, but VFS has no worker
threads available, the request is stored and executed later. However,
when PM also sends a request for that process at the same time, discard
the pending request from the process and give priority to PM. The request
PM sends is either an EXIT or a DUMPCORE request, so we're not interested
in executing the pending request anyway.