kernel: new DEBUG_RACE option. try to provoke race conditions between processes.

it does this by
  - making all processes interruptible by running out of quantum
  - giving all processes a single tick of quantum
  - picking a random runnable process instead of in order, and
    from a single pool of runnable processes (no priorities)

This together with very high HZ values currently provokes some race conditions
seen earlier only when running with SMP.

vm: use arch_map2str to print pagefault info, to properly display code addrs

kernel: print spurious interrupt message with increasing interval.

RS - fixed timeouts

- rs does not assume hz==60

- rs adjusts its timeout ticks by the system clock frequency

- drivers have time to reply if hz is set too high (e.g. 1000+) for
  instance when debugging

pci synchronous start up

- fixes a race between rs and pci

A small mini_receive() cleanup

- this patch substitutes *xpp for sender to increase readability of
  mini_receive().

- makes sure that the dequeued sender has p_q_link == NULL and that
  this condition holds when enqueuing the sender again.

- it is a sanity check to make sure that the new sender is not
  enqueued already. Before this change the dequeued sender's p_q_link
  may not be NULL and it was only set to NULL when enqueued again.

kernel: don't try to lookup ANY in debug output.

kernel: increase some per-process privilege limits.

Fix Inet initialization race.

Small cleanup of dead and/or redundant code.

vm: remove leftover diag print

fsctl.h doesn't exist.

secondary cache feature in vm.

A new call to vm lets processes yield a part of their memory to vm,
together with an id, getting newly allocated memory in return. vm is
allowed to forget about it if it runs out of memory. processes can ask
for it back using the same id. (These two operations are normally
combined in a single call.)

It can be used as a as-big-as-memory-will-allow block cache for
filesystems, which is how mfs now uses it.

Let memory allocation be aligned on 8-byte boundaries.

tty: don't use custom kputc; this fixes tty printf()s.

awk Makefile: make yacc less chatty to stderr.

libc: malloc: don't enable SLOWDEBUG by default

driver.h: increase max no. of open minors.

Extra assertions on free if SLOWDEBUG is enabled: check whether the block exists and has not been freed before

Add syslib function to obtain CPU frequency

deadlock() - more info

- deadlock() is more verbose in case of a detected deadlock. First, it
  lists all processses in the deadlock group. Then it prints the proc
  extra info, not only  stack trace and register dump

debugging - printing processes on serial

- this patch moves the former printslot() from arch_system.c to
  debug.c and reimplements it slightly. The output is not changed,
  however, the process information is printed in a separate function
  print_proc() in debug.c as such a function is also handy in other
  situations and should be publicly available when debugging.

- Add test52 to test FPU context switching
- Make test/run count how many tests it's going to perform instead of having to
  manually update it ourselves.

Put the munmap and munmap_text trampolines in a separate .S file, so that they can be overridden independenly of mmap.

Make mdb compile in other places than just /usr/src.

cpufeature() - rename _SSEx and correct logic in cpufeature() in lib

Allow loading images > 16M

kernel: more diagnostics for privctl ENOMEM conditions.

rs: stacktrace if system process exits early.

Don't panic when out of priv structures.

Fix wrong word

at_wini: remove unnecessary quirks debug message

kernel: fpu_init: only enable OSXMMEXCPT in CR4 on at least SSE1 machines.

Found and debugged by totalinux at yandex.ru and Evgeniy Ivanov, thanks!

kernel: fpu init to separate function; also move fpu init down

moving the fpu code causes exceptions raised by it to be trapped
neatly instead of causing a triple fault, before the IDT is initialized.

Scan all processes for that might be blocked on a lock

at_wini: more general system to allow devices that behave like ata controllers.

(let silicon image sata controller that is pci class 1, subclass 0x80,
but works as a sata controller, work as such.)

pci: don't do sanity check for missing pci bus, the check can misfire.

tty: try more often to get the config byte.

Avoid sbrk (in favour of malloc) in RS where possible

Fix types in debug register functions

Enable malloc assertions

Add timeout for test 7 to indicate which test (if any) hangs

pagefault() is private

mtree: no more /lib and /lib/i386.

Add missing newline at end of file

Remove debug printfs in breakpoints.c, they should never have been there

Unified crash recovery and live update.

RS CHANGES:
- Crash recovery is now implemented like live update. Two instances are kept
side by side and the dead version is live updated into the new one. The endpoint
doesn't change and the failure is not exposed (by default) to other system
services.
- The new instance can be created reactively (when a crash is detected) or
proactively. In the latter case, RS can be instructed to keep a replica of
the system service to perform a hot swap when the service fails. The flag
SF_USE_REPL is set in that case.
- The new flag SF_USE_REPL is supported for services in the boot image and
dynamically started services through the RS interface (i.e. -p option in the
service utility).
- Fixed a free unallocated memory bug for core system services.

Removed unused prototype

Changed pagefault delivery to VM

this patch changes the way pagefaults are delivered to VM. It adopts
the same model as the out-of-quantum messages sent by kernel to a
scheduler.

- everytime a userspace pagefault occurs, kernel creates a message
  which is sent to VM on behalf of the faulting process

- the process is blocked on delivery to VM in the standard IPC code
  instead of waiting in a spacial in-kernel queue (stack) and is not
  runnable until VM tell kernel that the pagefault is resolved and is
  free to clear the RTS_PAGEFAULT flag.

- VM does not need call kernel and poll the pagefault information
  which saves many (1/2?) calls and kernel calls that return "no more
  data"

- VM notification by kernel does not need to use signals

- each entry in proc table is by 12 bytes smaller (~3k save)

cd boot workaround for bioses that didn't want to boot >4 image sectors.

boot is a normal binary with a.out again. use 'cdbootblock,' a CDBOOT
variant of bootblock, both from bootblock.s, as the first boot image
that then loads boot, exactly like the bootblock loads boot when booting
from harddisk. the sector numbers (2048 byte iso sectors) are patched in
by writeisofs, like installboot does for bootblock. bootblock unchanged.

vfs: start at vmnt[0] to sync mounted filesystems, not vmnt[1].

remove intr_disabled() as interrupts are always disabled in the kernel now.

Fixed printf warning in the filter driver

Set IPC status code only for RECEIVE

Remove a redundant getdomainname() implementation.

intercept puts() in libsys, for gcc

fix make(1) error output

Also remove awk.old from makefile.

Fix some compilation errors with the gcc compiler, fix some recent warnings.

Remove obsolete implementation of awk.

Remove useless symbol declarations from headers, make symbols local where possible, add some explicit initialization to global variables.

More accurate make rule.

Remove U16_t and most other similar types. Rewrite functions to ansi-style
declaration if necessary.

Forgot to add two new files to SVN.

Add some support for wchar_t.

Code cleanup: remove unused #include, variables and code,

fix mfs/isofs signal handling

Add scancode reading capability to TTY

Add scancode reading capability to TTY

Add scancode reading capability to TTY

Add timerisclear() macro.

unbreak _open for gcc-compiled programs

Provide information on lethal signals (stacktrace and signo)

Remove some duplicate declarations in headers.
Explicitly declare some functions as returning void.

vm: util.S not used currently; leave it out.

vm: include no-caching bits in PTF_ALLFLAGS for flags sanity check.

vm: don't force physical addresses to be nonzero.

Remove the types Dev_t, _mnx_Gui, _mnx_Uid, and similar.
Use ANSI-style function declarations where necessary.

PM remembers what it should schedule

- while PM implements fork also for RS it needs to remember what to
  schedule and what not. PM_SCHEDULED flag serves this purpose.

- PM only schedules processes that are descendaints of init, i.e. normal
  user processes

- after a process is forked PM schedules for the first time only
  processes that have PM_SCHEDULED set. The others are handled iether
  by kernel or some other scheduler

vm: remove assert, map in of phys addr 0 is legit sometimes.

Fix date in UPDATING

vm: use assert() instead of vm_assert(); remove vm_assert().

let vm use physically fragmented memory for allocations.

map_copy_ph_block is replaced by map_clone_ph_block, which can
replace a single physical block by multiple physical blocks.

also,
 . merge map_mem.c with region.c, as they manipulate the same
   data structures
 . NOTRUNNABLE removed as sanity check
 . use direct functions for ALLOC_MEM and FREE_MEM again
 . add some checks to shared memory mapping code
 . fix for data structure integrity when using shared memory
 . fix sanity checks

ipc server: don't print as many errors, to make ipc test less noisy.

Fixed escape warning.

Quantum in fork

- This patch removes the time slice split between parent and child in
  fork.

- The time slice of the parent remains unchanged and the child does
  not have any.

- If the process has a scheduler, the scheduler must assign the
  quantum and priority of the new process and let it run.

- If the child does not inherit a scheduler, it is scheduled by the
  dummy default kernel policy. (servers, drivers, etc.)

- In theory, the scheduler can change the quantum even of the parent
  process and implement any policy for splitting the quantum as
  neither the parent nor the child are runnable.  Sending the
  out-of_quantum message on behalf of the processes may look like the
  right solution, however, the scheduler would probably handle the
  message before the whole fork protocol is finished. This way the
  scheduler has absolute control when the process should become
  runnable.

Restructure and simplyfycation of the scheduling code in PM a little bit.

- It introduces schedule_process() which makes a kernel call to set
  the scheduling parameters of a process. It is used in the next patch.

This tiny cleanup makes the naming a variables in createpde() more clear.

A simpler test whether to use kernel's default scheduling

- this is a small addition to the userspace scheduling.
  proc_kernel_scheduler() tests whether to use the default scheduling
  policy in kernel. It is true if the process' scheduler is NULL _or_
  self. Currently none of the tests was complete.

do_schedule() cleanup

- it is not neccessary to test whether the scheduler is a system
  process as the process already head permissions to make this call.

- it is better to test whether the scheduler has permission to make
  changes to this process before testing whether the values are valid.

Driver mapping refactory.

VFS CHANGES:
- dmap table no longer statically initialized in VFS
- Dropped FSSIGNON svrctl call no longer used by INET

INET CHANGES:
- INET announces its presence to VFS just like any other driver

RS CHANGES:
- The boot image dev table contains all the data to initialize VFS' dmap table
- RS interface supports asynchronous up and update operations now
- RS interface extended to support driver style and flags

port of netbsd's tr

netbsd's original tr/extern.h as tr.h

original netbsd's tr(1)

no minix tr

Fixed gcc -Wall warnings.

isblank() implementation.

Driver refactory for live update and crash recovery.

SYSLIB CHANGES:
- DS calls to publish / retrieve labels consider endpoints instead of u32_t.

VFS CHANGES:
- mapdriver() only adds an entry in the dmap table in VFS.
- dev_up() is only executed upon reception of a driver up event.

INET CHANGES:
- INET no longer searches for existing drivers instances at startup.
- A newtwork driver is (re)initialized upon reception of a driver up event.
- Networking startup is now race-free by design. No need to waste 5 seconds
at startup any more.

DRIVER CHANGES:
- Every driver publishes driver up events when starting for the first time or
in case of restart when recovery actions must be taken in the upper layers.
- Driver up events are published by drivers through DS.
- For regular drivers, VFS is normally the only subscriber, but not necessarily.
For instance, when the filter driver is in use, it must subscribe to driver
up events to initiate recovery.
- For network drivers, inet is the only subscriber for now.
- Every VFS driver is statically linked with libdriver, every network driver
is statically linked with libnetdriver.

DRIVER LIBRARIES CHANGES:
- Libdriver is extended to provide generic receive() and ds_publish() interfaces
for VFS drivers.
- driver_receive() is a wrapper for sef_receive() also used in driver_task()
to discard spurious messages that were meant to be delivered to a previous
version of the driver.
- driver_receive_mq() is the same as driver_receive() but integrates support
for queued messages.
- driver_announce() publishes a driver up event for VFS drivers and marks
the driver as initialized and expecting a DEV_OPEN message.
- Libnetdriver is introduced to provide similar receive() and ds_publish()
interfaces for network drivers (netdriver_announce() and netdriver_receive()).
- Network drivers all support live update with no state transfer now.

KERNEL CHANGES:
- Added kernel call statectl for state management. Used by driver_announce() to
unblock eventual callers sendrecing to the driver.

ipc test improvements

 . rename testshm.sh to test.sh so all test scripts are called test.sh
 . delete msg* tests as msg* functionality isn't implemented
 . add ipc/test.sh that runs all test.sh scripts in the subdirs

more stack for boot