Add endpoint checks in scheduling kernel calls

support for ukranian (charse koi8-u) contributed by Roman Ignatov.

vm: junkfree feature that fills freed pages with a recognizable pattern.

kernel: fix for vm_init that triggered assert(ptproc == newptproc)

 - zero cr3 in vm_init() to avoid switch_address_space() not doing anything.

 - add vm_stop() to disable paging on shutdown.

e1000: map in 0x1000 of flash if 0x10000 fails.

version: trunk will become 3.1.8.

Fix typo

tools: fix installing includes.

Lazy FPU

- FPU context is stored only if conflict between 2 FPU users or while
  exporting context of a process to userspace while it is the active
  user of FPU

- FPU has its owner (fpu_owner) which points to the process whose
  state is currently loaded in FPU

- the FPU exception is only turned on when scheduling a process which
  is not the owner of FPU

- FPU state is restored for the process that generated the FPU
  exception. This process runs immediately without letting scheduler
  to pick a new process to resolve the FPU conflict asap, to minimize
  the FPU thrashing and FPU exception hadler execution

- faster all non-FPU-exception kernel entries as FPU state is not
  checked nor saved

- removed MF_USED_FPU flag, only MF_FPU_INITIALIZED remains to signal
  that a process has used FPU in the past

VM: Remove legacy non-paging code paths

Enter package names in packman

Put initialization code where it belongs.

Fix range checking in safecopy.

Remove gcc-4.1.1 from packages list

Removed a buggy assert unintentionally commted in r7044

This patch changes the release script in the following ways:
- A staging directory is always used to avoid oversized images;
- As a consequence, the zero-filling is removed so no more "out of
  space" errors should be printed to the console;
- The root and usr partition sizes are computed so less space should be
  wasted (the root partition gets extra 1MB zones and 64 inodes for
  run-time though and hardlinks/holes make the used space slightly less
  than expected); USRMB (and the new ROOTMB) are now used to enforce
  a minimum size rather than set the size;
- TMPDISK1-3 are renamed to more meaningful names (and TMPDISK2 is
  dropped because a separate tmp directory is no longer needed);
- The ramdisks are truncated at the end to save memory (not sure
  whether it is actually released though).

Create link for lstat

kernel fpu context switching: fix race condition

There seems to have been a broken assumption in the fpu context
restoring code.  It restores the context of the running process, without
guarantee that the current process is the one that will be scheduled.
This caused fpu saving for a different process to be triggered without
fpu hardware being enabled, causing an fpu exception in the kernel. This
practically only shows up with DEBUG_RACE on. Fix my thruby+me.

The fix
 . is to only set the fpu-in-use-by-this-process flag in the
   exception handler, and then take care of fpu restoring when
   actually returning to userspace

And the patch
 . translates fpu saving and restoring to c in arch_system.c,
   getting rid of a juicy chunk of assembly
 . makes osfxsr_feature private to arch_system.c
 . removes most of the arch dependent code from do_sigsend

Always skip signals for PM itself when broadcasting.

move drivers/random SHA implementation to libutil and header to <minix/sha2.h>

Use endpoint_t for the destination of mini_send and _syscall, and the
source of mini_receive.

Also some small cleanup.

Fix ftp client's passive mode.

Before the ioctl the code zeroed the wrong variable.

Removed some unused variables and functions.

setup: default root partition size is 64MB, reinstall keeps old root size

Gracefull crash if FPU exception in kernel

boot monitor: introduce a 'reset' command that causes the cpu to
reset (triple fault).

Fixed stack trace if panic in stop_context()

Ramdisk makefile update

Release script: Remove .d/.depend files from CD

Clean up MFS a bit:
 - Remove unused includes.
 - Add include guards to headers.
 - Use unsigned variables in case they're never going to hold a negative
   value. This causes GCC's complaints to disappear and should make flexelint
   a lot happier, too.
 - Make functions private when they're used only within a module.
 - Remove unused variables.
 - Add casts where appropriate.

packages: don't put oss on cd.

Minor makefile changes for GCC

KCall methods do not depend on m_source and m_type fields

- substituted the use of the m_source message field by
  caller->p_endpoint in kernel calls. It is the same information, just
  passed more intuitively.

- the last dependency on m_type field is removed.

- do_unused() is substituted by a check for NULL.

- this pretty much removes the depency of kernel calls on the general
  message format. In the future this may be used to pass the kcall
  arguments in a different structure or registers (x86-64, ARM?) The
  kcall number may be passed in a register already.

do_safecopy split

- removes dependency of do_safecopy() on the m_type field of the kcall
  messages.

- instead of do_safecopy() figuring out what action is requested, the
  correct safecopy method is called right away.

Remove those annoying $Id and $Revision tags

Clean up PFS

Remove obsolete _fpu_present variable from crtso.S

Oops, committed too much

Avoid use of C++ reserved word class in headers (reported by Aki Goto, tracker item 375)

Avoid use of C++ reserved word class in headers (reported by Aki Goto, tracker item 375)

Reorganize some directories

servers/hgfs/hgfs_server => servers/hgfs
servers/hgfs/libhgfs => lib/libhgfs
servers/rs/service => commands/service
drivers/memory/memory_driver => drivers/memory
drivers/memory/ramdisk => drivers/ramdisk

GCC build fixes/updates

-Set stack sizes for boot image processes
-Increase RS stack size
-Reduce ramdisk size
-HARDWARE task should use kernel stack
-Minor asm tweaks for leading underscores

different rtl8169 shutdown code

make IS report masked IRQs properly

Fixed ms-based scheduling for legacy timer

Various small scheduling related fixes

reset alarm timer on PRIVCTL

scheduling - time quantum in miliseconds

- Currently the cpu time quantum is timer-ticks based. Thus the
  remaining quantum is decreased only if the processes is interrupted
  by a timer tick. As processes block a lot this typically does not
  happen for normal user processes. Also the quantum depends on the
  frequency of the timer.

- This change makes the quantum miliseconds based. Internally the
  miliseconds are translated into cpu cycles. Everytime userspace
  execution is interrupted by kernel the cycles just consumed by the
  current process are deducted from the remaining quantum.

- It makes the quantum system timer frequency independent.

- The boot processes quantum is loosely derived from the tick-based
  quantas and 60Hz timer and subject to future change

- the 64bit arithmetics is a little ugly, will be changes once we have
  compiler support for 64bit integers (soon)

Fixed some inconsistent strict typing declarations.
Better strict typing.

fix int64.3 man page formatting

Oops, last commit included more than was intended

More system processes, this was not enough for the release script to run on some configurations

Minor patch: increase size of root partition for minimal release, eve very small additions with -c made it fail

Buildsystem changes for GCC

-Makefile updates
-Update mkdep
-Build fixes/warning cleanups for some programs
-Restore leading underscores on global syms in kernel asm files
-Increase ramdisk size

pm - fix sched interaction

For coredumping processes, PM forgets to inform SCHED that the
process has vanished, causing future fork()s to fail.

More sensible description for EPERM from http://www.opengroup.org/onlinepubs/000095399/basedefs/errno.h.html

charset cp1251 contributed by Roman Ignatov.

packages: gcc-libs renamed, include gcc-4.4.3

use oxpcie only if enabled to avoid baud bottleneck of uart.

kernel: oxpcie serial card support.

ask to map in oxpcie i/o memory and support serial i/o for it in the
kernel. set oxpcie=<address> in boot monitor (retrieve address using
pci_debug=1 output). (no sanity checking is done on the address
currently.) disabled by default.

The change also contains some other minor cleanup (a new serial.h to set
register info common to UART and the OXPCIe card, in-kernel memory
mapping a little more structured and env_get() to get sysenv variables
without knowing about the params_buffer).

boot image - no need for entry point

- removes the initial_pc from struct boot_image. It is always set
  to 0 and RS uses a.out headers.

Scheduling server (by Bjorn Swift)

In this second phase, scheduling is moved from PM to its own
scheduler (see r6557 for phase one). In the next phase we hope to a)
include useful information in the "out of quantum" message and b)
create some simple scheduling policy that makes use of that
information.

When the system starts up, PM will iterate over its process table and
ask SCHED to take over scheduling unprivileged processes. This is
done by sending a SCHEDULING_START message to SCHED. This message
includes the processes endpoint, the parent's endpoint and its nice
level. The scheduler adds this process to its schedproc table, issues
a schedctl, and returns its own endpoint to PM - as the endpoint of
the effective scheduler. When a process terminates, a SCHEDULING_STOP
message is sent to the scheduler.

The reason for this effective endpoint is for future compatibility.
Some day, we may have a scheduler that, instead of scheduling the
process itself, forwards the SCHEDULING_START message on to another
scheduler.

PM has information on who schedules whom. As such, scheduling
messages from user-land are sent through PM. An example is when
processes change their priority, using nice(). In that case, a
getsetpriority message is sent to PM, which then sends a
SCHEDULING_SET_NICE to the process's effective scheduler.

When a process is forked through PM, it inherits its parent's
scheduler, but is spawned with an empty quantum. As before, a request
to fork a process flows through VM before returning to PM, which then
wakes up the child process. This flow has been modified slightly so
that PM notifies the scheduler of the new process, before waking up
the child process. If the scheduler fails to take over scheduling,
the child process is torn down and the fork fails with an erroneous
value.

Process priority is entirely decided upon using nice levels. PM
stores a copy of each process's nice level and when a child is
forked, its parent's nice level is sent in the SCHEDULING_START
message. How this level is mapped to a priority queue is up to the
scheduler. It should be noted that the nice level is used to
determine the max_priority and the parent could have been in a lower
priority when it was spawned. To prevent a CPU intensive process from
hawking the CPU by continuously forking children that get scheduled
in the max_priority, the scheduler should determine in which queue
the parent is currently scheduled, and schedule the child in that
same queue.

Other fixes: The USER_Q in kernel/proc.h was incorrectly defined as
NR_SCHED_QUEUES/2. That results in a "off by one" error when
converting priority->nice->priority for nice=0. This also had the
side effect that if someone were to set the MAX_USER_Q to something
else than 0, then USER_Q would be off.

rename of mode/context switching functions

- this patch only renames schedcheck() to switch_to_user(),
  cycles_accounting_stop() to context_stop() and restart() to
  +restore_user_context()

- the motivation is that since the introduction of schedcheck() it has
  been abused for many things. It deserves a better name.  It should
  express the fact that from the moment we call the function we are in
  the process of switching to user.

- cycles_accounting_stop() was originally a single purpose function.
  As this function is called at were convenient places it is used in
  for other things too, e.g. (un)locking the kernel. Thus it deserves
  a better name too.

- using the old name, restart() does not call schedcheck(), however
  calls to restart are replaced by calls to schedcheck()
  [switch_to_user] and it calls restart() [restore_user_context]

This patch switches the MINIX3 ethernet driver stack from a port-based
model to an instance-based model. Each ethernet driver instance is now
responsible for exactly one network interface card. The port field in
/etc/inet.conf now acts as an instance field instead.

This patch also updates the data link protocol. This update:
- eliminates the concept of ports entirely;
- eliminates DL_GETNAME entirely;
- standardizes on using m_source for IPC and DL_ENDPT for safecopies;
- removes error codes from TASK/STAT replies, as they were unused;
- removes a number of other old or unused fields;
- names and renames a few other fields.

All ethernet drivers have been changed to:
- conform to the new protocol, and exactly that;
- take on an instance number based on a given "instance" argument;
- skip that number of PCI devices in probe iterations;
- use config tables and environment variables based on that number;
- no longer be limited to a predefined maximum of cards in any way;
- get rid of any leftover non-safecopy support and other ancient junk;
- have a correct banner protocol figure, or none at all.

Other changes:
* Inet.conf is now taken to be line-based, and supports #-comments.
  No existing installations are expected to be affected by this.
* A new, select-based asynchio library replaces the old one.
  Kindly contributed by Kees J. Bot.
* Inet now supports use of select() on IP devices.
  Combined, the last two changes together speed up dhcpd
  considerably in the presence of multiple interfaces.
* A small bug has been fixed in nonamed.

Add -M release.sh option to write out a symbol map, either to /usr/src on the image (without -m) or to the tools directory (with -m)

Full 64-bit multitplication and division added to u64 library

Awk build tweaks

-Make yacc invocation "less chatty to stderr" (again)
-Generate proctab.c (again)

Buildsystem tweaks

Set build output verbosity level down to 1.
Make the 'install' target depend on the 'all' and 'depend' targets.

Fix permissions for halt, reboot, and shutdown

xargs does not support the -f flag

Convert boot/ and commands/ over to bsdmake

DS: base number of data entries on NR_SYS_PROCS

kernel: small ammendment to pagefault-in-kernel panic

kernel/vm: change pde table info from single buffer to explicit per-process.

makes code in kernel more readable, and allows better sanity checking on
using the pde info.

- Fixed a bug when running out of priv structures.
- Tell VM about VM calls for every new service instance.

kernel - don't print info about scheduled process if pagefault happened in kernel.

fix multiport support in ethernet drivers

Intermediate boot verbosity level EXTRA (2), MAX moved to 3

New options for release script: -m to make tiny image, ZIP to set compressor

PM signal handling check too strict

- this panic may be unnecessarily triggered if PM gets the delayed
  stop signal from kernel before it gets reply from VFS to the UNPAUSE
  call.

- after this change PM does not proceed to delivering the signal until
  the reply from VFS is received. Perhaps PM could deliver the signal
  straight away as it knows that the process does not run. Possibly
 i dangerous.

- the signal is deliverd immediately after the UNPAUSE reply as the
  pending signals are always checked at the moment.

Removed defines not used since r6844.

Use of all NIL_* defines converted to NULL

kernel: new DEBUG_RACE option. try to provoke race conditions between processes.

it does this by
  - making all processes interruptible by running out of quantum
  - giving all processes a single tick of quantum
  - picking a random runnable process instead of in order, and
    from a single pool of runnable processes (no priorities)

This together with very high HZ values currently provokes some race conditions
seen earlier only when running with SMP.

vm: use arch_map2str to print pagefault info, to properly display code addrs

kernel: print spurious interrupt message with increasing interval.

RS - fixed timeouts

- rs does not assume hz==60

- rs adjusts its timeout ticks by the system clock frequency

- drivers have time to reply if hz is set too high (e.g. 1000+) for
  instance when debugging

pci synchronous start up

- fixes a race between rs and pci

A small mini_receive() cleanup

- this patch substitutes *xpp for sender to increase readability of
  mini_receive().

- makes sure that the dequeued sender has p_q_link == NULL and that
  this condition holds when enqueuing the sender again.

- it is a sanity check to make sure that the new sender is not
  enqueued already. Before this change the dequeued sender's p_q_link
  may not be NULL and it was only set to NULL when enqueued again.

kernel: don't try to lookup ANY in debug output.

kernel: increase some per-process privilege limits.

Fix Inet initialization race.

Small cleanup of dead and/or redundant code.

vm: remove leftover diag print

fsctl.h doesn't exist.

secondary cache feature in vm.

A new call to vm lets processes yield a part of their memory to vm,
together with an id, getting newly allocated memory in return. vm is
allowed to forget about it if it runs out of memory. processes can ask
for it back using the same id. (These two operations are normally
combined in a single call.)

It can be used as a as-big-as-memory-will-allow block cache for
filesystems, which is how mfs now uses it.

Let memory allocation be aligned on 8-byte boundaries.

tty: don't use custom kputc; this fixes tty printf()s.

awk Makefile: make yacc less chatty to stderr.

libc: malloc: don't enable SLOWDEBUG by default

driver.h: increase max no. of open minors.