ext2: resolve Coverity warnings

dp8390: resolve Coverity warnings (encore)

TTY: resolve Coverity warnings

random: resolve Coverity warnings

Make memory driver arch-neutral

-Use PAGE_SIZE instead of I386_PAGE_SIZE
-No need to grant ioport access for ARM

Rename sys_vmctl_get_cr3_i386

pm: update for ARM

common/libc: build for ARM

csu: build for ARM

libexec: add load_offset feature, used for ld.so

. ld.so is linked at 0 but it can relocate itself; we
  wish to load ld.so higher though to trap NULL dereferences.
  if we know we have to execute ld.so, vfs tells libexec to put it
  higher.

sprofdiff for comparing sprofile results

This patch adds the sprofdiff tool, which compares two sets of profiling
output files. It sorts processes and symbols by difference in average
number of samples, placing those that took more time on the left first
and those that took more time on the right last. If multiple runs are
combined, a standard deviation is computed and this is used to compute
the significance level, which gives an indication of which differences
are likely to be due to chance.

This tool is run not on the raw profiling files, but on the output of
sprofalyze -d (a new option). Though having to use two tools and an
intermediate file seems a bit awkward, the advantage is that the
original source tree is not needed to resolve the symbols. For
comparisons, this is very useful. Also, the intermediate file is in a
text format that can easily be processed by scripts, which may be useful
for other purposes as well.

libc/mallocdebug: Make arch-generic

brksize: Remove non-ELF code

Fix minimal ISO installation
 - Minimal ISO's have little in /usr/src
 - Copy boot.cfg from /etc instead

Removed legacy floppy boot support
 - fdbootparams and fdboot are removed
 - fdboot manual references are removed

drivers.h: fix machine includes

Fix prototypes for getdents, read, readlink

Clean up arch Makefiles for libminc

ARM headers

Write raw sprofile traces to preserve all information as well as save space

Restore and use C version of oneC_sum

libnetsock: resolve Coverity warnings

libsys: resolve Coverity warnings

libsys: remove unused stacktrace variant

PM: resolve Coverity warnings

IS: resolve Coverity warnings

IPC: resolve Coverity warnings

procfs: resolve Coverity warnings

vm: ignore RS pin (pre-allocate) requests for now

. done by RS to reduce/remove dependency on VM for recovery
. RS has the default stack size of 64MB since the nosegments
  change, using a huge amount of unused memory to pre-allocate
. ignore these requests until actually required (i.e. being able
  to survive VM crashes)

Thanks to pikpik for investigating why RS was so huge.

libc: ARM generateasm

Re-write sprofalyze in C for better performance, more options and to fix problems with the gap the kernel now has

pci: resolve Coverity warnings

Or rather, slightly improve the code based on a false positive.

lance: resolve Coverity warnings

fxp: resolve Coverity warnings

This removes some unused and unsupported features, and leaves in support
for another currently unused feature that might be used in the future.

floppy: resolve Coverity warnings

e1000: resolve Coverity warnings

dpeth: resolve Coverity warnings

dp8390: resolve Coverity warnings

dec21140A: resolve Coverity warnings

Remove ACK EM_WSIZE/EM_PSIZE macro usage

Replace MACHINE/CHIP macros with compiler macros

NetBSD ARM headers

MFS: fix block estimation computation

LWIP - fix, removed segments

- compiles again

ext2: remove -Werror from CFLAGS

This breaks the Coverity build at the moment.

libvtreefs: resolve Coverity warnings

rtl8139: resolve Coverity warnings

rtl8169: resolve Coverity warnings

libsffs: resolve Coverity warnings

libchardriver: resolve Coverity warnings

libbdev: resolve Coverity warnings

filter: resolve Coverity warnings

atl2: resolve Coverity warnings

at_wini: resolve Coverity warnings

ahci: resolve Coverity warnings

btrace(8): resolve Coverity warnings

VFS: fix locking bug in clone_opcl

When VFS runs out of vnodes after closing a vnode in opcl, common_open
will try to unlock a vnode through unlock_filp that has already been
unlocked in clone_opcl. By first obtaining and locking a new vnode this
situation is prevented; if there are no free vnodes, common_open will
unlock a still locked vnode.

VFS: check path components for NAME_MAX length

ext2: use new secondary cache method

This gets rid of the ! emitted by VM when using ext2

EXT2: various fixes

.enable all compile time warnings and make them errors
.refactor functions with unused parameters
.fix null pointer dereference before checking for null
.proper variable initialization
.use safe string copy functions
.fix massive memory corruption bug in fs_getdents

PM: a few Coverity inspired fixes

.initialize variable to prevent negative array indexing
.remove dead code

procfs: use safe string copy

isofs: fixes for coverity defects

.use safe string copy functions
.CD-ROM are always mounted read-only

MFS: fixes for defects reported by Coverity

.use safe string copy
.fix (potential) int overflow in function return

MFS: getdents fixes

.Use a bigger buffer to hold results
.Do not try to store more data than user buffer can hold

kernel: facility for user-visible memory

. map all objects named usermapped_*.o with globally visible
  pages; usermapped_glo_*.o with the VM 'global' bit on, i.e.
  permanently in tlb (very scarce resource!)
. added kinfo, machine, kmessages and loadinfo for a start
. modified log, tty to make use of the shared messages struct

kernel: few more objects required in unpaged mode

. for 64-bit printf()

kernel: clean up objects

. objects left over from libraries are left around

kernel: give kernel tasks their process name back

libsys: 64-bit numbers support for printf()

Change some drivers accordingly.

Upgrade to NetBSD: tic.c,v 1.19

The upgrade of tic to v 1.19 fixes a memory corruptions that  was
visible when cross building (specially when using  long  path
names in the output file argument).

VFS: call req_inhibread again

VFS: do not resolve symlinks in rename(2)

kernel: keep serial info in system env

. otherwise serial hardware gets reinitialized by tty

PFS: fix negative array index

VFS: fix coverity defects

VFS: remove support for sync FS communication

VFS: prevent buffer overflow

If an FS returns faulty struct dirent data, VFS could overflow
a buffer that holds this data.

various coverity-inspired fixes

. some strncpy/strcpy to strlcpy conversions
. new <minix/param.h> to avoid including other minix headers
  that have colliding definitions with library and commands code,
  causing parse warnings
. removed some dead code / assignments

VFS: Use safe string copy functions

segmentless smp fixes

adjust the smp booting procedure for segmentless operation. changes are
mostly due to gdt/idt being dependent on paging, because of the high
location, and paging being on much sooner because of that too.

also smaller fixes: redefine DESC_SIZE, fix kernel makefile variable name
(crosscompiling), some null pointer checks that trap now because of a
sparser pagetable, acpi sanity checking

No more intel/minix segments.

This commit removes all traces of Minix segments (the text/data/stack
memory map abstraction in the kernel) and significance of Intel segments
(hardware segments like CS, DS that add offsets to all addressing before
page table translation). This ultimately simplifies the memory layout
and addressing and makes the same layout possible on non-Intel
architectures.

There are only two types of addresses in the world now: virtual
and physical; even the kernel and processes have the same virtual
address space. Kernel and user processes can be distinguished at a
glance as processes won't use 0xF0000000 and above.

No static pre-allocated memory sizes exist any more.

Changes to booting:
        . The pre_init.c leaves the kernel and modules exactly as
          they were left by the bootloader in physical memory
        . The kernel starts running using physical addressing,
          loaded at a fixed location given in its linker script by the
          bootloader.  All code and data in this phase are linked to
          this fixed low location.
        . It makes a bootstrap pagetable to map itself to a
          fixed high location (also in linker script) and jumps to
          the high address. All code and data then use this high addressing.
        . All code/data symbols linked at the low addresses is prefixed by
          an objcopy step with __k_unpaged_*, so that that code cannot
          reference highly-linked symbols (which aren't valid yet) or vice
          versa (symbols that aren't valid any more).
        . The two addressing modes are separated in the linker script by
          collecting the unpaged_*.o objects and linking them with low
          addresses, and linking the rest high. Some objects are linked
          twice, once low and once high.
        . The bootstrap phase passes a lot of information (e.g. free memory
          list, physical location of the modules, etc.) using the kinfo
          struct.
        . After this bootstrap the low-linked part is freed.
        . The kernel maps in VM into the bootstrap page table so that VM can
          begin executing. Its first job is to make page tables for all other
          boot processes. So VM runs before RS, and RS gets a fully dynamic,
          VM-managed address space. VM gets its privilege info from RS as usual
          but that happens after RS starts running.
        . Both the kernel loading VM and VM organizing boot processes happen
  using the libexec logic. This removes the last reason for VM to
  still know much about exec() and vm/exec.c is gone.

Further Implementation:
        . All segments are based at 0 and have a 4 GB limit.
        . The kernel is mapped in at the top of the virtual address
          space so as not to constrain the user processes.
        . Processes do not use segments from the LDT at all; there are
          no segments in the LDT any more, so no LLDT is needed.
        . The Minix segments T/D/S are gone and so none of the
          user-space or in-kernel copy functions use them. The copy
          functions use a process endpoint of NONE to realize it's
          a physical address, virtual otherwise.
        . The umap call only makes sense to translate a virtual address
          to a physical address now.
        . Segments-related calls like newmap and alloc_segments are gone.
        . All segments-related translation in VM is gone (vir2map etc).
        . Initialization in VM is simpler as no moving around is necessary.
        . VM and all other boot processes can be linked wherever they wish
          and will be mapped in at the right location by the kernel and VM
          respectively.

Other changes:
        . The multiboot code is less special: it does not use mb_print
          for its diagnostics any more but uses printf() as normal, saving
          the output into the diagnostics buffer, only printing to the
          screen using the direct print functions if a panic() occurs.
        . The multiboot code uses the flexible 'free memory map list'
          style to receive the list of free memory if available.
        . The kernel determines the memory layout of the processes to
          a degree: it tells VM where the kernel starts and ends and
          where the kernel wants the top of the process to be. VM then
          uses this entire range, i.e. the stack is right at the top,
          and mmap()ped bits of memory are placed below that downwards,
          and the break grows upwards.

Other Consequences:
        . Every process gets its own page table as address spaces
          can't be separated any more by segments.
        . As all segments are 0-based, there is no distinction between
          virtual and linear addresses, nor between userspace and
          kernel addresses.
        . Less work is done when context switching, leading to a net
          performance increase. (8% faster on my machine for 'make servers'.)
. The layout and configuration of the GDT makes sysenter and syscall
  possible.

profiling related cleanup

. do not declare any data in <minix/profile.h>
. addr check no longer necessary

boot programs gzip/strip changes

as disk space typically isn't a concern when crosscompiling, but
convenience and ability to debug is, change the strip and gzip defaults

. do not strip or gzip the binaries when crosscompiling

this makes it faster to rebuild and restart a compiled system, with
debugging info if so desired.

Add entry in fstab and let the mount system call start devman.

After this commit you will need an additional entry in fstab for
the /sys file system (see docs/UPDATING).

Allow to specify the rslabel to use for a file system.

When a file system is mounted some heuristics are used to define
a RS label for that system. This commit allows to specify the
label to use in an optional mount argument using either
mount -o rslabel=fs_myfs or as a mount option in fstab.

This can be used to start services that later also need to be
accessed directly.

Fixes for mount -a.

* Display an error message upon failure to mount a device.
* Handle a special case when the source device is "none"
* pass the mount options stored in fourth field of fstab
  to mount(3).

Add a /sys entry to minix.mtree

Cleanup minix.mtree.

Use consistent indenting and sort entries alphabetically.

devmand call the cleanup method before doing an exit.

Call the cleanup mehtod before doing an exit to prevent stale pid
files.

don't leave _VCS_REVISION in

align messages

Has a small but measurable performance improvement.

various symbol referencing fixes

make weak symbol references and namespace renames references
the renamed versions.

function renaming, weak symbol references and libc namespace.h
protection interact in hairy ways and causes weak symbol references
for renamed functions to be unresolved; e.g. vfork should be an
alias for _vfork but _vfork doesn't exist because __vfork14()
exists.

this is a problem for dynamically linked executables as all symbols
have to be resolved, used or not, at link time. it was masked by
clang-compiled base system libraries but is a problem when gcc does
it.

libvassert: don't build shared lib

releasetools: use build system macros

xz: add libc dependency

ld.so: be more mmap()-behaviour-independent

. if the layout of virtual address regions as returned
  by mmap() without a location hint changes, ld.so could
  trip itself up (under minix). this change allocates
  the full size it needs for every object that's loaded
  so that if that succeeds, it's sure there's virtual address
  space for the whole thing no matter what other bits happen
  to be there already.

. this fix exposed a bug in the test; at atexit() execution
  time the loaded object is unmapped, so that part of the
  test is removed.

fetch.sh: serve tarballs ourselves

And use the original sources as backup.

Import lib{mpc,gmp,mpfr}

This decreases external dependencies for crosscompilation. Note that
these libraries are not built nor used by Minix itself.

Furthermore, the shell scripts that download the tarballs for these
libraries, gcc, binutils, and gmake now also support curl in addition
to wget.

sed: unbreak crosscompilation