mk.conf: workaround for pkgin sourcing it

Change-Id: Ie01c5781ff3372d6415bc8878270002988320c56

mkfs.mfs: various programs

Split in as many programs as needed to support various variants of MFS
Manual page updated (in mandoc format)

mkfs reloaded

* restored the zone>block stuff
* generalized the support for more-than-1-block bitmaps to also deal
  with big inodes maps in small blocks
* improved pexit() to printf-like syntax; also replaced pexit() with
  err() or errx() where there are no reference to proto lines
* unified the allocation of blocks to all use alloc_block() instead
  of raw malloc half of the time
* removed the V2_ d2_ etc. prefixes which are obscure and obsolete

While here, also
* used new-form definitions, and closer to KNF style in general
* used often-built-ins such as mem* or strncpy where relevant
* pruned a fair amount of constants which are irrelevant

Thanks to Thomas V. and Lionel who did a good amount of work with the
cross-compilation stuff and made that change to be much smoother.

kernel, random: adaptive entropy gathering

kernel: stop gathering timestamps once the bin is full per interrupt

random: once seeded, retrieve new entropy at a lower rate

Change-Id: I4ce6081d39274728d82c6889686d1650cfd5fc2e

libsys: panic hook feature

. vfs: use it to dump threads stacks

Change-Id: I7ae3521fc153a407505f11049629e6d4142cf7c7

kernel ipc debug: various fixes

. add receive hooks in the kernel to print asynchronously
  delivered messages
. do not rely on MF_REPLY_PEND to decide between calls and errors,
  as that isn't reliable for asynchronous messages; try both instead
. add _sendcall() that extract-mfield.sh can then reliably recognize
  the fields for messages that are sent with just send()
. add DEBUG_DUMPIPC_NAMES to restrict printed messages to
  from/to given process names

Change-Id: Ia65eb02a69a2b58e73bf9f009987be06dda774a3

tty: non-overlapping code for FKEY_CONTROL

. to decode it in kernel/debug.c

Change-Id: I0d2cc66e87d97a362fa549b364b4d1b0e1225e66

build:Updated proto.dev from mkproto -s /dev

proto.dev was missing some entries and is currently used as base version for
the ARM root file system.

ARM:Rename ARM_BIG_PAGE to ARM_SECTION.

The natural term to use when talking about MINIX big pages on ARM
is SECTION. A section is a level 1 page table entry pointing to
a 1MB area.

Change-Id: I9bd27ca99bc772126c31c27a537b1415db20c4a6

mkfs.mfs: double indirect block support

. allows >4MB files for default 4k block size

Change-Id: I09277fc3704fac1a44af82202c11435dc7ae8d55

ext2: annotate cache blocks with inode metadata

. allows mmap() to work on it

Change-Id: I33af8b86ebb408d971478d00ed2caacf15afc7a5

libminixfs, mfs, ext2: may re-evaluate cache size

libminixfs may now be informed of changes to the block usage on the
filesystem. if the net change becomes big enough, libminixfs may
resize the cache based on the new usage.

. update the 2 FSes to provide this information to libminixfs

Change-Id: I158815a11da801fd5572a8de89c9e6c039b82650

libelf:use self hosted m4.

Change-Id: Ia836aa6c43d7ccbb02047e63424923fdc74eb42d

toproto:convert special execute bits to chars

Convert the special execute bits of the METALOG file mode entries into mkfs.mfs
compatible u and g flags.

VFS: Implement REQ_BPEEK.

This commit introduces a new request type called REQ_BPEEK. It
requests minor device blocks from the FS.  Analogously to REQ_PEEK,
it requests the filesystem to get the requested blocks into its
cache, without actually copying the result anywhere.

Change-Id: If1d06645b0e17553a64b3167091e9d12efeb3d6f

libexec: mmap support, prealloc variants

In libexec, split the memory allocation method into cleared and
non-cleared. Cleared gives zeroed memory, non-cleared gives 'junk'
memory (that will be overwritten anyway, and so needn't be cleared)
that is faster to get.

Also introduce the 'memmap' method that can be used, if available,
to map code and data from executables into a process using the
third-party mmap() mode.

Change-Id: I26694fd3c21deb8b97e01ed675dfc14719b0672b

MFS: annotate cache blocks with inode metadata

. use lmfs_* cache functions that provide the cache with inode
  metadata whenever applicable, i.e. tell the cache code which
  inode number and in-inode offset a particular cache block
  corresponds to.
. needed for mmap implementation

Change-Id: Ic7d3c0c49029880f86a31368278722e907bc2896

vm: new secondary cache code

Primary purpose of change: to support the mmap implementation, VM must
know both (a) about some block metadata for FS cache blocks, i.e.
inode numbers and inode offsets where applicable; and (b) know about
*all* cache blocks, i.e.  also of the FS primary caches and not just
the blocks that spill into the secondary one. This changes the
interface and VM data structures.

This change is only for the interface (libminixfs) and VM data
structures; the filesystem code is unmodified, so although the
secondary cache will be used as normal, blocks will not be annotated
with inode information until the FS is modified to provide this
information. Until it is modified, mmap of files will fail gracefully
on such filesystems.

This is indicated to VFS/VM by returning ENOSYS for REQ_PEEK.

Change-Id: I1d2df6c485e6c5e89eb28d9055076cc02629594e

VM: memtype fix

Memory types in VM are described by methods. Each mapped region has
a type, and all pages instantiated get that type on creation.
Individual page types has to be able to change though. This commit
changes the code to use the memory types of the individual pages,
where appropriate, instead of just the higher-level region, in case
it has changed. This is needed to e.g. support future copy-on-write
MAP_PRIVATE mmap modes.

Change-Id: I5523db14ac036ec774a54392fb67f9acb8725731

VM: 64-bit mmap()

Some (backwards-compatible) changes in mmap() call message fields
that allow for a 64-bit offset. minix_mmap() takes an off_t and
minix_mmap64() takes a u64_t. Some mmap() work in VM goes into a
separate function, using the new fields, so that that can be re-used
when files are to be mapped (future commit).

Change-Id: Ifb77a90b593dd3c33cf81b396068e4da1ec5fb1c

filesystems: return ENOSYS for REQ_PEEK

The filesystems already implement REQ_PEEK, but do not fully
use the new filesystem cache code yet. (Because it isn't committed
yet..) REQ_PEEK should be disabled for them until they do.

This indicates to VFS that they are not annotating their cache
blocks (in VM) with inode number/offset info, and therefore mmap()
shouldn't succeed on any of their files. (Most importantly exec()
won't fallback elegantly otherwise.)

Change-Id: Ic57ee422864b4bbc031eadba32973270907b02fd

vm: remove secondary cache code

This commit removes the secondary cache code implementation from
VM and its usage from libminixfs. It is to be replaced by a new
implementation.

Change-Id: I8fa3af06330e7604c7e0dd4cbe39d3ce353a05b1

Change function prototype to use endpoint_t instead of int

build:refactor arm_sdimage.sh as to no longer require root.

There where two reasons for needing root access while making ARM builds. The
first reason was that we needed root permissions to create device nodes and
assign permissions to files. The second reason we needed root was that we used
loop mounted files to copy the build output to the file backed storage.

The first problem is solved by building in unprivileged mode (adding -U) during
compilation. The second problem is solved by using mcopy to put files on the
fat partition and use the mkfs.mfs proto files to create MFS file system.

Future work might be to replace this script by the netbsd makefs tool.

Change-Id: Ibba61d4cad053f7c1ede26169d5214065a4939d8

build:add tool to convert from METALOG to proto files.

Change-Id: I5c4e15b1a2bac5a4ca3a0530f8d6aa2643ac720a

build:add script to sort netbsd sets and sort minix/mi.

Change-Id: I309d8bbcfe2f5b6d5e1ae7626422c4402985ad1d

run script:return 1 upon test failure.

Change-Id: If3c9d636a04da7f7b4098b58d29c492c664dab1a

many new tests

. test70: regression test for m_out vfs race condition

The following tests use testcache.c to generate test i/o
patterns, generate random write data and verify the reads.

. test71: blackbox full-stack test of FS operation, testing
  using the regular VFS interface crazy i/o patterns
  with various working set sizes, triggering only
  primary cache, also secondary cache, and finally
  disk i/o and verifying contents all the time
. test72: unit test of libminixfs, implementing
  functions it needs from -lsys and -lblockdriver
  and the client in order to simulate a working
  cache client and backend environment.
. test73: blackbox test of secondary vm cache in isolation

Change-Id: I1287e9753182b8719e634917ad158e3c1e079ceb

vfs: fix null deref, pfs: add fchmod()

. vfs read_only() assumes vnode->v_vmnt is non-NULL, but it can
  be NULL sometimes
. e.g. fchmod() on UDS triggered NULL deref; add a check and
  add REQ_CHMOD to pfs so unix domain sockets can be fchmod()ded
. add to test56

Change-Id: I83c840f101b647516897cc99fcf472116d762012

mkfs.mfs:add comment about the overflow check.

Change-Id: I1f09c3a62377164296037f6dc9b7874023123311

mkfs.mfs:fix to allow to fill larger file systems.

Allow the number of written blocks to exceed 8 * block_size.

Change-Id: I301ce46a92d86c6220c3af2acee22db26a4b4496

mkfs.mfs:remove MFS V1 related headers.

Change-Id: I46a8128f54112ee0092ef60160d88cadd0038be0

mkfs.mfs:remove some globals

Remove the gobal inocount, zonecount and blockcount.

Change-Id: I77d120bb79bcf183e0c6b5abed736343af7badf2

run script: correction, clarity

Change-Id: Ibf583c6277c67646dd90d7c49482daf4e76b78b6

test run: feature for nicer jenkins interaction

. add -l option to list available tests
. add -t option to specify tests to run
. also improve the root check a bit by
  not relying on an environment var
. do not print the human-friendly banner & summary
  if a test list is given to make the test
  results easy to parse

Change-Id: Id0f87d485240b1924d667af788338ae31c3dc94c

tests cleanup

. make common.o link with the tests instead of being
  #included as common.c
. fix warnings about missing prototypes by declaring functions
  static
. reduces some duplicated code

Change-Id: Ic2a765d7f5886add5863190efec3fdd2d2ea2137

vfs: make m_out non-global

m_out is shared between threads as the reply message, and it can happen
results get overwritten by another thread before the reply is sent. This
change

. makes m_out local to the message handling function,
  declared on the stack of the caller
. forces callers of reply() to give it a message, or
  declare the reply message has no significant fields except
  for the return code by calling replycode()

Change-Id: Id06300083a63c72c00f34f86a5c7d96e4bbdf9f6

rs232: remove unneeded lock()/unlock() functions

Change-Id: Ie1d2a7f460132aa59791cd7d16c9068b79675f1b

remove utimes() workarounds

With the addition of utimes(), we can remove the workarounds
and use the original NetBSD code for timestamping files.

Also restore use of -p & -r for install while building

Add tests for utime*s() functions

utimens(2) system call

Variant of utime(2) with struct timespec (with ns precision)
instead of time_t values; also allows for tv_nsec members
the values UTIME_NOW (force update to current time) or
UTIME_OMIT (allow to set either atim or mtim independently.)

Provides a superset of utimes(2), futimes(2), lutimes(2),
and futimens(2).
Provides the same subset of utimensat(2) as does NetBSD 6.
Also import utimens() and lutimeNS() from NetBSD-current.

cleanup:misc documentation fix.

arm_sdimage:hide non fatal errors.

Redirect the output of the command that are supposed to fail to
/dev/null.

arm:cleanup add assert.

arm:cleanup omap serial, remove unused defines.

arm:rs232 fix.

The kernel API for requesting interrupts and the associated callback
have a somewhat strange behaviour. Requesting an interrupts is done
by calling sys_irqsetpolicy using an interrupt and a given id. This
id can be modified by the sys_irqsetpolicy and must be used for
subsequent calls to sys_irqenable/sys_irqdisable. However upon an
incoming call from the kernel NOTIFY_ARG contains the original value
encoded in a set e.g. if  1 << id == true the interrupt was raised.

mmc:Change startup message in rc script.

arm:increase the amount of interrup vectors

Increase the amount of interrup vectors in preparation for the AM335X.

arm:cleanup remove special case memory handling.

We used to load the memory driver above the other modules to allow
the memory driver (ramdisk) to grow. We no longer want or need this
this as we have a working mmc driver.

Reducing external/bsd/file differences

Change-Id: I0d025059ba0b200ac1162ea5a764fd756600ecd0

Also apply sub-second UTIME to libpuffs

Subsecond timestamps support for FS

Expand REQ_UTIME to include tv_nsec members
(as in struct timespec) in addition to tv_sec==time_t

Designed with help from David van Moolenbroek

Libpuffs: use struct timespec instead of time_t

sys/stat.h: better align with NetBSD-current

make minix lwip make explicit use of 'int'

makes lwip use "unsigned int" instead of "unsigned" since this is
more obvious (i.e. type is not implied).

Change-Id: I852eb80484516e1235241d55be3e15174fa24109

Downgrading to netbsd zlib version

Change-Id: I83cf73d8357ea34ab5e49fe15bd4c45ce54cac01

Removing include/minix/limits.h

This files defines two constants which are only used through
sys/syslimits. So they where moved there instead of including the file
and it was removed.

Change-Id: Iba3d220144dddf5d6411a6c66e2f223a1aafb50f

Adding missing dependency on libraries for hdboot

 * Also cleanup a bit the makefile.
 * Also removing small inconsistency for arm builds where log would be
   skipped if doing a make hdboot, but not when cross-compiling.

Change-Id: Ic9e20655234a667ea8a967d05589d4df46c2d521

tests/run: add test69 to setuids.

test69 requires superuser powers to adjust the time. This caused
the test to fail when run as a normal user. The patch adds test69
to the setuid list which will allow regular users to execute it.

Patch contributed by Antoine Leca.

Importing usr.sbin/rdate

Import the NetBSD rdate command and remove the Minix rdate command.
The default behaviour for both is the same. The NetBSD version adds
options to just display the time, adjust the time using adjtime(),
and set the time without printing the time.

Porting Notes:
 - Compiles cleanly out of the box without any warnings
 - Path changes from /usr/bin/rdate to /usr/sbin/rdate
 - checked pkgsrc for any usages of rdate (none found)
 - checked src for any usages of rdate (none found)

Testing:
 - all command line options work (tested with time.nist.gov server)
 - Native and cross build OK

Change-Id: I613449763891a896527f337999c006a970c3924c

etcfiles: Improve the "install" message

Importing usr.bin/ftp

top: a few fixes

. fixed overflow in ticks compare function, causing
  occasionally esp. the kernel to be mis-ordered by cpu
  time
. fixed some const string related warnings
. fixed some variable name shadowing warnings

Change-Id: I02c177b1579bce164372f9b03f6b472537cc9e3e

Remove obsolete warning in sys/sys/sysctl header

Change-Id: Idb9b10922d00d4b3886c8247f352cc4ec5fe17b4

inet: silence message about exceptions

. inet: silence message about exceptions not being implemented
  for select(UDP)

This message generates a lot of noise with openntpd. Hide it unless DEBUG is
turned on.

Change-Id: I1527a9ca2583601d6087456062b4f675c80dd711

libc: add adjtime() system call.

Implement the adjtime() system call and add a test for it to test69.
Additionally, install the adjtime.2 and clock_*.2 man pages.

libc: add clock_settime() system call.

This also adds the sys_settime() kernel call which allows for the adjusting
of the clock named realtime in the kernel. The existing sys_stime()
function is still needed for a separate job (setting the boottime). The
boottime is set in the readclock driver. The sys_settime() interface is
meant to be flexible and will support both clock_settime() and adjtime()
when adjtime() is implemented later.

settimeofday() was adjusted to use the clock_settime() interface.

One side note discovered during testing: uptime(1) (part of the last(1)),
uses wtmp to determine boottime (not Minix's times(2)). This leads `uptime`
to report odd results when you set the time to a time prior to boottime.
This isn't a new bug introduced by my changes. It's been there for a while.

test69: add clock_getres() and clock_gettime() tests.

libc: add clock_getres()/clock_gettime() system calls.

In order to make it more clear that ticks should be used for timers
and realtime should be used for timestamps / displaying the date/time,
getuptime() was renamed to getticks() and getuptime2() was renamed to
getuptime().

Servers, drivers, libraries, tests, etc that use getuptime()/getuptime2()
have been updated. In instances where a realtime was calculated, the
calculation was changed to use realtime.

System calls clock_getres() and clock_gettime() were added to PM/libc.

kernel: rename realtime to monotonic, add realtime

Old realtime was used for both timers (where an accurate count of
all ticks is needed) and the system time. In order to implement
adjtime(2), these duties must be separated as changing the time
of day by a small amount shouldn't affect timers in any way nor
should it change the boot time.

Following the naming of the clocks used by clock_gettime(2). The
clock named 'realtime' will represent the best guess at the
current wall clock time, and the clock named 'monotonic' will
represent the absolute time the system has been running.
Use monotonic for timers in kernel and in drivers. Use realtime
for determining time of day, dates, etc.

This commit simply renames realtime to monotonic and adds a new
tick counter named realtime. There are no functional changes in
this commit. It just lays the foundation for future work.

some etc fixes

. split user-editable and system-owned files in etc/Makefile
. mtab is a symlink, not a file now; remove it
. force-install of certain system-controlled /etc files from
  top Makefile
. rename /etc/make.conf to /etc/mk.conf; and don't set $ARCH;
  reduce difference in bsd.own.mk

Change-Id: I9f4bbb8d37ba80cba7dcfcf1a9a89e934910f579

mkfs.mfs fixup

 For the special case of crossbuilding minix on minix.

etc: force system.conf install

Change-Id: I5f88b108248fb3cee457de8a2f2baa2f30b0a335

lwip (inet's alternative) is compiled by default

core is not cleaned in libraries

- according to Lionel, no such files are generated

- it conflicts with the core subdirectory in liblwip

LWIP - avoid an assert when a driver restarts

LWIP - avoid crash when an unknown driver come up

LWIP - fixed TCP panic when shutting down

- listening sockets do not handle some callbacks

LIBLWIP - ARP fix

- does not crash KVM anymore

LWIP - fixed makefiles

- Modified libnetsock/Makefile and servers/lwip/Makefile to
  include ipvX headers

Signed-off-by: Tomas Hruby <tom@minix3.org>

LIBLWIP - updated to LwIP trunk

commit a4a41b9023ef5b3a7c4a1cd82fb167fc63e706df
Author: goldsimon <goldsimon@gmx.de>
Date:   Wed Sep 26 21:50:42 2012 +0200

- This also brings in LwIP's IPv6 codebase

Signed-off-by: Tomas Hruby <tom@minix3.org>

LIBLWIP - fixed clang warnings

Importing usr.bin/from

Importing usr.bin/whatis

- LSC: fixed missing entry in minix/mi

Change-Id: I5766dd72819e3b15ef24ab49c5ee3a5aa42049c4

Importing usr.bin/head

include/paths.h: correct _PATH_MAILDIR

Importing NetBSD banner

VFS: wikify README

Change-Id: I746f7c8ddabd1e047b8d536df14586c5b1594d55

vfs: coredump fix: write zeroes for missing memory

Move MINIX reboot definitions into minix/reboot.h

Also fix a buffer overflow in commands/reboot/sh_wall.c.

Change-Id: I3a61057c4f0221d1700e14d44520b4ad17f1dbe1

Rename "struct partition" to "struct part_geom"

Change-Id: Ifaf9795ba70f5b933599b2a6ec9415e6bd13200c

release.sh: pkg_install should be installed 1st

pkgin now depends on pkg_install. If pkg_install appears after pkgin
in PREINSTALLED_PACKAGES, there will be an error because pkg_install
was installed as a dependency for pkgin.

packages.install: remove obsolete minix-all pkg.

The minix-all package was placed by the pkgin_all command.

Importing usr.bin/cal

Importing usr.bin/yes

Change-Id: Ia76d7ce9c6b2bf7523d2ecbc6470e3e1e7ab5ee5

Importing usr.bin/who

VM: ARM/I386 PDE/PTE macro unification

. further reduces special cases in pagetable.c

Change-Id: Ifd7dd9ee10ca618a47bb4a372467205fbe6da90e

Importing bin/ksh

Change the group of ast to users instead of others

Change-Id: I3c92554f209fa39597e55a6b407dddd447111f2f

Adapt ARM print macro to match used types

Change-Id: I987c669dce30d97ff67e33a50106a07163f7d7f1