filesystems: return ENOSYS for REQ_PEEK

The filesystems already implement REQ_PEEK, but do not fully
use the new filesystem cache code yet. (Because it isn't committed
yet..) REQ_PEEK should be disabled for them until they do.

This indicates to VFS that they are not annotating their cache
blocks (in VM) with inode number/offset info, and therefore mmap()
shouldn't succeed on any of their files. (Most importantly exec()
won't fallback elegantly otherwise.)

Change-Id: Ic57ee422864b4bbc031eadba32973270907b02fd

vm: remove secondary cache code

This commit removes the secondary cache code implementation from
VM and its usage from libminixfs. It is to be replaced by a new
implementation.

Change-Id: I8fa3af06330e7604c7e0dd4cbe39d3ce353a05b1

Change function prototype to use endpoint_t instead of int

build:refactor arm_sdimage.sh as to no longer require root.

There where two reasons for needing root access while making ARM builds. The
first reason was that we needed root permissions to create device nodes and
assign permissions to files. The second reason we needed root was that we used
loop mounted files to copy the build output to the file backed storage.

The first problem is solved by building in unprivileged mode (adding -U) during
compilation. The second problem is solved by using mcopy to put files on the
fat partition and use the mkfs.mfs proto files to create MFS file system.

Future work might be to replace this script by the netbsd makefs tool.

Change-Id: Ibba61d4cad053f7c1ede26169d5214065a4939d8

build:add tool to convert from METALOG to proto files.

Change-Id: I5c4e15b1a2bac5a4ca3a0530f8d6aa2643ac720a

build:add script to sort netbsd sets and sort minix/mi.

Change-Id: I309d8bbcfe2f5b6d5e1ae7626422c4402985ad1d

run script:return 1 upon test failure.

Change-Id: If3c9d636a04da7f7b4098b58d29c492c664dab1a

many new tests

. test70: regression test for m_out vfs race condition

The following tests use testcache.c to generate test i/o
patterns, generate random write data and verify the reads.

. test71: blackbox full-stack test of FS operation, testing
  using the regular VFS interface crazy i/o patterns
  with various working set sizes, triggering only
  primary cache, also secondary cache, and finally
  disk i/o and verifying contents all the time
. test72: unit test of libminixfs, implementing
  functions it needs from -lsys and -lblockdriver
  and the client in order to simulate a working
  cache client and backend environment.
. test73: blackbox test of secondary vm cache in isolation

Change-Id: I1287e9753182b8719e634917ad158e3c1e079ceb

vfs: fix null deref, pfs: add fchmod()

. vfs read_only() assumes vnode->v_vmnt is non-NULL, but it can
  be NULL sometimes
. e.g. fchmod() on UDS triggered NULL deref; add a check and
  add REQ_CHMOD to pfs so unix domain sockets can be fchmod()ded
. add to test56

Change-Id: I83c840f101b647516897cc99fcf472116d762012

mkfs.mfs:add comment about the overflow check.

Change-Id: I1f09c3a62377164296037f6dc9b7874023123311

mkfs.mfs:fix to allow to fill larger file systems.

Allow the number of written blocks to exceed 8 * block_size.

Change-Id: I301ce46a92d86c6220c3af2acee22db26a4b4496

mkfs.mfs:remove MFS V1 related headers.

Change-Id: I46a8128f54112ee0092ef60160d88cadd0038be0

mkfs.mfs:remove some globals

Remove the gobal inocount, zonecount and blockcount.

Change-Id: I77d120bb79bcf183e0c6b5abed736343af7badf2

run script: correction, clarity

Change-Id: Ibf583c6277c67646dd90d7c49482daf4e76b78b6

test run: feature for nicer jenkins interaction

. add -l option to list available tests
. add -t option to specify tests to run
. also improve the root check a bit by
  not relying on an environment var
. do not print the human-friendly banner & summary
  if a test list is given to make the test
  results easy to parse

Change-Id: Id0f87d485240b1924d667af788338ae31c3dc94c

tests cleanup

. make common.o link with the tests instead of being
  #included as common.c
. fix warnings about missing prototypes by declaring functions
  static
. reduces some duplicated code

Change-Id: Ic2a765d7f5886add5863190efec3fdd2d2ea2137

vfs: make m_out non-global

m_out is shared between threads as the reply message, and it can happen
results get overwritten by another thread before the reply is sent. This
change

. makes m_out local to the message handling function,
  declared on the stack of the caller
. forces callers of reply() to give it a message, or
  declare the reply message has no significant fields except
  for the return code by calling replycode()

Change-Id: Id06300083a63c72c00f34f86a5c7d96e4bbdf9f6

rs232: remove unneeded lock()/unlock() functions

Change-Id: Ie1d2a7f460132aa59791cd7d16c9068b79675f1b

remove utimes() workarounds

With the addition of utimes(), we can remove the workarounds
and use the original NetBSD code for timestamping files.

Also restore use of -p & -r for install while building

Add tests for utime*s() functions

utimens(2) system call

Variant of utime(2) with struct timespec (with ns precision)
instead of time_t values; also allows for tv_nsec members
the values UTIME_NOW (force update to current time) or
UTIME_OMIT (allow to set either atim or mtim independently.)

Provides a superset of utimes(2), futimes(2), lutimes(2),
and futimens(2).
Provides the same subset of utimensat(2) as does NetBSD 6.
Also import utimens() and lutimeNS() from NetBSD-current.

cleanup:misc documentation fix.

arm_sdimage:hide non fatal errors.

Redirect the output of the command that are supposed to fail to
/dev/null.

arm:cleanup add assert.

arm:cleanup omap serial, remove unused defines.

arm:rs232 fix.

The kernel API for requesting interrupts and the associated callback
have a somewhat strange behaviour. Requesting an interrupts is done
by calling sys_irqsetpolicy using an interrupt and a given id. This
id can be modified by the sys_irqsetpolicy and must be used for
subsequent calls to sys_irqenable/sys_irqdisable. However upon an
incoming call from the kernel NOTIFY_ARG contains the original value
encoded in a set e.g. if  1 << id == true the interrupt was raised.

mmc:Change startup message in rc script.

arm:increase the amount of interrup vectors

Increase the amount of interrup vectors in preparation for the AM335X.

arm:cleanup remove special case memory handling.

We used to load the memory driver above the other modules to allow
the memory driver (ramdisk) to grow. We no longer want or need this
this as we have a working mmc driver.

Reducing external/bsd/file differences

Change-Id: I0d025059ba0b200ac1162ea5a764fd756600ecd0

Also apply sub-second UTIME to libpuffs

Subsecond timestamps support for FS

Expand REQ_UTIME to include tv_nsec members
(as in struct timespec) in addition to tv_sec==time_t

Designed with help from David van Moolenbroek

Libpuffs: use struct timespec instead of time_t

sys/stat.h: better align with NetBSD-current

make minix lwip make explicit use of 'int'

makes lwip use "unsigned int" instead of "unsigned" since this is
more obvious (i.e. type is not implied).

Change-Id: I852eb80484516e1235241d55be3e15174fa24109

Downgrading to netbsd zlib version

Change-Id: I83cf73d8357ea34ab5e49fe15bd4c45ce54cac01

Removing include/minix/limits.h

This files defines two constants which are only used through
sys/syslimits. So they where moved there instead of including the file
and it was removed.

Change-Id: Iba3d220144dddf5d6411a6c66e2f223a1aafb50f

Adding missing dependency on libraries for hdboot

 * Also cleanup a bit the makefile.
 * Also removing small inconsistency for arm builds where log would be
   skipped if doing a make hdboot, but not when cross-compiling.

Change-Id: Ic9e20655234a667ea8a967d05589d4df46c2d521

tests/run: add test69 to setuids.

test69 requires superuser powers to adjust the time. This caused
the test to fail when run as a normal user. The patch adds test69
to the setuid list which will allow regular users to execute it.

Patch contributed by Antoine Leca.

Importing usr.sbin/rdate

Import the NetBSD rdate command and remove the Minix rdate command.
The default behaviour for both is the same. The NetBSD version adds
options to just display the time, adjust the time using adjtime(),
and set the time without printing the time.

Porting Notes:
 - Compiles cleanly out of the box without any warnings
 - Path changes from /usr/bin/rdate to /usr/sbin/rdate
 - checked pkgsrc for any usages of rdate (none found)
 - checked src for any usages of rdate (none found)

Testing:
 - all command line options work (tested with time.nist.gov server)
 - Native and cross build OK

Change-Id: I613449763891a896527f337999c006a970c3924c

etcfiles: Improve the "install" message

Importing usr.bin/ftp

top: a few fixes

. fixed overflow in ticks compare function, causing
  occasionally esp. the kernel to be mis-ordered by cpu
  time
. fixed some const string related warnings
. fixed some variable name shadowing warnings

Change-Id: I02c177b1579bce164372f9b03f6b472537cc9e3e

Remove obsolete warning in sys/sys/sysctl header

Change-Id: Idb9b10922d00d4b3886c8247f352cc4ec5fe17b4

inet: silence message about exceptions

. inet: silence message about exceptions not being implemented
  for select(UDP)

This message generates a lot of noise with openntpd. Hide it unless DEBUG is
turned on.

Change-Id: I1527a9ca2583601d6087456062b4f675c80dd711

libc: add adjtime() system call.

Implement the adjtime() system call and add a test for it to test69.
Additionally, install the adjtime.2 and clock_*.2 man pages.

libc: add clock_settime() system call.

This also adds the sys_settime() kernel call which allows for the adjusting
of the clock named realtime in the kernel. The existing sys_stime()
function is still needed for a separate job (setting the boottime). The
boottime is set in the readclock driver. The sys_settime() interface is
meant to be flexible and will support both clock_settime() and adjtime()
when adjtime() is implemented later.

settimeofday() was adjusted to use the clock_settime() interface.

One side note discovered during testing: uptime(1) (part of the last(1)),
uses wtmp to determine boottime (not Minix's times(2)). This leads `uptime`
to report odd results when you set the time to a time prior to boottime.
This isn't a new bug introduced by my changes. It's been there for a while.

test69: add clock_getres() and clock_gettime() tests.

libc: add clock_getres()/clock_gettime() system calls.

In order to make it more clear that ticks should be used for timers
and realtime should be used for timestamps / displaying the date/time,
getuptime() was renamed to getticks() and getuptime2() was renamed to
getuptime().

Servers, drivers, libraries, tests, etc that use getuptime()/getuptime2()
have been updated. In instances where a realtime was calculated, the
calculation was changed to use realtime.

System calls clock_getres() and clock_gettime() were added to PM/libc.

kernel: rename realtime to monotonic, add realtime

Old realtime was used for both timers (where an accurate count of
all ticks is needed) and the system time. In order to implement
adjtime(2), these duties must be separated as changing the time
of day by a small amount shouldn't affect timers in any way nor
should it change the boot time.

Following the naming of the clocks used by clock_gettime(2). The
clock named 'realtime' will represent the best guess at the
current wall clock time, and the clock named 'monotonic' will
represent the absolute time the system has been running.
Use monotonic for timers in kernel and in drivers. Use realtime
for determining time of day, dates, etc.

This commit simply renames realtime to monotonic and adds a new
tick counter named realtime. There are no functional changes in
this commit. It just lays the foundation for future work.

some etc fixes

. split user-editable and system-owned files in etc/Makefile
. mtab is a symlink, not a file now; remove it
. force-install of certain system-controlled /etc files from
  top Makefile
. rename /etc/make.conf to /etc/mk.conf; and don't set $ARCH;
  reduce difference in bsd.own.mk

Change-Id: I9f4bbb8d37ba80cba7dcfcf1a9a89e934910f579

mkfs.mfs fixup

 For the special case of crossbuilding minix on minix.

etc: force system.conf install

Change-Id: I5f88b108248fb3cee457de8a2f2baa2f30b0a335

lwip (inet's alternative) is compiled by default

core is not cleaned in libraries

- according to Lionel, no such files are generated

- it conflicts with the core subdirectory in liblwip

LWIP - avoid an assert when a driver restarts

LWIP - avoid crash when an unknown driver come up

LWIP - fixed TCP panic when shutting down

- listening sockets do not handle some callbacks

LIBLWIP - ARP fix

- does not crash KVM anymore

LWIP - fixed makefiles

- Modified libnetsock/Makefile and servers/lwip/Makefile to
  include ipvX headers

Signed-off-by: Tomas Hruby <tom@minix3.org>

LIBLWIP - updated to LwIP trunk

commit a4a41b9023ef5b3a7c4a1cd82fb167fc63e706df
Author: goldsimon <goldsimon@gmx.de>
Date:   Wed Sep 26 21:50:42 2012 +0200

- This also brings in LwIP's IPv6 codebase

Signed-off-by: Tomas Hruby <tom@minix3.org>

LIBLWIP - fixed clang warnings

Importing usr.bin/from

Importing usr.bin/whatis

- LSC: fixed missing entry in minix/mi

Change-Id: I5766dd72819e3b15ef24ab49c5ee3a5aa42049c4

Importing usr.bin/head

include/paths.h: correct _PATH_MAILDIR

Importing NetBSD banner

VFS: wikify README

Change-Id: I746f7c8ddabd1e047b8d536df14586c5b1594d55

vfs: coredump fix: write zeroes for missing memory

Move MINIX reboot definitions into minix/reboot.h

Also fix a buffer overflow in commands/reboot/sh_wall.c.

Change-Id: I3a61057c4f0221d1700e14d44520b4ad17f1dbe1

Rename "struct partition" to "struct part_geom"

Change-Id: Ifaf9795ba70f5b933599b2a6ec9415e6bd13200c

release.sh: pkg_install should be installed 1st

pkgin now depends on pkg_install. If pkg_install appears after pkgin
in PREINSTALLED_PACKAGES, there will be an error because pkg_install
was installed as a dependency for pkgin.

packages.install: remove obsolete minix-all pkg.

The minix-all package was placed by the pkgin_all command.

Importing usr.bin/cal

Importing usr.bin/yes

Change-Id: Ia76d7ce9c6b2bf7523d2ecbc6470e3e1e7ab5ee5

Importing usr.bin/who

VM: ARM/I386 PDE/PTE macro unification

. further reduces special cases in pagetable.c

Change-Id: Ifd7dd9ee10ca618a47bb4a372467205fbe6da90e

Importing bin/ksh

Change the group of ast to users instead of others

Change-Id: I3c92554f209fa39597e55a6b407dddd447111f2f

Adapt ARM print macro to match used types

Change-Id: I987c669dce30d97ff67e33a50106a07163f7d7f1

VM: pagetable.c: harmonize x86/ARM findhole() code

ARM needs to be able to find N consecutive free slots; use same
code for x86.

Change-Id: Ic79677961c8adfca2aeb5385962942ae0d76867c

VM: pagequeue data structure

. data structure that automatically keeps a set
  of pages in reserve, to replace sparepages and
  possibly re-used in the future for similar situations,
  e.g. if in-filesystem-cache block eviction is
  implemented and FS asks for a new block

Change-Id: I149d46c14b9c8e75df16cb94e08907f008c339a6

Install default users directly

Install /home/ast and /home/bin as part of the system build procedure,
as the setup script is not ran on the arm image.

/home/bin is needed for successful completion of our test suite.

This patch does not change the setup script, as it is not bothered by
those files/directiories being already there, and may be useful during
reinstallation on intel systems.

Change-Id: I358c881df09223c343442673aa0822937f9ea33c

Installing posix tests in /usr/tests/minix-posix

The goal is to enable anyone to simply run our current test suite.

Change-Id: I27d8856cb82a4be2baa5dc5273526383b7f4fc2c

Importing usr.bin/getopt

test56: unlink proper test file

Change-Id: I215f0d00b8e077930c4e93d192553eaf0d2a353f

UDS: terminate canonical path string

When you provided a string with junk after the terminating nul to a
UNIX domain socket and used bind(2), the canonical path function would
not properly terminate the new string. This caused VFS to return
ENAMETOOLONG on an otherwise valid path name.

Test case is added to test56.

Change-Id: I883b6be23d9e4ea13c3cee28cbb3726343df037f

pax: Replace bsdtar.1 by a symlink to tar.1

Change-Id: I4b80080e9420e89525c73f03ed68717fb59c1e40

build:small fixes to arm_sdimage.

* Use the same output directory as was previously the standard.
* Add copying of uEnv and cmdline to the obj directory to allow booting from tftp.
* No longer start qemu at the end of the process.
* Use sudo if the script was called as non root user.

Change-Id: I53143b1ce6633e764d173c3eb883c2efa3e6a5b7

Let the build system manage compilation flags

Do not hardcode warning and optimisation flags, otherwise the
main options (i.e. DBG, CPPFLAGS) will not work as expected.

You can still provide specific default by using DBG?=<value>.

Doing so leaves the opportunity to override the setting from the
commandline, while the default value from the build system is
then ignored for that particular package.

When crosscompiling, and using build.sh, adding -V DBG=<value> has
this same effect as make DBG=<value>.

Change-Id: Ic610e4d33b945acad64571e1431f1814291e2d84

Reduce differences in libgcc Makefiles for ARM

Change-Id: I1b6b18bce063550907aa6e9ea2061e12b0855de4

ASH: Fix clean target.

Also include code generators in the cleaning targets.

Change-Id: Ic1eeece5152f2b13a0357363d5e902b182022fdf

kernel, ramdisk: some boot unification

To use the new SD building script, Linux has to be configured with
loop.max_part=15 on the command line (or set at module load time)
to make the loopback device see the partitions.

This commit removes a lot of differences between the ARM and x86
boot ramdisk and rc scripts. It changes the ARM build from running
from ramdisk to requiring a full filesystem on the SD image and
booting into it.

. ramdisk: remove some arm-only utilities only used for running
  from the shell
. remove ARM-only rc.arm, proto.arm.small, ttys and mylogin.sh
  boot-time ramdisk files
. change kernel to add "arch" variable so userland knows what
  we're running on from sysenv
. make ARM use the regular ramdisk rc file, changed to distinguish
  i386-only and ARM-only drivers; requires rootdevname to be set
. change /etc/rc and /usr/etc/rc to start i386-only drivers only on
  i386 systems
. change the kernel/arm to have a special case for the memory
  driver to load it higher so it can be bigger
. add uEnv.txt, cmdline.txt and a for now highly linux-dependent
  SD preparation script arm_sdimage.sh to the git repository in
  releasetools/

Change-Id: I68910ba4e96ee80f7a12b65e48b5d39b43ca6397

Fix signal handling for services on abort/exit

Change-Id: I970a25ae0dd52f0d928fda376296e7b39e3e17eb

VFS, FSes: add REQ_PEEK request type

REQ_PEEK behaves just like REQ_READ except that it does not copy
data anywhere, just obtains the blocks from the FS into the cache.

To be used by the future mmap implementation.

Change-Id: I1b56de304f0a7152b69a72c8962d04258adb44f9

UDS: check connection state better

Select(2)ing on UNIX domain sockets was not working properly because
connection state wasn't properly checked/propagated. So selecting for
a read descriptor and closing the write descriptor on the other end
didn't cause select to return. Similarly, read(2) kept blocking while
it should return an error when the other end closed the socket.

Change-Id: I3f5bb52af1a6b03313d508bf915fc838357ba450

VM: shared memory pagefault fix

. if there is no memory there, it's not writable; this
  check bug by the shared memory's writable() method causes
  pagefaults not to be handled  at all in certain situations,
  triggering an assert() in pt_writemap()
. added some assert()s to catch this and similar situations
  in the future

Change-Id: Ife89bfab4f9a3aa7bf4e33dfb0b13b89dcd5bb94

Spanish keymap with tilde

and several small changes in keymaps, like cleaner
support for extended keypresses (those preceded with E0)

make etcfiles: small fix in Makefile

Keep the MKUNPRIVED=yes stuff with the installation
of master.passwd, i.e. away from make etcfiles

Cleanup: Remove minix.bootprog.mk

The build system distinction between "bootprog" and "service" is
meaningless as boot programs are standard services.

As minix.service.mk simply imports minix.bootprog.mk, reduce confusion
by removing minix.bootprog.mk and placing the rules in minix.service.mk.

Change-Id: I4056b1e574bed59a8c890239b41b1a7c7cad63e8