cli: add timeout support for listen command

Currently 'ubus listen' command does not respect the timeout parameter,
i.e., whether timeout parameter is provided, 'ubus listen' will always
run infinitely. This patch let 'ubus listen' command support the timeout
parameter. For example, 'ubus listen -t 60' will cause the command to
exit after 60 seconds.

Signed-off-by: Zhao, Gang <gang.zhao.42@gmail.com>

cli: static keyword tweak

Function ubus_cli_listen() is called only once, and function uloop_run()
and uloop_done() which need struct ubus_event_handler listener are
called within this function, so it's not needed to mark struct
ubus_event_handler listener as static. The same as pointer struct
ubus_context *ctx in main function.

Global struct commands is only used in this file, so it should be marked
static.

Signed-off-by: Zhao, Gang <gang.zhao.42@gmail.com>

ubus: use network order in ubus message header fields

Changing the ubus message header fields from 'host' order to 'network' order
allows passing ubus messages between hosts with different endianity.

Example use (creating a ubus proxy):

on host A (e.g. big endian router already running ubusd), run:
$ socat TCP-LISTEN:5699,fork UNIX:/var/run/ubus.sock &

On host B (e.g. little endian development PC) run:
$ socat UNIX-LISTEN:/var/run/ubus.sock,fork TCP:<host A IP>:5699 &

Now ubus applications can be run on host B and seamlessly interact with ubus
applications on host A.

Signed-off-by: Eyal Birger <eyal.birger@gmail.com>

libubus.h: marking unused variables

Inform the compiler that the variables are not gona be used to avoid
compiler warnings.

Signed-off-by: Emanuel Taube <emanuel.taube@gmail.com>

libubus.h: add ubus_auto_shutdown()

Add ubus_auto_shutdown function, which ensures any pending uloop_timer is cancelled before calling ubus_shutdown on the context.

This avoids a condition where ubus_shutdown() is called during ubus_auto_connect attempting a reconnection.

Signed-off-by: Ben Kelly <ben@benjii.net>

ubusd: fix a memory leak on user/group client info

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: fix stack leak in ubus method handling

Signed-off-by: Chen Bin <ewolfok@126.com>
Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: add missing NULL pointer checks for ACL processing

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: add null for ubus_context object in ubus_shutdown()

At the moment, we do our own null checks before calling ubus_free().
The likely-hood of 'ctx' being null (in ubus_free()) is low,
but since free() handles null, might make sense for ubus_free() to do so as well.

Signed-off-by: Alexandru Ardelean <ardeleanalex@gmail.com>

ubusd: allow all object access if uid=0 (ignore gid)

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: fix the return code for acl check mismatch

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: simplify/fix avl loop in ubusd_reply_add()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: simplify/fix avl loop in ubusd_acl_check()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: add socket EOF handling to ubus_complete_request()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix error handling during close after partially receiving a message

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: make ACL path configurable on the command line

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: remove a faulty and redundant check

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubus: Correct usage of timeout on poll function

As the man page explains:

"Specifying a timeout of zero causes poll() to return immediately,
even if no file descriptors are ready."

The use of 0 as timeout could cause libubus to busy loop if the
socket was non-blocking. For blocking sockets, this was less
apparent as the subsequent read() would then block.

Signed-off-by: Karl Vogel <karl.vogel@gmail.com>

cli: add monitor support

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: add monitor support

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: add monitor support

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: Fix reverse order processing of pending ubus notifications messages

Append ubus notification messages to the tail of the pending list
so they're processed in the order as they're put onto the pending list

Signed-off-by: Xinxing Hu <xinxing.huchn@gmail.com>
Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

lua: Fix stack imbalance in ubus_event_handler

The value from getglobal wasn't being removed from the stack,
resulting in an ever growing stack in the ubus event handler.

Signed-off-by: Karl Vogel <karl.vogel@gmail.com>
Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

fix off-by-one in acl match iteration

Signed-off-by: John Crispin <blogic@openwrt.org>

unbreak acl allocation

Signed-off-by: John Crispin <blogic@openwrt.org>

fix a copy & paste bug

Signed-off-by: John Crispin <blogic@openwrt.org>

ubusd: fix offset calculation (based on patch by Yang Chao)

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: fix build on non-linux systems without peercred support

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

change socket permission to allow !root users to connect

Signed-off-by: John Crispin <blogic@openwrt.org>

hook acl into ubusd

Signed-off-by: John Crispin <blogic@openwrt.org>

hook acl into libubus

Signed-off-by: John Crispin <blogic@openwrt.org>

add acl code

Signed-off-by: John Crispin <blogic@openwrt.org>

make ubusd load the acl on start and HUP

Signed-off-by: John Crispin <blogic@openwrt.org>

add optional tags to the ubus methos struct and the wrapper macros

Signed-off-by: John Crispin <blogic@openwrt.org>

call openlog on startup

Signed-off-by: John Crispin <blogic@openwrt.org>

make ubus_proto_send_msg_from_blob() none static

Signed-off-by: John Crispin <blogic@openwrt.org>

make ubus_parse_msg() none static

Signed-off-by: John Crispin <blogic@openwrt.org>

make ubusd_send_event() none static

Signed-off-by: John Crispin <blogic@openwrt.org>

pass ubus_msg_buf to callback of internal object

Signed-off-by: John Crispin <blogic@openwrt.org>

remove obseleted validation of key

Signed-off-by: John Crispin <blogic@openwrt.org>

lua: fix memory leak problem

Signed-off-by: Chen Bin <ewolfok@126.com>

cli: flush stdout after printing an event

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubus: Fix memleak in examples/client in case of failure

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

ubus: Fix issues reported by static code analysis tool Klocwork

Signed-off-by: Hans Dedecker <dedeckeh@gmail.com>

libubus: fix processing queued messages after blocking requests

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: expose ubus_connect_ctx() in public API

ubus_connect_ctx() is equivalent to ubus_connect() but accepts a
pointer to a previously allocated ubus_context struct.
ubus_shutdown() is made available as an alternative to ubus_free()
to clean up contexts initialised by ubus_connect_ctx().

Signed-off-by: Delio Brignoli <dbrignoli@audioscience.com>

libubus: define _GNU_SOURCE, needed for O_CLOEXEC

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix build error in examples/server

This fixes build warning:
/ubus.git/examples/server.c: In function 'test_hello_reply':
/ubus.git/examples/server.c:69:6: error: ignoring return value of 'pipe', declared with attribute warn_unused_result [-Werror=unused-result]

Signed-off-by: Zefir Kurtisi <zefir.kurtisi@neratec.com>

libubus: replace __init with __constructor

__init has a naming collision with C++ and prevents ubus_common.h
from being included. Instead, use __constructor as defined from
libubox.

Signed-off-by: Zefir Kurtisi <zefir.kurtisi@neratec.com>

libubus: restore uloop_cancelled on timeout

Context: 1 loop with a single ubus_invoke() that times out calls
uloop_end() which ends the loop, and thus ends the application.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: preserve the received message buffer for incoming invoke calls

Set ctx->msgbuf.data to NULL during the call. If ctx->msgbuf is needed
during the call, a new buffer will be allocated. If not,
ctx->msgbuf.data is restored to the previous value afterwards

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: rework buffer allocation code

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: remove ubus_msghdr_data() by passing in the right data structure pointer

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: use calloc_a for queued msgs to reduce the number of allocations

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix a small memleak in ubus_register_event_handler()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix msgbuf reduction logic during receive

Signed-off-by: Alexandru Ardelean <aa@ocedo.com>
Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: mark ubus socket with close-on-exec

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: use explicit type name in ubus_msghdr_data instead of typeof()

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: move ubus_msghdr_data to libubus-internal.h

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubus: add count test to validate large message sizes

Client creates a string "1 2 3 ... 10000 ...", sends it to the server
along with the maximum number in the string.

Server creates another string like the client sent.

It validates it and, returns strcmp()'s result.

This is loop-ed every 2 seconds.

libubus: fix ubus_invoke() to return err in case ubus_start_request() fails

Seems the UBUS_MAX_MSGLEN is ignored by ubus_invoke(),
and then segfault happens.

This issue is present before this set of patches.

ubusd: replace ubusd_msg_unshare() with ubus_msg_new() to prevent invalid free-ing

The realloc is problematic mostly with large packets, as the pointer changes
so what eventually gets free'd is invalid.
Note that ub ptr param in the  call will be passed on to a ubus_msg_free(),
right after ubus_msg_ref() finishes.

This bug stayed hidden the same way as the bug in libubus writev_retry().
Since the write/sendmsg function can send about ~200k the ubus_msg_enqueue()
call does not get triggered.

libubus: fix writev_retry() function when writing large packets

Seems this bug stayed hidden for a while, because the write/sendmsg function
can send up to ~200k in one send, so it looked at first why there was
some data mismatch.

libubus: add logic to reduce msgbuf data size after 16 small messages

ubus: increase message size limit and make it configurable at build-time

libubus: refactor ubus_context msgbuf data to be dynamically allocated

libubus: fix deferring invoke processing for non-uloop usage

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: always defer processing incoming invoke/unsubscribe/notify if there is a request pending

This fixes recursion problems on config reload in netifd and simplifies
application handling of requests

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

cli: implement wait_for

Allows waiting for one or more objects to appear
Returns instantly if objects are already present

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: forward return codes from lua to ubus

Signed-off-by: Steven Barth <cyrus@openwrt.org>
Tested-by: Luka Perkov <luka@openwrt.org>

libubus: add support for defining a policy mask

This allows sharing a policy array across methods, but masking out
unused entries for individual methods.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: fix processing object method signatures

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: do not use uloop_run() inside ubus_complete_request

Avoid unrelated uloop callbacks by using poll() on the ubus fd instead.

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus-internal: use the __hidden definition from libubox

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: close file descriptor after passing it in the status msg

Simplifies handling of non-deferred requests

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubus: Fix imbalance in lua stack push/pop of values.

The lua getglobal and rawgeti both push a value onto the lua stack,
but they weren't being removed by the ubus_method_handler function,
thus corrupting the lua stack.

In case the specified method wasn't a function, the stack was also
corrupted as the method name remained on the stack.

Signed-off-by: Karl Vogel <karl.vogel@gmail.com>

examples/client: receive data from the passed file descriptor

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

examples/server: send a file descriptor as part of the request to the "hello" method

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: implement file descriptor passing support

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: implement protocol support for passing file descriptors as part of request completion msgs from objects to clients

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

lua: allow methods with no arguments

In C it is possible to have methods without arguments (UBUS_METHOD_NOARG).
Enable support for the same calls in Lua too.

This commit also fixes segfault which can be caused by passing non-table type
where table is expected. The lua_gettablelen() function is called after we have
made sure we are dealing with a table in the first place.

Signed-off-by: Luka Perkov <luka@openwrt.org>

lua: fix whitespaces and typo

Signed-off-by: Luka Perkov <luka@openwrt.org>

add auto (re)connect logic to libubus

Signed-off-by: John Crispin <blogic@openwrt.org>

add Lua bindings for ubus events

It mostly mimick the style of the existing code.

With it and the ubox Lua bindings, you can now send ubus events
through Lua or listen for events (you can register for multiple events
at the same time).

Signed-off-by: Jeff Remy <jeff.remy@gmail.com>

libubus: pull the variable length data array out of struct ubus_msghdr to fix builds with clang

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

ubusd: use umask of 0177 for now to prevent a world- and group-writable unix socket

libubus: Check if remove callback exists before call it

When process unsubscribes then remove callback is called. But it
can be NULL if not defined, so we should check it before we call it.

Signed-off-by: Lukasz Baj <l.baj@radytek.com>

libubus: detect read/write errors and set the eof flag, even if uloop is not used as main event loop

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix publishing objects after reconnect

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

Add a return value to make compiler silent.

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

Fix the condition for stopping the writev_retry.

All iov's were sent only after the last were sent (iov_len == 0). We
could have 'cur_len == 0' if the sent iov's were sent wholly but not all
iov's were sent (how about all but the last).

Signed-off-by: Yousong Zhou <yszhou4tech@gmail.com>

libubus: fix logic inversion for cancelling requests

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

cli: use the new json-c library name

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix deadlock in recursive synchronous ubus requests

When synchronous request completion loops are running, the innermost
loop can receive events that can unblock the outer loops, however the
loop clears uloop_cancelled (which is set by the request completion).

This causes the event loop to continue running even while a completion
loop has already been unblocked.

Fix this by not clearing uloop_cancelled for inner loops

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix crash on reconnect with objects that have no type

Signed-off-by: John Crispin <blogic@openwrt.org>

libubus: fix passing the return code of the subscriber callback to the notifier

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: fix synchronous ubus_notify without waiting for a timeout

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: add ubus_unregister_subscriber wrapper

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

libubus: add UBUS_METHOD_NOARG

Signed-off-by: Felix Fietkau <nbd@openwrt.org>

add systemd support

This adds basic systemd support, incl. socket activation.
If systemd build is disabled, there won't be any sign of it neither
during build nor after.
If systemd build is enabled (default), but systemd is not available,
no systemd stuff is installed, so there is no impact whatsoever.