README.md: fix scrape command example

--download-url is not valid for scrape

README.md: add documentation for {base} variable

misc/collect.py: fixup type change of variable profiles

The type of the profiles variable changed from dict to list.

misc/collect.py: introduce variable {base} to fix download_url

While scanning a directory for profile.json files of different releases,
the releases might be in different sub directories. But the collect.py
script only takes one download URL template for all overview.json files.

This commit introduces a variable {base} for the download URL parameter
that will be replaced by the sub directory that distinguish the location
of different release from each other.

Example path structure:
* ../tmp/releases/18.06.8/targets
* ../tmp/snapshot/targets

collect.py call:
```
./misc/collect.py scan "https://download.openwrt.org/{base}/{target}" ../tmp/ www/
```
In www/config.json:
```
versions: {'18.06.8': 'data/18.06.8/overview.json', 'SNAPSHOT': 'data/SNAPSHOT/overview.json'},
```

In www/data/18.06.8/overview.json:
```
"download_url": "https://download.openwrt.org/releases/18.06.8/targets/{target}",
```

In www/data/SNAPSHOT/overview.json:
```
"download_url": "https://download.openwrt.org/snapshots/targets/{target}"
```

misc/collect.py: include build_date field for each device

Uses the last modified date of the profiles.json files.

misc/collect.py: use list to collect profile.json data

This will help to store more information compared to a dict.

www/index.js: allow deep linking

Update and handle the browser URL with version and device id to allow sharing of links.

www/index.js: keep device selected across versions

The device id and model name may change across versions.

www/index.js: deterministic version order and introduce default_version

Allow to set a preselected version and sort version, e.g.:
1. SNAPSHOT
2. 19.07.02
3. 19.07.01

www/index.js: avoid use of c style for loop

www/index.js: replace var by let and const

this is good ES6 practice

ci: deploy on tags as well

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: populate GIT_VERSION variable in index.html

Signed-off-by: Petr Štetiar <ynezz@true.cz>

www/index.html: add proper project URL and add version variable

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: add deploy steps

Signed-off-by: Petr Štetiar <ynezz@true.cz>

misc/collect.py: move out nested method to please linter

misc/collect.py: rename TP-LINK to TP-LINK

This is a fix for the 19.07 releases and TP-Link devices. Those are in both ar71xx and ath79, but with a different vendor letter case.
Make the vendor equal so the code recognizes it and appends the target as extra differentiator.

misc/collect.py: differentiate duplicate models by target

some devices might appear in different targets when migrating to new targets (e.g ar71xx and ath79)

misc/collect.py: get release name from json files

instead of from directory names

README.md: update and make more user friendly

misc/collect.py: do not upper case the release name

misc/collect.py: better error messages

adds a path and newlines to error messages

misc/collect.py: add python version check

make sure the program is only executed by Python >=3.5.0

www/index.html: fix prettier warning

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: add testing of collect.py scan method

Signed-off-by: Petr Štetiar <ynezz@true.cz>

tests: add snapshot profiles.json

So we could test collect.py scan method on CI.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

collect.py: fix open for Python versions < 3.6

 The built-in open() function has been updated to accept os.PathLike
 objects, as have all relevant functions in the os and os.path modules,
 and most other functions and classes in the standard library.

Fixes following issue:

 File "misc/collect.py", line 260, in scan
   with open(ppath, "r", encoding='utf-8') as file:
 TypeError: invalid file: PosixPath('tests/profiles/snapshots/targets/ipq806x/generic/profiles.json')

Ref: https://docs.python.org/3/whatsnew/3.6.html
Signed-off-by: Petr Štetiar <ynezz@true.cz>

collect.py: fix scan method file content decoding

Fixes following error:

 File "misc/collect.py", line 54, in merge_profiles
     obj = json.loads(content.decode("utf-8"))
 AttributeError: 'str' object has no attribute 'decode'

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: fix YAML dependency issue

 Found errors in your .gitlab-ci.yml:

  test site with selenium job: dependency build site for target environment is not defined in prior stages

Fixes: 53e7c4cd6919 ("ci: fix dependency for selenium test")
Signed-off-by: Petr Štetiar <ynezz@true.cz>

add ca-certificates to test environment

decode profiles.json content from bytes to string

remove format string literals

the linter complains

use required as member variable

'required' as argument is only available with python 3.7 and later

use os.makedirs and remove redundant mkdir lines

scan local folder for release and profiles.json files

E.g. ./collect.py scan downloads.openwrt.org /var/www/downloads.openwrt.org ../www/

fix help text for scrape

skip releases that have no profiles.json

ci: fix dependency for selenium test

The build directory should be passed from the target environment test.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

fix eslint errors

excempt svg from html5validator

The error message refers to a missing 'lang' attribute of a non existing
html tag, both of which is not applicable to a svg file.

remove safari specific attribute to please the linter

img tag uses pixels without format

ci: pre-build with Python 3.6 as well

In order to spot possible compatibility issues before testing stage.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: add site building and testing

To improve the QA.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

ci: add eslint and prettier check

Use opinionated code formatter `prettier` and `eslint` for static code
analysis of JavaScript code.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

www: reformat with prettier

Reformat the sources in www directory with the prettier tool.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

Add GitLab CI

For the start just simple Python (black+flake8), CSS, HTML and SVG
checking with html5validator.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

collect.py: add flake8 code style tool

Refactor the code in order to fix following flake8 errors:

 misc/collect.py:55:1: E302 expected 2 blank lines, found 1
 misc/collect.py:98:12: E713 test for membership should be 'not in'

Signed-off-by: Petr Štetiar <ynezz@true.cz>

collect.py: cleanup code

Remove commented out code.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

collect.py: format with black

For automated unified code formatting.

Signed-off-by: Petr Štetiar <ynezz@true.cz>

make code nicer in some places

add comment

collect.py cleanuo

allow scraping via wget

much slower, but works better without this special feature:
https://downloads.openwrt.org/releases/19.07.3/targets/?json

remove a word

do no delete data folder

it might have data we want to keep

allow collect.py script to script sites like downloads.openwrt.org

use double quote for python code

fix some query selectors

allow different release codes

use format strings

rename images-title to build-title

bump version to 2.2.2

fix typo

Merge branch 'master' of github.com:mwarning/yet_another_firmware_selector

use document.querySelector

rename url => download_url (#51)

this is more descriptive about the url is used for

fix renamed json file in example

use svg logo

ignore underscore, hyphen and dot in match

update website link

add mobile support

inherit color for all links

meant for build log and YAFS website link

move web content to www folder

This makes a better separation of actual content and meta data (readme, license, etc.) much better.

bump version to 2.2.1

typo: asa => asu

use inherited color for link to build log

show asu build log for build success

fix indentation

forgot asu_url as url prefix

this makes it work with chef.libremesh.org again

rename profiles.json to overview.json (#45)

For the basic use case, the URLs in config.js are explicit file paths.
For ASU, this is expected to be the base URL of the ASU API.

Merge branch 'master' of github.com:mwarning/yet_another_firmware_selector

use profiles.json file name in documentation

Merge pull request #38 from mwarning/limit_packages

limit packet list selection

limit packet list selection

the packet list can only contain unique items from the package index, a minus in front of a packet is allowed

Signed-off-by: Moritz Warning <moritzwarning@web.de>

Merge pull request #37 from aparcar/asu2

fix autocomplete + buildate, move exampels

fix autocomplete + buildate, move exampels

autocomplete never worked because of wrong files naming. The package
index file is called `index.json` and now available on the ASU server.

The build date never worked for images created by the official OpenWrt
build bots, fixed by reading the `last-modified` header.

Examples files are now in their own folders to follow the structure of
ASU, which offers not only profiles but also package information in the
version folders.

Signed-off-by: Paul Spooren <mail@aparcar.org>

remove openwrt.org specific paths

this would require every json file input to include an url value

fix typo

support upstream json format

Signed-off-by: Paul Spooren <mail@aparcar.org>

add autocompletion to package list

the package list will autocomplete packages and only allow known
packages

add default values for a better experience

update example database for snapshot

fix for different profiles.json format

fix python method

collect.py: support multiple paths/files as command line argument

collect.py: support new format

Merge branch 'master' of github.com:mwarning/yet_another_firmware_selector

collect.py: add option change image name prefix

this is useful for custom image releases when the image files have been renamed afterwards

asu: send target to ASU server

The updated API requires the target as the 'profiles' are not unique
(e.g. for x86 images).

Signed-off-by: Paul Spooren <mail@aparcar.org>