JQ 101

JQ is an amazing tool that allows you to manipulate JSON via the command line / bash.

To be frank I was a bit weirded out by people praising something so ‘trivial’ back in the day, but then I realized how powerful this thing actually is. Manipulating JSON coming from web background may seem really simple task, but when you go to bash, it is … nightmare.

JQ makes things doable in surprisingly simple way.

The thing it is that it can be a bit hard to start with. Some people have asked me to provide them with several examples so they can have something to build on top of when developing their own stuff.

These are the basics, if you have mastered everything listed here, your logical next step would be to read the official docs like a real dev

So, this is my cheat sheet:

How to use

Invocation

You can cat a file and pipe it to JQ like:

cat file.json | jq 'something'

but it is generally preferred to do it like this:

jq 'something' < file.json

I personally prefer to add -r flag to JQ so it outputs raw

jq  -r 'something' < file.json

Sample data

We are going to be working with this JSON for most of the examples

{
    "data": [
        {
            "email": "user1@example.com",
            "username": "user1"
        },
        {
            "email": "user2@example.com",
            "username": "user2"
        }
    ],
    "users": [
        {
            "email": "user1@example.com",
            "user.name": "user1"
        },
        {
            "email": "user2@example.com",
            "user.name": "user2"
        }
    ]
}

Examples

Basic

Simple select everything

jq -r '.' < file.json

will give you the root of the document. Doesn’t matter if it is an object or array

Select property of an object

jq -r '.data' < file.json

returns an array containing all users in ‘.data’

Select first user in data

jq -r '.data[0]' < file.json

returns first object in ‘data’ array

Select all usernames is ‘.data’

jq -r '.data[].username' < file.json

returns

user1
user2

Select all usernames of ‘users’ array when keys contain dots

jq -r '.users[]["user.name"]' < file.json

returns

user1
user2

Selectors

Getting keys of an object

jq -r '.|keys' < file.json

gives you an array containing all keys ["data", "users"]

Getting keys of object on new lines

jq -r '.|keys[]' < file.json

returns

data
users

Select only users called ‘user1’ from ‘data’

jq -r '.data[] | select(.username="user1")'

gives you {"username": "user1", "email": "user1@example.com"}

Select the emails of all users called ‘user1’

jq -r '.data[] | select(.username="user1") | .email'

Create JSON

Create object with key username and value ‘user1’

jq -n --arg mykey username --arg myval user1 '{($mykey):$myval}'

Append property to object

jq -n --arg mykey username --arg myval user1 '{($mykey):$myval}' | jq -r '. |= . + {"email": "user1@example.com"}'

or simpler:

echo '{"username": "user1"}' | jq -r '. |= . + {"email": "user1@example.com"}'

both result in:

{
  "username": "user1",
  "email": "user1@example.com"
}

Change value of object property

jq -n '{ "username": "user1"}' | jq -r '.username="user11"'

Create array

jq -n '[]'

same as

echo '[]' | jq -r '.'

Set value of array element

jq -n '[1,2,3]' | jq -r '.[2] |=  5'

outputs [1,2,5]

Add element to array (of unknown length)

jq -n '[1,2,3]' | jq -r '.[.|length] |=  4'

result [1,2,3,4]

PGP for the masses

Intro

Using PGP is very simple, you need to generate key (it will actually be two keys – public and private). Public key is what you want to give to other people so they can encrypt files for you. Private key is something you do not want to share.

This guide/cheatsheet assumes that you are using osx, but aside from the GUI tools, the rest will be the same for all operating systems

There are 4 things that you need to know:

  • how to generate your key
  • how to find other people’s keys
  • how to encrypt
  • how to decrypt

Terminology

Some clarifications:

OpenPGP is a standard for encryption

PGP stands for Pretty Good Privacy – this is software that implements the OpenPGP standard

GPG stands for GNU Privacy Guard – open source implementation of OpenPGP (this is what we are going to use)

PHP is something completely different

Install

Download from https://gpgtools.org/ If you are not planning to use it with Mail App, during installation click Customise and deselect GPG Mail

Create new key

You can just type
gpg --full-generate-key

and answer the questions or via GUI:
Click New, enter your e-mail address and password, wait for key generation to finish. At the end click to upload the key to key server.

If you have already generated key you can upload it by clicking Key -> Send Public Key to Key Server

Note: By uploading your key it will be uploaded to one of the SKS servers used by OpenPGP and it might take some time until it is visible in all servers.

Retrieving other’s public keys

If you have tin foil hat, you would prefer to ask someone to send you their PGP key and they can send it to you. Never trust keys that you have not asked for and you are not sure are sent by the person you think sits behind them, somebody may be pretending to be a friend.

If you however think that you know what you are doing, click Lookup key, type the e-mail of the person you expect to have published, check if the rest of the data looks credible and import it.

If you do not want to use the GUI app, you can search in websites like http://keys.gnupg.net

Note: Some people may have several keys, ask them which one you should use (usually the one that was created most recently would be the one that you want).

Note2: After publishing key it may take some time until it shows up, be patient

Encrypting files

Using Finder

Go to the folder where the file is, right click on it, select Services -> Open PGP : Encrypt File, then select the key that you want to be able to decrypt it and click Encrypt. If the file is called file.txt you will see a new file called file.txt.gpg

Using CLI

gpg -e --armor file.txt

Enter the e-mail of the recipient/s and hit enter when you are done

or if you want to encrypt some text:

echo "text" | gpg -ea

Decrypting files

Using Finder

Go to the folder where the file is, right click on it, select Services -> Open PGP : Encrypt File, enter your password and decrypted file should show up

Using CLI

gpg -d file.txt.gpg

View Keys

gpg -k

Adding PGP key in GitHub

Go to github.com -> Settings -> SSH and GPG keys -> New GPG Key

Copy your public key

gpg --export --armor MYKEYID

Paste it in github and click Save.

Then you have to tell git to sign your commits

git config --global commit.gpgsign true
git config --global user.signingkey MYKEYID

If you have created your github account with different e-mail address than the one specified in the PGP file, you can go to Settings -> Emails and add new e-mail address. Then proceed with the verification clicking the link sent to your inbox.

If you still have problems, check the e-mail specified in your ~/.gitconfig file. It should match the one from the PGP file

Deep(ish) dive

View secret keys with their long IDs

gpg --list-secret-keys --keyid-format LONG

Backup and restore secret keys

Backup:

gpg --export-secret-keys MYKEYID > my-private-key.asc

Import from backup:

gpg --import my-private-key.asc

Revocation

If you private key leaks or maybe you do not want to use it anymore you have to send the Key Server revocation certificate. Ideally you would still have the private key and you could generate it at any moment, but sometimes keys get lost, so you may want to generate revocation certificate now and back it up somewhere.

gpg --output revocation.crt --gen-revoke myemail@example.com

When you decide to revoke the key you have to import it and send it to the Key Server like this:

gpg --import revocation.crt
gpg --send-keys KEYID

Replace KEYID with the ID of your key

Signing other people’s keys

TLDR: You can sign keys to tell others that this key is good.

If you trust the person you can sign their key and send them back the key and you will be listed as someone who signed the key.

gpg --sign-key email@example.com

You have to send them the signed key back

gpg --output /tmp/signed.key --export --armor email@example.com

and they have to import it to benefit from you signing it:

gpg --import signed.key

If people you trust have signed the key, usually it is a good indicator.

How to add second WAN port to Linksys EA2700 with dd-wrt

First of all terrible router, don’t buy it, this is only if you already have it and you need to squeeze the last drops of life from it.

Why would you want second WAN port ? In my case, it was because the one that I already had stopped working, so I was wondering if there is a way to use one of the other 4 as WAN. There is.

 

There is a already very good article about DD-WRT on Linksys EA27600  by Sacha Häberling, I am not going to repeat everything, I’ll just add some details.

  1. First you need to get rid of the ridiculous modern UI that Linksys ship with the router and switch back to Linksys Classic UI. I made the mistake to assume that since I already have it, I may skip this step – no, do it even if you already reverted to the old firmware.
  2. Do 30-30-30- reset (30 seconds holding reset with power on, unplug the power cable for 30 seconds, plug again and hold for another 30 seconds. Reset button is pressed the whole time)
  3. Download the latest firmware you think might work  from DD-WRT FTP server. I haven’t had time to experiment with a lot of them to see if the latest works reliably. The original article recommends r30471 , the latest someone confirmed still works good is r30805, so I installed this one. If you have time – check the latest one. Install it from the firmware update menu in the web interface.
  4. Log in the new interface, go to DD-WRT administration panel > commands and execute
  5. Do another 30-30-30 reset and this should be it. Then configure your router as usual.

 

So far so good, now I want to make port 4 as it is labeled on the box (actually port 3) to be another WAN port. If you need to know more about what is going on, I strongly advise you to check dd-wrt’s explanation about how ports and vlans work.

Long story short, you have 5 LAN ports, they are usually split in 2 virtual LAN groups, one for WAN (or “the Internet”) and the other is for your local LAN network. The fact that we can move physical LAN port to another virtual LAN make this whole thing possible.

For EA2700 there are 3 virtual groups, I am no really sure, but I suspect this is because of the dual band or guest network or something.

Login via telnet or ssh in the router and execute:

What this means is:
– 5 and 8 are so called processor ports, so we don’t care about them for now.
– the asterisk after 5 and 8 in the first two vlans indicates these are the local virtual LANs, meaning that they are supposed to receive internet from the outside.
– port 4 is the WAN port (we count from 0)
Guides recommend to save your initial configuration somewhere in case you need to restore it.

Lets move port 3 (4 on the box) out of vlan 0 and 1 and move it to 2.

Then we can check the port/vlans:

The first number after portXvlans indicates the vlan for the port, the rest are attributes, 16 means “tagged” and there is some kind of convention to always tag the CPU port.
Now we want to make port 3 another WAN port:

and finish by committing our changes and restart

Plug the cable from your ISP in the fourth port and you should have still working old router even if it tries to get rid of you.

My VIM Setup

This will be my first post in English, I give up – after so many year,me  having doubts about my English is going to get any better so I hope you understand me at least.

Why ?

I am using VIM as my main editor for php and javascript for more than a year already.

What I learned is that I really like this minimalist approach – building your own “IDE” step by step, including only the things you need. If you prefer full IDE – please go with Intellij (the best I have used in this class), but if you are going to use Sublime Text or VSCode or Atom or whatever, there is no reason not to use VIM instead.

Then once I got used to all the keybindings and I adjusted them a bit to fit my workflow I got hooked. Now I can barely work with “normal” text editor. I spent some time to learn touchtyping and now I am getting really irritated when my fingers have to move out of the home row of the keyboard. VIM helps a ton with this. I even added a plugin for Firefox called vimium so I can control my browser with vim key bindings (its not ideal, but its something)

Train yourself

You really need to teach yourself out of the habit of using arrow keys. In my experience this wont happen until you just disable the arrow keys. Just put this in your .vimrc

 

Plugin manager

First we are going to start with the plugin manager. I prefer using Vundle, one you set it up it is really easy to work with. You have other options like Pathogen or vim-plug. It doesn’t matter so much which one you choose, just pick one.

Plugins

I am going to share with you just the essentials.

vim-javascript adds better syntax highlighting, but if you are writing code for nodejs

vim-node will give you better support for “gf” (go to file) and “gd” (go to definition), etc.

php-vim will get you started with PHP

YouCompleteMe will give you great autocompletion.

NERDTree will give you the file browsing capabilities that you need. At first I was using it in separate window left of window where I edit code in more classic IDE fashion, but soon I realized that I don’t really need to stay there all the time. Now I use it only when I want to open new file. Pay attention that this plugin is way more powerful than it initially seems. You can create new files/folders with “ma” or delete them with “md”. Just open nerdtree by either typing “NERDTree” or just “:e .” and hit “?” to see the full list of options.

BufExplorer gives you a list of all open buffers so you can easily navigate between them. I have mapped it to <leader>w so I can easily see everything when I have a lot of files opened.

WinTabs is an excellent plugin that will represent all the open files as tabs that you can easily switch between. Your right hand is sitting on keys J – ; and your left on A-F. VIM already usese HJKL for navigation, so it came natural to me to map :WintabsNext to <leader>f and :WintabsPrevious to <leader>a.

ALE or Asynchronous Lint Engine is amazing plugin that lets you integrate linter like eslint or php-cs-fixer with VIM. You get all the best features from the linters that you choose plus automatically fixing your code when you have. No more unformatted code, no more mixed tabs and spaces, no need to come up with excuses why you have used double instead of single quotes.

ack.vim is a plugin that lets you search for text in your project’s files. I personally chose to configure it to work with the_silver_searcher which is much faster. Just type something like Ack @todo and you will get a list of all files that contain this string.

Ctags is the way to navigate inside your code and there are several options that you can choose from, but I really like vim-gutentags. It kind of just works. Just install ctags then the plugin and you are done. I find this one most useful for PHP.

phpactor is where it gets serious. It gives you very nice features like automatically adding “use Whatever/Class/You/Need”. You can see where is your class used, it adds code navigation, jump to definition, refatoring functions, etc. I basically can’t write PHP without this plugin.

 

Bonus Tips

One of the best things that I have done is remapping my <leader> key to space

The default leader key is “\”, but this just adds too much stress to my right pinky finger and after a while it just hurts. Thumbs are much tougher. Moving to my tab to the right is <space>f, to the left <space>a. It made everything so much easier for me.

 

I hope I was being helpful. Explore and experiment. I will try to add my dotfiles soon.

Запазване на пароли под Linux, Windows и Mac

Много харесвам Keychain-a на Mac, но той си има своите ограничения – измежду които основното, че не можеш да го ползваш на други операционни системи.

Оказа се, че може би единствения мултиплатформен начин да направите това с KeePass. Има много начини и комбинации от софтуер, с които да имплементирате нещо такова, но ето какво аз съм намерил за най-доброто.

Под Debian KeePass2 присъства сред пакетите, така че можем да го инсталираме лесно

Следва да сложим plugin на Firefox, аз лично предпочитам PassIFox. Този плъгин изисква KeePassHttp за да работи, а на плъгина му трябва mono-complete.

След като инсталирате mono-complete, изтегляте KeePassHttp.plgx , слагате го  в /usr/lib/keepass2 и да рестартирате keepass.

На този етап паролите ви от Firefox се пазят в KeePass. Черешката на тортата е да сложите kdbx файла в OwnCloud за да имате синхронизация между всичите си устройства.

 

За Max Os въпреки че не е много стабилен препоръчвам  MacPass.

За Android също има owncloud и можете да ползвате KeePassDroid.

Дори iOS феновете ще останат приятно изненадани от комбинацията ownCloud + KeePass Touch.  За Windows мисля няма нужда да обяснявам.

 

Като цяло имате password management за поне 5 операционни системи, напълно безплатен и чрез ownCloud синхронизиран онлайн, най-близкото което можете да получите до Mac Keychain с бонуса, че работи на (почти) всички устройства, които вероятно притежавате.

 

 

Edit: November 2018

За Firefox Quantum PassIFox не работи. Вместо това можете да ползвате Kee заедно с KeePassRPC

Сертификат за Apple Push Notification Service

За да пращате push notifications през APNs можете да използвате библиотека от типа на ZendService\AppleApns

Документацията им е обяснява как се ползва библиотеката, но не и как да си генерираме необходимия сертификат. Процедура, която може да се окаже малко по-сложна от колкото изглежда.

Като за начало, влизаме в developer.apple.com и в секцията Identifiers, кликаме на App ID. Ако нямате създадено App ID за вашето приложение си правите и после кликате на името му в списъка, след това избирате бутона Edit.

Screen Shot 2016-03-09 at 6.28.16 PM

Сколвате надолу докато не намерите Push Notifications. От там избирате Create Certificate. Следвате инструкциите на екрана, отваряте Keychain-a и т.н.

Както казва най-добрия iOS dev на юг от стара планина – Милен, тук най-важното е в полето Common Name да напишете нещо, което има някакъв смисъл, примерно MyAppName Push Production или нещо от този тип.

След като генерирате сертификата си го изтегляте и import-вате в keychain-a.

В полето за търсете пишете push, трябва да ви излязат 3 резултата – 1 сертификат, един частен и един публичен ключ.

Screen Shot 2016-03-09 at 5.42.04 PM

Важния момент е тук – избирате сертификата и частния ключ и кликате export и на двата.

Screen Shot 2016-03-09 at 5.40.02 PM

Експортирате с разширение p12. Отваряте един терминал и пишете :

 

Взимате тоя pem файл и го засилвате към ZendService\AppleApns (примерно) и всичко би трябвало да работи.

Как да си направим Time Machine сървър

Ако не сте използвали Time Machine  до сега трябва да знаете, че както всичко Apple-ско работи доста добре и е страхотен начин за правене на backups. Задължително е поне да се пробва .

Има два начина да правите резервни копия – на втори хард диск или през мрежата. С втори диск всичко си работи добре, но често забравяте да го свържете отново след като си преместите компютъра, ако имате 2 usb порта не искате единия да е постоянно зает и т.н. Да се синхронизира през мрежата е най-удобно, но единствения официален начин това да става е чрез Apple Time Capsule, която в момента струва 300$ или 640 лева в CreativeCenter.

Ако като мен имате някоя стара машина (или в моя случай стари служебни непотребни компютри), която не въши нищо можете да направите следното.

1. Инсталирате някакъв Linux, в моя случай сложих Ubuntu Server последния LTS, просто защото не ми се заниваше сериозно.

2. Инсталирате netatalk, това е софтуер, който поддържа Apple Filing Protocol.
При Ubuntu го има в хранилищата, така че просто едно

ще свърши работа

3. Създаваме папката, където ще ни се съхраняват backup-ите

4. Добавяме в конфигурационния файл “/etc/AppleVolumes.default”:

Мисля че няма много нужда от обяснения, но все пак – задавате път, име на “диска”, който ще бъде споделен по мрежата, volsizelimit е колко голям може да е този диск – в моя случай ~600GB и накрая казвате кой системен потребител има право да го достъпва, при мен е gotha, при вас най-вероятно няма да е. Потребителя трябва да има права за четене и писане в тази директория.

5. Рестартирате сървъра

трябва да свърши работа.

Сега следва на направим правилните настройки на нашия Мак или Hackintosh.
Този диск е “unsupported” и операционната система няма да ни позволи да се закачим към него.

6. Казваме на Mac OS, че не държим диска да е supported

7. Връзваме се към сървъра през Finder.
В Network папката трябва да виждате вече сървъра, връзваме се към него с потребителското име и паролата, която използваме на Linux-ката машина и му казваме да ни запомни данните.

8. Препоръчително е този диск да се монтира автоматично при стартиране на компютъра, за целта отиваме в

  • System Preferences
  • Users & Groups
  • избираме нашия потребител
  • кликаме на таба Login Items
  • кликаме плюса долу и добавяме папката “Time Machine”

9. Правим си настройките на Time Machine
В System Preferences -> Time Machine изберете големия бутон с надпис ON и OFF. За нашите цели ON е добър старт. TM ще ви попита кой диск искате да ползвате избирате мрежовия диск, слагате tick-че на “Encrypt backups” и потвърждавате. Ще ви пита и за парола за криптирането и сте готови. Първия backup ще е отнеме доста време, но след това нещата са много по-бързи и лесни.
Ползвам подобна конфигурация вече месец и нямам никакви проблеми. Не забравяйте, че обикновено когато ти потрябва backup вече е прекалено късно, поиграйте си половин-един час и си спестете ядовете после.

10. Profit !

Фото гуакамоле

Събота, скучно ми е, правя гуакамоле, реших да поснимам малко процеса. Моето гуакамоле си е по някаква моя измислена рецепта, така че да ми харесва на мен, да си знаете.

Малко известен факт е, че гуакамолето всъщност е кръстено на южно американското племе Гуакамоле.

След като ви обогатих културно, време е да започваме. Вкъщи не ядем много люто, за това ще пропуснем лютите чушки и ще сложим само малко червен лук.

IMG_1393 IMG_1395

И 1-2 скилидки чесънче няма да му дойдат зле.

IMG_1400IMG_1399

За да не сме хептен без чушки, аз слагам и една печена чушчица 🙂

 

 

IMG_1405 IMG_1408

Печена чушка massacre 🙂

 

IMG_1409

Малко доматки…

IMG_1396

Кълцам авокадото на едно и после мачкам.

IMG_1403

 

Малко сол и зехтин и ето как изглежда преди да го разбъркам добре.

IMG_1413

 

 

 

 

по принцип хората го мачкат с вилица, аз понеже съм мързелив слагам на миксера само едната бъркалка и бъркам докато започне да ми изглежда добре.

Ето нещо такова е крайния вариант.

IMG_1416

По-вкусно е отколкото изглежда, така че не се притеснявайте.

Става бързо и лесно.

чушка 1бр, авокадо 2бр. половин глава лук, 1-2 скилидки чесън, 1-2 чери домата, сол и зехтин на вкус, нещо такова трябва да е .

Между другото онзи интересен факт за произхода на името гуакамоле не е верен, или поне не знаем да има такова племе, но пък звучеше интересно, нали 😉

Инсталиране на MiniDLNA под FreeBSD 10

Ако предпочитате да си компилирате всичко, порта се намира в net/minidlna. Тоест нещо от типа на:

Ако сте по-мързеливи винаги може да инсталирате с

Конфигурационния файл се намира в /usr/local/etc/minidlna.conf и нещата, които трябва да промените или разкоментирате  са:

Разбира се, направете нужните корекции за вашата система. Ако нямате папката може би е добра идея да я създадете:

По подразбиране папката където се намират мултимедийните файлове е в /opt. Трябва да създадете папката ако не съществува при вас. Опитах да използвам папка от типа /home/user/Video, но има проблеми с правата, които така и не разреших за това предпочетох да използвам симлинкове.

Ако всичко ви изглежда ок можем да стартираме услугата.

За да проверите дали всичко е ок можете да проверите log файла:

Ако няма грешки можете да проверите дали всичко работи през вашия телевизор или VLC.

За финал добавете minidlna към услугите, които да се стартират при пускане на машината като добавите към /etc/rc.conf

Накратко това е.  Доста подобно на това как се инсталира MiniDLNA под Mac OS X (за което писах преди), но с особеностите на freebsd.

 

MiniDLNA при Mac OS X Mavericks

Ако ви трябва добър DLNA сървър за Mac, след логичния избор – Plex, аз бих ви препоръчал MiniDLNA. Бонусите са, че става въпрос за наистина малък сървър ( за разлика от plex ) и аз лично имах проблем с връзването с Xbox 360.

Логично започваме с macports:

След като инсталирате ( отнема доста време ), ще имате сървър, който се намира на /opt/local/sbin/minidlnad и примерен конфигурационен файл /opt/local/etc/minidlna.conf.sample

Ще копираме файла и ще го редактираме

Ще откоментираме и променим следните променливи

Пътя тук трябва да сочи пътя до вашите филми, пр. V,/Users/username/Movies, като “V”, в началото указва, че става въпрос да видео съдържание, има го описано в примерния конфигурационен файл.

Хубаво е и да създадем директорията

 

С това промените по конфигурационния файл приключват. Сега остава да стартираме сървъра.

Принципно това би трябвало да става като изпълните

но …

сървъра не знае къде му е конфигурационния файл и все още не е сглобил базата данни с вашите мултимедиини, за това трябва да изпълните

Сървъра стартира. Прегледайте за грешки и ако изникне нещо просто вижте какво може да се направи по въпроса.

Дайте на системата няколко минути да обнови базата данни и се свържете с вашия DLNA  клиент, препоръчвам да тествате с VLC от компютъра, таблета или телефона си за да се уверите че всичко е наред.

Допълнение: Не съм сигурен кой точно порт е проблемен, но ако имате проблеми с намирането на DLNA сървъра в мрежата, опитайте да спрете skype и/или torrent клиента си.