Думал ещё одно похожее мероприятие порекомендовать - Advent of SQL. В прошлых запусках не участвовал, но SQL с удовольствием бы порешал, одноко что-то завис на первом задании :( Sample result для примера (конкретно третья строка для Bobby) не сходится с тем, что у меня получилось. Ошибки в своих рассуждениях не вижу, а логика решения примера не прописана - поэтому создаётся впечатление, что сайт сырой

И вот собственно ответ:

• count(*) = 5
• count(1) = 5
• count(2) = 5
• count(id) = 3
• count(‘id’) = 5
• count(null) = 0

Если честно, я правильно ответил только для count(* ) и count(id) - потому что только в таком виде и использую count(). И то, для count(*) сомневался - потому что последняя строка таблицы с одними null ИМХО не возможна в реляционной теории :)

Про формат count(1) и count(2) - почему то всё время знакомства с SQL думал что это указывают номер столбца вместо прямого указания имени, примерно как в group by или order by (нет). Сам так никогда не делаю (“явное лучше неявного”), поэтому с проблемами не сталкивался.

count(‘id’) и count(null) - в таком виде тоже никогда не использовал, так что сомневался будет ли это вообще работать

Теперь, как это работает на самом деле.

count(*) считает все строки, независимо от их содержимого

count(column_name) - подсчитывает количество строк, где значение в указанном столбце не равно null

Все остальные варианты попадают под count(expression) - подсчитывает количество строк, для которых выражение не вычисляется в null. Если выражение всегда возвращает не-null (например, константа или литерал), то все строки будут посчитаны.

Предположим, что у нас есть такая таблица

Какие значения для неё вернут count(*), count(1), count(2), count(id), count(‘id’), count(null)?

with t as (
 	          select 1 as id, null as c1
 	union all select 2      , null
    union all select 3      , null
 	union all select null   , 'id'
    union all select null   , null
)
select count(*), count(1), count(2), count(id), count('id'), count(null) 
from t;

Правильный ответ, логику рассуждений, и почему мне это было не важно - напишу после выходных.

Если прямо невтерпёж проверить - специально написал через CTE, копируете и выполняете (например здесь - https://sqliteonline.com/)

В старой шутке - “Какой язык программисту учить первым? - Английский” - не такая уж и большая доля шутки. Реально это полезный навык - актуальная документация, свежие книги и статьи, логи и комментарии в коде доступны только на английском.

С другой стороны - минимальный словарный запас, чтобы пусть медленно, но читать документацию, нарабатывается даже без отдельной учёбы, просто за счёт насмотренности. Статьи и книги прекрасно переводит Яндекс.Переводчик.

Но поменяв компанию, после пяти лет в IT, всё-таки пришёл к тому, что придётся учить всерьёз. Компания зарубежная, на собесе честно предупредил, что худо-бедно могу понять письменный технический текст и на этом всё. Меня заверили что для работы английский язык не нужен - и по факту так и есть. Моя команда - все русскоязычные. Для инженеров и тимлидов из соседних команд, с кем общался - тоже русский родной.

Однако, примерно раз в месяц каждая команда проводит демо - и его проводят на английском. Потому что топы и не-инженерные специалисты - не только русскоговорящие. Официальный язык компании - английский. Кому вести демо из команды - у нас решается жребием, добровольцев нет :) Причём, у новичков после испытательного - первое демо вне очереди.

На фоне моего разговорного английского - Виталий Мутко практически нейтив. Немного утешает, что похоже я такой не один - условно каждый десятый примерно так же выступает.

В общем, начинаю занятия на курсах английского, тем более компания компенсирует часть расходов

З.Ы. Утром надо было написать сообщение в слаке на английском - как обычно набрал в онлайн-переводчике, осталось скопировать и отправить. Хорошо что прочитал что получилось

Формально - ни о чём, пару строк в даге поправить. Но на утреннем дейли тимлид предупредил, что прежде чем делать, хорошо бы посчитать на сколько это увеличит объем таблицы (миллиарды строк * несколько проекций, где эта колонка используется). А после - понаблюдать за временем работы дага - насколько оно увеличится. Вроде бы элементарно, но… самому в голову не пришло.

Вот интересно, такой навык (правильно подумать о последствиях) как то прокачивается? Понятно, что опыт и количество собранных грабель понемногу прокачивают, но очень уж долго и через упавший прод боль. Думаю в сторону системного мышления, но где взять время :(

За те три месяца, что я здесь, работа нравится всё больше. Задачи большей частью требуют активно включать мозги, и есть на любой вкус: DBA, devops, fullstack, ну и, естественно, классические DE тоже присутствуют. Очень сильная команда. Хорошо выстроены процессы. Реально интерессно работать. Очень доволен — хотя временами самооценка падает, когда затык с какой-то новой темой, зато как она взлетает, когда удаётся допилить задачу :)

Ок, можно выдохнуть, снова вдохнуть и работать дальше.

В PostgreSQL, на случай если необходимо захардкодить несколько строк данных, есть удобная команда - https://postgrespro.ru/docs/postgresql/9.6/sql-values, которая просто просится в CTE для таких случаев:

with t1 (id, describe, dttm) as (  -- таблица из двух строк
    values 
        (1, 'any text', now()), 
        (2, 'some text', '2024-01-01'::timestamp)
)
select max(dttm) from t1

Неожиданно, но в Vertica такого нет и проблема решается громоздким вариантом через union:

with t1 as (  -- таблица из двух строк
    select 1 as id, 'any text' as describe, now() as dttm
    union all
    select 2, 'some text', '2024-01-01'::timestamp
)
select max(dttm) from t1

Условно - есть файл .csv, там три колонки - (id, a, b), а нам в итоге надо получить две - (id, a + b). В Greenplum пришлось бы использовать промежуточную таблицу - чтобы выгрузить данные AS IS, а уже следующим шагом сделать трансформацию. В Vertica это можно сделать сразу на этапе загрузки

COPY table(
    id,
    f_a FILLER INT,
    f_b FILLER INT,
    rez AS f_a + f_b
FROM '/tmp/file.csv.gz' ON v_bi_node0001 
)

Несколько важных моментов:

1. Поля, которые не идут напрямую в целевую таблицу, надо отметить как FILLER и указать их тип
2. Загружать можно в том числе и из сжатых файлов
3. Для файла помимо пути, надо указать на какой ноде он лежит (Vertica - распределённая БД). Соответствие между node_name (v_bi_node0001 - в данном случае) и IP ноды можно найти в таблице nodes

MySQLdb.OperationalError: (1105, 'Percona-XtraDB-Cluster prohibits use of DML command on a table (airflow.dag_launcher_threads) without an explicit primary key with pxc_strict_mode = ENFORCING or MASTER')

pxc_strict_mode в зависимости от заданного режима определяет как БД будет относиться к предупреждениям и нештатным функциям:

DISABLED - не выполнять строгие проверки и работать в обычном режиме; ошибки или предупреждения при использовании экспериментальной/неподдерживаемой функции не регистрируются

PERMISSIVE - eсли проверка не пройдена, зарегистрируйте warning и продолжайте работу в обычном режиме

ENFORCING - если проверка не пройдена - отклонить операцию и выдать ошибку

MASTER - то же самое, что ENFORCING, за исключением того, что проверка явной блокировки таблицы не выполняется

Узнать, текущий режим на сервере:

mysql> SHOW VARIABLES LIKE "pxc_strict_mode";

Variable_name  |Value    |
---------------+---------+
pxc_strict_mode|ENFORCING|

Режим можно поменять (в ущерб надёжности)

mysql> SET GLOBAL pxc_strict_mode=DISABLED; 

но лучше дать mySQL то, что она ожидает:

mysql> ALTER TABLE dag_launcher_threads ADD PRIMARY KEY (run_id);

Сейчас на новой работе - 100% удалёнка, офиса в Москве просто нет. Думал ставить короткие тренировки с гирями или собственным весом в паузы между рабочими “помидорками”, но никак не приучить себя к этим самым “помидоркам”. Из-за того что рабочий стек сейчас сильно шире того, в чём я себя чувствую уверенно, куча времени уходит на то, чтобы разобраться в нюансах, и часто просто не оторваться от работы.

В общем, понял что без выделенной тренировки всё же не обойтись. Ходить в спортзал - жалко времени на дорогу. Решил пока обойтись минималистким решением - выбегаю на улицу, круг вокруг прудов в лёгком темпе (чуть больше 3 км), спортплощадка - три сета подтягиваний/отжиманий до отказа, и ещё круг вокруг прудов. Всё вместе чуть меньше часа. В пробежки планирую потом вставить ускорения метров по 100.

Концепт взял из статьи др. Любера - Да здраствует минимализм. Критерием перехода на следующий этап будет способность набрать 100 отжиманий от пола и 30 подтягиваний за 3 подхода. Интересно, сколько времени это займёт - сегодня с утра получилось 9/22, 5/12, 4/10 (подтягивания/отжимания)