Поиск пересечения файлов
Нашел прикольный способ найти пересечение двух файлов:
grep -Fxf file1 file2
выдаст строки, которые есть в обоих файлах, но с нюансом, что из второго файла останутся потенциальные дубликаты (которые можно отсеять через | sort | uniq
).
Принцип работы довольно прост: берем паттерны из file1
(-f file1
), говорим, что это строки, а не регулярки (-F
), и ищем точное совпадение строк (-x
) в file2
. В интернете пишут, что это быстрее, чем приколы с сортироками и однострочниками на питоне.
Мне это пригодилось без -x
, чтобы поискать в логах данные из CSV.