[dosifey]

I'm reuploading the Moisaic database (first posted by
@Addka72424 on
This
post) with a few improvements,:

• Correct encoding: on the other post on this database it has the
  wrong encoding, which results in weird text
  
• Normalized data: the other post has A
  LOT of redundancy with repeating ds_tipo, ds_group and
  description along millions of rows. On this one, now it stores an id which
  can be translated on the according table, this reduces
  DRASTICALLY the file final size.
  
• The original db posted has only 68kk rows (apparently it is corrupted)
  with 55kk being completely unique, I filtered for that so it occupies less
  space
  

This new archive after unzipped occupies only 3GB instead of
60GB on the first post, containing the SAME DATA, a
reduction of 95%. If you have the original file with the full 281kk rows
please send me so I can do the same optimization.

Sample:

cpf|nome|cd_mosaic|cd_grupo|ds_grupo_id|ds_tipo_id|descricao_id
60235209872|BENITO JUAREZ DE OLIVEIRA|E17|E|0|0|0
05491816876|ANTONIO SERGIO SILVESTRE COSTA DO NASCIMENTO|B03|B|1|1|1
36114391853|PEDRO ROCHA DE CARVALHO|G26|G|2|2|2
08090470807|WILMA SCHWITTAY PAIXAO|H29|H|3|3|3
08090470807|WILMA SCHWITTAY PAIXAO|H27|H|3|4|4
03301174833|MARCOS DE PAULA GOMES|E14|E|0|5|5
03301174833|MARCOS DE PAULA GOMES|G26|G|2|2|2
14560364834|LUIZ ARMANDO|C10|C|4|6|6
14560364834|LUIZ ARMANDO|G26|G|2|2|2
03164350821|ERMELINDA CAPUCHO RODRIGUES DO PRADO|C08|C|4|7|7

descricao table:

0|Jovens adultos cujo padrão de consumo vai além da possibilidade de sua renda modesta.
1|Profissionais de sucesso, maduros, com ótima formação, bem sucedidos financeiramente e que priorizam a qualidade e o conforto.
2|Operários aposentados que vivem com renda modesta no entorno dos grandes centros.
3|Aposentados de pequenas cidades do interior do sul e sudeste do Brasil que levam uma vida tranquila.
4|Aposentados, com boa renda, que vivem em centros urbanos e possuem uma vida confortável.
5|Pessoas que trabalham e estudam em busca de mobilidade social e moram em subúrbios com famílias estendidas.
6|Trabalhadores das mais variadas ocupações, de renda modesta e orçamento apertado, vivendo no centro e em bairros antigos das capitais brasileiras.
7|Jovens que estão iniciando uma carreira promissora, em transição entre a vida agitada da juventude urbana e o mundo profissional.
8|Microempresários maduros, que se dedicam à administração de seu negócio, com constante atividade financeira e necessidade de finaciamento.
9|Representantes do estilo de vida urbano contemporâneo, moradores das regiões centrais das grandes cidades, geralmente solteiros ou divorciados que valorizam produtos ícones da sociedade de consumo

Hidden Content

You must register or login to view this content.

This forum account is currently banned. Ban Length: Permanent (N/A Remaining)
Ban Reason: Contact Administration.

[Addka72424]

Interesting leak, I'll check this one later! Thank you for cleaning this leak!

[2002xcam]

thanks I'll try it