Tópico da Programação

[Erwin]

Citação de Keyser, há 2 horas:

Sou analista de dados/ business intelligence developer com 7 anos de exp. Alguém recomenda o datacamp? Quero aprender mais coisas de data engineering como databricks, snowflake, pyspark, etc. Vi que estao com uma promocao black friday mas queria entender se realmente vale a pena.

Sei que não está diretamente relacionado com o que perguntaste mas, só por curiosidade, que diferença vês aqui?

[Solero]

Citação de Erwin, há 3 horas:

Sei que não está diretamente relacionado com o que perguntaste mas, só por curiosidade, que diferença vês aqui?

Tipicamente, o data analyst/BI developer está mais próximo do negócio e trata de extrair informação relevante sob a forma de dashboards, reports, etc. a partir de dados que estão disponíveis porque o data engineer tratou de criar as pipelines para a ingestão e transformação dos mesmos.

O Data Analyst precisa dos stakeholders/negócio para saber o que pretendem e do Data Engineer para lhe fornecer os dados com os quais ele precisa de trabalhar e possivelmente as ferramentas/software para o fazer.

Claro que as funções que um e outro têm numa empresa podem mudar bastante, mas tenho ideia que é isto que acontece na maioria das empresas onde há o mínimo de investimento em Data.

@Keyser não conheço o datacamp, mas eu pessoalmente acho os cursos do Pluralsight muito bons. Btw, trabalho há uns 5/6 anos como Data Engineer por isso qualquer coisa apita.

Editado 2 Dezembro 2024 por Solero

[Erwin]

Citação de Solero, há 8 horas:

Tipicamente, o data analyst/BI developer está mais próximo do negócio e trata de extrair informação relevante sob a forma de dashboards, reports, etc. a partir de dados que estão disponíveis porque o data engineer tratou de criar as pipelines para a ingestão e transformação dos mesmos.

O Data Analyst precisa dos stakeholders/negócio para saber o que pretendem e do Data Engineer para lhe fornecer os dados com os quais ele precisa de trabalhar e possivelmente as ferramentas/software para o fazer.

Claro que as funções que um e outro têm numa empresa podem mudar bastante, mas tenho ideia que é isto que acontece na maioria das empresas onde há o mínimo de investimento em Data.

@Keyser não conheço o datacamp, mas eu pessoalmente acho os cursos do Pluralsight muito bons. Btw, trabalho há uns 5/6 anos como Data Engineer por isso qualquer coisa apita.

certo, a parte do Data Analyst vs Data Engineer eu percebo.

aliás, trabalho com ambos há 8 ou 9 anos. a parte do BI developer é que não estava (ou estou) a perceber onde encaixa, mas é provavelmente questão de semântica.

[Keyser]

 

Citação de Erwin, há 1 hora:

certo, a parte do Data Analyst vs Data Engineer eu percebo.

aliás, trabalho com ambos há 8 ou 9 anos. a parte do BI developer é que não estava (ou estou) a perceber onde encaixa, mas é provavelmente questão de semântica.

O que queria dizer é que estou muito enfocado em  front-end de BI agora (trabalho com Power BI desde modelo de dados, criação de métricas, visualização, etc...) mas honestamente cansei-me e queria-me virar para data engineering (tenho conhecimentos de SQL). Vi o datacamp como um bom ponto de partida e por isso perguntava.

@Solero obrigado pela dica de pluralsight. Alguma recomendação por onde começar visto que ha 1001 ferramentas e tecnologias?  Estive a ver coisas de Microsoft Fabric mas nao me parece ter muita adesão por parte do mercado.

[doom_master]

Citação de Keyser, há 3 horas:

 

O que queria dizer é que estou muito enfocado em  front-end de BI agora (trabalho com Power BI desde modelo de dados, criação de métricas, visualização, etc...) mas honestamente cansei-me e queria-me virar para data engineering (tenho conhecimentos de SQL). Vi o datacamp como um bom ponto de partida e por isso perguntava.

@Solero obrigado pela dica de pluralsight. Alguma recomendação por onde começar visto que ha 1001 ferramentas e tecnologias?  Estive a ver coisas de Microsoft Fabric mas nao me parece ter muita adesão por parte do mercado.

Python, Python, Python.

Actualmente o que mais usamos por aqui é mostly Python (snowpark), Snowflake e Airbyte.

[Solero]

Citação de Keyser, há 6 horas:

 

O que queria dizer é que estou muito enfocado em  front-end de BI agora (trabalho com Power BI desde modelo de dados, criação de métricas, visualização, etc...) mas honestamente cansei-me e queria-me virar para data engineering (tenho conhecimentos de SQL). Vi o datacamp como um bom ponto de partida e por isso perguntava.

@Solero obrigado pela dica de pluralsight. Alguma recomendação por onde começar visto que ha 1001 ferramentas e tecnologias?  Estive a ver coisas de Microsoft Fabric mas nao me parece ter muita adesão por parte do mercado.

SQL, Python e Spark são para mim as três competências que mais oportunidades te podem abrir.

PySpark é algo em que vale bastante a pena investir a meu ver - este livro é excelente: https://github.com/VolodymyrGavrysh/My_RoadMap_Data_Science/blob/master/kds/books/Spark-The Definitive Guide.pdf

Outra coisa que vale a pena investir um pouco é em open-table formats como o Delta, Iceberg ou Hudi.

[rcoelho14]

Próxima feature.
Estou a brincar com o Le Chat e aproveitei para ver se me conseguia facilitar a vida com melhorar o código e adicionar features.

Em casa vou experimentar mais, mas tenho intenção de criar um toggle para se quiserem ver o comentário original sem ter de desligar tudo.

Quando estiver implementado eu posto aqui 😛

[rcoelho14]

Boas noites a todos!

Seguindo o meu comentário anterior, aqui fica:

Chegou o melhorado CMPT User Comment Replace 2.2

Quais as diferenças?
O código foi ajustado com ajuda do Le Chat (foi a minha forma de brincar com aquilo);
Usando também o Le Chat, adicionei um toggle que permite voltar a mostrar temporariamente os comentários originais.

Se encontrarem bugs, ou tiverem sugestões, digam aí.

Cumprimentos!

[Petar Musa]

E como te corre a nova vida @rcoelho14?

E porquê o LeChat/Mistral? 

Continuo fiel ao Chatgpt e ao Claude

[rcoelho14]

Citação de Petar Musa, há 40 minutos:

E como te corre a nova vida @rcoelho14?

E porquê o LeChat/Mistral? 

Continuo fiel ao Chatgpt e ao Claude

Agora corre bem, 3ª semana na Farfetch, fui muito bem recebido, tenho tido bastante ajuda, não há muita pressão agora.
Fora isso, tinha estado 3 semanas com uns avecs suíços em Dezembro, e os gajos ainda não pagaram e agora estão a dar todo o tipo de desculpas e a dizer que só me pagam 5 dias.

Quis experimentar o LeChat porque estavamos a falar disso hoje e queria ver o que aquilo conseguia.
Achei bem mais rápido que o ChatGPT, e gostei que quando fiz algumas perguntas relacionadas com eval() e CSP aquilo além de me dar a resposta, adicionou links para sources junto de cada parágrafo.

Mas irei continuar a experimentar, ver se vale a pena continuar a usar.

[Bashir]

Mas o gpt pago ou o free? 

Eu experimentei o deepseek e o gpt free no desespero para uma interpretação errada do Safari e nenhum me safou. O velhinho stackoverflow deu-me a resposta no primeiro resultado da pesquisa do google.

[Petar Musa]

Citação de Bashir, há 8 horas:

Mas o gpt pago ou o free? 

Eu experimentei o deepseek e o gpt free no desespero para uma interpretação errada do Safari e nenhum me safou. O velhinho stackoverflow deu-me a resposta no primeiro resultado da pesquisa do google.

Pago. Uso o Poe que alguém recomendou.

Não achei o deepseek nada de mais, tbh

[rcoelho14]

Pelo menos no meu caso uso tudo free ahahah

 

Não uso muito AI  neste momento, mas se começar a usar mais, aí considero pagar

[Mica]

Eu tenho usado imenso o ChatGPT, mas para coisas bem diferentes da maioria das pessoas. No meu caso preciso de extrair texto de PDFs e consegui criar uma ferramenta para isso, o problema é que ora vem texto todo em maiúsculas, ora vem caracteres especiais fora do contexto, ora vem palavras com espaços pelo meio, etc. Peço ao GPT para me formatar o texto e aquilo fica perfeito.

Até ver, eu diria que esse é o melhor caso de uso do ChatGPT: formatar textos, reestruturar parágrafos para fazer maior sentido, até mesmo reestruturar frases e textos confusos. Também me dá jeito para coisas tipo "se trocar um PC que gasta 600W por um que gasta 400W, quantos € poupo por ano assumindo que pago 17 cent por kWh", e sim eu sei que essa conta faz-se bem mas poupa imenso tempo e energia.

Editado 12 Fevereiro 2025 por Mica

[rcoelho14]

Citação de Mica, há 13 horas:

Eu tenho usado imenso o ChatGPT, mas para coisas bem diferentes da maioria das pessoas. No meu caso preciso de extrair texto de PDFs e consegui criar uma ferramenta para isso, o problema é que ora vem texto todo em maiúsculas, ora vem caracteres especiais fora do contexto, ora vem palavras com espaços pelo meio, etc. Peço ao GPT para me formatar o texto e aquilo fica perfeito.

Até ver, eu diria que esse é o melhor caso de uso do ChatGPT: formatar textos, reestruturar parágrafos para fazer maior sentido, até mesmo reestruturar frases e textos confusos. Também me dá jeito para coisas tipo "se trocar um PC que gasta 600W por um que gasta 400W, quantos € poupo por ano assumindo que pago 17 cent por kWh", e sim eu sei que essa conta faz-se bem mas poupa imenso tempo e energia.

Eu usei bastante durante a fase em que estava a mandar CVs, para fazer as cover letters quando eram exigidas.
Quando envias 900 CVs, fica dificil ter vontade de escrever uma cartinha para cada um.

E também era fixe para analisar as vagas rapidamente e resumir o que lá tinha e se encaixava nas minhas skills, e o que faria sentido eu aprender (obvio que não era a unica forma de eu ler uma vaga, mas era um bom complemento para ver se me escapava algo)

[Mica]

Citação de rcoelho14, há 21 minutos:

Eu usei bastante durante a fase em que estava a mandar CVs, para fazer as cover letters quando eram exigidas.
Quando envias 900 CVs, fica dificil ter vontade de escrever uma cartinha para cada um.

E também era fixe para analisar as vagas rapidamente e resumir o que lá tinha e se encaixava nas minhas skills, e o que faria sentido eu aprender (obvio que não era a unica forma de eu ler uma vaga, mas era um bom complemento para ver se me escapava algo)

Eu suma, processar grandes quantidades de informação e/ou informação complexa e torná-la mais digerível para nós. Esse é o forte do ChatGPT.

Para factos, é provavelmente das piores fontes.

[rcoelho14]

Citação de Mica, há 1 hora:

Eu suma, processar grandes quantidades de informação e/ou informação complexa e torná-la mais digerível para nós. Esse é o forte do ChatGPT.

Para factos, é provavelmente das piores fontes.

Sim, exatamente isso.
E podes pedir uma mãozinha para programar, mas sempre com atenção para ele não inventar muito ahahah

[Petar Musa]

Citação de rcoelho14, há 7 minutos:

Sim, exatamente isso.
E podes pedir uma mãozinha para programar, mas sempre com atenção para ele não inventar muito ahahah

Por causa dos naming conventions da empresa, eu criei um programinha em que envio para lá o que está no YAML e ele "randomiza" as variáveis dos nomes de coisas da empresa.

Depois copio e colo no Claude e peço-lhe para ver onde estou a ver burro;

Ou então para analisar audit logs. Aí já uso o Chat GPT. Enfio aquilo lá e depois ele grita que a aplicação para ver o tempo tem permissões de ReadWrite.All 

Tenho licença empresarial do Copilot e uso para me vasculhar o email e o Teams quando não encontro algo que alguém me enviou. Já para trabalhar com o Loops ou o Planner aquilo não é muito bom 

[Sandes.]

Citação de Mica, há 19 horas:

Eu tenho usado imenso o ChatGPT, mas para coisas bem diferentes da maioria das pessoas. No meu caso preciso de extrair texto de PDFs e consegui criar uma ferramenta para isso, o problema é que ora vem texto todo em maiúsculas, ora vem caracteres especiais fora do contexto, ora vem palavras com espaços pelo meio, etc. Peço ao GPT para me formatar o texto e aquilo fica perfeito.

Até ver, eu diria que esse é o melhor caso de uso do ChatGPT: formatar textos, reestruturar parágrafos para fazer maior sentido, até mesmo reestruturar frases e textos confusos. Também me dá jeito para coisas tipo "se trocar um PC que gasta 600W por um que gasta 400W, quantos € poupo por ano assumindo que pago 17 cent por kWh", e sim eu sei que essa conta faz-se bem mas poupa imenso tempo e energia.

E tu confias na conta que o chatgpt faz? És maluco

[Plagio o Original]

Citação de Sandes., há 13 minutos:

E tu confias na conta que o chatgpt faz? És maluco

Por acaso da outra vez pedi-lhe para aplicar uma formula qualquer, pra fazer não sei o quê, e fez um numero absurdo, tipo uns zeros a mais ou o que foi, que fazia com que o resultado n fizesse sentido nenhum

[Quan Chi]

Eu pergunto-lhe sobre o Lucho González e ele diz-me que foi fundamental na conquista da Liga Europa de 2011, é tudo o que preciso de saber sobre o chatgpt.

[Mica]

Citação de Sandes., há 19 horas:

E tu confias na conta que o chatgpt faz? És maluco

Ontem acabei por não ter tempo para responder.

Depende das variáveis que dás, tem de ser algo que saibas o que estás a fazer e que conseguirias fazer por ti. No fundo é poupar tempo.

Se tu disseres que tens 10000€ e que em média o teu portefólio vai crescer 7% ao ano, mas que ao mesmo tempo tens de pagar 28% à saída, podes perguntar na boa quanto é que vais poder levantar em 2050 porque a informação está toda lá.

O problema do ChatGPT é não saber dizer "não sei", às vezes o input não é bom o suficiente, outras vezes são as fontes que ele usa.

[Sandes.]

Citação de Mica, há 5 minutos:

Ontem acabei por não ter tempo para responder.

Depende das variáveis que dás, tem de ser algo que saibas o que estás a fazer e que conseguirias fazer por ti. No fundo é poupar tempo.

Se tu disseres que tens 10000€ e que em média o teu portefólio vai crescer 7% ao ano, mas que ao mesmo tempo tens de pagar 28% à saída, podes perguntar na boa quanto é que vais poder levantar em 2050 porque a informação está toda lá.

O problema do ChatGPT é não saber dizer "não sei", às vezes o input não é bom o suficiente, outras vezes são as fontes que ele usa.

Olha fiz isso no gemini que tenho no telemóvel:

"""

Vamos calcular o valor que você poderá levantar em 2050, considerando o crescimento anual do seu portfólio e a taxa de saída.
Cálculo do crescimento do portfólio
 * Valor inicial do portfólio: 10.000€
 * Taxa de crescimento anual: 7%
 * Período de tempo: 2024 a 2050 (26 anos)
Para calcular o valor do portfólio em 2050, podemos usar a fórmula de juros compostos:
Valor final = Valor inicial * (1 + taxa de crescimento) ^ número de anos
Valor final = 10.000€ * (1 + 0,07) ^ 26
Valor final ≈ 54.274,32€
Cálculo do valor a ser pago na saída
 * Valor final do portfólio: 54.274,32€
 * Taxa de saída: 28%
Valor a ser pago na saída = Valor final * taxa de saída
Valor a ser pago na saída = 54.274,32€ * 0,28
Valor a ser pago na saída ≈ 15.196,81€
Cálculo do valor a ser levantado
 * Valor final do portfólio: 54.274,32€
 * Valor a ser pago na saída: 15.196,81€
Valor a ser levantado = Valor final - Valor a ser pago na saída
Valor a ser levantado = 54.274,32€ - 15.196,81€
Valor a ser levantado ≈ 39.077,51€
Portanto, em 2050, você poderá levantar aproximadamente 39.077,51€ do seu portfólio.

""""

Pois bem, vamos calcular?

 10.000€ * (1 + 0,07) ^ 26 = 58 073,53

Oh diacho , onde foram os 4k? Foram para a Google?

[Mica]

Citação de Sandes., há 25 minutos:

Olha fiz isso no gemini que tenho no telemóvel:

"""

Vamos calcular o valor que você poderá levantar em 2050, considerando o crescimento anual do seu portfólio e a taxa de saída.
Cálculo do crescimento do portfólio
 * Valor inicial do portfólio: 10.000€
 * Taxa de crescimento anual: 7%
 * Período de tempo: 2024 a 2050 (26 anos)
Para calcular o valor do portfólio em 2050, podemos usar a fórmula de juros compostos:
Valor final = Valor inicial * (1 + taxa de crescimento) ^ número de anos
Valor final = 10.000€ * (1 + 0,07) ^ 26
Valor final ≈ 54.274,32€
Cálculo do valor a ser pago na saída
 * Valor final do portfólio: 54.274,32€
 * Taxa de saída: 28%
Valor a ser pago na saída = Valor final * taxa de saída
Valor a ser pago na saída = 54.274,32€ * 0,28
Valor a ser pago na saída ≈ 15.196,81€
Cálculo do valor a ser levantado
 * Valor final do portfólio: 54.274,32€
 * Valor a ser pago na saída: 15.196,81€
Valor a ser levantado = Valor final - Valor a ser pago na saída
Valor a ser levantado = 54.274,32€ - 15.196,81€
Valor a ser levantado ≈ 39.077,51€
Portanto, em 2050, você poderá levantar aproximadamente 39.077,51€ do seu portfólio.

""""

Pois bem, vamos calcular?

 10.000€ * (1 + 0,07) ^ 26 = 58 073,53

Oh diacho , onde foram os 4k? Foram para a Google?

Assim de repente diria para trocares de IA 😂

[Sandes.]

Citação de Mica, há 29 minutos:

Assim de repente diria para trocares de IA 😂

Não confio em nenhuma, e trabalho na área.

Acho que pedir á llm para te dar os passos é fixe, mas calcular mesmo os valores é abrir a calculadora.