Civile.it
/internet
Osservatorio sul diritto e telecomunicazioni informatiche, a cura del dott. V. Spataro dal 1999, 9320 documenti.

Il dizionario e' stato letto volte.



Segui via: Email - Telegram
  Dal 1999   spieghiamo il diritto di internet  Store  Podcast  Dizionario News alert    
             

  


WPkit.it: privacy, formulari, check up per WordPress

Temi attuali:
Algoritmi ChatGPT Intelligenza artificiale Privacy WordPress



Dizionario 19.03.2024    Pdf    Appunta    Letti    Post successivo  

1-bit LLM: cosa significa - dizionario

Rispetto ai modelli piu' grandi richiedono meno risorse, ma rispondono a meno richieste: non sono tuttologi. I vantaggi evidenti, e il diverso modello porta a riflettere su altre problematiche relative alle informative legali oggi enfatizzate, domani assorbite nell'introduzione alla interfaccia conversazionale.


Valentino Spataro

 

I

Interessante segnalazione di Pomaro sugli LLM: in arrivo quelli a 1,58bit.

Invece di rappresentare token e relazioni  a 16 bit, usano meno spazio.

Queste le analisi che ho estratto con copilot:

These the considerations regarding quality, quantity, and customization when using 1-bit LLMs:

  1. Quality:

    • Fine-Tuning Challenges: Achieving high-quality results with 1-bit LLMs often involves fine-tuning on specific tasks or domains. However, fine-tuning can be resource-intensive and requires labeled data.
    • Inherent Biases: Like all language models, 1-bit LLMs may inadvertently exhibit biases present in their training data. Ensuring fairness and mitigating bias remains an ongoing challenge.
  2. Quantity:

    • Model Size: 1-bit LLMs are typically smaller than their full-precision counterparts. While this enables faster inference, it also means they might not capture as much context or knowledge.
    • Limited Vocabulary: Smaller models have a restricted vocabulary, which can impact their ability to generate diverse and nuanced responses.
  3. Customization:

    • Predefined Architectures: 1-bit LLMs come with predefined architectures. Customizing these architectures extensively might not be straightforward.
    • Task-Specific Adaptation: While fine-tuning allows some customization, it’s essential to strike a balance between task-specific adaptation and maintaining generalization capabilities.

Remember that the trade-offs between quality, quantity, and customization depend on your specific use case. Assess your project requirements and choose accordingly! 

Ecco le fonti relative all’ultima risposta:

  1. “The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits”:

    • Questo articolo introduce un modello di linguaggio a 1,58 bit, chiamato BitNet b1.58, in cui ogni parametro (o peso) del modello è ternario {-1, 0, 1}. BitNet b1.58 corrisponde alle prestazioni di un modello Transformer di precisione completa (FP16 o BF16) con la stessa dimensione del modello e lo stesso numero di token di addestramento, ma è significativamente più efficiente in termini di latenza, memoria, throughput ed energia. Inoltre, apre la strada a nuove generazioni di modelli di linguaggio ad alte prestazioni e costo efficace1.
  2. “Amplifying Limitations, Harms and Risks of Large Language Models”:

  3. “The Working Limitations of Large Language Models”:

19.03.2024 Valentino Spataro



Gemello digitale
Generative AI
ERD
Zanshin Tech
OTA
Boosting
Incidente
Social Media Manager
ARC - protocollo
Legal Product Management



Segui le novità in materia di Dizionario su Civile.it via Telegram
oppure via email: (gratis Info privacy)





dallo store:
visita lo store








Dal 1999 il diritto di internet. I testi sono degli autori e di IusOnDemand srl p.iva 04446030969 - diritti riservati - Privacy - Cookie - Condizioni d'uso - in 0.054