PulseAugur
EN
LIVE 08:26:23
한국어(KO) Flavio Adamo (@flavioAd) GPT-5.6을 실제로 테스트해본 사용자의 체감 평가. 벤치마크 수치만으로는 보이지 않는 부분이 있으며, 실제 사용 경험이 더 중요하다는 관점에서 모델의 성능을 공유하려는 내용이다. 다만 구체적인 기술 결과는 아직 제시되지 않았다. https

GPT-5.6 Sol(max) leads physics benchmark, with reasoning settings detailed · 3 sources tracked

By PulseAugur Editorial · [3 sources] ·

The GPT-5.6 Sol(max) model has achieved a new leading score on the CritPt physics problem benchmark, a private research-level evaluation developed by Argonne and UIUC. This benchmark assesses models on graduate-level physics research problems posed by over 60 researchers from more than 30 institutions, highlighting advanced scientific reasoning capabilities. Additionally, details have emerged regarding the reasoning-effort settings for the GPT-5.6 series, with GPT-5.6-Sol defaulting to a 'low' setting while 'terra' and 'luna' are set to 'medium', though the reason for Sol's lower setting remains unclear. User experience with GPT-5.6 also suggests that real-world performance and subjective evaluation are crucial, going beyond raw benchmark figures. AI

IMPACT Sets new SOTA on a specialized physics benchmark, indicating advanced scientific reasoning capabilities and prompting discussion on model configuration.

RANK_REASON The cluster reports on a new benchmark result for a specific model variant and discusses its configuration and user experience, fitting the research category.

Read on Mastodon — fosstodon.org →

AI-generated summary · Google Gemini · from 3 sources. How we write summaries →

GPT-5.6 Sol(max) leads physics benchmark, with reasoning settings detailed · 3 sources tracked

COVERAGE [3]

  1. Mastodon — fosstodon.org TIER_1 한국어(KO) · [email protected] ·

    Artificial Analysis (@ArtificialAnlys) GPT-5.6 Sol(max) sets a new lead on CritPt, a benchmark for physics problems at the non-public research level. CritPt was developed by Argonne and UIUC, and features over 60 researchers from more than 30 institutions.

    Artificial Analysis (@ArtificialAnlys) GPT-5.6 Sol(max)이 비공개 연구 수준의 물리 문제 벤치마크인 CritPt에서 새 선두를 기록했습니다. CritPt는 Argonne과 UIUC가 개발했으며, 30개 이상의 기관에서 모인 60명+ 연구자의 대학원급 물리 연구 문제로 모델을 평가합니다. 최신 고난도 과학 추론 성능이 강조됩니다. https:// x.com/ArtificialAnlys/status/2 075423964378366427 # gpt56 # be…

  2. Mastodon — fosstodon.org TIER_1 한국어(KO) · [email protected] ·

    Golden Chicken (@gosrum) Tweet summarizing the default reasoning effort for the gpt-5.6 series. It points out that gpt-5.6-sol is set to low, while terra and luna are set to medium, and the reason why only sol is low is unclear. It allows us to check the differences in default reasoning intensity by model.

    金のニワトリ (@gosrum) gpt-5.6 계열의 reasoning-effort 기본값을 정리한 트윗. gpt-5.6-sol은 low, terra와 luna는 medium으로 설정되어 있으며, sol만 low인 이유는 불명확하다고 지적했다. 모델별 기본 추론 강도 차이를 확인할 수 있는 실무 정보다. https:// x.com/gosrum/status/2075399821 511553309 # gpt56 # reasoning # llm # settings # ai

  3. Mastodon — fosstodon.org TIER_1 한국어(KO) · [email protected] ·

    Flavio Adamo (@flavioAd) Subjective Evaluation of GPT-5.6 After Actual Testing. This content aims to share the model's performance from the perspective that aspects not visible in benchmark figures alone exist, and actual usage experience is more important. However, specific technical results have not yet been presented. https

    Flavio Adamo (@flavioAd) GPT-5.6을 실제로 테스트해본 사용자의 체감 평가. 벤치마크 수치만으로는 보이지 않는 부분이 있으며, 실제 사용 경험이 더 중요하다는 관점에서 모델의 성능을 공유하려는 내용이다. 다만 구체적인 기술 결과는 아직 제시되지 않았다. https:// x.com/flavioAd/status/20752683 16034179185 # gpt56 # llm # benchmark # evaluation # ai

RELATED ENTITIES

RELATED TOPICS