MiniMax-M1 �dz���MiniMax �ٴ�֤��Լ���һ��ģ������� AI ��
˾
�÷�������MiniMax ���ڰ��������������ģ���ó����ˡ�
�ڽ� MoE �� Lightning Attention�����ע�����ļ����ܹ����
�����ģ�͵ײ㣬ת��Ϊȫ�µ� MiniMax-01 ϵ��ģ�͵� 5 ����
��ģ��˾ MiniMax ���ڸ���һ���������������õ�������
�����ģ�� MiniMax-M1����Ҳ��ȫ������Դ�����ģʵ�ֻ��ע
�������ģ�͡�
���ģ���ѳ�Ϊ�µĴ�ģ�ͼ���˳����ó�һ��ǿ�����������ģ��
���ǽ�������ڵ�һ��Ӫ�Ĵ�ģ��˾�����Լ������λ��ֱ�ӵ�
Ŀ�ꡣ
ͼƬ��
https://imgslim.geekpark.net/uploads/image/file/5c/13/
5c1364ed70c3dda2c7238555d0af16b9.png
01
���������ı����ģ��
�Ϊ���ģ�ͣ�MiniMax-M1 �ڳ�������������ϣ���Ŀǰ�����
�б�Դ�Ϳ�Դģ�����ڣ����ȫ��ǰ����ģ�� ������ ѵ��������
���ϼ��ߵ��Լ۱� ��
M1 ��Ȼ����� MoE �ܹ�������ע�������Ϻ�ǿ��ѧϰ�㷨�ϵĴ�
���� M1 ����������������ģ�͡�ģ���ܲ���ﵽ 4560 �ڲ��
��ԭ�֧�� 100 �� token �������ij������룬�Լ�Ŀǰ���ģ����
��� 80k token �������ȡ�
���������������� OpenAI-MRCR (128k/1M) �Լ� LongBench-
v2 �У�M1 �ı���Զ������ DeepSeek-R1-0528 �� Qwen3-235B ����
����п�Դģ�ͣ�����Խ OpenAI o3 �� Claude 4 Opus����С��
��� SOTA �� Gemini 2.5 Pro��
ͼƬ��
https://imgslim.geekpark.net/uploads/image/file/ad/77/
ad77cee2a0c01fefaa192df2e9b354c8.png
�����ڳ�����������ϵ�ǿ�ƣ�M1 �չ�ֳ����������幤��ʹ�ã�A
gentic Tool Use��ά���ϵ�������������������ڴ��������
TAU-Bench (airline) �еı��������Ŀǰ M1 �Ѿ�����������
Agentic Tool Use ���������ǿ��ģ�͡�
��������ж��� M1 �ĸ���ǣ����µĿ�Դģ�������� DeepSeek-
R1��Qwen3-235B ���е���綥�Դ���ģ�ͣ���һ�������ڲ���
��ҵ������� 17 �����֮��ó��ġ��ڴ����ӳ���ʱ������
�ġ������幤��ʹ������ϵij����㹻���ۣ�M1 �ڸ�ͨ�õ�ģ����
����Ҳ�Ѿ����붥����С�
ͼƬ��
https://imgslim.geekpark.net/uploads/image/file/ff/59/
ff59da20834c1ad995a28462a1d616d3.png
������Ҫ����˵����ǣ�M1 ϵ��ģ���е����ģ���У�MiniMax-M1-
40K ģ���� MiniMax-M1-80K ģ����ѵ��ʱ���м�Ρ����ڲ����
����ֵ���������У�MiniMax-M1-80k �ڶ�����ϳ������ Mi
niMax-M1-40k����Ҳ��֤�������Ĵ��ڳ��ȴ�����ģ��������ܵ���
���������ǽ�����ζ��֧�ָ��������롣
02
�Ӽܹ����㷨�������ġ�˫�ߴ��¡�
����������������ģ����ȣ�M1 �ڵײ�ܹ����㷨���϶������
�¡�
�ڵײ�ܹ����棬M1 ��ĿǰΨһһ��������ע�����ơ���ġ���
ͳ Transformer �ܹ����Ӷ����ģʵ�ֻ��ע���� MoE ���ģ��
�����㷨���棬M1 �����µ�ǿ��ѧϰ�㷨 CISPO��������˫��
�������� M1 ��ѵ��Ч�ʣ���ѵ���ɱ����½�Ҳ�dz��ɹۡ�
Ϊ��� Transformer �ܹ��к��ĵ�ע������ Softmax Attention
�ڼ�����Դ��ķ���ľ����ԣ�M1 ϵ��ģ����ע�����Ƶļܹ���
�Ʒ�����ȴ�ͳ�ܹ��������˸��ij��ԡ������û��ע������
Lightning Attention����������� Transformer ��ʹ�õĴ�ͳ So
ftmax Attention��
���ص�ע��������� M1 �����ʱ�������Ч�����ƣ���Ȼ�����
ǿ��ѧϰ�ĸ�Ч��չ�����ߵ���ϼܹ����ģǿ��ѧϰ���������Mi
niMax ��ȻҲ������¼ܹ���������ս��
�����ڻ�ϼܹ��ij�����ǿ��ѧϰ��zero-RL��ʵ���У��Ŷӷ��ִ�
ͳ�� PPO/GRPO �㷨�������������ѵ�����ܡ�����˵���뷴˼
��Ϊ��صĹؼ� token���������ʾת�۵� however��wait������Щ��
�� token ���ȶ��غʹٽ����չ RL �����Ҫ����ȴ�����ڲ��Ը�
��ʱ���ü����Ա�֤��Щ token ���ݶȹ��ף��������Դٽ��� Co
T �����Ϊ���������ڻ�ϼܹ�ģ������Ϊͻ�����谭��ǿ��ѧϰ��
��ģ��չ��
Ϊ�ˣ�M1 ���㷨���������µ�ǿ��ѧϰ�㷨 CISPO�������ȷ��
�ⶪ��κ� token����ʹ���·��ȴ�ͬʱ����ά���ں��Χ��
ȷ���ȶ�̽���
�� zero-RL �����£�MiniMax �Ŷ����ѧ�����ݼ���ѵ�� Qwen2.
5-32B-base���Ա� CISPO�� �ֽ�������� DAPO �Լ� DeepSeek
���� GRPO �㷨�� AIME 2024 �ϵı��֡���ͬ����� CISPO ���
���� DAPO �� GRPO����ѵ��Ч�ʸ��ߣ����� DAPO 50% �IJ������
�ﵽͬ�����ܡ�
ͼƬ��
https://imgslim.geekpark.net/uploads/image/file/64/33/
6433b129dc1674531f071972024e2eb8.png
�ײ�ܹ��϶�������ע�����Ƶ���룬�Լ��㷨��Χ�� CISPO �
�γɵĸ�Ч RL ��ܣ������� M1 ��ǿ��ѧϰѵ�����ʮ�ָ�Ч����
��ȡ���ѵ���ɱ��Ĵ��½���
��ģ��һͬ�����ļ����������ʾ������ɳ���Ϊ 10 �� Token ʱ
��M1 �ļ�����Ϊ Deepseek R1 �� 25%������� M1 �����ǿ��ѧ
ϰѵ������ 512 �� H800 GPU �Ͻ��� 3 ����ɣ���Ŀǰ�� GPU ��
�۸���㣬�ɱ���Ϊ 53.47 ���Ԫ��
MiniMax �ٷ�Ҳ�����˼��� demo�����ǿ��Դ��п��� M1 �������
��ʲô��
����������̰������Ϸ���� coding ����IJ����淨������� M
1 չʾ������һ����Ȼ�������һ�������ӵ��Թ���Ϸ��
Prompt ������ģ� ����һ���Թ�������Ѱ·���ӻ����ߡ����
��һ���Թ��������ӻ� A* �㷨������̡�ʹ�û����Ͷ�����
ʹ������Ӿ�������
������ M1 ������� 0 �� 1 �һ���ܹ����Դ����ٶȵ��ҳ��
demo ��������������M1 ����ɵ��ҳ��˼·���������˴����
���ٶȵ� WPM��words per minute����ȷ�ȵ� Accuracy ����ָ��
��������������Ϸ�����������������̶�ͬ����ɫ��
�ֻ��ߣ��û�����ֱ���� M1 �һ������ק�ı�ǩǽ��
��Щ demo ����ָ��һЩͨ�� agent �в�Ʒ�� feature �Ŀ����ԡ�
���������⡢��������Щ��ģ�������Ʒ�������еĺ��������ǡ
���� M1 ģ�͵�ǿ����ڡ����� MiniMax �����Բ�Ʒ���Ƶ�·��
������ҹ�˾�����ڻ���ģ�Ͳ������ļ���̽���Ҳ�� M1 �ij���
Ϊ�ڵ㣬�ڵ��´�ģ��˾�Ǽ��ͻ���ձ齵�ٵ�ʱ����ʾ����
03
�� MoE �� Linear���ٵ� MiniMax-M1
M1 �ij��֣�������һ� MiniMax �Ӵ�ͳ�ij���ģ���� Transformer
�ܹ���ת�� MoE ������ע�����ƵIJ����ߡ��� MiniMax ����
��� MoE ������ע�����Ƶ�ʱ���ڵ�ʱ������û��ʲô���Բ�
������
Mistral AI �� 2023 ����ÿ�Դ��ģ�� Mistral 87B ����˵�ʱ
������Ŀ�Դģ��֮һ��700 �ڲ���� Llama 2��2023 �����죬Min
iMax �Ѿ������ӳ���ģ��ת�� MoE��Ͷ��˵�ʱ��˾ 80% ����
���з���Դ���� Mistral 87B ������һ���º�����˹�����
MoE ��ģ�� abab 6�������������Ǹ������µļܹ���MiniMax Ϊ Mo
E ���и������ѵ��������ܡ�
ͼƬ��
https://imgslim.geekpark.net/uploads/image/file/9a/65/
9a65d6e689c80a47c78c28b241053dfb.png
MoE �ܹ�
M1 �Ļ�ϼܹ����������ʼ�ڽ����� MiniMax-Text-01 ģ���
����ע����Linear Attention����ϼܹ�����롣
MiniMax ��ʼͶ�� Linear Attention �Ǵ� 2024 �� 4 �¿�ʼ�ģ�
��ʱ��û��ģ����ǧ�ڼ���IJ����ģ������ս��ͳ�� Transformer
�ܹ�����ʹ�� MiniMax ��Ҫ�Էֲ�ʽѵ��������ܽ��г�����
���������䣬ʹ��ģ���ܹ��ڴ��ģ GPU ��Ⱥ�ϸ�Ч���У����
��˽��� 1 �µ� MiniMax-Text-01����Ҳ�ǵ�һ���������ע��
���ƴ��ģ�����ģ�͡�
����˵��MiniMax-Text-01 �� MiniMax ������ע�������ϣ�Ϊ
�����ҵ��С��ģ���еĹ�ʶ���� Scale up �Ŀ������һ����֤��
�����ģ�� M1������������һ�λ��� MiniMax-Text-01 �� scale u
p �ͼܹ����¡�
MiniMax Ҳ������һ���� M1 ���� MiniMax-Text-01 ѵ����ϸ�ڡ�
�Ŷ��� MiniMax-Text-01 Ϊ�����ʵʩ 7.5 ���� token �Ķ����
ǿԤѵ������ STEM����ѧ/���/����/�ѧ������̴����븴�����
�������������Ȩ����������� 70%�����ͨ���ල����
ע��ʽ˼����CoT�����ƣ�ϵͳ�Թ���ģ�͵ķֲ���������Ϊǿ
��ѧϰ�춨���������
�������ּ���ʽ�Ĵ��µõ��˻�������֤��M1 ��Ŀǰȫ�����ȵִ�
80k �������������ģ�ͣ�ͬʱ�ڳ������ģ������̺� Agent
����ʹ�÷������ֳ������ơ�
��ǰ��Ұ�� Talkie ����ҵ���ϵ�������֣��� MiniMax �����Ϊ
һ�ҿ����Լ��������ߵĴ�ģ��˾��Ҳ����縳�����ҹ�˾һ��
����Ʒ�������������ͳ�ı�ǩ����һ���̶��Ϻ���� MiniMax
��ģ�Ͳ������൱ǿ�����з������
ֵ��ע����ǣ�MiniMax �Ĺٷ�����¶��M1 ϵ��ģ��ͬʱҲ����
��Ϊ������� MiniMaxWeek ����Ļ��δ�����죬MiniMax ��Χ����
����������Ӿ��ȶ�ģ̬ģ�Ͷ��������ļ����չ��
���ǰ MoE �� Abab 6 ģ�ճ���ʱ���ƣ��˴η����Ļ��ע��
���Ƶ� M1 �ڵײ�ܹ�������Ȼ��һ�����ǹ�ʶ�������ģ�ͣ���Ҳ
�����Ϊ��Щ�Ŵ�̽��ģ�͵ײ�ܹ����ǹ�ʶ���ش�������ļ����
�£�һֱ��ӡ֤ MiniMax �վ���һ�ҡ�ģ��������� AI ��˾��
������ó�Ϊһ�ֹ�ʶ��